Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision

Este artículo introduce un conjunto de pruebas basadas en mediciones psicofísicas de la visión de bajo nivel para evaluar la capacidad de 34 métricas de calidad de imagen y video existentes para modelar aspectos clave de la percepción humana, como la sensibilidad al contraste y el enmascaramiento, revelando limitaciones y patrones de comportamiento que no se detectan con los protocolos de evaluación estándar.

Lo esencial

Imagina que tienes un súper-visor (una cámara o un software) que intenta juzgar qué tan bonita es una foto o un video. Este súper-visor es lo que los expertos llaman una "métrica de calidad". Su trabajo es decirnos: "¡Esta imagen se ve genial!" o "¡Esta se ve terrible!".

Pero, ¿cómo sabemos si este súper-visor tiene buen gusto? ¿O si simplemente está adivinando?

Los autores de este artículo (Dounia, Yancheng y sus colegas de Netflix y Cambridge) decidieron poner a prueba a 34 de estos "súper-visitores" famosos (como SSIM, LPIPS, VMAF) usando un método muy especial: imitar cómo funciona realmente el ojo humano.

Aquí te explico sus hallazgos con analogías sencillas:

1. El problema: ¿El robot ve como nosotros?

Antes de este estudio, la única forma de saber si un métrico era bueno era compararlo con un grupo de personas reales que calificaban las imágenes. Es como pedirle a un robot que adivine qué le gusta a un humano solo mirando las notas de un examen. A veces el robot acierta, pero no sabemos por qué.

Los autores dijeron: "¡Espera! Sabemos exactamente cómo funciona el ojo humano gracias a décadas de experimentos científicos. Vamos a usar esas reglas fijas para ver si los robots las siguen".

2. Las pruebas: El gimnasio del ojo

Para entrenar y probar a estos métricos, diseñaron tres tipos de ejercicios, como si fuera un gimnasio para la visión:

• Prueba A: "El fantasma en la niebla" (Detección de contraste)

  • La analogía: Imagina que estás en una habitación oscura y alguien pone un dibujo muy tenue. ¿Puedes verlo?
  • El hallazgo: Nuestros ojos son muy buenos viendo dibujos de tamaño medio, pero nos cuesta ver cosas muy pequeñas o muy grandes.
  • El resultado de los robots: Muchos métricos antiguos (como el clásico SSIM) son como personas que solo se fijan en los detalles minúsculos (como el polvo en una ventana) y se olvidan de las cosas grandes. Otros, como LPIPS y MS-SSIM, aprendieron a ver mejor los "tamaños medios", pareciéndose más a nosotros.

• Prueba B: "El ruido de fondo" (Enmascaramiento de contraste)

  • La analogía: Si intentas escuchar una nota de piano suave en una biblioteca silenciosa, la oyes fácil. Pero si intentas escuchar esa misma nota en medio de una fiesta ruidosa, no la oirás a menos que la toquen muy fuerte. El ruido "enmascara" el sonido.
  • El hallazgo: En una foto con muchas texturas (como un bosque), un defecto pequeño es más difícil de ver que en una pared blanca.
  • El resultado de los robots: ¡Aquí fue donde los robots modernos brillaron! Métricos basados en Inteligencia Artificial (como LPIPS y DISTS) entendieron perfectamente que el ruido oculta los defectos. Incluso aprendieron esto sin que nadie se lo enseñara explícitamente, ¡como si hubieran nacido sabiendo! Sin embargo, métricos más viejos como VMAF solo entendieron esto cuando el defecto era muy grande y obvio.

• Prueba C: "El truco del tamaño" (Igualdad de contraste)

  • La analogía: Si tienes una pelota roja pequeña y una roja grande, ambas se ven "igual de rojas" para tu ojo, aunque una sea físicamente más grande. Tu cerebro ajusta la percepción para que el color se sienta constante.
  • El hallazgo: Cuando un objeto es muy brillante o tiene mucho contraste, nuestro ojo deja de notar la diferencia entre frecuencias (tamaños). Se vuelve "constante".
  • El resultado de los robots: Nadie de los 34 robots logró imitar esto bien. Todos fallaron. Se comportaron como si el tamaño del objeto cambiara la intensidad del color, algo que el ojo humano no hace. Fue como si todos los robots tuvieran un "ceguera" específica para este truco.

3. La conclusión: ¿Qué aprendimos?

El estudio nos dice que:

1. Los robots modernos (IA) son muy inteligentes: Han aprendido a imitar cómo nuestro ojo ignora los defectos cuando hay mucho "ruido" en la imagen, algo que los métricos antiguos no sabían hacer.
2. Los clásicos tienen vicios: Algunos métricos populares (como el SSIM original) son obsesivos con los detalles finos y nos dicen que una imagen es mala solo porque tiene un poco de grano, aunque a nosotros no nos moleste.
3. Aún les falta madurez: Ningún robot actual entiende perfectamente cómo nuestro ojo percibe los colores y brillos cuando son muy intensos.

En resumen:
Los autores crearon un "examen de realidad" para los métricos de calidad. No se trata solo de ver si el robot da la misma nota que un humano, sino de ver si el robot piensa como un humano. Descubrieron que, aunque algunos robots han aprendido a "pensar" como nosotros en ciertas situaciones (como ignorar el ruido), todavía tienen mucho que aprender para ver el mundo tal como lo vemos nosotros.

¡Y lo mejor! Prometen liberar el código de estos exámenes para que cualquiera pueda poner a prueba sus propios algoritmos en el futuro.

Resumen técnico

Resumen Técnico: Evaluación de Métricas de Calidad mediante Mediciones Psicofísicas de la Visión de Bajo Nivel

1. Planteamiento del Problema

Las métricas objetivas de calidad de imagen y video (como PSNR, SSIM, LPIPS y VMAF) son fundamentales para la investigación de la Experiencia de Usuario (QoE) y la optimización de sistemas de compresión. Actualmente, la metodología estándar para evaluar estas métricas se basa en calcular la correlación con puntuaciones subjetivas (como MOS o JOD).

Sin embargo, los autores identifican varias limitaciones en este enfoque:

• Falta de interpretabilidad: Las métricas basadas en correlación no explican por qué una métrica falla o tiene éxito, ni revelan qué características de la visión humana están capturando.
• Ruido experimental: Los resultados subjetivos varían debido a la variabilidad del observador, el ruido experimental y las diferencias en los protocolos de prueba.
• Desconexión con modelos visuales: Pocos métricas incorporan explícitamente modelos de percepción humana. La mayoría se basan en fórmulas hechas a mano o en entrenamiento de datos, sin garantizar que respeten principios fundamentales de la visión de bajo nivel (como la sensibilidad al contraste o el enmascaramiento).

2. Metodología Propuesta

El artículo introduce un marco de evaluación que utiliza estímulos psicofísicos controlados para caracterizar el comportamiento de las métricas, imitando experimentos clásicos de visión humana. En lugar de depender solo de imágenes naturales, se utilizan patrones sintéticos (como parches Gabor, ruido y modulaciones temporales) para aislar propiedades específicas de la visión.

El marco se divide en dos categorías principales de pruebas:

A. Pruebas de Detección (Umbral)
El objetivo es determinar la capacidad de la métrica para detectar patrones de bajo contraste en diferentes condiciones, comparando sus respuestas con modelos de sensibilidad humana (como la Función de Sensibilidad al Contraste - CSF).

• Detección de Contraste: Se mide la capacidad de detectar parches Gabor sobre un fondo uniforme en función de la frecuencia espacial. Se compara con la curva CSF (función de banda pasante).
• Enmascaramiento de Contraste: Se evalúa cómo un "enmascarador" (ruido o rejilla sinusoidal) afecta la detección de un estímulo de prueba. Se prueban fases coherentes (que causan facilitación o efecto "dip") e incoherentes.
• Detección de Parpadeo (Flicker): Se mide la sensibilidad temporal a cambios de luminancia, comparando con la Función de Sensibilidad al Contraste Temporal (TCSF).

B. Pruebas de Igualación de Contraste (Supra-umbral)
Estas pruebas evalúan si la métrica puede predecir que dos estímulos con diferentes características físicas (frecuencia o color) se perciben con la misma magnitud de contraste.

• Igualación en Frecuencias Espaciales: Se busca que la métrica prediga que un contraste alto se percibe igual a través de diferentes frecuencias (constancia del contraste), un fenómeno que ocurre en contrastes altos (supra-umbral).
• Igualación en Direcciones de Color: Se evalúa la capacidad de igualar el contraste percibido en direcciones cromáticas (rojo-verde, amarillo-violeta) frente al acaromático (escala de grises).

Métricas de Evaluación:

• Puntuación de Alineación (Alignment Score): Para pruebas de detección, mide qué tan bien siguen las predicciones de la métrica los umbrales de contraste humanos.
• Error Cuadrático Medio (RMSE): Para pruebas de igualación, mide la precisión de la predicción de contraste en comparación con los datos humanos.

3. Contribuciones Clave

1. Marco de Evaluación Estándarizado: Se propone un conjunto de pruebas reproducibles basadas en principios de visión humana, complementando las evaluaciones subjetivas tradicionales.
2. Evaluación Exhaustiva: Se aplicaron estas pruebas a 34 métricas de calidad existentes, abarcando métricas tradicionales (SSIM, PSNR), basadas en aprendizaje profundo (LPIPS, DISTS), y predictores de diferencia visual (VDP).
3. Descubrimientos sobre el Comportamiento de Métricas: Se revelan patrones ocultos que no son evidentes en las pruebas de correlación estándar, como la incapacidad general de las métricas para modelar la constancia del contraste supra-umbral.
4. Código Abierto: Se anuncia el lanzamiento de un marco de evaluación de código abierto para facilitar la investigación futura.

4. Resultados Principales

El análisis de los 34 métricas arrojó hallazgos significativos:

• Detección de Contraste (CSF):

  • La mayoría de las métricas tradicionales (PSNR, CIEDE2000) no modelan la sensibilidad a la frecuencia espacial.
  • SSIM muestra una respuesta predominantemente de alta frecuencia, sobreponderando distorsiones finas y subestimando frecuencias medias (donde la visión humana es más sensible).
  • MS-SSIM mitiga esto parcialmente gracias a su formulación multi-escala, acercándose más a una respuesta de banda pasante.
  • ColorVideoVDP es la que mejor se alinea con la CSF humana, ya que se construye explícitamente sobre el modelo castleCSF.

• Enmascaramiento de Contraste:

  • Métricas como LPIPS (basado en VGG/AlexNet) y DISTS muestran un comportamiento sofisticado, capturando tanto el aumento del enmascaramiento a altos contrastes como la reducción del mismo a bajos contrastes.
  • Curiosamente, las métricas basadas en transformadores (como AHIQ y TOPIQ) fallan en modelar el enmascaramiento cerca del umbral, mostrando una disminución anómala en la calidad predicha a bajos contrastes.
  • VMAF solo modela el enmascaramiento en contrastes supra-umbral, ignorando los efectos de facilitación cerca del umbral.

• Detección de Parpadeo (Temporal):

  • La mayoría de las métricas de video fallan en predecir la sensibilidad al parpadeo (pico de sensibilidad a 8 Hz).
  • Solo FovVideoVDP y ColorVideoVDP logran predecir correctamente la sensibilidad temporal, probablemente porque incorporan modelos de visión humana explícitos en su diseño.

• Igualación de Contraste (Supra-umbral):

  • Fallo General: Ninguna de las métricas probadas logró predecir correctamente la constancia del contraste (el "aplanamiento" de la percepción de contraste a valores altos).
  • Las métricas que usan filtros de baja o banda pasante (como FLIP o ColorVideoVDP) mantienen líneas de igualación paralelas sin aplanarse, fallando en capturar la percepción humana a altos contrastes.
  • Las métricas basadas en diferencias de color (CIEDE2000) subestiman las diferencias de color en contrastes grandes, ya que fueron calibradas para diferencias pequeñas (cercanas al umbral).

5. Significado e Impacto

Este trabajo es fundamental porque cambia el paradigma de evaluación de métricas de calidad:

• Diagnóstico Profundo: Permite a los investigadores y desarrolladores entender las fortalezas y debilidades intrínsecas de una métrica más allá de su puntuación de correlación con MOS.
• Guía para el Desarrollo Futuro: Sugiere que las métricas basadas en aprendizaje profundo (como LPIPS) han aprendido implícitamente características de enmascaramiento, pero aún carecen de modelos robustos para la constancia del contraste y la visión temporal.
• Validación de Modelos: Proporciona una herramienta para verificar si las nuevas métricas (especialmente las basadas en IA) realmente incorporan principios de visión humana o si simplemente están sobreajustando a datasets de imágenes naturales.

En conclusión, el paper demuestra que las pruebas psicofísicas controladas son esenciales para revelar propiedades de las métricas de calidad que las evaluaciones estándar no pueden detectar, ofreciendo una ruta clara para mejorar la alineación entre los algoritmos objetivos y la percepción humana real.