Vision-Language Models vs Human: Perceptual Image Quality Assessment

Título: Modelos Visión-Lenguaje vs. Humanos: Evaluación de la Calidad de Imagen Perceptiva

1. El Problema

La evaluación de la calidad de imagen (IQ) perceptiva es un desafío central en la imagen computacional. Aunque existen métricas automatizadas, la evaluación psicosfísica con observadores humanos sigue siendo el método más fiable, pero es costosa, lenta y difícil de escalar. Recientemente, los Modelos Visión-Lenguaje (VLMs) han avanzado significativamente en la comprensión de contenido visual, generando la pregunta de si pueden aproximar los juicios perceptivos humanos para tareas de IQA (Image Quality Assessment). Sin embargo, la capacidad de los VLMs para capturar señales perceptuales sutiles (como el contraste y la coloridad) y sus condiciones de fallo en este dominio específico permanecen poco exploradas.

2. Metodología

Los autores realizaron una evaluación sistemática comparando seis VLMs (cuatro propietarios y dos de pesos abiertos) con datos psicosfísicos de referencia.

• Dataset: Se utilizó un conjunto de datos basado en un experimento psicosfísico previo que evaluó 70 imágenes generadas a partir de 10 imágenes HDR y 7 operadores de mapeo de tonos (TMO).
• Atributos Evaluados: Se analizaron tres escalas perceptivas: Contraste, Coloridad (Colorfulness) y Preferencia General.
• Protocolo Experimental:
  • Humanos: 20 observadores realizaron comparaciones pareadas en un entorno controlado, seleccionando la imagen superior en cada atributo. Los datos se convirtieron en puntuaciones z estandarizadas usando la Ley de Juicio Comparativo de Thurstone.
  • VLMs: Se evaluaron seis modelos: Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.2, xAI Grok-4.1, InternVL-3.5-38B y Qwen3-VL-32B.
  • Prompting: Se diseñó un marco de prompts estructurado con un paradigma de elección forzada (parejas de imágenes A vs. B) para solicitar selecciones y justificaciones para los tres atributos. Cada par se evaluó tres veces por modelo para medir la consistencia.
• Análisis: Se compararon los resultados mediante:
  1. Consistencia Intra-modelo: Variabilidad de las respuestas del mismo modelo en evaluaciones repetidas.
  2. Acuerdo Inter-modelo: Variabilidad entre diferentes VLMs.
  3. Alineación Humano-VLM: Correlación de Spearman ($\rho$) entre las puntuaciones estandarizadas de los modelos y las humanas.
  4. Análisis de Ponderación: Regresión lineal para determinar cómo los modelos ponderan el contraste y la coloridad al evaluar la preferencia general.
  5. Separabilidad Perceptiva: Análisis de cómo el acuerdo varía según la dificultad de distinguir las imágenes en un escenario dado.

3. Contribuciones Clave

1. Primer Benchmark Sistemático: Se presenta la primera comparación exhaustiva de seis VLMs de última generación contra datos psicosfísicos establecidos para IQA.
2. Variabilidad Dependiente del Atributo: Se demuestra que el rendimiento de los VLMs no es uniforme; los modelos que se alinean bien con los humanos en un atributo (ej. coloridad) pueden fallar en otro (ej. contraste).
3. Compensación Consistencia-Alineación: Se identifica una compensación contraintuitiva: los modelos con mayor consistencia interna (baja variabilidad) no son necesariamente los más alineados con la percepción humana.
4. Análisis de Separabilidad: Se evidencia que la fiabilidad de los VLMs aumenta significativamente cuando las diferencias perceptuales entre las imágenes son claras.

4. Resultados Principales

• Rendimiento por Atributo:
  • Coloridad: Claude y Qwen lograron la mayor alineación con humanos ($\rho = 0.93$), seguidos por Intern ($\rho = 0.92$).
  • Contraste: Qwen ($\rho = 0.86$) y Gemini ($\rho = 0.79$) mostraron el mejor rendimiento. Intern tuvo un rendimiento muy pobre ($\rho = 0.18$).
  • Preferencia General: GPT obtuvo la mejor alineación global ($\rho = 0.86$) y predijo correctamente el modelo de renderizado superior (Top-1).
• Consistencia vs. Alineación Humana:
  • Claude mostró la mayor consistencia interna (variabilidad < 2%), pero solo una alineación moderada con humanos en contraste ($\rho = 0.54$).
  • GPT, aunque más variable internamente (4-9%), logró la mejor alineación humana. Esto sugiere que cierta variabilidad en la respuesta del modelo puede reflejar mejor la dependencia contextual de la percepción humana.
• Ponderación de Atributos:
  • La mayoría de los VLMs, al igual que los humanos, asignan un peso mayor a la coloridad que al contraste al determinar la preferencia general.
  • Grok se desvió significativamente, dependiendo casi exclusivamente del contraste.
  • GPT mostró un equilibrio más equilibrado, similar a la estrategia humana.
• Separabilidad Perceptiva:
  • El acuerdo entre humanos y VLMs aumenta a medida que aumenta la separabilidad perceptiva (cuando las diferencias entre imágenes son obvias).
  • En escenarios de baja separabilidad (diferencias sutiles), el acuerdo cae drásticamente, y algunos modelos incluso muestran correlaciones negativas, indicando que utilizan señales perceptivas diferentes a las humanas en casos ambiguos.

5. Significado e Implicaciones

• Validación de Algoritmos: Los VLMs son herramientas prometedoras para la prueba de hipótesis rápida y el filtrado inicial de algoritmos de procesamiento de imágenes, especialmente cuando las diferencias entre imágenes son notables.
• Limitaciones Críticas: Ningún VLM actual puede sustituir completamente a los experimentos psicosfísicos para evaluaciones rigurosas, especialmente en la distinción de diferencias perceptuales finas o en la predicción del "Top-1" en atributos específicos.
• Evaluación Multidimensional: Es crucial no confiar en una puntuación agregada única. Dado que el rendimiento varía drásticamente según el atributo (contraste vs. coloridad), las evaluaciones deben ser específicas por atributo.
• Contexto de la Escena: La fiabilidad de los VLMs depende del contexto visual; son más confiables cuando las diferencias perceptuales son claras.
• Futuro: Se sugiere que enfoques de ensamblaje (ensemble) o el ajuste fino (fine-tuning) de VLMs con datos psicosfísicos podrían cerrar la brecha con el juicio humano.

En conclusión, el estudio establece que, aunque los VLMs han avanzado hacia la comprensión perceptiva humana, su comportamiento es altamente dependiente del atributo y del contexto, requiriendo una validación cuidadosa antes de su implementación en flujos de trabajo de evaluación de calidad de imagen.