Understanding Pure Textual Reasoning for Blind Image Quality Assessment

1. El Problema

La Evaluación de Calidad de Imagen Ciega (BIQA, por sus siglas en inglés) tradicionalmente se ha centrado en predecir puntuaciones de calidad basándose únicamente en características visuales. Con el auge de los Modelos de Lenguaje Multimodales (MLLM), se ha intentado incorporar el razonamiento textual para hacer estos sistemas más interpretables.

Sin embargo, surgen dos interrogantes críticas que este trabajo aborda:

• ¿Cuánto contribuye realmente el texto generado a la predicción de la calidad? Estudios previos sugieren que los modelos podrían estar "saltándose" el paso de razonamiento textual y prediciendo la puntuación directamente a partir de la imagen, usando el texto solo como una explicación superficial.
• ¿Hasta qué punto el texto puede representar el contenido de la imagen relacionado con la calidad? Existe una brecha significativa (gap) entre el rendimiento de los modelos cuando se les da la imagen completa frente a cuando solo se les da el texto generado (razonamiento).

El objetivo es entender el flujo de información entre imagen, texto y puntuación, y determinar cómo cerrar la brecha de rendimiento entre la predicción basada en imágenes y la basada en texto.

2. Metodología

Los autores proponen un enfoque desde la perspectiva del flujo de información, comparando modelos existentes con tres paradigmas de entrenamiento diseñados para aprender la relación imagen-texto-puntuación. Todos utilizan un backbone MLLM (Qwen-VL-2.5-7B) y se entrenan mediante optimización de políticas relativas a grupos (GRPO) con recompensas auto-supervisadas.

Los tres paradigmas estudiados son:

• a) Paradigma de Cadena de Pensamiento (Chain-of-Thought - CoT):

  • Flujo: Imagen $\rightarrow$ Texto (Razonamiento) $\rightarrow$ Puntuación.
  • Mecanismo: El modelo genera $N$ trazas de razonamiento a partir de la imagen. Cada traza genera $M$ predicciones de puntuación. Se utiliza una función de recompensa basada en la diferencia absoluta con la puntuación real (MOS) para optimizar la probabilidad de generar trazas útiles.
  • Hipótesis: El texto generado debe contener toda la información necesaria para predecir la calidad.

• b) Paradigma de Autoconsistencia (Self-Consistency):

  • Flujo: Paso 1: Imagen $\rightarrow$ (Texto + Puntuación). Paso 2: Texto $\rightarrow$ Puntuación.
  • Mecanismo: En la primera pasada, el modelo genera una descripción y una puntuación basándose en la imagen. En la segunda pasada, el modelo intenta predecir la puntuación únicamente a partir del texto generado en la primera pasada.
  • Objetivo: Forzar al modelo a que el texto generado sea lo suficientemente rico y consistente para predecir la calidad por sí mismo, alineando el razonamiento interno con la explicación textual.

• c) Paradigma tipo Autoencoder:

  • Flujo: Paso 1: (Imagen + Puntuación Real) $\rightarrow$ Texto. Paso 2: Texto $\rightarrow$ Puntuación.
  • Mecanismo: En el entrenamiento, se proporciona la puntuación real junto con la imagen para generar una explicación textual que la justifique. Luego, el modelo debe predecir la puntuación solo a partir de ese texto.
  • Objetivo: Explorar cómo la supervisión explícita de la calidad moldea las explicaciones textuales para que sean predictivas.

3. Contribuciones Clave

1. Evaluación Sistemática de Paradigmas: Proporcionan una línea base estructurada para estudiar el razonamiento textual en BIQA, demostrando que no todos los enfoques de "razonamiento" son efectivos para transferir información de calidad al texto.
2. Análisis de la Brecha Imagen-Texto: Cuantifican la diferencia de rendimiento (PLCC/SRCC) entre la predicción basada en imágenes y la basada en texto, identificando qué paradigmas logran cerrar esta brecha.
3. Análisis de Atención a Nivel de Token: Revelan cómo diferentes estrategias de entrenamiento cambian qué palabras (tokens) el modelo prioriza.
   • CoT: Se enfoca en términos visuales genéricos ("enfoque", "claro").
   • Autoconsistencia: Se enfoca en palabras relacionadas directamente con la puntuación ("bueno", "moderado", "promedio").
   • Autoencoder: Se enfoca en pistas de calidad naturales ("borroso", "enfoque", "composición").
4. Robustez ante Eliminación de Palabras: Demuestran que incluso al eliminar palabras explícitas de calidad (como "bueno" o "malo"), los modelos entrenados con paradigmas avanzados mantienen un rendimiento alto, indicando que han aprendido a inferir la calidad a través de pistas implícitas y un razonamiento más profundo.

4. Resultados Principales

Los experimentos se realizaron en el conjunto de entrenamiento de KonIQ y se probaron en seis datasets (SPAQ, LIVE-W, KADID, AGIQA, CSIQ, KonIQ test).

• Rendimiento de Predicción (Solo Texto):

  • Cuando se usa solo el texto para la predicción, los modelos existentes (como Q-Insight) sufren una caída drástica de rendimiento.
  • El paradigma CoT ofrece una mejora mínima en el rendimiento de BIQA y no cierra la brecha con la predicción basada en imágenes.
  • El paradigma Autoconsistencia reduce significativamente la brecha entre predicciones basadas en imagen y texto, logrando una diferencia de 0.02/0.03 en PLCC/SRCC. Su rendimiento en modo "solo texto" es comparable a los modelos de aprendizaje profundo tradicionales (sin texto).
  • El paradigma Autoencoder es menos efectivo para cerrar la brecha que el de Autoconsistencia, pero mejora el rendimiento general y fomenta explicaciones más naturales.

• Análisis de Atención:

  • Los modelos de Autoconsistencia aprenden a asignar mayor atención a tokens que indican el nivel de calidad ("good", "moderate"), lo que explica su capacidad para predecir solo con texto.
  • Los modelos Autoencoder aprenden a describir defectos y cualidades visuales ("blurry", "focus"), lo que mejora tanto la predicción basada en imagen como en texto, pero no logra la misma consistencia pura en texto que Autoconsistencia.

• Robustez: Al eliminar las palabras de puntuación directa de los textos generados, la caída de rendimiento es negligible, confirmando que los modelos no están simplemente "memorizando" palabras clave, sino razonando sobre la calidad.

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de sistemas de visión por computadora interpretables:

• Validación del Razonamiento: Demuestra que simplemente generar texto no garantiza un razonamiento real. Se necesitan paradigmas de entrenamiento específicos (como la Autoconsistencia) para forzar al modelo a internalizar la relación entre la descripción visual y la calidad.
• Mejora de la Interpretabilidad: Proporciona una ruta para crear sistemas BIQA que no solo den una puntuación, sino que ofrezcan explicaciones textuales que sean intrínsecamente predictivas de la calidad, no meras justificaciones posteriores.
• Generalización: El marco propuesto es aplicable a otras tareas de visión donde faltan anotaciones de razonamiento intermedio, ofreciendo un mecanismo para inducir explicaciones textuales específicas de la tarea y más fiables.
• Dirección Futura: Sugiere que la integración de pistas perceptuales con explicaciones textuales debe ir más allá de la simple generación de texto, requiriendo un alineamiento estricto entre la representación textual y la tarea de regresión de calidad.

En resumen, el paper concluye que el paradigma de Autoconsistencia es el más efectivo para cerrar la brecha imagen-texto en BIQA, permitiendo que el texto por sí solo capture la información de calidad necesaria, mientras que el enfoque de CoT tradicional es insuficiente para este propósito.