Revisiting Vision Language Foundations for No-Reference Image Quality Assessment

1. El Problema

La Evaluación de Calidad de Imagen Sin Referencia (NR-IQA, por sus siglas en inglés) busca estimar la calidad perceptual de una imagen sin tener acceso a una versión original "perfecta". Este es un desafío crítico para la fotografía de consumo, el streaming de video y, cada vez más, para el contenido generado por IA (AIGC), donde no existe una referencia de ground truth.

A pesar de los avances recientes en modelos fundacionales de visión y lenguaje (VL) como CLIP, su aplicación a la NR-IQA ha sido limitada y poco explorada sistemáticamente. La mayoría de los estudios anteriores se centran en un solo backbone (generalmente CLIP) o utilizan pipelines de difusión que son computacionalmente costosos. Además, existe una falta de comprensión sobre cómo la elección del modelo base y, crucialmente, la función de activación en la cabecera de predicción (head), afectan el rendimiento y la generalización.

2. Metodología

Los autores proponen un enfoque sistemático que combina la evaluación de backbones de visión con una innovación arquitectónica en la cabecera de predicción.

A. Evaluación de Backbones (Modelos Fundacionales)

Realizaron la primera comparación "cabeza a cabeza" de seis modelos pre-entrenados prominentes, todos ajustados finamente (fine-tuned) con la misma configuración:

1. CLIP (ViT-L/14)
2. SigLIP2 (SO400M)
3. DINOv2 (ViT-Large)
4. DINOv3 (ViT-H/16)
5. Perception (ViT-L14-336)
6. ResNet-152

Configuración de Entrenamiento:

• Adaptador: Todos los backbones se ajustaron utilizando LoRA (Low-Rank Adaptation) con rango 4 en las proyecciones de query y key, manteniendo el backbone principal congelado o parcialmente adaptable de manera eficiente.
• Cabeza (Head): Un MLP ligero de tres capas (d → 512 → 512 → 1).
• Función de Pérdida: Combinación de Error Cuadrático Medio (MSE) y una pérdida de clasificación por pares (Margin Ranking Loss) para fomentar la consistencia ordinal.
• Datos: Se evaluaron en 7 conjuntos de datos públicos (CLIVE, KonIQ10K, KADID10K, FLIVE, SPAQ, AGIQA1K, AGIQA3K) que cubren distorsiones naturales, sintéticas y contenido generado por IA.

B. Innovación en Funciones de Activación

El hallazgo central del estudio es que la función de activación en la primera capa del MLP es decisiva.

• Observación: Contrario a la intuición común que favorece ReLU o GELU, una función Sigmoid en la primera capa demostró mejorar significativamente la generalización, especialmente en conjuntos de datos pequeños y con ruido (MOS).
• Hipótesis: La Sigmoid suprime las características de alta magnitud (que a menudo corresponden a semántica fuerte como objetos o caras) y fuerza al modelo a prestar atención a características de respuesta media, que suelen contener las señales sutiles de degradación de calidad (artefactos, ruido, desenfoque).
• Solución Propuesta: Activación Puerta (Gated Activation):
  Para evitar el problema de los gradientes que desaparecen en grandes conjuntos de datos (donde la Sigmoid pura falla), proponen un mecanismo de activación adaptable y aprendible:
  $$y = \sigma(g) \odot (\gamma \odot \sigma(\alpha \odot x + \beta)) + (1 - \sigma(g)) \odot \text{LReLU}_a(x)$$
  Donde el modelo aprende dinámicamente un peso de puerta ($g$) por canal para mezclar la rama Sigmoid (robusta a ruido, buena para datos pequeños) y la rama LeakyReLU (estable para grandes volúmenes de datos).

3. Contribuciones Clave

1. Evaluación Unificada: Primer estudio sistemático comparando 6 modelos fundacionales para NR-IQA, revelando que SigLIP2 es el backbone superior, superando a CLIP y DINOv2 gracias a su pre-entrenamiento contrastivo visión-lenguaje.
2. Descubrimiento de la Activación Sigmoid: Demostraron que reemplazar la primera activación LeakyReLU por Sigmoid mejora el rendimiento en datasets pequeños (hasta +3 puntos SRCC) y mejora la generalización cruzada entre datasets.
3. Mecanismo de Selección de Activación Aprendible: Propusieron una "Gated Activation" que adapta la no-linealidad por canal, logrando el mejor de ambos mundos: la robustez de la Sigmoid en datos escasos y la estabilidad de LeakyReLU en datos abundantes.
4. Nuevos Estándares de Estado del Arte (SOTA): El método propuesto establece nuevos récords en correlación de rango de Spearman (SRCC) en CLIVE, KADID10K y AGIQA3K, superando a métodos basados en difusión (como LGDM) en eficiencia y rendimiento en transferencia cruzada.

4. Resultados Principales

• Rendimiento del Backbone: SigLIP2-SO400M superó consistentemente a los demás backbones. Esto sugiere que el pre-entrenamiento contrastivo imagen-texto alinea mejor las representaciones visuales con conceptos semánticos de alta nivel, lo cual es crucial para juzgar la calidad perceptual en imágenes del mundo real.
• Impacto de la Activación:
  • En datasets pequeños (ej. CLIVE), la configuración Sigmoid + LeakyReLU superó a las variantes con GELU o ReLU.
  • La Activación Puerta (Gated) mantuvo un alto rendimiento tanto en datasets pequeños como grandes, mientras que la Sigmoid pura degradaba su rendimiento en datasets grandes (como SPAQ) debido a la saturación.
• Comparación con SOTA:
  • En la tabla de comparación (Tabla 5), sus variantes MLP superaron a métodos no basados en difusión anteriores (como MUSIQ, HyperIQA, LoDA).
  • En comparación con métodos basados en difusión (LGDM, DP-IQA), su método de inferencia de un solo paso (single-step) igualó o superó el rendimiento en la mayoría de los benchmarks y mostró una generalización superior en pruebas de transferencia cruzada (entrenar en un dataset, probar en otro).
• Visualización (Grad-CAM y t-SNE): Las visualizaciones mostraron que la cabeza con Sigmoid produce una separación más clara de los "buckets" de calidad en el espacio de características y se enfoca más en artefactos sutiles (como desenfoque facial) en lugar de solo en estructuras semánticas fuertes.

5. Significado e Impacto

Este trabajo es fundamental para el campo de la NR-IQA por varias razones:

• Eficiencia de Recursos: Demuestra que no es necesario utilizar pipelines de difusión pesados y costosos para lograr un rendimiento de vanguardia. Un encoder SigLIP2 con una cabeza MLP ligera y bien diseñada es suficiente.
• Replanteamiento del Diseño: Cuestiona el uso dogmático de funciones de activación como ReLU/GELU en tareas de regresión perceptual, mostrando que la saturación controlada (Sigmoid) puede ser beneficiosa para regularizar el aprendizaje frente a etiquetas de calidad ruidosas.
• Generalización: El mecanismo de activación puerta ofrece una solución robusta para escenarios de datos variables, haciendo que los modelos sean más aplicables en entornos reales donde la cantidad de datos etiquetados puede variar drásticamente.
• Línea Base Fuerte: Establece una nueva línea base eficiente y reproducible para futuras investigaciones en evaluación de calidad de imagen, priorizando la selección inteligente del backbone y la arquitectura de la cabecera sobre la complejidad del entrenamiento.

En resumen, el artículo demuestra que la combinación de un backbone de visión-lenguaje robusto (SigLIP2) y un diseño de cabecera que adapta dinámicamente su no-linealidad (Gated Activation) es la ruta más eficiente y efectiva para la evaluación de calidad de imagen sin referencia en la actualidad.