Scale Contrastive Learning with Selective Attentions for Blind Image Quality Assessment

Título: Aprendizaje Contrastivo de Escala con Atenciones Selectivas para la Evaluación Ciega de Calidad de Imágenes (CSFIQA)

1. El Problema

La Evaluación Ciega de Calidad de Imágenes (BIQA) busca modelar la capacidad del sistema visual humano para percibir la calidad. Sin embargo, los algoritmos actuales enfrentan dos desafíos fundamentales que generan una brecha significativa entre la evaluación algorítmica y la percepción humana:

• Ilusiones Visuales (Visual Illusions): La percepción de la calidad varía drásticamente según la escala de la imagen. Lo que parece degradado en una vista cercana (escala grande) puede parecer aceptable en una vista lejana (escala pequeña), y viceversa (ej. artefactos de compresión vs. sobreexposición global). Los métodos actuales asumen erróneamente que la calidad es consistente a través de las escalas. Al fusionar características de múltiples escalas sin discriminación, los algoritmos generan representaciones engañosas donde señales de alta y baja calidad se neutralizan mutuamente, creando una "ilusión visual" de calidad uniforme.
• Dilución de Información: A diferencia de la visión humana, que filtra información redundante, los métodos multi-escala actuales procesan indiscriminadamente toda la información cruzada entre escalas. Esto provoca que las características críticas de calidad (artefactos sutiles) sean enmascaradas por contenido semántico redundante compartido entre escalas, reduciendo la sensibilidad del modelo.

2. Metodología: Framework CSFIQA

Los autores proponen CSFIQA (Contrast-Constrained Scale-Focused Image Quality Assessment), un marco novedoso diseñado para modelar con precisión la percepción de calidad dependiente de la escala. La arquitectura se basa en un codificador Transformer (CrossViT) con dos ramas (pequeña y grande escala) e integra tres módulos principales:

• A. Aprendizaje Contrastivo de Escala (SCL - Scale Contrastive Learning):

  • Diseñado para resolver el problema de las "ilusiones visuales".
  • Implementa aprendizaje contrastivo intra-escala (dentro de la misma escala) e inter-escala (entre diferentes escalas).
  • Utiliza la similitud del Mean Opinion Score (MOS) para seleccionar pares positivos (calidad similar) y negativos (calidad distinta), empujando las representaciones de imágenes de calidad diferente y acercando las de calidad similar, independientemente de la escala.

• B. Emparejamiento de Muestras de Ruido (NSM - Noise Sample Matching):

  • Un mecanismo adaptativo que identifica regiones dentro de la misma imagen que presentan información de calidad inconsistente entre escalas.
  • Calcula la similitud entre parches de escala pequeña y sus regiones vecinas de escala grande. Si la información de calidad es contradictoria (ej. un parche pequeño muestra un defecto que no es visible en la vista global), se trata como una muestra negativa para forzar al modelo a distinguir estas variaciones sutiles en lugar de promediarlas.

• C. Atención de Enfoque Selectivo (SFA - Selective Focus Attention):

  • Diseñado para resolver el problema de la "dilución de información".
  • Selector de Filtrado Adaptativo (AFS): Aplica una estrategia de filtrado top-k aprendible a las puntuaciones de atención cruzada. Selecciona dinámicamente los pares clave-valor más relevantes y descarta la información redundante (enmascarando el resto con $-\infty$).
  • Módulo Concentrador de Información (ICM): Utiliza un modelo de lenguaje grande (LLM) congelado (Llama-7B) para refinar las características seleccionadas. El LLM actúa como un amplificador de escala, enfocándose en el contenido esencial de calidad y suprimiendo el ruido semántico restante.

3. Contribuciones Clave

1. Identificación del Fenómeno de Ilusión Visual: Demostración empírica y teórica de que la calidad no es invariante a la escala y que la fusión ingenua de características multi-escala lleva a errores de percepción.
2. Mecanismo de Atención Selectiva (SFA): Una nueva arquitectura que imita la atención visual humana al filtrar activamente la información redundante y amplificar las características discriminativas de calidad, utilizando un LLM congelado como concentrador de información.
3. Estrategia de Aprendizaje Contrastivo Adaptativo (SCL + NSM): Un enfoque que modela explícitamente las relaciones de calidad entre escalas y dentro de la misma imagen, utilizando un emparejamiento de muestras de ruido para distinguir variaciones de calidad locales que los métodos tradicionales ignoran.

4. Resultados Experimentales

El modelo fue evaluado en siete conjuntos de datos de referencia (LIVE, CSIQ, TID2013, LIVEC, KonIQ, LIVEFB, SPAQ), cubriendo tanto distorsiones sintéticas como auténticas.

• Rendimiento General: CSFIQA superó consistentemente a los métodos más avanzados (SOTA) en 6 de los 7 conjuntos de datos.
• Mejoras Significativas:
  • Logró una mejora del 8.8% en SRCC (Coeficiente de Correlación de Rango de Spearman) en el conjunto de datos LIVEFB, conocido por sus distorsiones del mundo real complejas.
  • Una mejora del 1.6% en LIVEC.
  • Superó a métodos como DEIQT, LoDa, HyperIQA y QFM-IQM en métricas de PLCC y SRCC.
• Generalización: En pruebas de validación cruzada (entrenar en un dataset, probar en otro sin ajuste fino), CSFIQA obtuvo el mejor rendimiento en todas las configuraciones, demostrando una gran capacidad de generalización.
• Eficiencia: A pesar de tener un mayor número total de parámetros (debido al LLM congelado), el número de parámetros entrenables es bajo (31M). El mecanismo de filtrado (AFS) reduce significativamente el tiempo de entrenamiento en comparación con versiones sin filtrado (reducción de ~8000s a ~2700s por época).

5. Significado e Impacto

Este trabajo representa un avance fundamental en la BIQA al abordar la complejidad de la percepción humana multi-escala, un aspecto previamente subestimado.

• Cierre de la Brecha Humano-Máquina: Al modelar explícitamente cómo la calidad percibida cambia con la distancia (escala), el algoritmo se alinea mucho mejor con el juicio humano que los métodos anteriores.
• Nueva Paradigma de Atención: La introducción de mecanismos de atención selectiva que descartan información redundante en lugar de simplemente fusionarla, ofrece una nueva dirección para el diseño de arquitecturas de visión por computadora.
• Aplicabilidad: La superioridad en datasets de distorsiones auténticas (como LIVEFB) sugiere que este método es altamente viable para aplicaciones del mundo real en compresión de imágenes, restauración y generación de contenido, donde las distorsiones son complejas y variables.

En resumen, CSFIQA demuestra que para evaluar la calidad de una imagen correctamente, no basta con verla en múltiples resoluciones; es necesario entender cómo la percepción humana integra (o ignora) ciertas características dependiendo de la escala, y el modelo logra esto mediante un aprendizaje contrastivo inteligente y una atención selectiva rigurosa.