Resumen Técnico: Embeddings de Degradación de Imagen Espacialmente Localizados para la Evaluación de la Calidad de la Imagen (SLIDE-IQA)

Declaración del Problema

La Evaluación de la Calidad de la Imagen sin Referencia (NR-IQA) es crítica para evaluar la calidad visual en los flujos de trabajo modernos, particularmente a medida que las tecnologías de imagen se desplazan hacia la compresión de regiones de interés (RoI), el renderizado foveado y la IA Generativa. Estos avances introducen distorsiones que suelen ser no uniformes y espacialmente localizadas en lugar de globales en toda la imagen.

Los modelos actuales de NR-IQA de vanguardia dependen fuertemente del Aprendizaje Auto-Supervisado (SSL) utilizando objetivos de contraste. Sin embargo, estos canales estándar de SSL aplican distorsiones sintéticas de manera uniforme en todo el campo de la imagen. Los autores identifican un "punto ciego" representacional en estos modelos: debido a que han sido preentrenados exclusivamente con degradaciones aplicadas globalmente, carecen de sensibilidad ante degradaciones espacialmente delimitadas y coocurrentes. Los benchmarks estándar (p. ej., KonIQ, FLIVE) conllevan errores globales y localizados dentro de un único Puntaje de Opinión Media (MOS), lo que hace empíricamente difícil aislar y medir la sensibilidad específica de un codificador hacia la varianza espacial.

Metodología

1. Sondeo Diagnóstico de la Sensibilidad Espacial

Para validar empíricamente la existencia de este punto ciego, los autores construyeron un banco de pruebas diagnósticas controlado utilizando 140K imágenes prístinas del conjunto de datos KADIS-700K. Evaluaron cuatro codificadores SSL de vanguardia (CONTRIQUE, ReIQA, ARNIQA, TRIQA) mediante sondeo lineal.

• Diseño Experimental: El estudio aisló las variables espaciales creando conjuntos de evaluación con:
  • Distorsiones globales (aplicación uniforme).
  • Distorsiones locales (aplicadas a máscaras que cubren el 25–50% o 50–75% de la imagen).
  • Distorsiones coocurrentes (múltiples máscaras).
• Hallazgos: Los modelos entrenados únicamente con distorsiones globales mostraron caídas significativas de precisión (hasta 70–80 puntos absolutos) al detectar distorsiones localizadas, confirmando que el preentrenamiento global no se generaliza a artefactos espacialmente delimitados.

2. Marco de Trabajo SLIDE-IQA

Para abordar esta limitación, los autores proponen SLIDE-IQA (Embeddings de Degradación de Imagen Espacialmente Localizados para la Evaluación de la Calidad de la Imagen), un marco de Vision Transformer de doble rama.

• Arquitectura de Doble Rama:

  • Rama Semántica: Utiliza un codificador DINOv3 preentrenado para extraer características conscientes del contenido.
  • Rama Perceptual: Un codificador personalizado entrenado para aislar las características de la degradación, explícitamente desvinculadas del contenido semántico.

• Motor de Degradación con Conciencia Espacial:
  A diferencia de los canales estándar, este motor genera máscaras regionales espacialmente delimitadas. Clasifica las distorsiones en:

  • Estrictamente Globales: (p. ej., compresión JPEG, ruido del sensor) aplicadas uniformemente.
  • Localizables: (p. ej., desenfoque, cambios de saturación) aplicadas ya sea globalmente o estrictamente dentro de cajas delimitadoras espaciales muestreadas estocásticamente.

• Mecanismo de Exclusión Limitado por Umbral (TBEM):
  Para manejar los conflictos estructurales derivados de las distorsiones localizadas en el aprendizaje de contraste, los autores introducen un nuevo objetivo de preentrenamiento basado en MoCo v3.

  • Construcción de Triplet: Una imagen ancla se empareja con una positiva (mismo tipo de degradación, diferente contenido/ubicación) y una negativa (diferente tipo de degradación).
  • Resolución de Conflicto Estructural: Cuando múltiples muestras comparten la misma clase de degradación pero tienen proporciones de máscara espacial muy diferentes, tratarlas como negativas penaliza al modelo por reconocer la misma distorsión, mientras que tratarlas como positivas lo obliga a ignorar la escala espacial.
  • Solución: Se aplica un umbral geométrico ($\gamma$). Las muestras con la misma clase de degradación pero con una varianza espacial que excede $\gamma$ se colocan en un Conjunto Ignorado ($V(i)$), excluyéndolas completamente del cálculo de la pérdida de contraste. Esto asegura que el espacio latente respete tanto el tipo de degradación como la escala espacial sin confundirlos.

• Predicción: Para las tareas de NR-IQA descendentes, los pesos de ambos codificadores se mantienen congelados. Se entrena un regresor lineal sobre las características concatenadas de ambas ramas para predecir el MOS.

Contribuciones Clave

1. Exposición Empírica de un Punto Ciego: Los autores demuestran, mediante sondeo lineal, que los codificadores SSL de NR-IQA existentes, entrenados exclusivamente con distorsiones globales, fallan al capturar degradaciones localizadas y coocurrentes.
2. Marco SLIDE-IQA: Un novedoso marco auto-supervisado de doble rama que desvincula explícitamente las representaciones semánticas y perceptuales mediante la incorporación de degradaciones espacialmente delimitadas en el procedimiento de preentrenamiento.
3. Mecanismo de Exclusión Limitado por Umbral (TBEM): Una elección de diseño representacional que resuelve los conflictos estructurales en el aprendizaje de contraste, permitiendo al modelo aprender representaciones espaciales robustas sin confundir diferentes escalas de una misma degradación.
4. Éxito de Preentrenamiento Únicamente Sintético: Los autores muestran que el preentrenamiento estrictamente con datos sintéticos con delimitación espacial explícita mejora significativamente la sensibilidad a las distorsiones localizadas, manteniendo un rendimiento competitivo en los benchmarks estándar.

Resultados Experimentales

• Desempeño del Banco de Pruebas Diagnóstico: En el banco de pruebas diagnóstico personalizado, SLIDE-IQA-Q (la rama perceptual) superó significativamente a los codificadores SSL existentes en la detección de distorsiones localizadas. Por ejemplo, en distorsiones locales con máscaras del 25–50%, SLIDE-IQA-Q logró una precisión del 18.1% frente al 8.3–14.7% de otros modelos bajo entrenamiento solo global.
• Benchmarks Estándar: Evaluado en ocho benchmarks de NR-IQA estándar (cuatro auténticos, cuatro sintéticos):
  • SLIDE-IQA logró un desempeño competitivo o superior en conjuntos de datos auténticos (p. ej., KonIQ, FLIVE) a pesar de haber sido entrenado solo con datos sintéticos, a diferencia de otros métodos SSL que preentrenan con Contenido Generado por el Usuario (UGC) auténtico.
  • Demostró un desempeño superior en conjuntos de datos sintéticos (p. ej., TID-2013, KADID).
  • El enfoque de doble rama mostró fortalezas complementarias: la rama de calidad destacó en datos sintéticos, mientras que la rama semántica funcionó mejor en distorsiones auténticas complejas.
• Alineación de Representación: El análisis de similitud de coseno contra VIF (una métrica de referencia completa sensible a artefactos locales) mostró que SLIDE-IQA-Q mantuvo la correlación más alta con las degradaciones localizadas, validando su sensibilidad espacial.
• Análisis Cualitativo: Las visualizaciones de t-SNE revelaron que, mientras que los métodos previos fallaban en agrupar las degradaciones localizadas de forma distinta, SLIDE-IQA-Q preservaba el agrupamiento específico de la degradación incluso para artefactos espacialmente delimitados.

Significado y Reivindicaciones

El artículo afirma que SLIDE-IQA cierra una brecha crítica en las metodologías actuales de NR-IQA al ir más allá de la suposición de homogeneidad espacial global. Al modelar explícitamente las degradaciones espacialmente delimitadas y resolver los conflictos estructurales asociados en el espacio latente, el marco logra una representación más robusta de la calidad de imagen del mundo real.

Los autores enfatizan que su enfoque es totalmente auto-supervisado, eliminando la dependencia de los costosos puntajes de opinión media (MOS) anotados por humanos requeridos por otros intentos recientes (como la destilación de conocimiento desde profesores supervisados). El trabajo demuestra que el preentrenamiento únicamente sintético, cuando se diseña con conciencia espacial, puede generalizarse eficazmente a las complejas distorsiones auténticas encontradas "en la naturaleza".

Limitaciones Reconocidas: Los autores señalan que su banco de pruebas diagnósticas depende de un conjunto limitado de degradaciones sintéticas y no captura plenamente la diversidad de las distorsiones de UGC del mundo real o la interacción entre texturas y degradaciones. Se sugiere como trabajo futuro explorar patrones de degradación más amplios e interacciones de texturas.