Resumen Técnico: Fusión de Puntuaciones de Evaluación de Calidad de Imagen (IQA) No Supervisada mediante Estimación MAP Profunda

Enunciado del Problema

Los modelos de Evaluación de Calidad de Imagen (IQA) han avanzado significativamente en la predicción de la calidad perceptual, sin embargo, los modelos individuales a menudo exhiben sesgos hacia contenidos de imagen o tipos de distorsión específicos debido a sus filosofías de diseño distintas. Si bien fusionar múltiples modelos IQA es una estrategia intuitiva para aprovechar las fortalezas y mitigar las debilidades, los enfoques existentes enfrentan limitaciones:

• Los métodos empíricos se basan en fórmulas diseñadas a mano con pesos predeterminados, lo que limita la adaptabilidad a nuevos modelos.
• Los métodos de fusión de rangos operan en espacios discretos, lo que conduce a una pérdida de información y a una dependencia de la diversidad del conjunto de datos.
• La fusión basada en aprendizaje supervisado depende de las Puntuaciones de Opinión Media (MOS) como verdad fundamental. Los autores argumentan que esto socava fundamentalmente el objetivo de la generalización, ya que la MOS está intrínsecamente ligada a conjuntos de datos específicos y tipos de distorsión, reintroduciendo los mismos sesgos que la fusión busca evitar.

El desafío central abordado es la fusión de puntuaciones IQA no supervisada: cómo combinar múltiples puntuaciones IQA en una predicción superior sin utilizar la MOS como objetivo de entrenamiento, mientras se estima con precisión la incertidumbre de la predicción de cada modelo a un nivel de granularidad fina.

Metodología

El artículo propone un marco general para la fusión de puntuaciones no supervisada basado en la estimación de Máxima A Posteriori (MAP) profunda. El enfoque modela la relación entre la calidad perceptual latente (MOS, denotada como $z$) y las puntuaciones generadas por $M$ modelos IQA diferentes ($x^j$).

1. Modelo de Observación

El marco asume que una puntuación IQA $x^j_i$ para la imagen $i$ es generada por una función determinista de la calidad latente $z_i$ más dos componentes de ruido independientes:
$$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$$

• $f^j(z_i)$: Una función paramétrica (implementada como una función exponencial) que simula el mapeo desde la calidad latente hacia la puntuación del modelo específico.
• $\hat{n}^j$: Ruido dependiente del modelo que sigue una distribución normal de media cero.
• $n^j_i$: Ruido dependiente de la puntuación que sigue una distribución Normal Sesgada ($SN$). Esta es una innovación crítica, ya que las observaciones empíricas muestran que los modelos IQA exhiben una mayor varianza y distribuciones de error asimétricas (sesgadas hacia puntuaciones más bajas) al evaluar imágenes de menor calidad. El parámetro de escala de este ruido es estimado por una función $g^j(z_i)$, lo que permite una estimación de incertidumbre a nivel de puntuación, de granularidad fina.

2. Formulación MAP y Optimización

El objetivo es encontrar la calidad latente $z$ y los parámetros del modelo que maximicen la probabilidad a posteriori $p(z|X)$. La función de verosimilitud $p(x^j_i|z_i)$ se deriva como una distribución Normal Sesgada. El problema de optimización se formula como:
$$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$$

• Prior $p(z)$: Definido como una distribución uniforme $U(0,1)$ para regularizar el rango de salida sin imponer sesgos específicos del conjunto de datos, asegurando la generalización.
• Inferencia Amortizada: Para evitar la optimización iterativa para cada nueva imagen (lo cual es lento y requiere muchos datos), se introduce un codificador (una Red Neuronal de Conexión Total). Este codificador mapea las puntuaciones de entrada directamente a la calidad latente $z_i$, permitiendo una inferencia rápida y de extremo a extremo.

3. Integración de Fusión de Rangos

El marco incorpora sin problemas la fusión de rangos al normalizar los rangos discretos en el espacio continuo. Esto permite que los métodos basados en rangos sean tratados como una instancia especial del marco general MAP, optimizando en un espacio continuo en lugar de uno discreto computacionalmente intensivo.

Contribuciones Clave

1. Primera Fusión Basada en Aprendizaje No Supervisado: Hasta donde saben los autores, este es el primer enfoque para fusionar puntuaciones IQA utilizando aprendizaje no supervisado, evitando la dependencia de la MOS para el entrenamiento.
2. Modelo de Observación Formalizado: El artículo formaliza el primer modelo de observación para la fusión IQA, utilizando estimación MAP con distribuciones Normales Sesgadas para capturar ruido asimétrico y dependiente de la puntuación.
3. Estimación de Incertidumbre de Granularidad Fina: A diferencia de los métodos anteriores que estiman la incertidumbre solo a nivel de modelo, este marco estima la incertidumbre a nivel de puntuación. Esto permite que el modelo pese dinámicamente la fiabilidad de predicciones específicas basándose en la calidad predicha.
4. Robustez ante Modelos "Malos": El marco demuestra una capacidad inherente para identificar y reducir el peso de modelos IQA "malos" o aleatorios durante el proceso de fusión sin conocimiento previo.
5. Marco Unificado: Proporciona una estructura general que puede integrar tanto métodos de fusión basados en puntuaciones como basados en rangos.

Resultados Experimentales

El modelo propuesto fue evaluado en diez conjuntos de datos IQA con puntuación subjetiva diversa (incluyendo escenarios de distorsión única y múltiple) utilizando 16 métricas IQA individuales (tanto de Referencia Completa como de Referencia Nula).

• Rendimiento: Tres variantes del modelo propuesto (SF-ms, RF-ms, SF-m) superaron consistentemente a los métodos de fusión empírica existentes, a los métodos de fusión de rangos (RRF, RRFW) y a todos los modelos IQA individuales en términos del Coeficiente de Correlación de Rango de Spearman (SRCC) promedio y el Coeficiente de Correlación Lineal de Pearson (PLCC).
• Estudio de Ablación: Eliminar la estimación de incertidumbre a nivel de puntuación (dando como resultado el modelo SF-m) condujo a una caída en el rendimiento, confirmando la importancia de la modelización de incertidumbre de granularidad fina.
• Prueba de Robustez: Cuando se añadieron dos métricas "malas" (generadores de ruido aleatorio) a la lista de fusión:
  • Los métodos no supervisados existentes (RRF, RRFW) sufrieron una degradación significativa del rendimiento.
  • El método propuesto mantuvo un rendimiento competitivo. El módulo de estimación de incertidumbre identificó correctamente la alta varianza (parámetro de escala) de las métricas "malas", lo que provocó que el codificador les asignara pesos despreciables.

Significado y Afirmaciones

El artículo afirma que, al alejarse del aprendizaje supervisado (que está limitado por los sesgos específicos de la MOS del conjunto de datos de entrenamiento) y adoptar un marco probabilístico no supervisado MAP, se logra una generalización superior a datos no vistos. El significado clave radica en la capacidad de:

• Fusionar diversos modelos IQA sin requerir calificaciones subjetivas de verdad fundamental para el entrenamiento.
• Adaptarse dinámicamente a la fiabilidad de cada modelo en una base por puntuación, rechazando efectivamente predicciones o modelos pobres.
• Proporcionar un marco unificado y explicable donde los pesos del codificador pueden ser inspeccionados para comprender cómo contribuyen diferentes modelos a la predicción final.

Los autores posicionan este trabajo como un paso fundamental hacia un sistema IQA más robusto y universal que aprovecha la inteligencia colectiva de los modelos existentes mientras mitiga sus debilidades individuales mediante una cuantificación rigurosa de la incertidumbre.