Causal Disentanglement for Full-Reference Image Quality Assessment

Resumen Técnico: Desenredamiento Causal para FR-IQA

1. Planteamiento del Problema

La Evaluación de Calidad de Imagen de Referencia Completa (FR-IQA) busca predecir la calidad percibida de una imagen distorsionada comparándola con una imagen de referencia perfecta. Aunque los modelos basados en redes profundas han tenido éxito, enfrentan limitaciones críticas:

• Dependencia de datos etiquetados: Los métodos de aprendizaje profundo tradicionales (entrenamiento dependiente) requieren grandes conjuntos de datos con puntuaciones de opinión media (MOS) obtenidas por humanos, lo cual es costoso, subjetivo y difícil de obtener en dominios especializados (médico, submarino, infrarrojo).
• Falta de adaptabilidad de los métodos libres de entrenamiento: Los métodos "training-free" (que usan modelos preentrenados en ImageNet) sufren una caída de rendimiento severa en dominios no estándar debido al desplazamiento de dominio (domain shift), ya que las estadísticas de las imágenes difieren de las naturales.
• Limitación de la comparación de características: Los enfoques actuales suelen calcular diferencias simples entre mapas de características de la imagen de referencia y la distorsionada, ignorando cómo el contenido de la imagen influye en la visibilidad de la distorsión (efecto de enmascaramiento visual).

El objetivo es desarrollar un marco FR-IQA que no dependa de anotaciones de calidad subjetiva (MOS) y que pueda adaptarse eficientemente a diversos dominios y escenarios específicos.

2. Metodología Propuesta

El artículo propone un nuevo paradigma basado en inferencia causal y aprendizaje de representaciones desacopladas, inspirado en el Efecto de Enmascaramiento Visual (VME) del Sistema Visual Humano (HVS).

A. Formulación del Problema y Modelo Causal
Se define un Modelo Causal Estructural (SCM) donde una imagen distorsionada ($I_d$) es generada por dos factores:

1. Contenido ($C$): La información semántica y estructural (compartida con la imagen de referencia $I_r$).
2. Degradación ($D$): Los factores de distorsión aplicados externamente.

El desafío principal es que la percepción humana no es lineal: el mismo nivel de degradación se percibe de manera diferente dependiendo del contenido (ej. el ruido es más visible en cielos lisos que en texturas complejas). Por tanto, el objetivo no es solo extraer $D$, sino extraer una característica de degradación influenciada por el contenido ($\dot{D}$).

B. Arquitectura del Modelo
El marco consta de tres etapas principales:

1. Desacoplamiento de Características de Degradación (Intervención):

   • Se utiliza un autoencoder. La idea clave es una intervención explícita en el espacio latente.
   • Se extrae una representación latente $Z$ de la imagen distorsionada.
   • Se reemplaza la parte de la representación que corresponde al contenido con la información de contenido real de la imagen de referencia ($C$).
   • El decodificador intenta reconstruir la imagen distorsionada usando $C$ y la parte restante de $Z$ (que debe contener la degradación).
   • Esto fuerza a la red a aprender a aislar los factores de degradación en la parte restante del latente, ya que el contenido ya está provisto por la referencia.

2. Aprendizaje de Representación Causal (Capa Causal):

   • Para modelar el efecto de enmascaramiento, se introduce una capa causal que establece una relación direccional $C \rightarrow D$.
   • Se utiliza una red neuronal (basada en ResNet18) para extraer características del contenido ($h(C)$) y generar una máscara de modulación no lineal.
   • Esta máscara modula las características de degradación extraídas ($D$) mediante un mecanismo de puerta (gating) y una transformación residual: $\dot{D} = D + \lambda (\hat{m} \odot D)$.
   • Esto permite que la red aprenda cómo el contenido semántico suprime o realza la visibilidad de la distorsión, alineándose con la percepción humana.

3. Predicción de Puntuación (Estrategias de Inferencia):

   • Supervisada (Few-shot/Full): Si hay datos etiquetados, se usa una cabeza de regresión (MLP) para mapear $\dot{D}$ a la puntuación MOS.
   • Sin etiquetas (Zero-shot): Cuando no hay MOS disponibles, se asume que las características de degradación relevantes para la calidad residen en una variedad de baja dimensión (1D). Se utiliza UMAP (Uniform Manifold Approximation and Projection) para proyectar las características de alta dimensión $\dot{D}$ a una coordenada unidimensional. Esta coordenada preserva el orden relativo de la calidad, permitiendo la clasificación y discriminación de calidad sin supervisión.

C. Entrenamiento

• Pre-entrenamiento: Se realiza en un conjunto de datos sintéticos (basado en la base de datos Waterloo) donde se aplican degradaciones controladas a imágenes limpias. Esto permite aprender el desacoplamiento y la modulación causal sin necesidad de MOS reales.
• Fine-tuning (Ajuste fino): Se adapta a conjuntos de datos específicos (como TID2013, LIVE) o dominios especializados.
• Función de Pérdida: Combina pérdida pixel-wise (MSE), pérdida perceptual (VGG) y pérdida adversarial (GAN) para asegurar una reconstrucción fiel de la imagen distorsionada, lo cual actúa como señal de supervisión para aprender buenas representaciones.

3. Contribuciones Clave

1. Nuevo Paradigma FR-IQA: Se aleja de la comparación directa de características (doble rama) para formular el problema como un desenredamiento causal, utilizando el operador do para guiar la generación de representaciones latentes.
2. Modelado del Efecto de Enmascaramiento Visual: Introduce un prior causal estructural ($C \rightarrow D$) dentro del aprendizaje de representaciones desacopladas, permitiendo que el modelo capture explícitamente cómo el contenido modula la percepción de la degradación.
3. Adaptabilidad sin Etiquetas: El método logra un rendimiento competitivo en configuraciones totalmente supervisadas, con pocas etiquetas y, crucialmente, en configuraciones libres de etiquetas (zero-shot), superando a los métodos training-free existentes.
4. Generalización Cross-Dominio: Demuestra una capacidad superior para adaptarse a dominios no estándar (imágenes submarinas, radiográficas, médicas, de pantalla) sin necesidad de datos de calidad etiquetados en esos dominios específicos.

4. Resultados Experimentales

• Benchmarks Estándar: El método alcanza un rendimiento altamente competitivo en conjuntos de datos estándar (LIVE, TID2013, CSIQ, KADID, PIPAL), superando o igualando a los métodos state-of-the-art (como DISTS, TOPIQ-FR, DeepCausal) tanto en escenarios supervisados como no supervisados.
• Dominios No Estándar: En pruebas con imágenes infrarrojas, de neutrones, de pantalla y médicas, el método propuesto supera significativamente a los métodos training-free basados en ImageNet (como DeepJSD, DeepDC), que sufren de desplazamiento de dominio.
• Escenarios Few-Shot: Con solo un 2-5% de datos etiquetados, el modelo mantiene un rendimiento robusto, mientras que el ajuste fino completo con pocos datos puede degradar las características aprendidas si no se congelan adecuadamente.
• Estabilidad: Los experimentos de sensibilidad muestran que el uso de UMAP es estable ante variaciones de parámetros.

5. Significado e Impacto

Este trabajo es significativo porque:

• Resuelve el cuello de botella de los datos: Proporciona una solución viable para la evaluación de calidad en dominios especializados donde obtener anotaciones humanas (MOS) es prohibitivo o imposible.
• Cambia la perspectiva teórica: Introduce la causalidad y el desacoplamiento de representaciones como herramientas fundamentales en IQA, moviéndose más allá de la simple métrica de distancia de características.
• Puente entre HVS y Deep Learning: Al modelar explícitamente el efecto de enmascaramiento visual mediante estructuras causales, el modelo se alinea mejor con la percepción humana que los enfoques puramente basados en diferencias de características.
• Aplicabilidad Práctica: Ofrece un marco flexible que puede desplegarse en escenarios de "mundo real" con datos escasos, como imágenes médicas o de sensores remotos, sin depender de grandes bases de datos de entrenamiento etiquetadas.

En conclusión, el método propone un enfoque robusto y generalizable para la FR-IQA, demostrando que el aprendizaje de representaciones causales puede superar las limitaciones de los métodos actuales en términos de dependencia de datos y adaptabilidad a nuevos dominios.