Resumen Técnico: FuScore – Llevando Modelos de Lenguaje Grandes Multimodales a la Evaluación de Calidad de Fusión de Imágenes Infrarrojo-Visible

1. Declaración del Problema

La Fusión de Imágenes Infrarrojo-Visible (IVIF) busca integrar información térmica y estructuras espaciales detalladas en una única imagen fusionada. Sin embargo, evaluar la calidad de estas imágenes fusionadas sigue siendo un desafío significativo. Los enfoques de evaluación existentes adolecen de dos limitaciones principales:

1. Desalineación con la Percepción Humana: Las métricas tradicionales sin referencia diseñadas a mano (por ejemplo, Entropía, Información Mutua, VIF) y las métricas con referencia completa (que tratan a los pares de origen como pseudo-verdades terrenales, por ejemplo, SSIM, PSNR) a menudo no logran reflejar las preferencias perceptuales humanas. Incluso pueden asignar puntuaciones más altas a imágenes fusionadas visualmente inferiores.
2. Limitaciones de los Enfoques Actuales Basados en MLLM: Los esfuerzos recientes por utilizar Modelos de Lenguaje Grandes Multimodales (MLLM) para la evaluación de calidad de IVIF suelen depender de una supervisión discreta de un solo elemento (predecir un único nivel de calidad) o de regresión escalar sobre puntuaciones agregadas.
   • Supervisión Discreta: Fuerza a imágenes fusionadas de calidad similar a niveles de calificación distintos y rígidos (por ejemplo, Nivel 4 vs. Nivel 3), colapsando diferencias perceptuales sutiles.
   • Regresión Escalar: Aprende de las calificaciones humanas pero no aprovecha las capacidades de razonamiento de los MLLM ni codifica el consenso (o la ambigüedad) de los juicios humanos para imágenes específicas.

La pregunta central abordada es: ¿Cómo pueden los MLLM producir puntuaciones de calidad de IVIF continuas bajo una supervisión que codifica el consenso de anotación por imagen?

2. Metodología: FuScore

Los autores proponen FuScore, un evaluador basado en MLLM que genera puntuaciones de calidad continuas en lugar de niveles discretos. El marco consta de tres componentes principales:

A. Generación de Puntuación Continua mediante Salida Distribucional

En lugar de entrenar al MLLM para emitir un único token de calidad, FuScore utiliza las probabilidades de decodificación sobre cinco tokens de nivel de calidad predefinidos ($L = \{1, 2, 3, 4, 5\}$).

• El modelo emite una distribución categórica $q_i(l)$ sobre estos tokens.
• La puntuación continua final $\hat{y}_i$ se calcula como la esperanza de esta distribución: $\hat{y}_i = \sum l \cdot q_i(l)$.
• Esto permite que el modelo asigna puntuaciones de valor real finas dentro del rango $[1, 5]$, capturando diferencias de calidad sutiles que la supervisión discreta pasaría por alto.

B. Construcción de Etiquetas Suaves Conscientes de Sub-dimensiones

Para supervisar la distribución predicha, FuScore construye una "etiqueta suave" $p_i$ para cada imagen. El centro de esta etiqueta es la puntuación humana general, pero su nitidez (ancho) se modula dinámicamente por el acuerdo entre cuatro sub-dimensiones específicas de IVIF:

1. Retención Térmica
2. Preservación de Textura
3. Artefactos
4. Nitidez

Los autores definen una señal de consenso $\delta_i$ como la desviación estándar de estas cuatro puntuaciones de sub-dimensiones.

• Alto Consenso (Bajo $\delta_i$): Cuando las sub-dimensiones coinciden, la etiqueta suave se concentra agudamente alrededor de la puntuación general.
• Bajo Consenso (Alto $\delta_i$): Cuando las sub-dimensiones discrepan, la etiqueta se amplía para reflejar que el juicio general es menos consensuado.
  Este enfoque asegura que el objetivo de supervisión refleje fielmente la ambigüedad inherente a la anotación humana para imágenes específicas.

C. Objetivo de Entrenamiento Tripartito

FuScore emplea una función de pérdida compuesta para abordar la clasificación en diferentes ámbitos:

1. Supervisión Distribucional por Imagen ($\mathcal{L}_{KL}$): Alinea la distribución predicha con la etiqueta gaussiana suave utilizando la divergencia Kullback–Leibler.
2. Fidelidad Dentro del Par de Origen ($\mathcal{L}_{fid}$): Hace cumplir la fidelidad de pares al estilo de Thurstone para imágenes del mismo par de origen (misma escena). Esto captura la ordenación a nivel de método. El margen de pares se deriva de los anchos de las etiquetas suaves, haciendo que la comparación sea consciente de la incertidumbre.
3. Fidelidad Entre Pares de Origen ($\mathcal{L}_{xfid}$): Hace cumplir la fidelidad al estilo de Thurstone a través de diferentes pares de origen (diferentes escenas). Esto captura las variaciones de dificultad a nivel de escena y asegura que el modelo generalice entre escenas.

La pérdida total es una suma ponderada: $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$.

3. Contribuciones Clave

1. FuScore: El primer evaluador de calidad de IVIF basado en MLLM entrenado con supervisión a nivel de distribución, capaz de generar puntuaciones continuas para imágenes fusionadas.
2. Etiquetas Suaves Conscientes de Sub-dimensiones: Un método novedoso de construcción de etiquetas que modula la nitidez de la etiqueta basándose en el acuerdo entre cuatro sub-dimensiones específicas de IVIF, permitiendo que la supervisión refleje el consenso del juicio humano.
3. Objetivo de Entrenamiento Tripartito: Una estrategia de optimización conjunta que combina la coincidencia distribucional por imagen, la fidelidad dentro del par de origen y la fidelidad entre pares de origen, utilizando márgenes conscientes de la incertidumbre derivados del acuerdo de sub-dimensiones.

4. Resultados Experimentales

Los experimentos se realizaron en la referencia EVAFusion (9.350 imágenes fusionadas, 850 pares de origen) y un nuevo conjunto de datos piloto de SemanticRT con 5 expertos.

• Correlación del Estado del Arte: FuScore logró la correlación más alta con las preferencias visuales humanas en todas las métricas de rango reportadas (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$).
  • En EVAFusion, el conjunto de 3 semillas logró un SRCC de 0.648, superando a la mejor línea base externa (ViT-L+MLP) en +0.094.
  • Superó significativamente a los modelos de IQA de imágenes naturales de cero disparos (por ejemplo, Q-Align, DeQA-Score) y a las métricas diseñadas a mano, lo que indica que el preentrenamiento en imágenes naturales no se transfiere bien a IVIF sin supervisión dentro del dominio.
• Generalización:
  • Entre Métodos: En una evaluación de dejar K-métodos fuera, FuScore mantuvo una alta correlación (SRCC 0.628), solo 0.020 por debajo de su rendimiento dentro de la distribución.
  • Entre Conjuntos de Datos: En el piloto de SemanticRT (datos no vistos), FuScore logró un SRCC de 0.561, superando a la línea base ViT-L+MLP (0.471) en +0.090.
• Estudios de Ablación:
  • Se demostró que el objetivo tripartito (específicamente la fidelidad entre pares de origen) fue el principal impulsor de las ganancias en la clasificación.
  • Las etiquetas suaves conscientes de sub-dimensiones modelaron con éxito la ambigüedad de la anotación. Los autores demostraron que la incertidumbre predicha ($\hat{\sigma}$) se correlaciona positivamente con la discrepancia entre evaluadores humanos en el piloto de SemanticRT ($\rho = 0.42$), confirmando que el conflicto de alta dimensión ($\delta_i$) refleja una ambigüedad humana genuina y no solo compensaciones de múltiples atributos.
  • Se observó un "suelo del lado de los datos": en imágenes con alto desacuerdo de sub-dimensiones (alto-$\delta$), todos los 11 métodos evaluados (incluido FuScore) se estabilizaron en una banda baja de SRCC, lo que sugiere un límite impuesto por la inconsistencia inherente de las anotaciones humanas para estas imágenes específicas.

5. Significado y Afirmaciones

El artículo afirma que FuScore representa un paso significativo hacia adelante en la evaluación de calidad de IVIF al:

• Cerrar la Brecha de Alineación Humana: Ir más allá de niveles discretos rígidos y regresión escalar para capturar la sutileza de la percepción humana y el consenso del juicio experto.
• Aprovechar el Razonamiento de MLLM: Utilizar las capacidades de razonamiento lingüístico y visual de los MLLM (específicamente Qwen3-VL) de una manera específicamente adaptada al dominio de IVIF mediante supervisión consciente de sub-dimensiones.
• Abordar la Ambigüedad de la Anotación: Modelar explícitamente la incertidumbre en las calificaciones humanas, lo que permite que el modelo aprenda de manera más robusta a partir de datos expertos ruidosos o conflictivos.

Los autores señalan que, aunque FuScore logra resultados del estado del arte, el techo de rendimiento en imágenes de alta ambigüedad sugiere que las mejoras futuras pueden depender de anotaciones más ricas con múltiples evaluadores que puedan desentrañar los artefactos de agregación de la ambigüedad humana inherente. El artículo también reconoce el costo de inferencia del uso de grandes MLLM, sugiriendo que la implementación en tiempo real requeriría backbones más pequeños.