Resumen Técnico: DPOFusion

Enunciado del Problema

La fusión de imágenes infrarrojas y visibles (IVIF) tiene como objetivo integrar información espectral complementaria para mejorar la percepción humana y optimizar las tareas de visión posteriores. Sin embargo, los métodos existentes enfrentan una limitación crítica: luchan por acomodar de manera flexible las demandas heterogéneas. Diferentes usuarios y aplicaciones priorizan objetivos conflictivos, como la calidad general de la imagen, la apariencia natural o la idoneidad específica para tareas de visión artificial como la detección y segmentación de objetos. Los enfoques actuales basados en aprendizaje requieren típicamente modelos separados y estrategias de entrenamiento complejas para cada demanda específica, careciendo de un marco unificado capaz de realizar una fusión adaptativa que se alinee con diversas preferencias humanas y de máquinas.

Metodología

Los autores proponen DPOFusion, un marco que aprovecha la Optimización Directa de Preferencias (DPO) para alinear la fusión de imágenes con demandas heterogéneas. El marco consta de dos componentes principales y una tubería de recopilación de datos:

1. Modelo Latente de Difusión Alineado a Propiedades (PALDM)

PALDM actúa como generador de candidatos. Está diseñado para producir resultados de fusión diversos y de alta calidad con propiedades variables.

• Fusión Latente Prioritaria: Primero se entrena un modelo de fusión latente prioritaria ($\epsilon_{lfm}$) utilizando una pérdida de fusión conjunta para guiar el proceso de generación.
• Pérdida Condicional Conjunta: Para generar candidatos diversos, PALDM emplea una pérdida condicional conjunta. Entrena un modelo de difusión latente para eliminar el ruido tanto de latentes fusionados estándar como de latentes interpolados por propiedades (creados interpolando linealmente los latentes de origen y el latente fusionado prioritario). Esto permite que el modelo alinee las salidas generadas con indicaciones de texto descriptivas de propiedades específicas (por ejemplo, "principalmente información infrarroja").

2. Modelo Latente de Difusión Controlado por Preferencias (PCLDM)

PCLDM es un módulo de ajuste fino que ajusta los resultados de la fusión basándose en señales de preferencia específicas.

• Arquitectura: Se inicializa a partir del PALDM congelado ($\epsilon_{ref}$) e introduce una rama entrenable conectada mediante una convolución 1$\times$1 inicializada en cero. Esta estructura preserva las capacidades fundamentales de fusión mientras permite una adaptación rápida a nuevas preferencias.
• Optimización Directa de Preferencias por Instancia (IDPO): Esta es la innovación central. A diferencia de la DPO estándar que optimiza globalmente, IDPO aplica la supervisión de preferencias solo dentro de una región de interés enmascarada, mientras impone una estricta consistencia a nivel de píxel en el resto.
  • Función de Pérdida: La pérdida IDPO ($L_{IDPO}$) combina una pérdida de alineación de preferencias para la región enmascarada (fomentando que el modelo prefiera la muestra "ganadora" sobre la "rechazada") y una pérdida de consistencia para las regiones no enmascaradas (asegurando que la salida permanezca cerca del modelo de referencia congelado). Esto equilibra la adaptación localizada con la fidelidad global.

3. Recopilación de Datos de Preferencia

El marco recopila datos de preferencia heterogéneos de tres fuentes para crear pares de entrenamiento ($I_w^0 \succ I_l^0$) con sus respectivas máscaras ($I_m$):

• Retroalimentación Humana (RLHF): Anotadores humanos seleccionan regiones preferidas en imágenes candidatas.
• Modelos Visión-Lenguaje (RLVF): Los VLM (específicamente QWEN3-Omni-Think) clasifican candidatos basándose en la calidad técnica de la imagen (nitidez, artefactos, etc.).
• Modelos Impulsados por Tareas (RLDF): Modelos posteriores (YOLOv11 para detección, SegFormer para segmentación) evalúan candidatos. Las muestras preferidas/rechazadas se determinan mediante métricas de rendimiento de la tarea (mAP, mIoU), y las máscaras se derivan de regiones objetivo o parches de detección.

Contribuciones Clave

1. Marco Unificado: DPOFusion presenta un único marco capaz de adaptarse a diversas preferencias de usuarios (humanos, VLM) y tareas de visión artificial (detección, segmentación) sin requerir modelos separados para cada una.
2. Optimización Directa de Preferencias por Instancia (IDPO): Los autores introducen IDPO, una adaptación novedosa de DPO para la fusión de imágenes. Al restringir la optimización de preferencias a regiones enmascaradas específicas, IDPO logra una alineación local precisa sin degradar la estructura o coherencia global de la imagen.
3. Generación Alineada a Propiedades: La integración de PALDM con pérdida condicional conjunta permite la generación de un rico conjunto de candidatos diversos, facilitando una anotación de preferencias y un ajuste fino efectivos.
4. Adaptabilidad Orientada a Tareas: El marco demuestra la capacidad de ajustar finamente las salidas de fusión específicamente para mejorar el rendimiento de tareas posteriores (por ejemplo, mejorando la segmentación de objetivos pequeños o la detección de objetos densos) manteniendo la calidad visual.

Resultados Experimentales

Los autores evaluaron DPOFusion en conjuntos de datos del mundo real (LLVIP, MSRS, RoadScene, M3FD) contra nueve métodos de última generación (por ejemplo, U2Fusion, DDFM, SHIP, Text-IF).

• Alineación Humana y con VLM: Las métricas cuantitativas (Entropía, Desviación Estándar, Gradiente Promedio, MUSIQ, CNNIQA) muestran que las variantes de DPOFusion (RLHF y RLVF) alcanzan un rendimiento de última generación. Los resultados cualitativos indican una preservación superior de texturas y una apariencia natural, particularmente en escenarios de baja iluminación e iluminación compleja.
• Rendimiento en Tareas Posteriores:
  • Segmentación Semántica: La variante RLDF-Seg logró una mejora del 0.5% en mIoU en comparación con las líneas base, con resultados cualitativos que muestran una mejor segmentación de objetivos pequeños.
  • Detección de Objetos: La variante RLDF-OD logró una mejora del 4.2% en mAP, demostrando una captura efectiva de características para objetivos densos y pequeños.
• Estudios de Ablación: Los experimentos confirmaron que la pérdida condicional conjunta en PALDM produce candidatos de mayor calidad y que IDPO supera significativamente a la DPO estándar y a la pérdida contrastiva en la alineación con preferencias mientras preserva la consistencia global.
• Eficiencia: Aunque basado en difusión, DPOFusion opera en un espacio latente comprimido, reduciendo el tiempo de inferencia a 1.7s por imagen (en comparación con 7.8s para DDFM), lo que lo hace más eficiente que otros métodos de fusión generativa.

Significado y Afirmaciones

El artículo afirma que DPOFusion aborda con éxito el "problema abierto y desafiante" de lograr una fusión adaptativa que se alinee con diversas preferencias tanto de visión humana como de máquinas. Al aprovechar DPO, el marco elimina la necesidad de modelos de recompensa explícitos y pipelines complejos de optimización conjunta con tareas posteriores.

Los autores posicionan a DPOFusion como una solución unificada y flexible para la "fusión a tu manera", capaz de ajustar finamente un modelo fundamental para satisfacer requisitos específicos—ya sean impulsados por la percepción visual humana, instrucciones de lenguaje o métricas de tareas posteriores—mediante un ajuste fino mínimo. Este trabajo establece un nuevo referente para la calidad de la fusión adaptativa y la transferabilidad orientada a tareas en el campo de la fusión de imágenes infrarrojas y visibles.