Resumen Técnico: FMRFusion

Planteamiento del Problema

La fusión de imágenes infrarrojas y visibles (IVIF) tiene como objetivo generar una imagen compuesta que conserve la información significativa de los objetivos provenientes de la radiación térmica, mientras preserva las texturas detalladas de la luz reflejada. A pesar de los avances recientes, los métodos existentes enfrentan tres limitaciones principales:

1. Desacoplamiento de Características Incompleto: Los métodos tradicionales basados en CNN y de Transformación Multiescala (MST) suelen aplicar operadores idénticos a ambas modalidades, lo que provoca la pérdida de características específicas de la modalidad a través de canales de codificación compartidos.
2. Compromiso entre Localidad y Globalidad de las Características: Las CNN sobresalen en el contexto local pero tienen dificultades con las dependencias de largo alcance, mientras que los Vision Transformers ofrecen un modelado global a costos computacionales prohibitivos.
3. Mecanismos de Fusión Subóptimos: Muchos enfoques de aprendizaje profundo concatenan prematuramente las imágenes de origen en una red de una sola vía, lo que conduce a la interferencia de información en lugar de una interacción de características estructurada.

Además, los métodos actuales suelen tener dificultades para modelar conjuntamente la información contextual global y preservar detalles finos, particularmente al desacoplar representaciones complementarias a través de modalidades heterogéneas en escenarios de imagen de baja calidad.

Metodología

Los autores proponen FMRFusion, una red de aprendizaje de representación multivista sensible a la frecuencia diseñada para abordar estos desafíos. La arquitectura integra Redes Neuronales Convolucionales (CNN) y Transformers dentro de un marco híbrido de doble rama.

1. Arquitectura Híbrida de Doble Rama

La red emplea ramas independientes para las entradas infrarrojas y visibles para evitar la interferencia de características durante la codificación:

• Extracción de Características Superficiales: Un Codificador Shallow DRSformer (SDE) extrae las características iniciales. El bloque DRSformer utiliza un parámetro aprendible $K$ para controlar dinámicamente la dispersión, filtrando la información irrelevante durante la interacción de características.
• Descomposición de Características: Las características extraídas se descomponen en componentes de Baja Frecuencia (Base) y Alta Frecuencia (Detalle):
  • Bloques de Transformer (TRB): Utilizan la autoatención espacial (específicamente el bloque LT) para extraer información de baja frecuencia y modelar dependencias de largo alcance.
  • Módulo de Percepción Estructural Multiescala (MS-SPM): Diseñado para capturar estructuras locales de grano fino. Consta de dos submódulos:
    • Bloque Sensible al Gradiente (GAB): Una variante de ResBlock que calcula las magnitudes de gradiente utilizando operadores Sobel para preservar los bordes estructurales.
    • Bloque de Atención Mejorada (EAB): Descompone núcleos de convolución grandes (por ejemplo, $21\times21$) en núcleos más pequeños de profundidad ($5\times5$ o $7\times7$) para capturar información contextual rica de manera eficiente.

2. Interacción Complementaria de Visión Cruzada (CVCI)

Para modelar explícitamente la relación entre las estructuras térmicas infrarrojas y el color/textura visible, se introduce un módulo de Atención Cruzada de Atenuación (LCA) en la capa de fusión:

• Bloque de Atención Cruzada (CAB): Utiliza una estructura de doble rama simétrica donde una rama genera consultas (queries) mientras que la modalidad opuesta proporciona claves (keys) y valores (values), asegurando el refinamiento mediante información complementaria.
• Mejora de Intensidad y Reducción de Ruido Cromático: Basado en la teoría de Retinex, el módulo descompone las características en componentes de iluminación y reflectancia para mejorar la intensidad infrarroja y suprimir el ruido cromático en las características visibles.

3. Refinamiento Basado en Flow-Matching

Se emplea un módulo de Flow Matching guiado semánticamente como estrategia de refinamiento de post-procesamiento (Etapa III):

• Mecanismo: Trata la imagen fusionada gruesa ($F_1$) y las máscaras semánticas como un prior condicional. Una U-Net condicional predice un campo de velocidad para transportar un prior de ruido Gaussiano hacia la representación de alta calidad objetivo.
• Objetivo: Este proceso iterativo refina progresivamente las características fusionadas, aprendiendo la transformación de datos gruesos hacia representaciones de alta calidad para mejorar la fidelidad y la calidad perceptual sin requerir imágenes fusionadas de referencia (ground-truth) (auto-supervisado).

4. Estrategia de Entrenamiento de Tres Etapas

El modelo se entrena en tres etapas distintas para optimizar diferentes aspectos del proceso de fusión:

1. Etapa I (Descomposición): Optimiza la extracción y descomposición de características utilizando pérdidas de reconstrucción, descomposición y consistencia de gradiente.
2. Etapa II (Fusión): Se enfoca en la preservación de la intensidad y la fusión de características.
3. Etapa III (Mejora): Utiliza la pérdida de Flow Matching junto con restricciones de intensidad, gradiente y consistencia semántica para refinar el resultado final.

Principales Contribuciones

El artículo resume sus principales contribuciones de la siguiente manera:

• Arquitectura Híbrida de Doble Rama: Combina la eficiencia de las CNN con las capacidades de modelado global de los Transformers en ramas independientes para prevenir la interferencia de características.
• Mecanismo de Fusión Desacoplado por Frecuencia: Introduce un módulo novedoso que separa y mejora explícitamente la información estructural compartida (baja frecuencia) y los detalles específicos de la modalidad (alta frecuencia).
• Refinamiento Basado en Flow Matching: Propone un paradigma para mejorar iterativamente las características fusionadas mapeando datos gruesos hacia representaciones de alta calidad, mejorando la fidelidad y la robustez.

Resultados Experimentales

Se realizaron experimentos extensos en cuatro conjuntos de datos de infrarrojo-visible (MSRS, TNO, Roadscene, M3FD) y se validaron en tareas de fusión de imágenes médicas (MRI-CT, MRI-PET, MRI-SPECT) y de fusión de imágenes de enfoque múltiple.

• Desempeño Cuantitativo: FMRFusion logró un desempeño superior o de vanguardia (state-of-the-art) en múltiples métricas (Entropía, Desviación Estándar, Frecuencia Espacial, Fidelidad de Información Visual, etc.) en todos los conjuntos de datos probados. Por ejemplo, en el conjunto de datos MSRS, alcanzó las puntuaciones más altas en EN (6.907), SD (48.539), SF (13.486) y AG (4.538).
• Desempeño Cualitativo: Las comparaciones visuales demostraron que el método integra eficazmente la radiación térmica con los detalles de textura, minimizando la pérdida de información de fondo y distinguiendo mejor los objetivos del primer plano que competidores como SwinFusion, CDDFuse y TDFusion.
• Generalización: El modelo mostró un desempeño consistente al aplicarse directamente a tareas de fusión de imágenes médicas y de fusión de enfoque múltiple sin reentrenamiento, validando su generalización entre tareas.
• Tarea de Aplicación (Downstream Task): En experimentos de detección de objetos utilizando YOLOv5 en el conjunto de datos MSRS, las imágenes fusionadas producidas por FMRFusion arrojaron puntuaciones mAP más altas para las categorías "Persona" y "Automóvil" en comparación con las entradas de una sola modalidad y otros métodos de fusión.

Significado y Reivindicaciones

El artículo afirma que FMRFusion aborda desafíos críticos en la fusión de datos heterogéneos mediante:

1. Mitigación de la Pérdida de Información: La descomposición de alta/baja frecuencia explícita evita la pérdida de detalles estructurales e de intensidad comunes en las arquitecturas de una sola rama.
2. Equilibrio entre Modelado Local y Global: La estrategia híbrida integra el filtrado sensible al gradiente con el modelado de dependencias globales, asegurando una consistencia estructural robusta y la mejora de detalles finos incluso en condiciones de imagen degradadas.
3. Mejora de la Interacción de Visión Cruzada: El módulo de Interacción Complementaria de Visión Cruzada facilita explícitamente el intercambio de información complementaria entre la intensidad radiativa y las pistas estructurales reflejadas.
4. Refinamiento Progresivo: El mecanismo de Flow Matching proporciona una transformación continua para refinar los resultados de la fusión, mejorando la saliencia y el contraste.

Los autores concluyen que el método demuestra un fuerte desempeño en los estándares de referencia y una consistencia de generalización entre tareas, validando su efectividad para la fusión de imágenes multivista en escenarios complejos, particularmente en entornos nocturnos.