Resumen Técnico: CMS2-Fusion

1. Declaración del Problema

La fusión de imágenes infrarrojas y visibles tiene como objetivo integrar la información de radiación térmica de los sensores infrarrojos con la rica textura y los detalles espaciales de las cámaras visibles en una única representación exhaustiva. Aunque los métodos de aprendizaje profundo han avanzado en este campo, los enfoques existentes suelen seguir un paradigma de "codificar-luego-fusionar". En estos métodos, las modalidades infrarroja y visible se procesan a través de ramas de red separadas (utilizando codificadores CNN, Transformers o basados en Mamba) sin intercambio de información durante la fase de codificación. La interacción cross-modal se difiere hasta la etapa final de fusión, generalmente mediante una simple concatenación o promedio.

Los autores argumentan que esta separación no logra explotar todo el potencial de los Modelos de Espacio de Estados (SSM), específicamente Mamba. En Mamba, los estados ocultos capturan naturalmente el contexto espacial a través de las transiciones de estado. Al mantener las modalidades aisladas durante la codificación, los métodos existentes pierden la oportunidad de aprender representaciones semánticamente acopladas al nivel de la transición de estado, lo que potencialmente limita la capacidad del modelo para resolver las diferencias inherentes entre las modalidades (por ejemplo, la baja resolución en el infrarrojo frente a la baja visibilidad en la luz visible bajo iluminación deficiente).

2. Metodología: CMS2-Fusion

El artículo propone CMS2-Fusion (Acoplamiento de Espacio de Estados Cross-Modal), un marco que cambia el paradigma de "codificar-luego-fusionar" a "codificación-como-acoplamiento". La innovación central es un mecanismo que permite que los estados ocultos de ambas modalidades interactúen dinámicamente durante el proceso de codificación dentro de los bloques Mamba.

Componentes Clave:

• CoupledVisionMambaBlock:

  • En lugar de pipelines independientes, los mapas de características infrarrojos ($I_{IR}$) y visibles ($I_{VIS}$) se proyectan en un espacio de estado compartido.
  • Las actualizaciones de estado para cada modalidad se modifican para incluir un término de la otra modalidad, escalado por un coeficiente de acoplamiento aprendible ($\lambda$).
  • Las ecuaciones de actualización son:
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • Aquí, $\lambda$ se inicializa en 0.3 y se aprende durante el entrenamiento para controlar adaptativamente la fuerza de la interacción. $P$ representa matrices de proyección aprendibles.
  • Este diseño añade solo una pequeña sobrecarga constante en comparación con el Mamba estándar, manteniendo la complejidad lineal $O(L)$.

• Compartición de Parámetros:

  • Dentro de cada bloque, las dos modalidades comparten los parámetros centrales del SSM de Mamba (matriz de transición de estado $A$ y parámetros de proyección selectiva).
  • Las proyecciones de entrada ($P_{IR}, P_{VIS}$) y las proyecciones cross-modales ($P_{VIS \to IR}, P_{IR \to VIS}$) permanecen específicas de cada modalidad.
  • Esta estrategia reduce el recuento total de parámetros en un 13% en comparación con una base desacoplada.

• Arquitectura:

  • Codificador: Una estructura piramidal de tres etapas donde cada etapa consiste en bloques Mamba acoplados. El patch merging reduce la resolución espacial mientras aumenta la profundidad de los canales.
  • Módulo de Fusión: Ubicado en el nivel de características más profundo (resolución de 16x16), utiliza un mecanismo de atención espacial para ponderar las características basadas en la "actividad" local (norma L2 de los vectores de características), asignando automáticamente pesos más altos a las regiones térmicas salientes para el infrarrojo y a las regiones ricas en textura para el visible.
  • Decodificador: Un decodificador con conexiones de salto (skip-connected) reconstruye la imagen a su resolución original. Las conexiones de salto utilizan un promedio simple de las características acopladas, ya que el alineamiento semántico ya ha ocurrido durante la codificación.

• Función de Pérdida:

  • El modelo se entrena con una pérdida compuesta: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • $\mathcal{L}_{L1}$ preserva el brillo/contraste.
  • $\mathcal{L}_{edge}$ asegura la preservación de la magnitud del gradiente.
  • $\mathcal{L}_{SSIM}$ impone la similitud estructural.

3. Principales Contribuciones

1. Acoplamiento de Espacio de Estados Cross-Modal: El artículo introduce un mecanismo de acoplamiento cross-modal dentro de los bloques de codificación Mamba, permitiendo la interacción al nivel de los estados ocultos durante la codificación en lugar de diferirla a la etapa de fusión. Aunque existen métodos de fusión basados en Mamba previos (ej. CrossMamba), este trabajo apunta específicamente al acoplamiento a nivel de espacio de estados dentro de la fase de codificación.
2. Diseño de Eficiencia de Parámetros: Al compartir los parámetros del SSM a través de las modalidades, el modelo logra una reducción del 13% en parámetros (8.4M vs 9.6M) en comparación con una base Mamba desacoplada, reduciendo también el riesgo de sobreajuste.
3. Cambio de Paradigma: El trabajo propone un cambio de la codificación independiente al acoplamiento de la codificación, demostrando que las transiciones de estado pueden utilizarse para modelar directamente las dependencias térmico-textura.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos MSRS (1,083 pares de entrenamiento, 361 pares de prueba).

• Desempeño Cuantitativo:

  • $Q_{abf}$ (Calidad de la fusión): CMS2-Fusion alcanzó 0.7704, superando al método clásico de CNN DenseFuse (0.4525) por un 70.3% y a la base Mamba desacoplada (0.7589) por un 1.51%.
  • Métricas de Información: La Información Mutua (MI) aumentó un 9.2% (3.0548) y la Entropía (EN) un 11.2% (6.6281) en comparación con DenseFuse.
  • Preservación de Detalles: La Frecuencia Espacial (SF) mejoró un 87.7% y el Gradiente Promedio (AG) un 85.2% sobre DenseFuse, lo que indica una superior preservación de bordes y texturas.
  • SSIM: La métrica mostró una disminución menor de 0.6693 (DenseFuse) a 0.6562. Los autores atribuyen esto al compromiso inherente entre preservar la saliencia térmica y la fidelidad estructural visible, señalando que el valor permanece en un rango alto. Comparado con la base desacoplada, el SSIM mejoró un 0.94% (de 0.6501 a 0.6562).

• Estudios de Ablación:

  • Compartición de Parámetros: Pasar de una base desacoplada a un modelo acoplado sin interacción mejoró el $Q_{abf}$ en 0.0085 y redujo los parámetros en un 13%.
  • Interacción: Habilitar el coeficiente de acoplamiento aprendible ($\lambda$) proporcionó una ganancia adicional de $Q_{abf}$ de 0.0030.
  • Convergencia del Coeficiente: El $\lambda$ aprendible convergió aproximadamente a 0.3646, indicando un equilibrio óptimo entre la retención específica de la modalidad y la interacción cross-modal.

• Eficiencia:

  • Tiempo de inferencia: 41.3 ms por imagen en una NVIDIA RTX 4090 (comparable a los 42.7 ms de la base).
  • FLOPs: 46.1G, menor que la base (48.3G).

5. Significado y Reivindicaciones

El artículo afirma que CMS2-Fusion representa un cambio de paradigma en la fusión multi-modal. Al introducir el acoplamiento cross-modal al nivel de la transición de estado, el método va más allá de las limitaciones de las arquitecturas de "codificar-luego-fusionar". Los autores sostienen que este enfoque permite a la red aprender representaciones semánticamente acopladas más temprano en el flujo de trabajo, lo que resulta en imágenes fusionadas que preservan mejor tanto la saliencia térmica como la fidelidad de la textura.

El trabajo se distingue de los métodos de fusión basados en Mamba existentes (como CrossMamba, FusionMamba, etc.) por ser el primero en aplicar la interacción de espacio de estados cross-modal específicamente durante la fase de codificación. Mientras que los trabajos previos utilizan Mamba para la extracción de características, mantienen ramas independientes hasta la etapa de fusión; CMS2-Fusion integra las modalidades directamente dentro de las transiciones de estado del codificador. Los autores demuestran que compartir los parámetros del SSM y permitir la interacción dinámica de los estados produce un desempeño superior con menos parámetros, lo que lo convierte en un fuerte candidato para el despliegue en dispositivos de borde (edge deployment).

El trabajo futuro sugerido por los autores incluye el acoplamiento adaptativo espacial y por capa, así como la extensión del marco a otras tareas multi-modales como la fusión de imágenes médicas.