Résumé Technique : CMS2-Fusion

1. Énoncé du Problème

La fusion d'images infrarouges et visibles vise à intégrer les informations de rayonnement thermique des capteurs infrarouges avec la richesse des textures et des détails spatiaux des caméras visibles dans une représentation unique et complète. Bien que les méthodes d'apprentissage profond aient fait progresser ce domaine, les approches existantes suivent généralement un paradigme « encoder-then-fuse » (encoder puis fusionner). Dans ces méthodes, les modalités infrarouge et visible sont traitées par des branches de réseau distinctes (utilisant des encodeurs CNN, Transformers ou basés sur Mamba) sans échange d'informations pendant la phase d'encodage. L'interaction intermodale est différée jusqu'à l'étape finale de fusion, généralement via une simple concaténation ou une moyenne.

Les auteurs soutiennent que cette séparation ne parvient pas à exploiter tout le potentiel des Modèles d'Espace d'États (SSM), spécifiquement Mamba. Dans Mamba, les états cachés capturent naturellement le contexte spatial à travers les transitions d'état. En maintenant les modalités isolées pendant l'encodage, les méthodes existantes manquent l'opportunité d'apprendre des représentations sémantiquement couplées au niveau de la transition d'état, ce qui peut limiter la capacité du modèle à résoudre les différences inhérentes entre les modalités (par exemple, la faible résolution en infrarouge versus la faible visibilité en lumière visible sous un mauvais éclairage).

2. Méthodologie : CMS2-Fusion

Le papier propose CMS2-Fusion (Cross-Modal State Space Coupling), un cadre qui déplace le paradigme de « encoder-then-fuse » vers l'« encoding-as-coupling » (l'encodage en tant que couplage). L'innovation centrale est un mécanisme qui permet aux états cachés des deux modalités d'interagir dynamiquement pendant le processus d'encodage au sein des blocs Mamba.

Composants Clés :

• CoupledVisionMambaBlock :

  • Au lieu de pipelines indépendants, les cartes de caractéristiques infrarouge ($I_{IR}$) et visible ($I_{VIS}$) sont projetées dans un espace d'état partagé.
  • Les mises à jour d'état pour chaque modalité sont modifiées pour inclure un terme provenant de l'autre modalité, mis à l'échelle par un coefficient de couplage apprenable ($\lambda$).
  • Les équations de mise à jour sont :
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • Ici, $\lambda$ est initialisé à 0,3 et appris pendant l'entraînement pour contrôler l'intensité de l'interaction de manière adaptative. $P$ représente les matrices de projection apprenables.
  • Cette conception n'ajoute qu'un faible surcoût constant par rapport au Mamba standard, maintenant une complexité linéaire $O(L)$.

• Partage de Paramètres :

  • À l'intérieur de chaque bloc, les deux modalités partagent les paramètres SSM de base (matrice de transition d'état $A$ et paramètres de projection sélectifs).
  • Les projections d'entrée ($P_{IR}, P_{VIS}$) et les projections intermodales ($P_{VIS \to IR}, P_{IR \to VIS}$) restent spécifiques à chaque modalité.
  • Cette stratégie réduit le nombre total de paramètres de 13 % par rapport à une base découplée.

• Architecture :

  • Encodeur : Une structure pyramidale à trois étapes où chaque étape se compose de blocs Mamba couplés. Le regroupement de patchs (patch merging) réduit la résolution spatiale tout en augmentant la profondeur des canaux.
  • Module de Fusion : Situé au niveau le plus profond des caractéristiques (résolution 16x16), il utilise un mécanisme d'attention spatiale pour pondérer les caractéristiques en fonction de l'« activité » locale (norme L2 des vecteurs de caractéristiques), assignant automatiquement des poids plus élevés aux régions thermiques saillantes pour l'infrarouge et aux régions riches en textures pour le visible.
  • Décodeur : Un décodeur avec connexions de saut (skip-connections) reconstruit l'image à sa résolution d'origine. Les connexions de saut utilisent une simple moyenne des caractéristiques couplées, car l'alignement sémantique a déjà eu lieu lors de l'encodage.

• Fonction de Perte :

  • Le modèle est entraîné avec une perte composite : $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • $\mathcal{L}_{L1}$ préserve la luminosité et le contraste.
  • $\mathcal{L}_{edge}$ assure la préservation de l'amplitude du gradient.
  • $\mathcal{L}_{SSIM}$ impose la similitude structurelle.

3. Contributions Clés

1. Couplage d'Espace d'État Intermodal : Le papier introduit un mécanisme de couplage intermodal au sein des blocs d'encodage Mamba, permettant l'interaction au niveau des états cachés pendant l'encodage plutôt que de la différer à l'étape de fusion. Bien que des méthodes de fusion basées sur Mamba existent déjà (ex: CrossMamba), ce travail cible spécifiquement le couplage au niveau de l'espace d'état au sein de la phase d'encodage.
2. Conception Efficace en Paramètres : En partageant les paramètres SSM entre les modalités, le modèle réalise une réduction de 13 % des paramètres (8,4M contre 9,6M) par rapport à une base Mamba découplée, tout en réduisant le risque de surapprentissage.
3. Changement de Paradigme : Ce travail propose un passage de l'encodage indépendant à l'encodage couplé, démontant que les transitions d'état peuvent être utilisées pour modéliser directement les dépendances thermique-texture.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données MSRS (1 083 paires d'entraînement, 361 paires de test).

• Performance Quantitative :

  • $Q_{abf}$ (Qualité de la fusion) : CMS2-Fusion a atteint 0,7704, surpassant la méthode CNN classique DenseFuse (0,4525) de 70,3 % et la base Mamba découplée (0,7589) de 1,51 %.
  • Métriques d'Information : L'information mutuelle (MI) a augmenté de 9,2 % (3,0548) et l'entropie (EN) de 11,2 % (6,6281) par rapport à DenseFuse.
  • Préservation des Détails : La fréquence spatiale (SF) s'est améliorée de 87,7 % et le gradient moyen (AG) de 85,2 % par rapport à DenseFuse, indiquant une meilleure préservation des bords et des textures.
  • SSIM : La métrique a montré une légère baisse de 0,6693 (DenseFuse) à 0,6562. Les auteurs attribuent cela au compromis inhérent entre la préservation de la saillance thermique et la fidélité structurelle du visible, notant que la valeur reste dans une plage élevée. Par rapport à la base découplée, le SSIM s'est amélioré de 0,94 % (de 0,6501 à 0,6562).

• Études d'Ablation :

  • Partage de Paramètres : Passer d'une base découplée à un modèle couplé sans interaction a amélioré le $Q_{abf}$ de 0,0085 et réduit les paramètres de 13 %.
  • Interaction : L'activation du coefficient de couplage apprenable ($\lambda$) a fourni un gain supplémentaire de $Q_{abf}$ de 0,0030.
  • Convergence du Coefficient : Le $\lambda$ apprenable a convergé vers environ 0,3646, indiquant un équilibre optimal entre la rétention spécifique à la modalité et l'interaction intermodale.

• Efficacité :

  • Temps d'inférence : 41,3 ms par image sur une NVIDIA RTX 4090 (comparable à la base de 42,7 ms).
  • FLOPs : 46,1G, inférieur à la base (48,3G).

5. Signification et Revendications

Le papier affirme que CMS2-Fusion représente un changement de paradigme dans la fusion multi-modale. En introduisant un couplage intermodal au niveau de la transition d'état, la méthode dépasse les limites des architectures « encoder-then-fuse ». Les auteurs soutiennent que cette approche permet au réseau d'apprendre des représentations sémantiquement couplées plus tôt dans le pipeline, résultant en des images fusionnées qui préservent mieux à la fois la saillance thermique et la fidélité des textures.

Le travail se distingue des méthodes de fusion basées sur Mamba existantes (telles que CrossMamba, FusionMamba, etc.) en étant le premier à appliquer une interaction intermodale d'espace d'état spécifiquement durant la phase d'encodage. Alors que les travaux antérieurs utilisent Mamba pour l'extraction de caractéristiques, ils maintiennent des branches indépendantes jusqu'à l'étape de fusion ; CMS2-Fusion intègre les modalités directement au sein des transitions d'état de l'encodeur. Les auteurs démontrent que le partage des paramètres SSM et l'activation d'une interaction dynamique d'état produisent des performances supérieures avec moins de paramètres, ce qui en fait un candidat sérieux pour le déploiement sur des appareils périphériques (edge).

Les travaux futurs suggérés par les auteurs incluent un couplage adaptatif par couche et par espace, ainsi que l'extension du cadre à d'autres tâches multi-modales comme la fusion d'images médicales.