M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis

1. Problématique

L'analyse des réseaux cérébraux en neurosciences repose souvent sur l'apprentissage unimodal (soit l'imagerie par résonance magnétique fonctionnelle - fMRI/FC, soit l'imagerie par résonance magnétique de diffusion - dMRI/SC). Cependant, les données cliniques réelles bénéficient de l'intégration de ces deux modalités complémentaires.

Le problème central identifié par les auteurs réside dans les méthodes de fusion multi-modales existantes :

• Nature statique : Les approches actuelles traitent tous les échantillons d'entrée avec le même modèle et les mêmes opérations de calcul.
• Manque d'adaptation : Elles ignorent les différences inhérentes entre les échantillons individuels (par exemple, la force de connectivité ou l'importance de certaines régions cérébrales varie d'un patient à l'autre).
• Conséquence : Cette rigidité empêche le modèle de sélectionner dynamiquement les parties les plus pertinentes (unimodales ou multimodales) pour chaque échantillon spécifique, limitant ainsi les performances globales.

2. Méthodologie : M3D-BFS

Pour résoudre ces problèmes, les auteurs proposent M3D-BFS (Multi-stage Dynamic Fusion Strategy), une stratégie de fusion dynamique adaptative aux échantillons basée sur un mécanisme de Mélange d'Experts (MoE - Mixture of Experts).

L'architecture se distingue par l'utilisation de modules de "gating" (portes) qui ajustent dynamiquement la fusion en fonction de l'échantillon d'entrée, contrairement aux méthodes traditionnelles qui fusionnent de manière fixe.

Stratégie d'entraînement en 3 étapes

Pour éviter le problème classique de l'effondrement des experts (où un seul expert domine l'entraînement) et assurer une stabilité, la méthode est divisée en trois phases séquentielles :

1. Étape 1 : Pré-entraînement des encodeurs unimodaux

   • Entraînement séparé des encodeurs pour la connectivité fonctionnelle (FC) et structurelle (SC) (utilisant des GCN).
   • Les poids de ces encodeurs sont sauvegardés pour servir de guide dans les étapes suivantes.

2. Étape 2 : Pré-entraînement des experts individuels

   • Le modèle de fusion est entraîné en utilisant des réseaux d'experts simples (MLP) au lieu de MoE complexes.
   • Trois types d'experts sont pré-entraînés : spécifique FC, spécifique SC, et un expert de fusion.
   • Fonctions de perte utilisées :
     • Perte de classification (Cross-Entropy).
     • Distillation unimodale guidée (Ldistill) : Alignement doux avec les encodeurs de l'étape 1 pour préserver les performances unimodales.
     • Perte contrastive multimodale (Lcontrast) : Alignement des représentations SC et FC au sein d'un batch (inspiré de CLIP).

3. Étape 3 : Finetuning des blocs MoE

   • Les experts simples sont remplacés par des blocs MoE complets (avec réseaux d'experts et réseau de gating).
   • Initialisation : Les poids des experts pré-entraînés à l'étape 2 sont utilisés pour initialiser les experts du MoE, assurant une stabilité.
   • Mécanisme dynamique : Un réseau de gating (Softmax avec bruit gaussien et sélection Top-k, ici k=1) assigne dynamiquement chaque région cérébrale à un expert spécifique selon l'échantillon.
   • Fonctions de perte supplémentaires :
     • Perte MoE (Lmoe) : Combinaison de pertes d'importance et de charge pour équilibrer l'utilisation des experts et éviter l'effondrement.
     • Perte de désentanglement multimodal (Ldisen) : Une perte contrastive conçue pour rendre les représentations unimodales et multimodales orthogonales tout en maximisant leur pertinence pour la tâche de classification finale, réduisant ainsi la redondance.

3. Contributions Clés

• Première approche de fusion dynamique : À la connaissance des auteurs, c'est la première étude appliquant une fusion dynamique adaptative aux échantillons pour l'analyse des réseaux cérébraux multi-modaux.
• Stratégie d'entraînement progressive : La division en trois étapes (encodeurs -> experts simples -> MoE) résout efficacement le problème d'instabilité et d'effondrement des experts dans les modèles MoE appliqués aux données médicales.
• Mécanisme d'adaptation aux échantillons : Contrairement aux méthodes statiques, M3D-BFS adapte le chemin de fusion et les experts utilisés en fonction des caractéristiques spécifiques de chaque patient.
• Perte de désentanglement innovante : La proposition de $L_{disen}$ améliore la qualité des représentations finales en séparant clairement les informations spécifiques aux modalités et les informations fusionnées.

4. Résultats Expérimentaux

Les performances ont été évaluées sur deux jeux de données réels :

1. HCP (Human Connectome Project) : Classification du genre (560 femmes, 479 hommes).
2. ZDXX (Zhongda/Xinxiang) : Classification du Trouble Dépressif Majeur (MDD) vs contrôles (93 patients, 94 contrôles).

Comparaison avec l'état de l'art :

• M3D-BFS surpasse significativement les méthodes unimodales (GCN, BrainNPT) et les méthodes de fusion statiques (SVM, Random Forest, MMGNN, AL-NEGAT, Cross-GNN, RH-BrainFS, NeuroPath).
• Améliorations notables :
  • Sur le jeu de données HCP : +2,28 % d'exactitude (Accuracy) par rapport à la meilleure méthode de base.
  • Sur le jeu de données ZDXX : +2,73 % d'exactitude par rapport à la meilleure méthode de base.
• Le modèle atteint des scores supérieurs sur toutes les métriques (ACC, SEN, SPE, F1, AUC).

Analyses ablation et visualisation :

• Les études d'ablation confirment que chaque composant (pré-entraînement, distillation, perte contrastive, désentanglement) contribue positivement aux performances.
• Les visualisations montrent que sans pré-entraînement, les experts tendent à s'effondrer (un seul expert domine). Avec M3D-BFS, la distribution des experts est équilibrée, prouvant l'efficacité de la stratégie de pré-entraînement progressive.

5. Signification et Impact

Ce travail représente une avancée majeure dans l'analyse des réseaux cérébraux en introduisant le concept de dynamisme dans la fusion multi-modale.

• Pertinence clinique : En reconnaissant que chaque cerveau (et chaque pathologie) présente des caractéristiques de connectivité uniques, M3D-BFS permet une modélisation plus précise et personnalisée, ce qui est crucial pour le diagnostic médical.
• Innovation méthodologique : La stratégie de pré-entraînement en plusieurs étapes offre une nouvelle voie pour stabiliser l'entraînement des modèles MoE complexes dans des domaines où les données sont limitées et bruitées.
• Potentiel futur : L'approche ouvre la porte à des modèles capables de gérer des biais de distribution complexes et d'optimiser les tâches en aval (classification de maladies, prédiction de traitement) en s'adaptant finement aux données individuelles.

Le code est disponible publiquement, facilitant la reproductibilité et l'adoption par la communauté de recherche.