M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis

Probleemstelling

In de neurowetenschappen is multi-modale fusie (het integreren van informatie uit verschillende bronnen, zoals structurele connectiviteit (SC) en functionele connectiviteit (FC)) cruciaal voor het verbeteren van prestaties in downstream-taken zoals ziekteclassificatie of geslachtsbepaling. Echter, bestaande methoden voor het fuseren van hersennetwerken hebben een fundamenteel nadeel: ze zijn statisch.

• Gebrek aan aanpassing: Traditionele modellen voeden alle steekproeven (patiënten) door hetzelfde model met identieke berekeningen. Ze negeren de inherente verschillen tussen individuele monsters.
• Vergelijkbare context: In computer vision en NLP wordt "dynamische fusie" al gebruikt om modellen aan te passen aan specifieke data, maar dit ontbreekt in de analyse van multi-modale hersennetwerken.
• Consequentie: Omdat verschillende monsters variëren in de sterkte en connectiviteit van hersengebieden, faalt een statisch model om de optimale representatie voor elk specifiek geval te genereren.

Methodologie: M3D-BFS

De auteurs stellen M3D-BFS (Multi-stage Dynamic Fusion Strategy) voor, een innovatieve aanpak die gebruikmaakt van Mixture-of-Experts (MoE) voor sample-adaptieve dynamische fusie. In plaats van één vast model te gebruiken, past M3D-BFS de fusiestrategie dynamisch aan op basis van de invoermonster.

Het model bestaat uit drie distincte trainingsfasen om de stabiliteit te waarborgen en het probleem van "expert collapse" (waarbij alle invoer naar één expert gaat) te voorkomen:

1. Fase 1: Pre-training van Uni-modale Encoders

   • Er worden afzonderlijke encoders getraind voor de SC- en FC-modaliiteiten.
   • Doel: Het verkrijgen van sterke basisrepresentaties voor elke modaleiteit apart. De gewichten van deze encoders worden opgeslagen om te dienen als "leraar" in de volgende fase.

2. Fase 2: Pre-training van Enkele Experts (Single Expert Pretraining)

   • Het fusiemodel wordt getraind met behulp van enkele, vaste experts (in plaats van een volledig MoE-systeem) voor SC, FC en fusie.
   • Verliesfuncties:
     • Cross-Entropy Loss: Voor classificatie.
     • Distillatie Loss: Om de prestaties van de uni-modale encoders (uit Fase 1) te behouden tijdens de fusie (soft alignment).
     • Contrastive Loss (CMBP): Om de representaties van SC en FC binnen een batch beter op elkaar af te stemmen.
   • De gewichten van deze enkele experts worden opgeslagen om te dienen als initialisatie voor de MoE-netwerken.

3. Fase 3: Finetuning van MoE (Dynamic Fusion)

   • De enkele experts worden vervangen door Mixture-of-Experts (MoE) blokken.
   • Dynamische Gating: Een gating-netwerk kiest dynamisch welke expert het beste past bij een specifiek hersengebied van een specifiek monster. Hierdoor kan het model per monster kiezen tussen uni-modale of multi-modale representaties.
   • Stabilisatie: Om expert collapse te voorkomen, worden de gewichten uit Fase 2 gebruikt voor initialisatie. Daarnaast worden Importance Loss en Load Loss toegevoegd om te zorgen voor een evenwichtige verdeling van de training over alle experts.
   • Multi-modal Disentanglement Loss: Een speciaal ontworpen verliesfunctie die ervoor zorgt dat de uni-modale en multi-modale representaties zo orthogonaal mogelijk zijn (minder redundantie), terwijl hun correlatie met de taak (label) behouden blijft.

Belangrijkste Bijdragen

1. Eerste Dynamische Fusie: Dit is, voor zover bekend, het eerste werk dat dynamische, sample-adaptieve fusie toepast op multi-modale hersennetwerkanalyse.
2. Multi-stage Trainingsstrategie: De ontwikkeling van een drie-fasen trainingsparadigma (pre-train encoders -> pre-train experts -> finetune MoE) om de instabiliteit van MoE-modellen op te lossen en expert collapse te voorkomen.
3. Sample-Adaptiviteit: Het vermogen om de fusiestrategie per monster aan te passen, wat beter aansluit bij de biologische variabiliteit in hersenconnectiviteit.
4. Nieuwe Verliesfuncties: Introductie van een multi-modale disentanglement loss en een combinatie van distillatie- en contrastieve loss voor robuustere representaties.

Resultaten

De auteurs hebben M3D-BFS getest op twee real-world datasets:

• HCP (Human Connectome Project): Voor geslachtsclassificatie (560 vrouwen, 479 mannen).
• ZDXX (Zhongda/Xinxiang): Voor de classificatie van Major Depressive Disorder (MDD) vs. controles.

Prestaties:

• M3D-BFS overtreft zowel uni-modale methoden (GCN, BrainNPT) als bestaande multi-modale fusiemethoden (zoals AL-NEGAT, Cross-GNN, RH-BrainFS, NeuroPath).
• HCP: Bereikte een nauwkeurigheid (ACC) van 81.21%, een verbetering van 2.28% ten opzichte van de tweede beste methode.
• ZDXX: Bereikte een ACC van 80.85%, een verbetering van 2.73% ten opzichte van de concurrenten.
• Ablatie Studies: De experimenten bevestigen dat elke fase en elke component (distillatie, contrastieve loss, disentanglement loss) bijdraagt aan de uiteindelijke prestaties.
• Visualisatie: De analyse van de expert-verdeling toont aan dat M3D-BFS succesvol expert collapse voorkomt en een evenwichtige verdeling bereikt, in tegenstelling tot modellen zonder pre-training.

Significantie

Deze studie markeert een paradigmaverschuiving in de analyse van hersennetwerken. Door te erkennen dat niet alle hersenmonsters identiek zijn en dat een "one-size-fits-all" benadering suboptimaal is, biedt M3D-BFS een nieuwe richting voor de neurowetenschappen. Het model demonstreert dat dynamische, adaptieve fusie leidt tot superieure diagnostische prestaties. Dit heeft potentieel grote impact voor het ontwikkelen van nauwkeurigere AI-tools voor het diagnosticeren van neurologische en psychiatrische aandoeningen, waarbij individuele variabiliteit centraal staat.