NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning

Technische Samenvatting: NeuroMambaLLM

Probleemstelling
De huidige neurobeeldanalyse voor Autisme Spectrum Stoornis (ASS) staat voor twee primaire beperkingen. Ten eerste vertrouwen de meeste methoden op Statische Functionele Connectiviteit (sFC), die fMRI-gegevens aggregeert tot een enkele correlatiematrix. Deze benadering verdoezelt transiënte neurale dynamiek en tijdsvariërende interacties die cruciaal zijn voor het begrijpen van neurodevelopmentale stoornissen. Ten tweede, hoewel Large Language Models (LLM's) krachtige semantische redeneercapaciteiten bieden, is hun integratie met hersenconnectiviteitsmodellen nog in de kinderschoenen. Bestaande "Brain-to-Text"-kaders (bijv. FCN-LLM, BrainLLM) mappen doorgaans statische connectiviteitsmatrices naar LLM's, waardoor redenering beperkt blijft tot gemiddelde biomerkers in plaats van specifieke temporale gebeurtenissen. Bovendien lijden diep leermodellen voor lange fMRI-sequenties vaak onder de kwadratische rekenkosten van Transformers of de vergeetproblemen van recurrente netwerken, waardoor end-to-end modellering van lange, ruisige tijdreeksen onpraktisch is.

Methodologie
Het artikel stelt NeuroMambaLLM voor, een end-to-end kader dat het paradigma verschuift van statische graf-naar-tekst-modellering naar Dynamic Latent Signal-to-Text-modellering. De architectuur bestaat uit drie gekoppelde fasen:

1. Dynamic Latent Graph Inference (LGI):
   In plaats van gebruik te maken van vooraf berekende correlatiematrices of vaste structurele priors, leert het model tijd-opgeloste functionele connectiviteit direct uit ruwe Blood-Oxygen-Level-Dependent (BOLD)-tijdreeksen. Een differentieerbare module mapt instantane BOLD-signalen af naar een latente kenmerkenruimte met behulp van 1D-convoluties en self-attention. Paarsgewijze gelijkenis tussen deze latente knoopembeddings genereert een tijdsvariërende adjacentiematrix ($G_t$), die instantane functionele koppeling en niet-lineaire afhankelijkheden vastlegt zonder heuristische schuifvensters.

2. Selective State-Space Temporal Modelling (Mamba):
   De graf-gefilterde hersentoestanden worden verwerkt door een Mamba-architectuur, een Selective State-Space Model (SSM). In tegenstelling tot Transformers verwerkt Mamba signalen in lineaire tijd met betrekking tot de sequentielengte, waardoor kwadratische geheugengroei wordt vermeden. Het maakt gebruik van een hardware-bewust selectief scanmechanisme waarbij toestands-overgangs- en input-projectiematrices worden gegenereerd als deterministische functies van de huidige input. Dit stelt het model in staat om adaptief relevante temporale informatie te selecteren, bewegingsgerelateerde artefacten en fysiologische ruis effectief te onderdrukken en tegelijkertijd lange-afstandsafhankelijkheden in fMRI-gegevens vast te leggen.

3. Cross-Modal Alignment met LLM:
   De resulterende sequentie van latente temporale toestanden wordt gecomprimeerd tot een vaste set "brain-summary tokens". Deze tokens worden geprojecteerd in de embeddruimte van een bevroren LLaMA-3-8B-taalmodel. Alignering wordt bereikt via Low-Rank Adaptation (LoRA)-modules die in de attention-layers van de LLM zijn ingevoegd, waarbij het basismodel bevroren blijft voor parameter-efficiëntie. De LLM ontvangt deze brain-tokens, geconjungeerd met diagnostische prompts, waardoor het diagnostische classificatie kan uitvoeren en klinisch betekenisvolle tekstuele rapporten kan genereren die zijn verankerd in de specifieke temporale patronen van de input.

Belangrijkste Bijdragen

• Dynamic Functional Graph Learning: Introductie van een end-to-end encoder die adaptieve, tijd-opgeloste functionele connectiviteit afleidt direct uit ruwe BOLD-signalen, waardoor transiënte neurale interacties die door statische analyses worden gemist, worden vastgelegd.
• Efficient Temporal Modelling: Toepassing van de Mamba selectieve state-space architectuur om lange-afstands fMRI-afhankelijkheden te modelleren met lineaire rekencomplexiteit, adaptief ruis onderdrukkend zonder de kosten van Transformers.
• LLM Reasoning Framework: Een nieuwe aligneringsstrategie met behulp van LoRA om dynamische hersengrafen te projecteren in de embeddruimte van een bevroren LLM. Dit maakt gezamenlijke diagnostische classificatie en taalgebaseerde redenering mogelijk, waarbij interpreteerbare tekstuele verklaringen worden geproduceerd in plaats van black-box voorspellingen.

Experimentele Resultaten
Experimenten werden uitgevoerd op het Autism Brain Imaging Data Exchange (ABIDE I)-dataset, waarbij rusttoestand fMRI-gegevens werden gebruikt van 39 Regions of Interest (ROI's) afgekapt tot 100 tijdstippen.

• Prestatie: NeuroMambaLLM behaalde een testnauwkeurigheid van 72,12%, wat beter presteert dan recente state-of-the-art methoden, waaronder BoLT (71,28%), SwinT (68,59%) en statische grafgebaseerde benaderingen zoals BrainGNN (69,31%).
• Maten: Het model toonde een precisie van 0,8022 en een F1-score van 0,6931.
• Ablatiestudies:
  • Het vervangen van de dynamische graf door een statische formulering ("Static MambaLLM") verlaagde de nauwkeurigheid tot 66,50%, wat de noodzaak van adaptieve graf-inferentie bevestigt.
  • Het bevriezen van de LLM-parameters zonder LoRA-adaptie ("Frozen MambaLLM") resulteerde in lagere prestaties (68,20%) in vergelijking met de LoRA-geoptimaliseerde versie, wat de waarde van lichtgewicht fine-tuning valideert.
  • Vergelijkingen van temporale ruggengraten (GRU, TCN, Transformers, S4) toonden aan dat Mamba de sterkste prestaties leverde.

Betekenis en Claims
Het artikel beweert dat NeuroMambaLLM de kloof overbrugt tussen dynamische neurobiologische processen en computationele haalbaarheid. De primaire betekenis ligt in het voorbijgaan aan "black-box"-voorspellingen richting klinisch betekenisvolle verklaringen. Door LLM-outputs te verankeren in causaal relevante, temporale specifieke neurale patronen, levert het kader interpreteerbare rapporten die atypische interacties identificeren (bijv. in de linker superior temporale sulcus en frontotemporale regio's) die consistent zijn met bekende ASS-neurobiologie.

De auteurs benadrukken dat het taalmodel niet uitsluitend wordt geïntroduceerd om de classificienauwkeurigheid te maximaliseren, maar om gestructureerde interpretatie van dynamische hersenpatronen voor domeinexperts te ondersteunen. Het model demonstreert succesvol dat dynamische latente grafleer gecombineerd met efficiënte state-space-modellering en LLM-redenering concurrerende diagnostische prestaties kan opleveren, terwijl het een niveau van interpreteerbaarheid biedt (via gegenereerde tekstsamenvattingen en salientiekaarten) dat statische modellen missen. Toekomstig werk wordt opgemerkt om zich te richten op generalisatie over aanvullende datasets en het verfijnen van prompt-beperkingen om potentiële hallucinaties te mitigeren.