Technische Samenvatting: FPED – Een door Functionele Netwerken Geleide Mixture-of-Experts Framework voor Interpreteerbare Hersendecoding

1. Probleemstelling

Visuele beeldreconstructie vanuit functionele Magnetische Resonantie Imaging (fMRI) is een kritieke taak voor het begrijpen van menselijke perceptiemechanismen en het verder ontwikkelen van brain-computer interfaces (BCI's). Echter, huidige mainstroombenaderingen lijden onder twee fundamentele beperkingen:

1. Verlies van Topologische Structuur: De meeste methoden flatten fMRI-signalen van gelokaliseerde visuele cortices tot één-dimensionale (1D) vectoren om ze direct af te beelden in latente ruimten (bijv. CLIP). Dit paradigma verstoort de inherente netwerktopologie van de hersenen, wat leidt tot beperkte neurowetenschappelijke interpreteerbaarheid.
2. Verwaarlozing van Gedistribueerde Netwerken: Bestaande methoden negeren de synergetische bijdragen van gedistribueerde functionele netwerken (bijv. Default Mode Network, Dorsal Attention Network) bij het verwerken van hoog-niveau visuele semantiek. Door uitsluitend te focussen op de visuele cortex, missen deze modellen de top-down beperkingen die nodig zijn om semantische drifting veroorzaakt door ruis te voorkomen, wat vaak resulteert in onstabiele of onnauwkeurige reconstructies.

2. Methodologie: Het FPED Framework

De auteurs stellen FPED (Functional-Network Prior-Guided Mixture-of-Experts) voor, een framework dat hersenactiviteit modelleert als een compositie van heterogene maar complementaire functionele netwerken in plaats van een homogene feature-vector. Het framework werkt in twee sequentiële stadia:

3.1 Stadium 1: fMRI Feature Mapping met Hiërarchische MoE

De kern van FPED is een hiërarchische Mixture-of-Experts (MoE) architectuur, geleid door de Yeo-7 functionele netwerkatlas.

• Data Preprocessing: 3D fMRI-data van het hele brein (uit de Natural Scenes Dataset) wordt geregistreerd op de Yeo-7-template. Een top-k-strategie selecteert de voxels met de hoogste intensiteit, en ridge-regressie wordt voxel-voor-voxel toegepast voor denoising.
• Hiërarchische Routing:
  • Laag 1 (Grofkorrelig): Bestaat uit 7 experts, waarbij elke expert overeenkomt met een van de zeven functionele netwerken gedefinieerd door de Yeo-7-atlas. Een router berekent routing-logits ($z_i$) voor invoerfeatures. Cruciaal wordt een tijd-afhankelijke KL-divergentie regularisator ($L_{kl}$) ingezet om de geleerde routing-verdeling te aligneren met een deterministische prior-verdeling ($p_{roi}$) afgeleid van de hersenatlas. Dit zorgt ervoor dat features van specifieke hersengebieden aanvankelijk worden geleid naar hun corresponderende netwerk-experts.
  • Laag 2 (Fijnkorrelig): Omvat 14 experts die zijn ontworpen voor fijnkorrelige feature-verwerking. In tegenstelling tot de eerste laag opereren deze experts zonder expliciete prior-beperkingen, waardoor het model cross-netwerk interacties en complexe feature-combinaties kan leren die door de data worden gedreven.
• Capaciteitsbeheer: Om load-imbalance te voorkomen, wordt een capaciteit-beperkte Top-K feature-selectiestrategie gebruikt, zodat elke expert een gebalanceerd subset van informatieve features verwerkt.
• Fusie: Outputs van alle experts worden geaggregeerd via sommatie, gevolgd door globale pooling en een diffusion prior-mechanisme voor ruimtelijke smoothing om semantische consistentie te waarborgen.

3.2 Stadium 2: Fine-Tuning met Ruimtelijk-Tijds Routing

Op basis van de feature mapping fine-tunt het framework een vooraf getraind diffusion model (SDXL) met behulp van de MORE-Brain-benadering.

• Ruimtelijk-Tijds Router: Een temporele router moduleert dynamisch de feature-granulariteit op basis van de UNet-timestep. Hij prioriteert grofkorrelige experts tijdens de vroege denoising-stappen (globale semantiek) en verschuift naar fijnkorrelige experts in latere iteraties (ingewikkelde details).
• Ruimtelijke Verfijning: Een ruimtelijke router maakt gebruik van cross-attention om de ruwe latente representatie toe te staan om de tijdelijk gegate hersenfeatures te bevragen, waardoor coherente multi-schaal integratie wordt gewaarborgd.

3.3 Verliesfuncties

Het framework wordt getraind met een multi-objectieve optimalisatiestrategie bestaande uit:

• KL-Divergentie ($L_{kl}$): Dwingt alignering af tussen routing-kansen en hersennetwerk-priors.
• Geometrische Alignering: Cosinus-similariteit en Mean Squared Error (MSE) om directionele en magnitude-consistentie te beperken.
• SoftCLIP Contrastive Learning: Een bidirectionele loss om hersenrepresentaties te aligneren met visuele semantische doelen.
• Diffusion Prior & Verfijning: Omvat een diffusion loss ($L_{DP}$) en een prior contrastive loss ($L_{prior}^{CLIP}$) om output met hoge fideliteit te garanderen.

3. Belangrijkste Bijdragen

1. FPED Framework: Het voorstellen van een hersendecoding framework dat expliciet functionele specialisatie en synergetische mechanismen van hersennetwerken modelleert via een door priors geleide MoE-architectuur.
2. Generalisatievalidatie: Evaluatie onder zowel single-subject als multi-subject settings, waarbij het vermogen wordt aangetoond om gegeneraliseerde representaties over individuen heen te vangen terwijl hoge prestaties worden behouden.
3. Netwerk-niveau Priors: Experimentele demonstratie van de noodzaak van netwerk-niveau priors, waarbij wordt aangetoond dat modellering van het hele brein met meerdere netwerken superieur is aan traditionele visuele cortex-gerichte benaderingen.
4. Interpreteerbaarheidsanalyse: Een uitgebreide analyse die decoding-prestaties verbindt met neurowetenschappelijke mechanismen, verhelderend hoe verschillende hersennetwerken bijdragen aan visuele semantische begrijping.

4. Experimentele Resultaten

Het model werd geëvalueerd op de Natural Scenes Dataset (NSD) met behulp van 3D fMRI-data van het hele brein.

• Prestaties: FPED bereikt state-of-the-art resultaten op hoog-niveau semantische metrics, inclusief een CLIP-score van 96,7% en een Inception-score van 94,2%.
• Efficiëntie: Ondanks het gebruik van een lichtgewicht parametrisatie van slechts 0,68B parameters (zonder VAE-gebaseerde generatieve modellering), bereikt het de op één na beste SSIM-score (0,386) onder vergeleken methoden, wat een gunstige afweging aantoont tussen semantische nauwkeurigheid en pixel-niveau fideliteit.
• Ablatiestudies:
  • Het beperken van het model tot alleen visuele cortex-features ("OnlyV") resulteerde in aanzienlijk lagere prestaties op alle metrics, wat de essentiële rol bevestigt van niet-visuele cognitieve netwerken.
  • De MoE-architectuur presteerde beter dan alternatieve aggregatieschema's (Transformer-gebaseerd, Attention-gebaseerd en Uniforme fusie), wat de effectiviteit valideert bij het modelleren van hersendynamica.

5. Betekenis en Interpreteerbaarheid

Het artikel stelt dat FPED transparante neurowetenschappelijke interpreteerbaarheid biedt door biologisch betekenisvolle correspondenties te onthullen tussen functionele hersennetwerken en modality-specifieke semantische verwerking:

• Expert Specialisatie: Visualisatie van routing-weights toont aan dat verschillende experts overeenkomen met gevestigde hersenfuncties. Bijvoorbeeld, Visuele (V) experts vangen globale contouren, terwijl Default Mode (DM) en Limbische (L) netwerken respectievelijk scenesemantiek en beloningsrelevante stimuli coderen.
• Modality-specifieke Routing: Het routing-mechanisme wijst hersennetwerken adaptief toe op basis van de doel-modality. Tekst-alignement rekruteert zwaar het Limbische netwerk (affectieve/semantische verwerking), terwijl beeld-alignement een gebalanceerde mix van Dorsale Attention, Visuele, Default Mode en Somatomotorische netwerken activeert.
• Conclusie: Het werk suggereert dat het integreren van neurobiologisch onderbouwde priors in deep learning-architecturen een veelbelovende richting is voor het overbruggen van neurale decoding en biologisch geïnspireerde kunstmatige intelligentie, en dat men zich verplaatst van "black box"-decoding naar gestructureerde, interpreteerbare netwerk-niveau representatieleren.