Technische Samenvatting: CHASMBrain

Probleemstelling

De fundamentele uitdaging die in dit werk wordt aangepakt, is het begrijpen van de correspondentie tussen diepe visuele representaties en de hiërarchische organisatie van het menselijke visuele systeem. Hoewel moderne visiemodellen uitblinken in beeldherkenning, blijft hun afstemming op de functionele organisatie van de menselijke visuele cortex een openstaande vraag. Specifiek hebben bestaande encodingmodellen vaak moeite met het gelijktijdig vastleggen van:

1. Lokale ruimtelijke details die cruciaal zijn voor vroege visuele gebieden (retinotopische regio's zoals V1/V2).
2. Globale semantische context die essentieel is voor hogere corticale gebieden.
3. Hoge intrinsieke ruis in fMRI-signalen, wat directe regressie op voxel-niveau bemoeilijkt.

Huidige benaderingen vertrouwen vaak op handmatig ontworpen kenmerken of monolithische diepe netwerken die een gebrek aan biologische interpreteerbaarheid vertonen of er niet in slagen om ruimtelijke locatie te scheiden van feature-tuning.

Methodologie: CHASMBrain

De auteurs stellen CHASMBrain voor, een nieuw hiërarchisch twee-traps framework voor beeld-naar-fMRI encoding. De architectuur is gemotiveerd door de functionele organisatie van de visuele cortex en maakt gebruik van een coarse-to-fine strategie en een dual-stream Mamba-ontwerp.

1. Inputrepresentatie

Het model maakt gebruik van een vooraf getrainde DINOv2 encoder (ViT-B/14) om visuele kenmerken te extraheren:

• CLS Token: Een enkele vector die de globale beeldsemantiek samenvat.
• Patch Tokens: Een sequentie van 256 vectoren die de lokale ruimtelijke structuur behouden.

2. Fase 1: Coarse Voorspelling (Dual-Stream Mamba)

De eerste fase voorspelt gedempte activaties op het niveau van de Region of Interest (ROI) in plaats van op individueel voxel-niveau om ruis te verminderen.

• Dual-Stream Architectuur:
  • Global Branch: Verwerkt de CLS-token met een Mamba-blok om hoogwaardige semantiek te modelleren.
  • Local Branch: Verwerkt patch-tokens met een diepere stapel Mamba-blokken om fijnmazige ruimtelijke structuren te modelleren.
• Adaptieve Fusie: Een leerbare gate fuseert dynamisch de outputs van de twee takken ($\hat{r} = \alpha \cdot r_g + (-\alpha) \cdot r_l$), waardoor het model de globale context kan benadrukken voor eenvoudige scènes of lokale details voor complexe scènes.
• ROI Aggregatie: Voxels worden geclusterd in niet-overlappende groepen. In plaats van eenvoudige middeling aggregeert het model de top-$p\%$ (gesteld op 70%) van de activaties binnen elk cluster om informatieve pieken te behouden terwijl ruis wordt onderdrukt.
• Trainingsdoel: Combineert Mean Squared Error (MSE), Pearson correlatie-afstemming en een contrastieve InfoNCE-loss om beeldkenmerken af te stemmen op hersenresponsen.

3. Fase 2: Fine Voorspelling (Mamba-VAE)

De tweede fase verfijnt de grove ROI-voorspellingen naar volledige voxel-niveau voorspellingen.

• Input Fusie: Combineert de Stage 1 ROI-voorspellingen met de originele visuele kenmerken (gepoolde patch-features en CLS-token).
• Mamba-VAE:
  • Encoder: Een stapel Mamba-blokken codeert de gefuseerde sequentie.
  • Variational Latent Space: Een VAE-head modelleert de trial-naar-trial variabiliteit in fMRI-responsen door een latente distributie ($\mu, \sigma$) te leren. Tijdens inferentie wordt het gemiddelde ($\mu$) gebruikt voor deterministische voorspelling.
• Dual Decoding:
  • Holistic Voxel Decoder: Voorspelt de volledige voxel-vector gezamenlijk vanuit globale context met behulp van leerbare query-tokens.
  • ROI Residual Decoder: Voorspelt lokale residuen ten opzichte van de Stage 1 grove waarden, waarbij de focus ligt op fijne correcties.
• Amplitude Recovery: Een leerbare schaal-herstel laag past de output-magnitude aan op basis van de complexiteit van het stimulus.

Belangrijkste Bijdragen

1. Hiërarchisch Twee-Traps Framework: CHASMBrain bereikt een Pearson correlatie van 0.429 en een MSE van 0.261 op de Natural Scenes Dataset (NSD), waarmee het recente diepe modellen (SynBrain, MindSimulator) en sterke lineaire baselines (Ridge Regression, DINOv2 lineaire probes) overtreft.
2. Sequentiële Coarse-to-Fine Mechanisme: Door de robuuste semantische afstemming op ROI-niveau te scheiden van de fijnmazige voxel-verfijning via een Mamba-VAE, adresseert het model effectief de hoge intrinsieke ruis van fMRI-signalen.
3. Causale Stream Specialisatie: Door middel van branch-ablatie en input-routing experimenten tonen de auteurs een asymmetrische specialisatie aan:
   • De Patch (Local) stream is causaal gekoppeld aan de vroege visuele cortex (retinotopische regio's). Het verwijderen ervan schaadt de voorspellingen van vroege regio's onevenredig veel.
   • De CLS (Global) stream draagt bredere semantische context bij aan hogere orde gebieden.
   • Het verwisselen van deze stromen veroorzaakt een significante asymmetrische daling in prestaties (1.9× relatieve degradatie in vroege regio's), wat bevestigt dat de correspondentie causaal is en niet slechts correlationeel.
4. Cross-Subject Generaliseerbaarheid: De geleerde backbone generaliseert over individuen. Wanneer getraind op bron-subjecten en bevroren, met alleen een lichtgewicht per-subject head die is bijgetraind, bereikt het model bijna de binnen-subject prestaties op ongeziene subjecten, wat suggereert dat de representatie subject-agnostisch is.

Resultaten

• Kwantitatieve Prestaties: Op NSD (subjecten 1, 2, 5, 7) vermindert CHASMBrain de MSE met 26.9% vergeleken met de sterkste DINOv2 lineaire probe (Laag 12) en presteert het significant beter dan eerdere werken zoals SynBrain en MindSimulator.
• Kwalitatieve Analyse: Voorspelde fMRI-kaarten behouden scherpe regionale grenzen en gelokaliseerde pieken, wat de grondwaarheid van de neurale responsen nauwgezet weerspiegelt. Downstream beeldreconstructie (via MindEye2) vertoont een robuuste semantische retentie en reconstrueert succesvol coherente structuren van rigide objecten beter dan de baselines.
• Ablatie Studies:
  • Het Dual-Mamba ontwerp presteert beter dan single-stream Mamba en Transformers, terwijl het minder parameters en FLOPs gebruikt.
  • De VAE-gebaseerde verfijningsstrategie presteert aanzienlijk beter dan diffusie-gebaseerde verfijning, die faalt door kunstmatige ruis te verwarren met biologische ruis.
  • Een optimale clustering-granulariteit van 30 voxels/cluster werd geïdentificeerd, wat een balans biedt tussen ruisonderdrukking in Stage 1 en ruimtelijke resolutie voor Stage 2.

Betekenis

Het artikel beweert dat CHASMBrain de kloof overbrugt tussen kunstmatige visuele representaties en menselijke neurale activiteit door corticale priors te integreren. Door de ruimtelijke locatieparameters expliciet te scheiden van de feature-gewicht parameters, stelt het model directe inspectie van receptieve veldstructuren mogelijk. Het causale bewijs van stream-specialisatie suggereert dat het model een gedeelde, biologisch plausibele visuele representatie vastlegt die de "waar"- (dorsaal/vroeg) en "wat"- (ventraal/hoger) paden van het menselijk brein weerspiegelt. Bovendien geeft de cross-subject generaliseerbaarheid aan dat het model fundamentele visuele principes leert in plaats van te overfitten op subject-specifieke ruis.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• De voorspellende bovengrens wordt beperkt door de fysiologische ruisplafond van fMRI ($r \approx 0.60$).
• De pipeline vertrouwt op een bevroren DINOv2 encoder die bevooroordeeld is naar statische, object-gecentreerde afbeeldingen, wat potentieel een gebrek aan temporele dynamiek betekent.
• Evaluatie over verschillende datasets is nog niet uitgevoerd vanwege verschillende acquisitieprotocollen.
• Downstream visuele reconstructie wordt beperkt door de generatieve priors van de fMRI-naar-beeld decoder.