ViBE: Visual-to-M/EEG Brain Encoding via Spatio-Temporal VAE and Distribution-Aligned Projection

1. Probleemdefinitie

Het artikel behandelt de uitdaging van Brain Encoding, specifiek de taak om neurale responsen (Magneto-encefalografie - MEG, en Electro-encefalografie - EEG) te voorspellen op basis van visuele prikkels (afbeeldingen).

• Context: Deze technologie is cruciaal voor het begrijpen van menselijke visuele perceptie en het ontwikkelen van visuele protheses voor patiënten met ongeneeslijke blindheid.
• Beperkingen van bestaande methoden:
  • Deterministische modellen: Eerdere benaderingen gebruiken vaak deterministische generatieve strategieën die visuele kenmerken afbeelden op een enkele, vaste latente representatie. Dit faalt in het vastleggen van de inherente "één-tot-veel" aard van hersenresponsen, wat leidt tot gemiddelde, fysiologisch ongeldige output.
  • Modale kloof: Er is een aanzienlijke discrepantie in kenmerkschaal tussen visuele embeddings (bijvoorbeeld van CLIP) en neurale embeddings (bijvoorbeeld fMRI of M/EEG). Directe afbeelding faalt vaak omdat de schalen verschillen met ordes van grootte.
  • Verschil in verdeling: Bestaande methoden vertrouwen vaak uitsluitend op de Gemiddelde Kwikkelfout (MSE) voor punt-voor-punt afbeelding, en negeren de afbeelding van waarschijnlijkheidsverdelingen tussen visuele semantiek en neurale responsen.
  • Data-beperkingen: Het merendeel van het eerdere werk richt zich op fMRI, wat een lage temporele resolutie en hoge kosten heeft, waardoor het minder geschikt is voor Brain-Computer Interfaces (BCI's) in vergelijking met M/EEG.

2. Methodologie: Het ViBE-kader

De auteurs stellen ViBE voor, een tweestapskader dat is ontworpen om hoogwaardige M/EEG-signalen te genereren vanuit afbeeldingen.

Stap I: Neurale Responsreconstructie (TSC-VAE)

De eerste stap richt zich op het leren van een hoogwaardige latente ruimte voor M/EEG-signalen.

• Architectuur: Een Spatio-Temporale Convolutionele Variational Autoencoder (TSC-VAE).
• Innovatie (TSConvPlus): In tegenstelling tot standaard temporo-spatiale convoluties (TSConv) die de volledige spatiale dimensie in één stap samenvoegen, introduceert ViBE TSConvPlus. Dit gebruikt een spatiale kernelgrootte van $(k_s, 1)$ waarbij $k_s < C$ (aantal kanalen).
  • Redenering: Dit respecteert de hiërarchische aard van visuele verwerking (V1 $\to$ V2 $\to$ V4 $\to$ IT-cortex), waardoor het model hiërarchische spatiale informatie over verschillende hersengebieden kan vastleggen in plaats van deze direct samen te voegen.
• Training: De encoder beeldt M/EEG-signalen af op een latente verdeling, en de decoder reconstrueert het signaal. Het model wordt geoptimaliseerd met behulp van de Evidence Lower Bound (ELBO), waarbij reconstructieverlies (MSE) en KL-divergentieregularisatie worden gecombineerd.

Stap II: Visueel-naar-neurale Afbeelding (Q-Former Projectie)

De tweede stap overbrugt de kloof tussen visuele kenmerken en de geleerde neurale latente ruimte.

• Kenmerkenextractie: Een bevroren CLIP visuele encoder haalt afbeeldingsembeddings op.
• Overbrugging van de kloof: Een Q-Former-module wordt ingezet om CLIP-afbeeldingsembeddings af te beelden op dezelfde dimensionale ruimte als de TSC-VAE-late embeddings.
  • Het maakt gebruik van leerbare query-tokens die via cross-attention interageren met CLIP-embeddings.
  • Een projectiekop herschikt de output tot Neurale Proxy-embeddings ($\hat{z}$).
• Afbeeldingsstrategie: Om een uitgebreide afbeelding te garanderen, combineren de auteurs twee verliesfuncties:
  1. Gemiddelde Kwikkelfout (MSE): Voor punt-voor-punt kenmerkenmatching.
  2. Gesneden Wasserstein-afstand (SWD): Voor afbeelding van waarschijnlijkheidsverdelingen. Dit adresseert de beperking van MSE door te waarborgen dat de verdeling van de gegenereerde neurale proxies overeenkomt met de verdeling van de ground truth latente embeddings.
• Optimalisatie: De Q-Former en projectiekop worden getraind om het gecombineerde verlies te minimaliseren ($\mathcal{L}_{Align} = \mathcal{L}_{MSE} + \lambda\mathcal{L}_{SWD}$), terwijl de TSC-VAE- en CLIP-encoders bevroren blijven.

Inference-pijplijn

Gegeven een testafbeelding:

1. CLIP-afbeeldingsembeddings extraheren.
2. Projecteren via de getrainde Q-Former om Neurale Proxy-embeddings te genereren.
3. Decoderen via de bevroren TSC-VAE-decoder om het voorspelde M/EEG-signaal te genereren.

3. Belangrijkste Bijdragen

1. TSC-VAE-architectuur: Voorstel van een nieuwe Variational Autoencoder met TSConvPlus die effectief de hiërarchische spatio-temporale kenmerken van M/EEG-signalen vastlegt, waardoor hoogwaardige reconstructie mogelijk wordt.
2. Mitigatie van modale kloof: Introductie van het gebruik van Q-Former om CLIP-embeddings af te beelden op de neurale latente ruimte, waardoor de enorme discrepantie in kenmerkschaal (ongeveer 2 ordes van grootte) tussen visuele en neurale modaliteiten effectief wordt overbrugd.
3. Dual-Afbeeldingsverlies: Aangetoond dat het combineren van MSE (punt-voor-punt) met Gesneden Wasserstein-afstand (distributie) superieure cross-modale afbeelding oplevert in vergelijking met het gebruik van MSE alleen.
4. Empirische validatie: Validatie van het kader op de THINGS-EEG2 en THINGS-MEG datasets, waarbij state-of-the-art prestaties werden behaald bij het genereren van hersensignalen uit afbeeldingen.

4. Experimentele Resultaten

Het model werd geëvalueerd op THINGS-EEG2 (10 proefpersonen) en THINGS-MEG (4 proefpersonen) met behulp van MSE, Pearson-correlatie en Cosijn-ähnelijkheid.

• Prestaties: ViBE presteerde aanzienlijk beter dan bestaande baselines (waaronder SynBrain, MindSimulator en eerdere op diffusie gebaseerde benaderingen).
  • THINGS-EEG2 (Binnen-proefpersoon): Bereikte een Pearson-correlatie van 0,635 (tegenover 0,425 voor de vorige beste, Xu et al.).
  • THINGS-MEG (Binnen-proefpersoon): Bereikte een Pearson-correlatie van 0,543 (tegenover 0,379 voor de vorige beste).
• Ablatiestudies:
  • TSConvPlus vs. TSConv: Het gebruik van TSConvPlus verbeterde de Stage I-reconstructie Pearson-correlatie van ~0,29 naar 0,94 (EEG) en van ~0,62 naar 0,98 (MEG), wat het belang van hiërarchische spatiale verwerking bewijst.
  • Verliesfunctie: De combinatie van MSE + SWD leverde de beste Pearson- en Cosijn-scores op, wat bevestigt dat distributie-afbeelding cruciaal is, zelfs als dit de MSE licht verhoogt door verschillen in amplitude-schaal.
  • Hersengebieden: Ablatiestudies bevestigden dat het Occipitale gebied de sterkste invloed heeft op de prestaties, en een "Visuele Weg"-conditie (alleen Temporale en Occipitale kanalen behoudend) presteerde iets beter dan het volledige model, wat de ventrale-stroomhypothese ondersteunt.
• Cross-proefpersoon Generalisatie: Hoewel de cross-proefpersoon-prestaties daalden (zoals verwacht), toonde het Leave-One-Subject-Out-protocol aan dat training op multi-proefpersoonsdata de generalisatie aanzienlijk verbetert in vergelijking met training op single-proefpersoonsdata.

5. Betekenis

• Vooruitgang in Brain-Computer Interfaces (BCI's): Door zich te richten op M/EEG (hoge temporele resolutie) in plaats van fMRI, biedt ViBE een meer praktische basis voor real-time visuele protheses.
• Biologische plausibiliteit: Het kader genereert neurale responsen die niet alleen statistisch gecorreleerd zijn, maar ook distributie-afgebeeld zijn op de ground truth, wat een realistischere simulatie van hersenactiviteit biedt voor patiënten met blindheid.
• Methodologische inzicht: Het artikel benadrukt het kritieke belang van het omgaan met discrepanties in kenmerkschaal en distributie-afbeelding in cross-modale brain encoding-taken, en biedt een blauwdruk voor toekomstig onderzoek in visueel-naar-neurale synthese.