Neural network-based encoding in free-viewing fMRI with gaze-aware models

Dit onderzoek introduceert een blikbewegingsbewust encoderingsmodel dat, door eye-trackingdata te combineren met CNN-features, net zo goed presteert als traditionele modellen maar met 112 keer minder parameters, waardoor ecologisch valide fMRI-studies onder natuurlijke kijkomstandigheden mogelijk worden.

De kern

Titel: Hoe je hersenen kijken als je niet naar een stipje staart, maar naar een film

Stel je voor dat je hersenen een supergeavanceerde camera zijn. Wetenschappers proberen al jaren uit te vinden hoe deze camera werkt door mensen in een MRI-scan te leggen terwijl ze naar beelden kijken. Maar tot nu toe was er een groot probleem: de proefpersonen moesten hun ogen stevig op één punt fixeren, alsof ze naar een stipje op een scherm staren.

Dit is natuurlijk niet hoe we normaal leven. In het echte leven draaien we onze ogen, kijken we om ons heen en volgen we interessante dingen. Die "stipje-kijken" methode is als het proberen te leren zwemmen door op een droog strand te liggen en je been niet te bewegen. Het is veilig, maar het leert je niet hoe je echt zwemt.

De auteurs van dit onderzoek (Dora Gözükara en haar team) hebben een slimme oplossing bedacht. Ze hebben een nieuwe manier ontwikkeld om de hersenen te bestuderen terwijl mensen vrij kijken naar een film, net zoals in het echte leven.

Hier is hoe het werkt, vertaald in simpele taal:

1. Het oude probleem: De "Alles-kijkende" Camera

Vroeger gebruikten wetenschappers een soort digitale camera (een neuraal netwerk of AI) om te voorspellen wat er in de hersenen gebeurt.

• Het oude model: Dit model keek naar elk klein stukje van het scherm tegelijk. Het was alsof je een enorme, zware rugzak draagt met duizenden kaarten van elk mogelijk stukje van de wereld. Je probeert te raden welke kaart de hersenen gebruiken, maar omdat je alles meeneemt, wordt de rugzak zo zwaar dat je er bijna niet meer mee kunt lopen. Het kostte enorm veel rekenkracht en tijd.
• Het nadeel: Omdat de proefpersonen niet mochten bewegen, miste het model de dynamiek van het echte kijken.

2. De nieuwe oplossing: De "Slimme Zoektocht"

De nieuwe methode, die ze "blik-bewust" (gaze-aware) noemen, werkt heel anders.

• De analogie: Stel je voor dat je op een feestje bent en je wilt weten waar de mensen naar kijken. In plaats van elke hoek van de kamer tegelijk te scannen (wat veel energie kost), kijk je gewoon waar de mensen hun ogen op richten.
• Hoe het werkt: De wetenschappers gebruikten een eye-tracker (een camera die volgt waar je kijkt). Als een proefpersoon naar een acteur in de film kijkt, pakt de computer alleen de informatie van dat specifieke stukje van het beeld. Alles wat ze niet kijken, wordt genegeerd.
• Het resultaat: In plaats van die zware rugzak met duizenden kaarten, heeft het model nu een kleine, lichte tas met alleen de kaarten die op dat moment belangrijk zijn.

3. De verrassende ontdekkingen

Wat vonden ze toen ze dit nieuwe model testten?

• Net zo goed, maar veel lichter: Het nieuwe model was net zo goed in het voorspellen van hersenactiviteit als de oude, zware modellen. Maar het had 112 keer minder informatie nodig om te werken! Het is alsof je dezelfde reis maakt, maar nu met een fiets in plaats van met een vrachtwagen.
• Beweging is goed: Het nieuwe model werkte zelfs beter voor mensen die veel bewogen met hun ogen. Hoe actiever iemand keek, hoe beter het model werkte. Dit is logisch: als je veel kijkt, levert dat meer interessante data op. Het oude model kon hier niets mee, omdat het veronderstelde dat iedereen stil zat.
• Minder rekenkracht nodig: Omdat het model zo veel lichter is, kun je het nu zelfs op een gewone laptop draaien. Vroeger had je daarvoor een supercomputer voor nodig.

4. Waarom is dit belangrijk?

Dit onderzoek opent de deur naar een nieuwe wereld van hersenonderzoek.

• Echt leven: We kunnen nu mensen bestuderen terwijl ze gamen, door een virtuele wereld lopen of gewoon een film kijken zonder dat ze zich hoeven te dwingen om stil te zitten.
• Natuurlijk gedrag: Het laat zien dat we niet hoeven te "knijpen" in het gedrag van mensen om hun hersenen te begrijpen. Door mee te gaan met de natuurlijke bewegingen van de ogen, krijgen we een eerlijker en accurater beeld van hoe ons brein werkt.

Kort samengevat:
Deze wetenschappers hebben een manier bedacht om de hersenen te "lezen" terwijl mensen vrij rondkijken. Ze gebruiken de oogbewegingen als een slimme filter, waardoor ze alleen kijken naar wat er echt gebeurt. Het resultaat is een model dat lichter, sneller en natuurlijker is, en dat laat zien dat ons brein het beste werkt als we vrij kunnen bewegen, net zoals in het echte leven.

Technische samenvatting

Probleemstelling

Traditionele hersen-encoding modellen, die gebruikmaken van Convolutional Neural Networks (CNNs) om neurale activiteit te voorspellen, worden doorgaans getraind op data verkregen onder strikte experimentele voorwaarden waarbij proefpersonen een centraal punt moeten fixeren (kijken). Hoewel dit de analyse vereenvoudigt, wijkt dit sterk af van natuurlijk visueel gedrag.

• Ecologische validiteit: Fixatie onderdrukt activiteit in visueel actieve hersengebieden en legt een hoge cognitieve last op.
• Modelinefficiëntie: Bestaande modellen pogen vaak features van de volledige CNN-laag (alle ruimtelijke posities) te gebruiken om voxel-activiteit te voorspellen. Dit leidt tot enorme modelparameterruimtes, wat enorme datasets vereist voor betrouwbare fitting en de interpretatie bemoeilijkt.
• Beperking: Er is een behoefte aan modellen die kunnen werken met natuurlijke kijkbewegingen (free-viewing) zonder dat dit ten koste gaat van de voorspellende kracht of de rekenkracht.

Methodologie

De auteurs presenteren een gaze-aware encoding framework dat oogbewegingsdata integreert om de feature-selectie in CNN-modellen te sturen.

1. Dataset: Gebruik van het openbare StudyForrest-dataset, bestaande uit ongeveer twee uur aan fMRI-data van proefpersonen die de film Forrest Gump (in het Duits) keken zonder fixatie-eisen. Het dataset bevat ook oogvolgingsdata (eye-tracking) van 13 proefpersonen.
2. CNN Feature Extractie:
   • Een vooraf getraind VGG-19 model (ImageNet) wordt gebruikt om features te extraheren uit de filmframes.
   • Features worden gehaald uit de vijf max-pooling lagen.
   • Om rekenkundig haalbaar te zijn en lagen te combineren, worden de feature maps van alle lagen herschaald naar een uniforme grootte (7x16 pixels) en samengevoegd tot een "hyperlayer" feature map.
3. Gaze-Aware Feature Sampling:
   • In plaats van alle ruimtelijke posities in de feature map te gebruiken, worden alleen de features gesampled op de coördinaten waar de proefpersoon op dat moment naar keek (fixatiepunten).
   • Dit resulteert in een tijdsreeks van proefpersoonspecifieke feature vectoren die alleen de visuele informatie bevatten die daadwerkelijk werd waargenomen.
4. Encoding Model:
   • Een lineair encoding model (ridge regression) wordt getraind om de relatie te leren tussen deze gaze-gebaseerde feature vectoren en de fMRI-voxel-activiteit.
   • De hemodynamische responsfunctie (HRF) wordt gecompenseerd door de features 4,5 seconden te verschuiven.
5. Benchmarks:
   • Baseline Model: Gebruikt de volledige hyperlayer feature map (alle ruimtelijke posities) zonder oogbeweging te overwegen.
   • Center Fixation Baseline: Samplet alleen het midden van het frame (zelfde dimensie als gaze-aware, maar geen individuele oogbeweging).
   • PCA Baseline: Gebruikt de eerste 1472 hoofdcomponenten van de volledige feature ruimte.

Belangrijkste Bijdragen

• Integratie van Oogbeweging: Een nieuwe pipeline die oogvolgingsdata gebruikt om de input voor hersen-encoding modellen te filteren, waardoor modellen ecologisch valider worden.
• Drastische Reductie in Parameters: Door alleen de relevante features (waarnaar gekeken wordt) te gebruiken, wordt het aantal parameters in het model met een factor 112 gereduceerd ten opzichte van conventionele modellen.
• Efficiëntie: De methode verlaagt de reken- en geheugenvereisten aanzienlijk (van ~15 GB RAM naar ~400 MB), waardoor encoding-modellen draagbaar worden op standaard laptops in plaats van HPC-systemen.
• Validatie in Free-Viewing: Het bewijst dat CNN-based encoding succesvol kan worden toegepast op natuurlijke, dynamische stimuli zonder fixatie-eisen.

Resultaten

• Voorspellende Kracht: De gaze-aware modellen presteren statistisch gelijk aan de conventionele baseline-modellen (geen significant verschil in correlatie tussen voorspelling en werkelijke activiteit) over het grootste deel van de visuele stroom (van V1 tot hogere gebieden zoals LO en FG).
• Voxeldekking: Beide modellen voorspellen significant activiteit in ongeveer 53-57% van de gemodelleerde voxels. De PCA-baseline presteerde veel slechter (3%).
• Individuele Variatie: De gaze-aware modellen presteren beter voor proefpersonen met dynamischere oogbewegingspatronen. Er is een sterke positieve correlatie (r = 0.81) tussen het aantal fixaties en de prestatie van het gaze-aware model.
• Ruimtelijke Analyse: Conventionele modellen leren gewichten die breder verspreid zijn dan de daadwerkelijke kijkrichting van de proefpersoon, wat suggereert dat ze ook perifere informatie "leren" of gebruikmaken van natuurlijke correlaties in de beelden. Echter, voor dynamische kijkers is de gaze-aware aanpak superieur.
• Geheugenverbruik: De totale werkgeheugenvereiste voor ridge-regressie daalt met een factor 37 (van 15,6 GB naar 419 MB).

Significantie en Conclusie

Dit onderzoek toont aan dat het integreren van natuurlijk gedrag (oogbewegingen) in neurale encoding-modellen niet alleen de ecologische validiteit verhoogt, maar ook de computational efficiency drastisch verbetert.

• Toekomstige Toepassingen: Deze aanpak maakt het mogelijk om hersenmodellen te bouwen in realistische scenario's zoals het spelen van videogames of navigeren in virtuele werelden, waar fixatie onmogelijk of onwenselijk is.
• Data-efficiëntie: Door de parameterruimte te verkleinen, kunnen robuuste modellen worden getraind met minder data, wat de drempel verlaagt voor laboratoria met beperkte middelen.
• Biologisch Inzicht: Het benadrukt dat voor dynamische kijkcondities modellen die rekening houden met individuele kijkpatronen essentieel zijn om de koppeling tussen perceptie en gedrag nauwkeurig te modelleren.

Kortom, de auteurs tonen aan dat men geen concessies hoeft te doen aan de voorspellende nauwkeurigheid om te werken met natuurlijke stimuli; integendeel, door oogbewegingen te gebruiken als een filter, worden de modellen efficiënter en beter geschikt voor real-world toepassingen.