Neural network-based encoding in free-viewing fMRI with gaze-aware models

Dit artikel introduceert een blikbewegingsbewust encoderingsmodel dat eye-tracking data combineert met CNN-kenmerken om fMRI-gegevens uit natuurlijke kijkomstandigheden efficiënter te modelleren dan traditionele methoden, met name voor proefpersonen met dynamische oogbewegingen.

De kern

Hoe we de hersenen beter begrijpen door te kijken waar mensen écht naar kijken

Stel je voor dat je probeert te begrijpen hoe een chef-kok een gerecht maakt. Je hebt twee opties:

1. Je laat de kok urenlang in een volledig witte kamer staan, met zijn ogen strak op één punt gefixeerd, terwijl je hem een bord met ingrediënten voorhoudt.
2. Je laat de kok in zijn eigen keuken werken, waar hij vrij rondloopt, naar de koelkast kijkt, naar het fornuis en naar de kruiden. Hij mag zijn ogen bewegen waar hij wil.

De meeste eerdere hersenonderzoeken deden optie 1. Ze lieten mensen in een MRI-scan (een gigantische camera die de hersenen fotografeert) zitten en dwongen hen om staren naar één punt in het midden van het scherm, terwijl ze een film keken. Dit is makkelijk te meten, maar het is niet hoe we in het echte leven kijken. In het echte leven bewegen onze ogen continu om interessante dingen te vinden.

De auteurs van dit artikel, Dora Gözükara en haar team, zeggen: "Laten we optie 2 proberen, maar dan slim."

Het probleem met de oude manier

In de oude manier van kijken (optie 1) gebruikten computers (specifiek kunstmatige neurale netwerken, ofwel 'AI') om te voorspellen wat er in de hersenen gebeurt. Maar omdat ze het hele beeld van de film als input gebruikten, moesten ze een enorme hoeveelheid rekenkracht gebruiken. Het was alsof je een heel boek in je hoofd probeert te onthouden om één zin te begrijpen. Het kostte veel tijd, veel geheugen en het negeerde het feit dat mensen hun ogen verplaatsen.

De nieuwe oplossing: De "Blik-volger"

De onderzoekers bedachten een slimme truc: Gaze-aware encoding (blik-bewuste codering).

In plaats van de hele film te analyseren, kijken ze alleen naar het stukje van de film dat de persoon op dat exacte moment aan het bekijken is. Ze gebruiken een oogbewegingssensor (eye-tracking) om te zien waar de pupil van de proefpersoon zit.

De analogie van de schatkaart:
Stel je voor dat de film een enorme schatkaart is met duizenden details.

• De oude methode: De computer probeert elke boom, elke steen en elke vogel op de hele kaart tegelijk te analyseren om te raden wat de hersenen zien. Dit is zwaar werk.
• De nieuwe methode: De computer kijkt alleen naar het stukje kaart waar de schatgraver (de proefpersoon) zijn spade zet. Hij negeert de rest van de kaart.

Wat ontdekten ze?

Het resultaat is verrassend goed:

1. Net zo goed, maar veel sneller: De nieuwe methode werkt net zo goed als de oude, zware methode om te voorspellen wat er in de hersenen gebeurt. Maar ze gebruiken 112 keer minder rekenkracht. Het is alsof je van een vrachtwagen vol met gereedschap overschakelt naar een slimme, lichte zaklamp. Je kunt nu zelfs op een gewone laptop werken, terwijl de oude methode een supercomputer nodig had.
2. Beweging is een pluspunt: De nieuwe methode werkt zelfs beter voor mensen die veel met hun ogen bewegen (dynamisch kijken). Hoe actiever iemand kijkt, hoe beter het model werkt. De oude methode faalde juist bij deze mensen omdat ze probeerde een statisch beeld te maken van een dynamische situatie.
3. Echt leven: Omdat ze geen mensen dwongen om staren, kunnen ze nu onderzoek doen in situaties die veel natuurlijker zijn, zoals het spelen van een videogame of rondlopen in een virtuele wereld.

Waarom is dit belangrijk?

Vroeger dachten we dat we de hersenen alleen goed konden bestuderen als we de proefpersoon volledig controleerden (niet laten bewegen). Dit artikel laat zien dat we juist beter resultaten krijgen als we de natuurlijke, chaotische manier waarop mensen kijken, omarmen.

Het is alsof je eindelijk stopt met het proberen om een vis in een aquarium stil te houden om hem te fotograferen, en je in plaats daarvan een camera neemt die de vis volgt terwijl hij zwemt. Je krijgt een veel mooier en realistischer plaatje, en je hoeft niet meer zo'n zware camera mee te slepen.

Kortom: Door te kijken waar mensen kijken in plaats van te kijken naar alles, maken we hersenonderzoek slimmer, sneller en natuurlijker.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Neural network-based encoding in free-viewing fMRI with gaze-aware models" in het Nederlands.

Probleemstelling

Traditionele fMRI-encoding modellen, die gebruikmaken van Convolutional Neural Networks (CNNs) om hersenactiviteit te voorspellen op basis van visuele stimuli, worden doorgaans getraind met data waarbij deelnemers een centrale fixatie moeten handhaven. Hoewel dit de analyse vereenvoudigt en variabiliteit door oogbewegingen minimaliseert, heeft dit aanzienlijke nadelen:

1. Ecologische validiteit: Het wijkt sterk af van natuurlijk visueel gedrag, waarbij mensen actief hun blik verplaatsen om relevante informatie te verkennen.
2. Cognitieve last: Het handhaven van fixatie tijdens het kijken naar dynamische stimuli (zoals films) is cognitief belastend.
3. Onderdrukking van activiteit: Fixatie-protocollen onderdrukken activiteit in visueel dynamische hersengebieden.
4. Rekenkracht en parameters: Bestaande modellen gebruiken vaak alle ruimtelijke kenmerken van CNN-lagen, wat leidt tot enorme parameterruimtes die grote datasets vereisen voor betrouwbare fitting en interpretatieproblemen veroorzaken.

De auteurs stellen dat het integreren van oogvolgingsdata (eye-tracking) in het modelleringproces de ecologische validiteit kan verhogen en de parameterruimte aanzienlijk kan verkleinen, waardoor modellen efficiënter en natuurlijker worden.

Methodologie

De studie gebruikt het openbare StudyForrest-dataset, dat bestaat uit ongeveer twee uur aan fMRI-data van 13 deelnemers die de film Forrest Gump (in het Duits) bekeken zonder fixatie-eisen, vergezeld van uitgebreide oogvolgingsdata.

De aanpak omvat de volgende stappen:

1. Data Voorbereiding:
   • fMRI-data is gepreprocesses (bewegingscorrectie, slice-timing, normalisatie naar MNI-ruimte).
   • Oogvolgingsdata is verwerkt met het algoritme Remodnav om fixatie-evenementen te identificeren. Saccades en gladde pursuits werden genegeerd; alleen fixaties werden gebruikt.
2. CNN Feature Extractie:
   • Een vooraf getraind VGG-19 model (ImageNet) werd gebruikt om features te extraheren uit de filmframes.
   • Er werden features gehaald uit vijf max-pooling lagen.
   • Om berekeningskosten te verlagen en lagen te combineren, werden alle feature maps ruimtelijk geschaald naar een uniforme grootte van 7x16 pixels en samengevoegd tot een "hyperlayer" met in totaal 1472 kanalen.
3. Gaze-Aware Feature Sampling (Kerninnovatie):
   • In tegenstelling tot traditionele modellen die alle ruimtelijke locaties van de feature map gebruiken, selecteert het gaze-aware model alleen de feature vector op de specifieke pixelcoördinaten waar de deelnemer op dat moment naar keek (de fixatie).
   • Dit creëert een tijdsreeks van features die specifiek is voor de blik van elke individuele deelnemer.
4. Encoding Model Training:
   • Een lineair encoding model (ridge regression) werd getraind om de relatie tussen deze gaze-gebaseerde features en de voxel-activiteit te voorspellen.
   • De hemodynamische responsfunctie (HRF) werd gecompenseerd door de features 4,5 seconden te verschuiven.

Vergelijkingsmodellen (Baselines):

• Baseline Model: Gebruikt de volledige hyperlayer feature map (alle ruimtelijke locaties) zonder rekening te houden met de blik.
• Center Fixation Model: Gebruikt alleen het centrum van het frame (zelfde parameteraantal als gaze-aware, maar zonder persoonlijke blikdata).
• PCA Model: Gebruikt de eerste 1472 hoofdcomponenten van de volledige feature ruimte.

Belangrijkste Bijdragen

1. Gaze-Aware Encoding Framework: Een nieuwe pipeline die oogvolgingsdata direct integreert in CNN-based brain encoding, waardoor experimenten zonder fixatie mogelijk worden.
2. Drastische Reductie van Parameterruimte: Door alleen de relevante features op de fixatieplek te gebruiken, wordt het aantal parameters met een factor 112 verkleind ten opzichte van conventionele modellen.
3. Efficiëntie: Het model vereist aanzienlijk minder rekenkracht en geheugen (reductie van werkgeheugen van ~15,6 GB naar ~419 MB), waardoor het uitvoerbaar is op standaard laptops in plaats van high-performance clusters.
4. Ecologische Validiteit: Het bewijst dat modellen succesvol kunnen worden getraind op data van volledig natuurlijk, dynamisch kijken.

Resultaten

• Prestatie: De gaze-aware modellen presteerden statistisch gelijkwaardig aan de conventionele baseline modellen in het voorspellen van voxel-activiteit in het ventrale visuele pad (van V1 tot hogere gebieden zoals LO, FG en STS).
• Parameter-efficiëntie: De gaze-aware modellen bereikten deze prestaties met 112x minder parameters.
• Individuele Variabiliteit:
  • De prestaties van gaze-aware modellen correleerden sterk positief met het aantal fixaties dat deelnemers maakten (Pearson r = 0,81). Dit betekent dat het model beter presteert bij deelnemers met dynamischere oogbewegingen.
  • Baseline modellen presteerden juist beter bij deelnemers met minder dynamische oogbewegingen of bij data met een hoog signaal-ruisverhouding, waarbij het model waarschijnlijk indirecte correlaties in het beeld leert benutten.
• Ruimtelijke Analyse: Baseline modellen leerden gewichtsverdelingen die breder waren dan de daadwerkelijke blikverdeling, wat suggereert dat ze ook leren van perifere informatie of natuurlijke beeldcorrelaties. Gaze-aware modellen zijn echter specifiek voor de gefixeerde informatie.

Betekenis en Conclusie

Dit onderzoek opent de deur naar ecologisch valide hersenmodellen die kunnen worden toegepast in natuurlijke settings zoals het spelen van games, het navigeren in virtuele werelden of interactieve omgevingen, waar fixatie onmogelijk of onwenselijk is.

De belangrijkste implicaties zijn:

1. Toegankelijkheid: Door de enorme reductie in parameters en geheugenvereisten kunnen encoding-modellen worden getraind door laboratoria met beperkte resources.
2. Natuurlijk Gedrag: Het bewijst dat het modelleren van het brein zonder restrictieve fixatie-eisen mogelijk is en zelfs voordelen biedt voor het begrijpen van dynamische visuele verwerking.
3. Toekomstige Toepassingen: De methode is bij uitstek geschikt voor toepassingen waar weinig data beschikbaar is of waar individueel gedrag cruciaal is, zoals neurale feedback of perceptuele reconstructie.

Kortom, de auteurs tonen aan dat het integreren van oogbewegingen niet alleen de biologische relevantie van het model vergroot, maar ook een krachtige methode is om de complexiteit en kosten van deep learning-based neuroimaging te reduceren zonder in te leveren op voorspellende nauwkeurigheid.