fMRI-Based Prediction of Eye Gaze During Naturalistic Movie Viewing Reveals Eye-Movement-Related Brain Activity

Hoewel een zero-shot DeepMReye-model beperkt is in het voorspellen van individuele blikbewegingen, onthult het gemiddelde groepsvoorspellingen uit fMRI-data betrouwbare hersenactiviteit gerelateerd aan oogbewegingen tijdens het kijken naar films.

De kern

De "Geheime Blik" in de MRI: Hoe een AI je ogen volgt terwijl je een film kijkt

Stel je voor dat je in een gigantische, ruisende MRI-scan ligt. Je kijkt naar een spannende film, maar de machine kan niet zien waar je ogen precies naar kijken. Normaal gesproken heb je daar een dure camera voor nodig die op je gezicht gericht is. Maar wat als je die camera niet hebt? Wat als je die data al jaren geleden hebt verzameld en de camera toen nog niet bestond?

Dat is precies het probleem dat deze studie oplost. De onderzoekers hebben een slimme, digitale "detective" (een AI-model genaamd DeepMReye) gebruikt om te raden waar mensen naar keken, puur op basis van de hersenscans.

Hier is hoe het werkt, vertaald in simpele taal:

1. De Magische Kijker (De AI)

Stel je voor dat je oog een kleine bal is in een kom met water. Als je oog beweegt, verandert het water een heel klein beetje. De MRI-machine is zo gevoelig dat hij die kleine veranderingen in het "water" (het signaal in je oogbol) kan zien.

De AI is als een super-scherpe detective die die veranderingen in het water leest en zegt: "Aha! Op dat moment keek de persoon naar links, en toen naar rechts."

2. De Grote Test: Solo vs. Het Koor

De onderzoekers wilden weten: werkt deze detective goed? Ze testten het op drie verschillende groepen mensen die films keken.

• De Solo-test (Individueel): Als je de detective vraagt om één specifieke persoon te volgen, wordt het een beetje rommelig. Het is alsof je probeert één stem te horen in een drukke kroeg. De AI raadt het soms goed, maar vaak niet perfect. De voorspelling voor één persoon is een beetje als een wazige foto: je ziet dat er iemand is, maar de details zijn onscherp.
• De Koor-test (Groepsgemiddeld): Maar als je alle detectives samen laat werken en hun antwoorden middelt, gebeurt er magie. Het is alsof je 50 mensen vraagt om een liedje te zingen. Iedereen zingt misschien een beetje anders, maar als je het samen doet, klinkt het als één perfect, helder koor.
  • Het resultaat: Voor de groep als geheel was de AI zeer accuraat. Ze konden precies zien waar de groep als geheel naar keek tijdens de film.

3. Wat vertelt dit ons over onze hersenen?

Omdat de AI nu wist waar mensen keken, konden de onderzoekers kijken welke delen van de hersenen daarop reageerden.

• De Oogbewegings-Commando: Ze zagen dat er een specifiek netwerk in de hersenen oplichtte (vooral in het voor- en achterhoofd) wanneer mensen hun ogen bewogen. Dit is als het "stuurwiel" van je hersenen dat zegt: "Oké, nu kijken we naar die actie!"
• De Leeftijdsfactor: Ze ontdekten iets fascinerends over kinderen en volwassenen.
  • Bij jongere kinderen is het sturen van de ogen nog wat onrustig en minder synchroon met de rest van de groep.
  • Naarmate mensen ouder worden, kijken ze meer synchroon met elkaar. Het is alsof hun "oog-stuurwiel" steeds beter wordt getuned op de film.
  • Interessant genoeg was dit verschil tussen horizontaal kijken (links/rechts) en verticaal kijken (omhoog/omlaag) heel verschillend. Het verticale kijken bleek pas op latere leeftijd volledig volwassen te worden.

4. Waarom is dit belangrijk? (De "Gouden Schat")

Vroeger waren duizenden oude hersenscans met films "dode data" omdat er geen oogbewegingen bij stonden. Je kon niet weten of iemand naar het scherm keek of naar zijn knie.

Met deze nieuwe methode kunnen onderzoekers nu die oude, dode data weer tot leven wekken. Ze kunnen nu zeggen: "Kijk, in deze oude scan keek de groep naar dit belangrijke moment in de film, en dat activeerde dit specifieke hersengebied."

Samenvatting in één zin

Hoewel de AI niet perfect is om één persoon te volgen (het is als een wazige foto), is hij fantastisch om te zien hoe een groep mensen samen kijkt (het is als een helder koor), waardoor we eindelijk kunnen begrijpen hoe onze hersenen werken terwijl we samen een film kijken, zelfs zonder dure camera's.

De les: Soms is het niet nodig om perfect te zijn voor iedereen; als je het gemiddelde van de groep goed kunt voorspellen, kun je al enorme nieuwe inzichten krijgen in hoe ons brein werkt.

Technische samenvatting

Probleemstelling

Oogbewegingen (blikrichting) zijn cruciale indicatoren voor perceptie, aandacht en cognitieve processen, vooral tijdens het kijken naar natuurlijke stimuli zoals films. Een groot probleem in functionele MRI (fMRI) onderzoek is echter dat de meeste bestaande datasets, inclusief grote open-access datasets en oudere studies, geen gelijktijdige oogvolgingsdata (eye-tracking) bevatten. Dit beperkt de interpretatie van neurale activiteit gerelateerd aan visuele aandacht en oogbewegingscontrole. Hoewel er diepe leermodellen zijn ontwikkeld om blikrichting te schatten op basis van het MR-signaal van de oogbol (zoals DeepMReye), is de generaliseerbaarheid van deze modellen over heterogene datasets zonder specifieke aanpassing (fine-tuning) nog onvoldoende onderzocht.

Methodologie

De auteurs hebben een zero-shot implementatie van het pre-getrainde DeepMReye-model toegepast op drie onafhankelijke fMRI-datasets met natuurlijke filmstimuli:

1. Natural Viewing (NV): 22 volwassenen, met gelijktijdige camera-gebaseerde oogvolgingsdata (als ground truth).
2. Healthy Brain Network (HBN): 82-80 gezonde kinderen en jongvolwassenen, zonder oogvolgingsdata.
3. Partly Cloudy (PC): 53 kinderen en 29 volwassenen, zonder oogvolgingsdata.

Analyse Workflow:

• Voorspelling: Het DeepMReye-model (zonder dataset-specifieke fine-tuning) voorspelde blikcoördinaten (x, y) direct uit de fMRI-tijdreeksen van het ooggebied.
• Validatie:
  • Individueel niveau: Correlatie en Mean Absolute Error (MAE) tussen voorspelde en gemeten oogvolgingsdata in de NV-dataset.
  • Groepsniveau: Correlatie van gemiddelde voorspellingen met ground truth.
  • Cross-dataset: Vergelijking van gemiddelde voorspellingen uit HBN met ground truth van NV (zelfde stimuli).
  • Inter-subject correlatie (ISC): Analyse van de consistentie van voorspellingen tussen individuen in de PC-dataset.
• Neurale Mapping: Een General Linear Model (GLM) werd gebruikt waarbij de frame-tot-frame verplaatsing van de blik (Euclidische afstand) als regressor diende om hersenactiviteit te identificeren die geassocieerd is met oogbewegingen.
• Ontwikkelingseffecten: Tweede-niveau regressieanalyses onderzochten de invloed van leeftijd (lineair en kwadratisch) en geslacht op deze hersenactiviteit.

Belangrijkste Resultaten

1. Prestatieverschil: Individueel vs. Groepsniveau

   • Individueel niveau: De voorspellingen waren matig en variabel (correlatie $r \approx 0.24–0.37$). De voorspellingen leidden tot beperkte en inconsistente hersenactivatiekaarten, voornamelijk beperkt tot het visuele cortex.
   • Groepsniveau: Na het middelen over deelnemers steeg de betrouwbaarheid aanzienlijk (correlatie $r \approx 0.73–0.84$). De gemiddelde voorspellingen vertoonden een sterke overeenkomst met de ground truth, zelfs bij cross-dataset vergelijkingen.

2. Neurale Activatie

   • Analyses gebaseerd op groepsgemiddelde voorspellingen onthulden een robuust en wijdverbreid netwerk van oogbewegingscontrole. Dit omvatte de Frontale Oogvelden (FEF), de Intrapariëtale Sulcus (IPS) en visuele corticale gebieden (cuneus, lingual gyrus).
   • Analyses op individueel niveau leverden veel minder uitgebreide en minder consistente activatiepatronen op.

3. Leeftijdsgerelateerde Effecten

   • Er werden significante, maar niet-lineaire ontwikkelingspatronen gevonden.
   • In de HBN-dataset (complexere sociale film) toonde de activatie een omgekeerde U-vorm: activatie nam toe van kindertijd naar adolescentie en nam vervolgens af in de jonge volwassenheid.
   • In de PC-dataset (stilte animatiefilm) was er een overwegend dalend patroon met de leeftijd.
   • Er was een dissociatie in de ontwikkeling van horizontale versus verticale oogbewegingen: verticale oogbewegingssynchronisatie toonde een sterke positieve correlatie met leeftijd, terwijl horizontale synchronisatie relatief stabiel bleef.

Kernbijdragen

• Validatie van Zero-Shot Decoding: Het artikel toont aan dat pre-getrainde DeepMReye-modellen zonder aanpassing bruikbaar zijn voor het herwinnen van gedeelde, stimulus-gedreven blikpatronen in grote fMRI-datasets die geen oogvolgingsdata bevatten.
• Groepsgemiddelde als Strategie: De studie demonstreert dat het middelen van voorspellingen over individuen de signaal-ruisverhouding aanzienlijk verbetert, waardoor robuuste neurale correlaten van oogbewegingen zichtbaar worden die op individueel niveau verloren gaan.
• Ontwikkelingsneurologie: Het onthult dat de neurale correlaten van oogbewegingen tijdens natuurlijk kijken niet lineair evolueren, maar sterk afhankelijk zijn van de stimuluscontext en de ontwikkelingsfase.

Significantie en Conclusie

De studie biedt een praktische oplossing voor het "augmenteren" van historische en grote open-access fMRI-datasets met geschatte oogbewegingsdata. Hoewel de methode op dit moment niet geschikt is voor individuele klinische diagnostiek of gedetailleerde gedragsanalyses vanwege de variabiliteit op individueel niveau, is het uiterst waardevol voor populatie-gedreven onderzoek.

De bevindingen benadrukken dat diepe leermodellen voor fMRI-gaze decoding, zelfs zonder fine-tuning, kunnen worden gebruikt om betrouwbare, gedeelde neurale netwerken te bestuderen en systematische ontwikkelingspatronen te ontrafelen. Dit opent nieuwe wegen voor het bestuderen van visuele aandacht en oculomotorische controle in populaties waar oogvolgingsdata ontbreekt, zoals bij kinderen of patiënten met neurologische aandoeningen. De auteurs waarschuwen echter dat de beperkte tijdsresolutie van fMRI en de afwezigheid van dataset-specifiek trainen de precisie op individueel niveau beperken, en dat toekomstig werk gericht moet zijn op het verbeteren van individuele inferentie via fine-tuning en betere bewegingscorrectie.