Optimizing MR-based gaze-decoding for eyes-closed eye-tracking in fMRI

In de stille brom van een MRI-scanner vragen onderzoekers mensen vaak om volkomen stil te liggen terwijl hun hersenen oplichten als reactie op afbeeldingen, geluiden of gedachten. Decennialang weten wetenschappers al dat waar iemand naar kijkt net zo belangrijk is als wat diegene denkt. Als de ogen van een deelnemer zelfs maar een klein beetje afdwalen, kan de geregistreerde hersenactiviteit volledig veranderen, waardoor een helder signaal verandert in verwarrende ruis. Om dit te voorkomen, gebruiken de meeste onderzoeken hogesnelheidscamera's om de ogen te volgen, zodat de persoon precies kijkt waar hij zou moeten kijken. Maar deze camera's hebben een blinde vlek: ze kunnen niet zien wanneer de ogen gesloten zijn. Dit laat een enorme kloof in ons begrip achter. We kunnen niet bestuderen wat er in de hersenen gebeurt tijdens de slaap, tijdens diepe ontspanning met gesloten ogen, of wanneer mensen worden gevraagd scènes in hun geest te visualiseren, omdat we geen manier hebben om te weten of hun ogen bewegen of waar ze mogelijk naar wijzen.

Een team van onderzoekers heeft nu een manier gevonden om door die duisternis heen te kijken, niet met een camera, maar door te luisteren naar de magnetische signalen van de oogbollen zelf. Met behulp van een krachtig computerprogramma dat patronen in hersenscans leert herkennen, hebben ze een machine geleerd te raden waar iemand naar kijkt, zelfs wanneer de oogleden stijf gesloten zijn. Deze doorbraak is niet afhankelijk van dure apparatuur of perfecte omstandigheden. In plaats daarvan vertrouwt het op een slimme trainingsmethode die het systeem in staat stelt zich aan te passen aan verschillende scanners en verschillende taken, waardoor een venster wordt geopend op de verborgen bewegingen van het oog van de geest.

Het verhaal begint met een hulpmiddel genaamd DeepMReye, een geavanceerd computerprogramma dat al bekend stond als effectief wanneer mensen naar schermen keken. Dit programma werkt als een vertaler, die de zwakke magnetische rimpelingen van de oogbollen in de scanner omzet in een kaart van de richting waarin de blik is gericht. De oorspronkelijke versie van deze vertaler was echter voornamelijk getraind op gegevens van mensen met hun ogen wijd open. Wanneer de onderzoekers het probeerden te gebruiken bij mensen met hun ogen dicht, waren de resultaten wankel. De fysieke vorm van het oog verandert lichtjes wanneer de oogleden erop drukken, en de magnetische signalen verschuiven op manieren die de computer nog nooit eerder had gezien. Het was alsof je een vertaler vraagt die alleen Engels spreekt, om plotseling een taal te interpreteren die een geheel andere grammatica gebruikt.

Om dit op te lossen, ontwierpen de onderzoekers een nieuw soort trainingssessie. Ze brachten vijftien vrijwilligers naar de scanner en vroegen hen een reeks oogbewegingen uit te voeren terwijl hun hersenen werden gescand. Eerst volgden de vrijwilligers een doelwit op een scherm, waarbij ze een specifiek patroon volgden, zoals het trekken van driehoeken in de lucht met hun ogen. Dit deel werd gedaan met de ogen open, wat de computer duidelijke, perfecte voorbeelden gaf van hoe de magnetische signalen eruitzien wanneer de ogen op een gecontroleerde manier bewegen. De onderzoekers gebruikten deze verse gegevens vervolgens om het computerprogramma te "verfijnen", wat in feite betekent dat ze het leerden hoe hun specifieke scanner en hun specifieke opstelling de wereld zagen.

De resultaten waren onmiddellijk en duidelijk. Wanneer de onderzoekers het nieuw getrainde programma testten op dezelfde oogopen-taken, presteerde het aanzienlijk beter dan de originele versie. Het volgde de bewegingen met veel grotere precisie, waardoor de afstand tussen waar de computer dacht dat de ogen waren en waar ze daadwerkelijk waren, werd verkleind. Cruciaal was dat de onderzoekers ontdekten dat deze verbetering niet slechts een kwestie was van het rekken van de cijfers om op een groter scherm te passen. Het programma had werkelijk geleerd hoe de unieke manier waarop hun scanner de oogbeweging vastlegde. Nog verrassender was dat ze de camera-gegevens niet nodig hadden om dit te doen. Ze konden simpelweg tegen de computer zeggen: "De persoon keek naar dit specifieke punt," en het programma leerde net zo goed als wanneer het de werkelijke oogbewegingen had gezien die door een camera werden vastgelegd. Dit betekent dat elk laboratorium, zelfs een zonder camera, het systeem nu voor zichzelf kan trainen.

De echte magie gebeurde echter toen het licht uitging. De onderzoekers vroegen de vrijwilligers vervolgens om exact dezelfde driehoek-trekkende taak uit te voeren, maar deze keer met hun ogen gesloten, enkel geleid door een reeks piepjes. Ze lieten hen ook langzaam knipperen en de ogen openhouden zonder ergens naar te kijken. Toen ze de hersenscans van deze sessies met gesloten ogen in het nieuw getrainde programma stopten, reconstrueerde het de oogbewegingen succesvol. De computer kon de getrokken driehoeken "zien" in het donker. Om te bewijzen dat dit geen gelukstreffer was, doorliepen de onderzoekers de volgorde van de bewegingen in de gegevens. Wanneer de sequentie werd doorbroken, kon het programma de vorm niet meer identificeren, wat bewees dat het echt het pad van het oog decodeerde en niet alleen gokte op basis van de timing van de geluiden.

Deze mogelijkheid om bewegingen met gesloten ogen te zien was niet slechts een trucje; het onthulde iets diepegaands over hoe de hersenen en de ogen interageren. De onderzoekers ontdekten dat het programma ook het verschil tussen open en gesloten oogleden met hoge nauwkeurigheid kon bepalen. Het kon detecteren wanneer iemand knipperde of wanneer de ogen volledig gesloten waren, simpelweg door de magnetische signalen te lezen. Dit suggereert dat de staat van het ooglid een duidelijk vingerafdruk achterlaat op de hersenscan, een die de computer kan leren herkennen.

Misschien wel de meest praktische ontdekking was dat het programma niet getraind hoefde te worden op gegevens met gesloten ogen om te werken bij taken met gesloten ogen. De onderzoekers probeerden het systeem te trainen met behulp van alleen de eerder verzamelde gegevens met open ogen. Toen ze deze versie testten op de sessies met gesloten ogen, presteerde deze bijna net zo goed als de versie die was getraind op zowel open als gesloten ogen. Dit betekent dat wetenschappers in de toekomst niet hoeven te worstelen om een camera in het donker werkend te krijgen om slaap of mentale beeldvorming te bestuderen. Ze kunnen het systeem simpelweg trainen terwijl het onderwerp wakker is en naar een scherm kijkt, en die kennis vervolgens toepassen op de momenten met gesloten ogen.

De studie adresseerde ook een veelvoorkomende beperking in hoe deze systemen worden gebruikt. Vaak nemen onderzoekers aan dat als ze de schaal van de output slechts aanpassen, een generiek programma voor elke opstelling zal werken. De onderzoekers lieten zien dat dit niet genoeg is. Een eenvoudige wiskundige rek van de cijfers kon niet tippen aan de prestaties van een programma dat specifiek was getraind op de lokale gegevens. De computer moest de specifieke "stem" van de scanner leren kennen en de unieke manier waarop de ogen in die specifieke kamer bewogen.

Door een eenvoudige trainingsroutine te combineren met een krachtig leeralgoritme, hebben de onderzoekers een belangrijke barrière voor het bestuderen van de hersenen weggenomen. Ze hebben aangetoond dat we nu kunnen volgen waar de geest naar kijkt, zelfs wanneer de ogen gesloten zijn, zonder een camera nodig te hebben om ze te observeren. Dit opent de deur naar het bestuderen van slaap, diepe ontspanning en de innerlijke landschappen van de verbeelding met een helderheid die voorheen onmogelijk was. De technologie is niet perfect; de bewegingen van gesloten ogen zijn van nature minder precies dan die van open ogen, en de computer weerspiegelt die realiteit. Maar voor het eerst is de duisternis van het gesloten oog niet langer een blinde vlek in ons begrip van het menselijk brein.