Optimizing MR-based gaze-decoding for eyes-closed eye-tracking in fMRI

Im leisen Summen eines MRT-Scanners bitten Forscher die Menschen oft, vollkommen still zu liegen, während ihre Gehirne als Reaktion auf Bilder, Töne oder Gedanken aufleuchten. Seit Jahrzehnten wissen Wissenschaftler, dass es genauso wichtig ist, wohin eine Person schaut, wie das, was sie denkt. Wenn die Augen eines Teilnehmers auch nur minimal abschweifen, kann sich die aufgezeichnete Gehirnaktivität komplett verändern und ein klares Signal in verwirrendes Rauschen verwandeln. Um dies zu verhindern, verwenden die meisten Studien Hochgeschwindigkeitskameras, um die Augen zu verfolgen und sicherzustellen, dass die Person genau dorthin schaut, wo sie hin soll. Aber diese Kameras haben einen blinden Fleck: Sie können nicht sehen, wenn die Augen geschlossen sind. Dies hinterlässt eine riesige Lücke in unserem Verständnis. Wir können nicht untersuchen, was im Gehirn während des Schlafs, während tiefer Entspannung mit geschlossenen Augen oder wenn Menschen gebeten werden, Szenen in ihrem Geist vor sich hin zu sehen, weil wir keine Möglichkeit haben zu wissen, ob sich ihre Augen bewegen oder wohin sie zeigen könnten.

Ein Team von Forschern hat nun einen Weg gefunden, durch diese Dunkelheit zu sehen – nicht mit einer Kamera, sondern indem es auf die magnetischen Signale der Augäpfel selbst hört. Mit einem leistungsstarken Computerprogramm, das lernt, Muster in Gehirnscans zu erkennen, haben sie einer Maschine beigebracht, zu erraten, wohin eine Person schaut, selbst wenn die Augenlider fest geschlossen sind. Dieser Durchbruch beruht nicht auf teurer Ausrüstung oder perfekten Bedingungen. Stattdessen basiert er auf einer cleveren Trainingsmethode, die es dem System ermöglicht, sich an verschiedene Scanner und verschiedene Aufgaben anzupassen, und öffnet so ein Fenster in die verborgenen Bewegungen des inneren Auges.

Die Geschichte beginnt mit einem Werkzeug namens DeepMReye, einem hochentwickelten Computerprogramm, von dem bereits bekannt war, dass es gut funktioniert, wenn Menschen auf Bildschirme schauen. Dieses Programm fungiert wie ein Übersetzer, der die schwachen magnetischen Wellen, die von den Augen im Inneren des Scanners ausgehen, in eine Karte dessen umwandelt, wohin der Blick gerichtet ist. Die ursprüngliche Version dieses Übersetzers wurde jedoch hauptsächlich mit Daten von Menschen trainiert, die die Augen weit offen hatten. Als die Forscher versuchten, es bei Menschen mit geschlossenen Augen einzusetzen, waren die Ergebnisse wackelig. Die physische Form des Auges verändert sich leicht, wenn die Augenlider darauf drücken, und die magnetischen Signale verschieben sich auf eine Weise, die der Computer so noch nie gesehen hatte. Es war, als würde man einen Übersetzer bitten, der hauptsächlich Englisch spricht, plötzlich eine Sprache zu interpretieren, die eine völlig andere Grammatik verwendet.

Um dies zu beheben, entwarfen die Forscher eine neue Art von Trainingssitzung. Sie brachten fünfzehn Freiwillige in den Scanner und baten sie, eine Serie von Augenbewegungen durchzuführen, während ihre Gehirne gescannt wurden. Zuerst verfolgten die Freiwilligen ein Ziel auf einem Bildschirm und folgten ihm, während es sich in spezifischen Mustern bewegte, wie etwa das Nachzeichnen von Dreiecken in der Luft mit den Augen. Dieser Teil wurde mit offenen Augen durchgeführt, was dem Computer klare, perfekte Beispiele dafür lieferte, wie die magnetischen Signale aussehen, wenn sich die Augen auf kontrollierte Weise bewegen. Die Forscher nutzten diese frischen Daten dann, um das Computerprogramm „feinzutunen“, was im Wesentlichen bedeutete, dem Programm beizubringen, wie ihr spezifischer Scanner und ihr spezifischer Aufbau die Welt wahrnehmen.

Die Ergebnisse waren unmittelbar und eindeutig. Als die Forscher das neu trainierte Programm bei denselben Aufgaben mit offenen Augen testeten, schnitt es signifikant besser ab als die ursprüngliche Version. Es verfolgte die Bewegungen mit viel größerer Präzision und reduzierte den Abstand zwischen dem, wohin der Computer glaubte, dass die Augen blickten, und dem, wohin sie tatsächlich blickten. Entscheidend war, dass die Forscher entdeckten, dass diese Verbesserung nicht bloß eine Frage des Skalierens der Zahlen für einen größeren Bildschirm war. Das Programm hatte tatsächlich die einzigartige Art und Weise gelernt, wie ihr Scanner die Bewegung des Auges erfasste. Überraschenderweise stellten sie auch fest, dass sie die Kameradaten nicht für dieses Training benötigten. Sie konnten dem Computer einfach sagen: „Die Person hat an diesen spezifischen Punkt geschaut“, und das Programm lernte genauso gut, als hätte es die tatsächlichen Augenbewegungen durch eine Kamera gesehen. Das bedeutet, dass jedes Labor, selbst eines ohne Kamera, das System nun für sich selbst trainieren könnte.

Die wahre Magie geschah jedoch, als das Licht ausging. Die Forscher baten die Freiwilligen dann, exakt dieselbe Dreieck-Nachzeichnungsaufgabe durchzuführen, diesmal jedoch mit geschlossenen Augen, geleitet nur durch eine Sequenz von Pieptönen. Sie ließen sie auch langsam blinzeln und die Augen offen halten, ohne etwas anzusehen. Als sie die Gehirnscans aus diesen Sitzungen mit geschlossenen Augen in das neu trainierte Programm einspeisten, rekonstruierte es erfolgreich die Augenbewegungen. Der Computer konnte die gezeichneten Dreiecke in der Dunkelheit „sehen“. Um zu beweisen, dass dies kein Glückstreffer war, verdrehten die Forscher die Reihenfolge der Bewegungen in den Daten. Als die Sequenz unterbrochen wurde, konnte das Programm die Form nicht mehr identifizieren, was bewies, dass es tatsächlich den Pfad des Auges dekodierte und nicht nur basierend auf dem Timing der Töne rät.

Diese Fähigkeit, Augenbewegungen bei geschlossenen Augen zu sehen, war nicht nur ein kleiner Trick; sie enthüllte etwas Tiefgründiges darüber, wie das Gehirn und die Augen interagieren. Die Forscher fanden heraus, dass das Programm auch mit hoher Genauigkeit zwischen offenen und geschlossenen Augenlidern unterscheiden konnte. Es konnte erkennen, wann eine Person blinzelte oder wann ihre Augen vollständig geschlossen waren, indem es einfach die magnetischen Signale las. Dies deutet darauf hin, dass der Zustand des Augenlids einen distinkten Fingerabdruck auf den Gehirnscan hinterlässt, den der Computer zu erkennen weiß.

Vielleicht die praktischste Entdeckung war, dass das Programm nicht auf Daten mit geschlossenen Augen trainiert werden musste, um bei Aufgaben mit geschlossenen Augen zu funktionieren. Die Forscher versuchten, das System nur mit den zuvor gesammelten Daten mit offenen Augen zu trainieren. Als sie diese Version bei den Sitzungen mit geschlossenen Augen testeten, funktionierte sie fast so gut wie die Version, die sowohl mit offenen als auch mit geschlossenen Augen trainiert worden war. Das bedeutet, dass Wissenschaftler in Zukunft nicht mühsam versuchen müssen, eine Kamera in der Dunkelheit zum Laufen zu bringen, um Schlaf oder mentale Imagination zu untersuchen. Sie können das System einfach trainieren, während die Testperson wach ist und auf einen Bildschirm schaut, und dieses Wissen dann auf die Momente mit geschlossenen Augen anwenden.

Die Studie befasste sich auch mit einer häufigen Einschränkung in der Anwendung solcher Systeme. Oft gehen Forscher davon aus, dass es ausreicht, wenn sie lediglich die Skalierung der Ausgabe anpassen, ein generisches Programm würde für jedes Setup funktionieren. Die Forscher zeigten jedoch, dass dies nicht genügt. Eine einfache mathematische Streckung der Zahlen konnte nicht die Leistung eines Programms erreichen, das spezifisch auf die lokalen Daten trainiert worden war. Der Computer musste die spezifische „Stimme“ des Scanners und die einzigartige Art und Weise lernen, wie sich die Augen in genau diesem Raum bewegten.

Durch die Kombination einer einfachen Trainingsroutine mit einem leistungsstarken Lernalgorithmus haben die Forscher eine große Barriere für die Erforschung des Gehirns beseitigt. Sie haben gezeigt, dass wir nun verfolgen können, wohin der Geist schaut, selbst wenn die Augen geschlossen sind, ohne eine Kamera zu benötigen, die sie beobachtet. Dies öffnet die Tür zur Untersuchung von Schlaf, tiefer Entspannung und den inneren Landschaften der Vorstellungskraft mit einer Klarheit, die zuvor unmöglich war. Die Technologie ist nicht perfekt; die Bewegungen geschlossener Augen sind von Natur aus weniger präzise als die offener Augen, und der Computer spiegelt diese Realität wider. Aber zum ersten Mal ist die Dunkelheit des geschlossenen Auges kein blinder Fleck mehr in unserem Verständnis des menschlichen Gehirns.