Seeing Like a Brain: Predicting Subject-Specific EEG Responses to Natural Visual Stimuli

Das menschliche Gehirn ist ein riesiges, stilles Theater, in dem die Außenwelt ständig in elektrische Signale übersetzt wird. Wenn Sie eine Szene betrachten, trifft Licht auf Ihre Augen, aber die eigentliche Arbeit findet in Ihrem Schädel statt, wo Milliarden von Neuronen in komplexen, schnellen Mustern feuern, um zu verstehen, was Sie sehen. Jahrzehntelang haben Wissenschaftler versucht, diesem elektrischen Gespräch mittels Elektroenzephalografie, oder EEG, zuzuhören – einer Methode, bei der Sensoren auf der Kopfhaut platziert werden, um diese winzigen Spannungsänderungen aufzuzeichnen. Während das EEG exzellent darin ist, die Geschwindigkeit der Gehirnaktivität bis hinunter auf die Millisekunde zu erfassen, war es traditionell eine Einbahnstraße: Forscher zeichnen die Reaktion des Gehirns auf ein Bild auf und versuchen dann zu erraten, was die Person gesehen hat. Das ist so, als würde man versuchen, einen Film zu verstehen, indem man nur die Reaktionen des Publikums im Nachhinein beobachtet. Ein weitaus mächtigeres, wenn auch viel schwierigeres Ziel ist es, den Prozess umzukehren: genau vorherzusagen, wie ein spezifisches Gehirn auf ein Bild reagieren wird, noch bevor die Person es überhaupt sieht. Dies erfordert ein Modell, das nicht nur das Bild versteht, sondern auch die einzigartige Verschaltung eines individuellen Geins.

In einer neuen Studie haben Forscher ein Computersystem entwickelt, das genau dies tut, indem es einer Maschine effektiv beibringt, „wie ein menschliches Gehirn zu sehen“. Das Team, unter der Leitung von Wissenschaftlern der Fudan University und der Shanghai University of Medicine and Health Sciences, entwickelte ein Framework, das ein natürliches Foto als Input nimmt und eine detaillierte Vorhersage der elektrischen Aktivität generiert, die sich über den gesamten Kopf einer Person ausbreiten würde. Sie haben nicht bloß versucht, ein allgemeines Muster zu erraten; sie trainierten das System darauf, eine spezifische, 63-kanalige elektrische Karte für zehn verschiedene Individuen zu erstellen. Das System arbeitet, indem es zuerst die visuellen Details eines Bildes analysiert und dann ein hochentwickeltes neuronales Netzwerk nutzt, um zu simulieren, wie diese visuellen Informationen durch die elektrischen Schaltkreise des Gehirns fließen würden. Das Ergebnis ist ein vorhergesagtes Gehirnsignal, das mit überraschender Genauigkeit mit dem realen Signal übereinstimmt und dabei das Timing, den Rhythmus und die Bedeutung der Reaktion des Gehirns einfängt.

Die Forscher testeten ihr System unter Verwendung einer großen Sammlung natürlicher Bilder und Gehirnaufzeichnungen von zehn Freiwilligen. Sie zeigten dem Computer Bilder von Tieren, Fahrzeugen und Werkzeugen, die die Probanden während der Trainingsphase noch nie gesehen hatten. Der Computer generierte daraufhin eine Vorhersage darüber, wie die Gehirnwellen für jede Person aussehen würden. Als sie diese Vorhersagen mit den tatsächlichen Gehirnaufzeichnungen verglichen, war die Übereinstimmung im Hinterkopf am stärksten, in der Region, die als Okzipitallappen bekannt ist und das primäre Zentrum für das visuelle System des Gehirns darstellt. In diesem Bereich folgten die vorhergesagten elektrischen Wellen den realen so eng, dass sie fast identisch aussahen und das präzise Timing der ersten Reaktion des Gehirns auf das Bild bewahrten. Das System war schnell genug, um diese Vorhersagen in weniger als zehn Millisekunden zu treffen, eine Geschwindigkeit, die darauf hindeutet, dass es eines Tages in Echtzeit-Anwendungen eingesetzt werden könnte.

Was diese Errungenschaft besonders bedeutsam macht, ist, dass der Computer nicht nur ein verschwommenes Durchschnittsabbild der Gehirnaktivität erzeugte. Er erfasste die spezifische, einzigartige Signatur jedes einzelnen Gehirns. Die vorhergesagten Signale bewahrten den korrekten Rhythmus der Gehirnwellen, einschließlich der spezifischen Frequenzen, die verschiedene Teile des Gehirns dominieren. Sie bewahrten auch die subtilen Unterschiede darin, wie das Gehirn auf verschiedene Arten von Objekten reagiert. Beispielsweise konnte das System zwischen der Reaktion des Gehirns auf ein Bild eines Autos und einem Bild eines Hundes unterscheiden und dabei die einzigartige „Form“ der Information für jedes Objekt intakt halten. Dies bedeutet, dass das Modell die tiefen, strukturellen Regeln gelernt hat, wie visuelle Informationen in neuronale Aktivität transformiert werden, anstatt nur spezifische Beispiele auswendig zu lernen.

Die Studie zeigte auch, dass die Reaktion des Gehirns auf ein Bild kein einzelnes, einheitliches Ereignis ist, sondern eine komplexe Kaskade von Aktivitäten, die sich über Zeit und Raum entfaltet. Der Computer konnte erfolgreich die frühen, blitzartigen elektrischen Aktivitäten rekonstruieren, die auftreten, wenn das Gehirn zuerst eine Form registriert, sowie die langsameren, komplexeren Wellen, die folgen, während das Gehirn die Bedeutung dessen verarbeitet, was es sieht. Durch die Analyse der Daten über verschiedene Hirnregionen hinweg fanden die Forscher heraus, dass die Vorhersage für den Hinterkopf und für langsamere, rhythmische Gehirnwellen am genauesten war, während der vordere Teil des Kopfes und sehr schnelle, hochfrequente Signale schwerer vorherzusagen waren. Dieser Gradient der Genauigkeit spiegelt die natürliche Organisation des menschlichen visuellen Systems wider, in dem der hintere Teil des Gehirns den visuellen Input zuerst empfängt.

Um sicherzustellen, dass ihr Modell tatsächlich die Verbindung zwischen Bildern und Gehirnaktivität lernte und nicht nur basierend auf allgemeinen Mustern rät, führten die Forscher eine strenge Prüfung durch. Sie verglichen die für das korrekte Bild vorhergesagten Gehirnwellen mit den für zufällige, nicht passende Bilder vorhergesagten Wellen. Das System lieferte konsistent eine wesentlich bessere Übereinstimmung für das korrekte Bild, was bewies, dass es gelernt hatte, spezifische visuelle Details mit spezifischen neuronalen Antworten zu verknüpfen. Darüber hinaus, als sie das System mit einem anderen Satz von Gehirnaufzeichnungen einer anderen Gruppe von Menschen testeten, blieben dieselben Muster bestehen, was darauf hindeutet, dass die vom Computer gelernten Regeln robust sind und nicht auf einen einzelnen Datensatz beschränkt sind.

Diese Arbeit stellt einen bedeutenden Schritt nach vorn im Verständnis der Brücke zwischen der physischen Welt und unserer inneren Erfahrung derselben dar. Indem die Forscher erfolgreich individuelle Gehirnreaktionen aus Bildern vorhersagen konnten, haben sie ein Werkzeug geschaffen, das Wissenschaftlern helfen kann, die visuelle Verarbeitung des Gehirns zu untersuchen, ohne jede einzelne Person aufzeichnen zu müssen. Es eröffnet auch die Tür zu neuen Wegen der Testung künstlicher Intelligenz, indem es Forschern ermöglicht, zu sehen, ob Computermodelle der visuellen Wahrnehmung wie menschliche Gehirne agieren. Während das aktuelle System am besten für den Hinterkopf funktioniert und ein individuelles Training für jede Person erfordert, ebnet es einen klaren Weg in eine Zukunft, in der wir die Reaktion des menschlichen Geistes auf die Welt mit hoher Präzision simulieren können. Die Studie bestätigt, dass die elektrische Antwort des Gehirns auf das, was wir sehen, kein zufälliges Rauschen ist, sondern ein hochstrukturiertes, vorhersagbares und individualisiertes Signal, das von einer Maschine dekodiert und rekonstruiert werden kann.