Das menschliche Gehirn ist eine gewaltige, komplexe Maschine, die das auf das Auge treffende Licht in die reiche, farbenfrohe Welt verwandelt, die wir wahrnehmen. Seit Jahrzehnten versuchen Wissenschaftler zu verstehen, wie genau dies geschieht, indem sie den Pfad von einfachen Linien und Farben zu komplexen Ideen wie „ein Hund“ oder „ein Auto“ kartieren. In den letzten Jahren ist ein neues Feld entstanden, das versucht, dies umzukehren: die elektrische Aktivität des Gehirns zu lesen, um zu rekonstruieren, was eine Person sieht. Dies ist der Bereich des neuronalen visuellen Dekodierens. Durch das Anbringen von Sensoren an der Kopfhaut einer Person, um Gehirnwellen zu messen, hoffen Forscher, diese verrauschten, chaotischen Signale zurück in die Bilder zu übersetzen, die die Person gerade betrachtet. Es ist das Streben, eine Brücke zwischen dem biologischen Geist und der digitalen Welt zu bauen, was zukünftige Technologien verspricht, die Menschen helfen könnten, ohne Sprechen zu kommunizieren oder Blinden das Sehvermögen zurückzugeben.

Lange Zeit stützte sich der Standardansatz beim Bau dieser Brücke auf eine spezifische Annahme: dass das endgültige Verständnis eines Bildes durch das Gehirn der wichtigste Teil ist, der abgeglichen werden muss. Forscher nahmen ein Computerprogramm, das darauf trainiert war, Objekte zu erkennen – wie ein hochentwickeltes digitales Auge, das gelernt hat, eine Katze von einem Hund zu unterscheiden – und verglichen die Signale des Gehirns mit dem endgültigen, hochgradig abstrakten Fazit des Computers über das Bild. Die Idee war, dass wenn der Computer „Katze“ sagt, das Gehirn auch auf seine eigene Art der elektrischen Sprache „Katze“ sagen sollte. Diese Methode stieß jedoch oft an eine Wand. Unabhängig davon, wie leistungsfähig das Computerprogramm wurde, verbesserte sich die Fähigkeit, das Bild aus den Gehirnsignalen zu rekonstruieren, nicht. Tatsächlich schnitten manchmal sogar die fortschrittlichsten Computermodelle schlechter ab als einfachere, was die Wissenschaftler rätseln ließ, warum mehr Intelligenz in der Maschine nicht zu einem besseren Lesen des Geistes führte.

Eine neue Studie, veröffentlicht in den Transactions on Machine Learning Research, stellt diese lang gehegte Annahme infrage. Die Forscher, angeführt von einem Team der University of Pittsburgh und anderen Institutionen, schlagen vor, dass das Problem nicht die Intelligenz des Computers war, sondern der Zeitpunkt des Vergleichs. Sie argumentieren, dass das Gehirn nicht nur das endgültige Etikett eines Objekts speichert; es hält eine detaillierte, vielschichtige Aufzeichnung der visuellen Erfahrung fest, vom anfänglichen Aufblitzen von Licht und Farbe bis hin zum endgültigen Konzept. Indem sie die Gehirnsignale dazu zwangen, mit dem endgültigen, abstrakten Fazit des Computers übereinzustimmen, baten die Wissenschaftler das Gehirn effektiv dazu, alle reichen Details des Bildes zu vergessen und sich nur noch an den Namen des Objekts zu erinnern. Dies erzeugte einen Mismatch, so als versuche man, einen quadratischen Klotz in ein rundes Loch zu passen.

Um dies zu beheben, entwickelten die Forscher eine Methode, die sie „Shallow Alignment“ (flache Ausrichtung) nennen. Anstatt darauf zu warten, dass das Computerprogramm zu seinem endgültigen Schluss kommt, begannen sie, die elektrischen Signale des Gehirns mit den Zwischenschritten des Computers zu vergleichen. Stellen Sie sich vor, ein Computerprogramm analysiert das Bild eines Straußen. In den frühen Schritten bemerkt es lange, dünne Beine und eine bestimmte Textur. In den mittleren Schritten erkennt es die Form eines Vogels. Erst im letzten Schritt entscheidet es: „Dies ist ein Strauß.“ Die Forscher fanden heraus, dass die Signale des Gehers, insbesondere die durch Sensoren auf der Kopfhaut gemessenen, eine Mischung all dieser Details enthalten. Als sie die Gehirnsignale mit den Beobachtungen der mittleren Schichten des Computers abglichen – wo das Bild noch detailliert, aber auch schon beginnend sinnvoll ist – waren die Ergebnisse drastisch besser.

Das Team testete diese Idee unter Verwendung von Daten aus zwei großen Sammlungen von Gehirnaufzeichnungen, von denen eine elektrische Aktivität und die andere Magnetfelder maß, während Menschen Tausende von verschiedenen Objekten betrachteten. Sie verglichen ihre neue Methode mit den besten bestehenden Techniken. Der Unterschied war eklatant. In Tests, bei denen der Computer versuchte zu erraten, welches Bild eine Person sah, basierend auf deren Gehirnwellen, verbesserte die neue Methode die Genauigkeit um eine massive Spanne. Für eines der fortschrittlichsten Computermodelle, die sie testeten, sprang die Erfolgsrate von etwa 17 Prozent auf fast 83 Prozent. Dies war keine kleine Anpassung; es war ein fundamentaler Wandel in der Art und Weise, wie die Verbindung zwischen Gehirn und Maschine hergestellt wird.

Die vielleicht überraschendste Entdeckung war das, was geschah, wenn sie größere, leistungsstärkere Computermodelle verwendeten. Unter der alten Methode führte es oft dazu, dass das intelligenter Machen des Computers das Dekodieren verschlechterte – ein Phänomen, das die Autoren als „Depth-Capacity Paradox“ (Tiefen-Kapazitäts-Paradoxon) bezeichnen. Je mehr der Computer das Bild in ein einfaches Etikett komprimierte, desto schwieriger wurde es, die Gehirnsignale abzugleichen. Aber mit der neuen „Shallow Alignment“-Methode geschah das Gegenteil: Wenn die Computermodelle größer und fähiger wurden, verbesserte sich die Dekodierleistung konsistent. Die Forscher zeigten, dass sie, indem sie das richtige Maß an Detail luden, endlich das volle Potenzial dieser massiven digitalen Gehirne ausschöpfen konnten, um menschliche Gedanken zu lesen.

Die Studie zeigte auch, dass die Signale des Gehirns nicht nur über den Namen des endgültigen Objekts handeln. Als die Forscher untersuchten, was der Computer „sah“, wenn er einen Fehler machte, stellten sie fest, dass die alte Methode oft Bilder abrief, die zwar zur richtigen Kategorie gehörten, aber die falsche Form hatten. Wenn eine Person beispielsweise einen Straußen betrachtete, konnte die alte Methode ein Bild eines Schafes oder einer Taube abrufen – Tiere, die zwar alle Vögel sind, aber die charakteristischen langen Beine eines Straußes vermissen lassen. Die neue Methode hingegen konnte den Strauß und andere Bilder erfolgreich abrufen, die dieselben spezifischen strukturellen Details teilten, wie etwa lange, dünne stützende Beine, selbst wenn die anderen Bilder von völlig anderen Objekten wie Tischen oder Kinderbetten waren. Dies deutet darauf sich hin, dass das Gehirn die physische Form und Textur dessen, was wir sehen, festhält und nicht nur die Kategorie, zu der es gehört.

Um sicherzustellen, dass dies nicht nur ein Zufall eines spezifischen Computermodells war, testeten die Forscher ihren Ansatz über eine Vielzahl verschiedener digitaler Architekturen hinweg, von älteren, einfacheren Designs bis hin zu den neuesten, komplexesten Systemen. In jedem Fall lieferte das Betrachten der mittleren Schichten der Computerverarbeitung bessere Ergebnisse als das Betrachten des Endes. Sie entdeckten auch, dass die beste Schicht nicht für jedes Modell dieselbe war; sie hing davon ab, wie tief und komplex der jeweilige Computer war. Für einige Modelle lag der „Sweet Spot“ etwa ein Drittel des Weges durch die Verarbeitung, für andere lag er näher bei zwei Dritteln. Diese Flexibilität deutet darauf hin, dass der Schlüssel nicht in einer einzelnen magischen Schicht liegt, sondern darin, den spezifischen Punkt zu finden, an dem die interne Repräsentation des Computers mit der natürlichen „Körnung“ der Gehirnsignale übereinstimmt.

Die Auswirkungen dieser Arbeit sind bedeutend für die Zukunft von Gehirn-Computer-Schnittstellen. Sie legen nahe, dass der Engpass beim Lesen des Geistes nicht ein Mangel an Rechenleistung oder ein Mangel an Daten ist, sondern ein Missverständnis darüber, wie das Gehirn die Welt repräsentiert. Indem wir uns mit der natürlichen, vielschichtigen Art und Weise des Gehirns abstimmen, anstatt es in eine einzige, abstrakte Box zu zwingen, können Forscher viel genauere und zuverlässigere Systeme bauen. Die Studie kommt zu dem Schluss, dass der Weg nach vorn darin liegt, die Komplexität des visuellen Prozesses des Gehirns zu respektieren und die reichen, intermediären Details unserer digitalen Werkzeuge zu nutzen, um die ebenso reichen, intermediären Details unseres eigenen Geistes zu dekodieren. Dieser Ansatz verwandelt eine frustrierende Sackgasse in einen klaren Pfad nach vorn und zeigt, dass man manchmal, um das ganze Bild zu verstehen, die Teile betrachten muss, bevor die endgültige Antwort feststeht.