Decoding silent reading from non-invasive EEG

Die menschliche Kommunikation beruht auf einem einfachen, physischen Akt: der Bewegung des Mundes, der Zunge und der Stimmbänder, um Luft in Klang zu formen. Wenn eine Krankheit oder Verletzung diese Fähigkeit zerstört, kann die Verbindung zwischen einem Menschen und der Außenwelt verschwinden. Seit Jahrzehnten suchen Wissenschaftler nach einem Weg, den beschädigten Körper zu umgehen und Gedanken direkt aus dem Gehirn zu lesen. Die bisher erfolgreichsten Versuche erforderten Operationen, bei denen Elektroden tief im Schädel implantiert wurden, um dem elektrischen Geplapper einzelner Neuronen zuzuhören. Während diese invasiven Werkzeuge gezeigt haben, dass die Sprachzentren des Gehirns mit hoher Präzision dekodiert werden können, bergen sie chirurgische Risiken und können für die überwiegende Mehrheit der Menschen, die sie benötigen, nicht eingesetzt werden. Die große ungelöste Frage war, ob nicht-invasive Methoden, insbesondere solche, die Sensoren auf der Kopfhaut verwenden, jemals empfindlich genug sein könnten, um diese flüchtigen Gedanken einzufangen.

Die Kernschwierigkeit beim Lesen des Geistes ohne Operation liegt nicht nur im schwachen Signal, sondern im Fehlen einer Karte. Um einen Computer darauf zu trainieren, einen Gedanken zu erkennen, muss man genau wissen, was die Person in dem Moment dachte, in dem das Gehirnsignal auftrat. Für gesprochene Wörter ist dies einfach: Die Person spricht, und die Aufnahme beginnt. Für stille Gedanken oder „inneres Sprechen“ gibt es keinen externen Marker. Eine Person mag einen Satz denken, aber sie kann ihn nicht mit perfektem Timing melden; bis sie sagt: „Ich habe gerade an Bananen gedacht“, ist die Gehirnaktivität, die diesen Gedanken erzeugte, längst vorüber. Oh ohne präzisen Zeitstempel sind die Daten ein Verschwimmen, und bisherige Versuche, das innere Sprechen zu dekodieren, hatten Schwierigkeiten, über bloßes Raten hinauszukommen.

Ein Team von Forschern bei nubrain entschied sich, dieses Zeitproblem zu umgehen, indem sie eine andere Aufgabe als Trainingsgrundlage nutzten. Anstatt die Teilnehmer zu bitten, sich Wörter vorzustellen, baten sie sie zu lesen. Lesen ist eine Form der Sprachverarbeitung, die lautlos im Geist stattfindet, doch es kommt mit einer eingebauten Uhr: dem Moment, in dem ein Wort auf dem Bildschirm erscheint. Durch die Aufzeichnung der Gehirnaktivität, während eine Person liest, konnten die Forscher die elektrischen Signale mit den spezifischen Wörtern abgleichen, die gesehen wurden, und so einen massiven, präzisen Datensatz erstellen. Ihr Ziel war es zu sehen, ob ein Computer lernen kann, die einzigartige Gehirnsignatur eines bestimmten Wortes allein durch den Blick auf die elektrischen Muster auf der Kopfhaut zu erkennen, und ob diese Fähigkeit schließlich auf die schwierigere Aufgabe der Dekodierung ungesprochener Gedanken angewendet werden kann.

Die Studie umfasste einen einzelnen Teilnehmer, der fast 49 Stunden lang kontinuierliche Geschichten auf einem Computerbildschirm las. Der Text wurde Wort für Wort in schneller Abfolge präsentiert, eine Methode, die als Rapid Serial Visual Presentation bekannt ist. Um sicherzustellen, dass der Computer die Bedeutung der Wörter lernte und nicht nur deren Form, änderten die Forscher Schriftart, Größe, Farbe und Zeilenabstand eines jeden einzelnen Wortes. Dies bedeutete, dass das Gehirn die Sprache selbst verarbeiten musste, nicht nur das visuelle Muster der Buchstaben. Der Teilnehmer trug eine Kappe mit 19 Trockenelektroden, ein Aufbau, der darauf ausgelegt war, komfortabel und einfach zu verwenden, welcher die elektrische Aktivität des Gehirns mit hoher Geschwindigkeit aufzeichnete.

Die Forscher trainierten daraufhin ein Computermodell, um diese Gehirnsignale mit den gelesenen Wörtern abzugleichen. Sie verwendeten ein ausgeklügeltes System, das die elektrischen Muster mit der digitalen „Bedeutung“ der Wörter verglich, die aus einem großen Sprachmodell abgeleitet wurde. Der Computer wurde nicht gebeten, das Wort von Grund auf neu zu erraten, sondern aus einer Liste von 512 Möglichkeiten das richtige Wort auszuwählen. Die Ergebnisse waren eindeutig: Das System konnte das gelesene Wort zuverlässig identifizieren und schnitt signifikant besser ab als der Zufall. Dieser Erfolg hielt auch für seltene und ungewöhnliche Wörter stand, nicht nur für die häufigen, die oft in der Sprache vorkommen.

Entscheidend war, dass die Forscher sorgfältig zwischen zwei verschiedenen Arten des Erfolgs unterschieden. Ein Computer könnte die richtige Antwort einfach dadurch erhalten, dass er das allgemeine Thema der Geschichte kennt – zum Beispiel „Hund“ zu raten, weil die Geschichte über einen Bauernhof handelt – ohne tatsächlich das spezifische Wort auf dem Bildschirm zu erkennen. Um dies auszuschließen, entwickelte das Team eine Methode, um das Signal des spezifischen Wortes vom Signal des Kontextes der Geschichte zu trennen. Sie fanden heraus, dass das System zwar den Kontext der Geschichte zur Hilfe nahm, ein erheblicher Teil seines Erfolgs jedoch aus der Identifizierung des spezifischen Wortes selbst resultierte. Sie überprüften auch einen anderen potenziellen Abkürzungsweg: Der Computer könnte gelernt haben, das Wort basierend auf seiner Position im Satz zu erraten, anstatt basierend auf dem Gehirnsignal. Durch die Durchführung spezifischer Tests, bei denen sie die Gehirndaten verbargen und nur die Position hinterließen, bestätigten sie, dass der Computer tatsächlich die Gehirnaktivität las und nicht nur die Position.

Die Studie zeigte auch, dass die Menge der Daten wichtiger ist als bisher angenommen. Die Forscher testeten das System mit unterschiedlichen Mengen an Trainingsdaten, von einem kleinen Bruchteil der gesamten Stunden bis hin zu den vollen 49 Stunden. Sie fanden heraus, dass sich die Genauigkeit des Systems mit zunehmender Datenmenge stetig verbesserte, ohne Anzeichen dafür, dass es ein Limit erreicht hatte. Dies deutet darauf hin, dass die Barriere für eine bessere Leistung kein grundlegender Fehler in der Technologie ist, sondern schlicht der Bedarf an mehr Aufnahmezeit. Darüber hinaus stellten sie fest, dass das System auch dann noch funktionierte, wenn sie die Elektroden entfernten, die über dem Hinterkopf platziert waren – dem Bereich, der die visuelle Wahrnehmung verarbeitet –, wenn auch mit leicht reduzierter Genauigkeit. Dies deutet darauf hin, dass die Gehirnsignale für das Lesen von Wörtern nicht nur visuell sind; sie involvieren tiefere Sprachverarbeitungsbereiche, die dennoch von der Kopfhaut aus detektierbar sind.

Die Ergebnisse bieten einen vielversprechenden Pfad für nicht-invasive Gehirn-Computer-Schnittstellen. Die Forschung zeigt, dass es möglich ist, spezifische Wörter aus der Gehirnaktivität zu dekodieren, sofern man nur Sensoren auf der Kopfhaut verwendet, vorausgesetzt, es gibt genügend hochwertige Daten. Obwohl sich die aktuelle Studie auf das Lesen konzentrierte, schlagen die Autoren vor, dass dieser Ansatz als Fundament für die Dekodierung des inneren Sprechens dienen könnte. Indem man ein System zuerst anhand der zuverlässigen, zeitgebundenen Daten des Lesens trainiert und dieses Wissen dann potenziell auf die schwierigere Aufgabe des stillen Denkens überträgt, könnten Wissenschaftler schließlich in der Lage sein, die Kommunikation für diejenigen wiederherzustellen, die ihre Stimme verloren haben. Die Arbeit behauptet nicht, das Problem des sofortigen Lesens von Gedanken gelöst zu haben, aber sie hat etabliert, dass das Signal vorhanden ist und nur darauf wartet, mit genügend Geduld und Daten gefunden zu werden.