Stellen Sie sich eine Welt vor, in der wir die elektrischen Flüstertöne des Geistes lesen können, um gelähmten Menschen zu helfen, ihre Gliedmaßen zu bewegen oder um zu verstehen, wie wir Entscheidungen treffen. Dies ist das Reich der Gehirn-Computer-Schnittstellen (Brain-Computer Interfaces, BCIs), ein Feld, in dem Wissenschaftler versuchen, die chaotischen, flackernden Signale von Neuronen in klare Befehle für Computer zu übersetzen. Lange Zeit war die beste Methode dafür so, als würde man einem Hund Tricks beibringen: Man zeigt ihm ein Signal, sagt ihm genau, welches Verhalten stattfand (wie „der Arm bewegte sich nach links“), und es lernt, die beiden miteinander zu verknüpfen. Aber diese Methode hat einen großen Makel: Sie erfordert eine Lehrperson, die bei jeder einzelnen Lektion anwesend ist. In der realen Welt verfügen wir über Berge von aufgezeichneten Gehirndaten, in denen der „Lehrer“ fehlt – wir haben das neuronale Geplapper, aber kein Etikett, das angibt, was das Tier in diesem exakten Moment gerade gemacht hat. Bis jetzt konnten die meisten fortgeschrittenen Modellen zum Lesen des Gehirns nur aus „beschrifteten“ Daten lernen, wodurch riesige Bibliotheken von „unbeschrifteten“ Gehirnaufzeichnungen verstaubten, ohne helfen zu können, den Decoder zu verbessern.

Hier kommt ein neuer Ansatz ins Spiel, der das Gehirn wie eine Sprache behandelt. Genau wie große Sprachmodelle (die Texte schreiben oder Fragen beantworten) lernen, indem sie Milliarden von Büchern lesen, ohne dass ein Mensch jeden Satz erklären muss, legt diese neue Forschung nahe, dass wir Brain-Decoding-Modelle dazu bringen können, die „Grammatik“ neuronaler Aktivität von selbst zu verstehen. Die Arbeit stellt eine Methode namens MOJO (Masked autOencoder-based JOint training) vor. Stellen Sie sich das wie einen Studenten vor, der sowohl ein Lehrbuch mit Antworten (beschriftete Daten) als auch eine riesige Bibliothek mit Mystery-Romanen ohne Lösungsschlüssel (unbeschriftete Daten) studiert. Indem er versucht, die fehlenden Seiten der Mystery-Romane zu ergänzen, lernt der Student die zugrunde liegende Struktur der Geschichte so gut, dass er schließlich die Prüfung mit dem Lehrbuch besteht. Die Forscher fanden heraus, dass ihr Modell durch die Kombination dieser beiden Lernstile viel besser wurde – insbesondere, wenn es zu Beginn nur über sehr wenige beschriftete Beispiele verfügte – und dass es sogar bei verschiedenen Spezies und Arten von Gehirnsignalen funktionierte.

Das Problem: Der „Etikett“-Engpass

Stellen Sie sich vor, Sie versuchen, eine neue Sprache zu lernen. Sie haben ein Wörterbuch, das Ihnen sagt, dass das Wort „Apfel“ eine rote Frucht bedeutet. Wenn Sie nur dieses Wörterbuch haben (beschriftete Daten), können Sie das Wort „Apfel“ lernen. Aber wenn Sie fließend werden wollen, müssen Sie tausende Bücher, Artikel und Geschichten lesen (unbeschriftete Daten), um zu verstehen, wie Wörter zusammenpassen, wie Sätze fließen und wie der Kontext die Bedeutung eines Wortes verändert.

Jahrelang waren die fortschrittlichsten Modelle zur Dekodierung des Gehirns, bekannt als „Spike-Tokenizing“-Modelle (wie die POYO-Familie), wie Studenten, die nur ein Wörterbuch hatten. Sie waren unglaublich gut darin, spezifische Gehirnsignale bestimmten Bewegungen zuzuordnen, aber sie konnten nur aus Daten lernen, bei denen Wissenschaftler exakt aufgezeichnet hatten, was das Tier in jedem Moment tat. Dies ist eine enorme Einschränkung, da das Sammeln von beschrifteten Daten teuer und zeitaufwendig ist und oft in bestimmten Experimenten unmöglich ist. Währenddessen haben Neurowissenschaftler Terabytes an „unbeschrifteten“ Gehirndaten gesammelt – Aufzeichnungen von feuernden Neuronen, ohne zu wissen, was das Tier in diesem Bruchteil einer Sekunde dachte oder tat. Diese Modelle ignorierten diese Schatzkammer effektiv.

Die Lösung: MOJOs „Lückentext“-Trick

Die Autoren dieser Arbeit, Ximeng Mao, Nanda H. Krishna und ihr Team, entwickelten MOJO, um genau dies zu lösen. Sie wollten diesen Modellen beibringen, aus unbeschrifteten Daten zu lernen, genau wie ein Sprachmodell aus einem Buch lernt.

Dazu verwendeten sie einen cleveren Trick namens Masked Autoencoding. Stellen Sie sich vor, Sie haben einen Satz: „Die Katze saß auf der Matte.“ Wenn Sie das Wort „saß“ abdecken, können Sie erraten, was dort stand? Wenn Sie genug Geschichten über Katzen gelesen haben, können Sie wahrscheinlich basierend auf dem Kontext „saß“, „stand“ oder „sprang“ erraten. MOJO macht das mit Gehirnsignalen. Es nimmt eine Sequenz neuronaler Spikes (den „Satz“), verbirgt (maskiert) zufällig einige der Signale und fragt das Modell, welche der fehlenden Signale vorhanden waren.

Hier liegt die Magie: Das Modell muss die verborgenen Regeln lernen, wie Neuronen miteinander kommunizieren, um diese Vermutungen anzustellen. Es lernt die „Grammatik“ des Gehirns. Aber das Modell rät nicht nur; es behält auch seine ursprüngliche Aufgabe bei, Verhalten (wie Armbewegungen) mithilfe der beschrifteten Daten vorherzusagen. Es tut beides gleichzeitig. Dies wird Joint Training genannt. Das Modell lernt die tiefe Struktur des Gehirns aus den unbeschrifteten Daten, was ihm hilft, die beschrifteten Daten viel besser zu verstehen.

Die Ergebnisse: Schlauer, schneller und flexibler

Das Team testete MOJO auf drei sehr unterschiedlichen Arten von Gehirndaten:

1. Affen-Reichweite (Monkey Reaching): Affen, die Ziele auf einem Bildschirm ansteuern.
2. Maus-Vision (Mouse Vision): Mäuse, die verschiedene visuelle Muster betrachten.
3. Menschliche Sprache (Human Speech): Menschen, die Silben sprechen, aufgezeichnet über Elektroden auf der Ge Oberfläche des Gehirns (ECoG).

In jedem einzelnen Test übertraf MOJO jene Modelle, die nur beschriftete Daten verwendeten. Aber der aufregendste Teil war das, was geschah, wenn sie nur über sehr wenig beschriftete Daten verfügten.

Die „Few-Shot“-Superkraft
Normalerweise kämpft ein Modell, wenn man ihm nur sehr wenige Beispiele zum Lernen gibt (ein „Few-Shot“-Szenario). Aber MOJO war hier ein Champion. In einem Experiment mit Affen versuchte das Team, das Modell mit nur zwei beschrifteten Versuchen (Kalibrierungsversuchen) zu lehren, Bewegungen zu dekodieren. Ein Standardmodell scheiterte kläglich. MOJO hingegen nutzte die unbeschrifteten Daten, um das allgemeine „Gefühl“ der Gehirnaktivität zu verstehen. Als sie ihm nur zwei beschriftete Versuche gaben, erreichte es über 60 % der Leistung eines Modells, das mit einem vollständigen Datensatz trainiert wurde. Mit nur vier beschrifteten Versuchen erreichte es 75 %. Es war wie ein Student, der nach dem Lesen von tausend Mystery-Romanen in der Lage ist, ein neues Rätsel mit nur zwei Hinweisen zu lösen.

Artenspezifisch und Modalitätsübergreifend
Die Forscher testeten auch, ob MOJO von einer Spezies lernen und dies auf eine andere übertragen kann. Sie trainierten das Modell auf Affen-Reichweitendaten vor und verfeinerten (fine-tuned) es dann mit Maus-Visionsdaten. Das Modell übertrug sein Wissen erfolgreich und zeigte, dass die gelernte „Grammatik“ des Gehirns universell genug war, um ein anderes Tiergehirn zu verstehen.

Noch überraschender war, dass sie MOJO auf menschliche Sprachdaten (ECoG) anwandten, ein kontinuierliches Signal, kein diskreter „Spike“. Obwohl MOJO für Spikes konzipiert war, passte es sich an und performte genauso gut wie Modelle, die speziell für kontinuierliche Signale gebaut wurden. Dies deutet darauf hin, dass die Kernidee, aus unbeschigten Daten zu lernen, ein mächtiges Werkzeug ist, das über verschiedene Arten von Gehirnaufzeichnungen hinweg funktioniert.

Die „verborgenen“ Erkenntnisse
Einer der coolsten Nebeneffekte von MOJO war, dass das Modell lernte, die Struktur des Gehirns zu verstehen, ohne explizit darauf trainiert worden zu sein. Die Forscher baten das Modell, anhand seines internen „Embeddings“ (seines digitalen Fingerabdrucks) vorherzusagen, aus welchem Teil des Gehirns ein Neuron stammt (z. B. aus dem visuellen Kortex oder dem Hippocampus). Das Modell lag in einigen Aufgaben zu 94 % richtig, obwohl es nie darauf trainiert wurde, diese Klassifizierung vorzunehmen. Es lernte auch, die Feuerraten von Neuronen mit hoher Genauigkeit vorherzusagen. Das bedeutet, dass das Modell nicht nur Antworten auswendig gelernt hat, sondern tatsächlich eine reiche, interpretierbare Karte der Funktionsweise des Gehirns erstellt hat.

Warum das wichtig ist

Die Arbeit legt nahe, dass wir durch die Kombination von überwachtem Lernen (Lernen mit Antworten) und selbstüberwachtem Lernen (Lernen aus Mustern in den Daten) wesentlich flexiblere und leistungsfähigere Gehirn-Computer-Schnittstellen bauen können. Wir müssen die Berge an unbeschrifteten Daten, die wir bereits besitzen, nicht wegwerfen; wir können sie nutzen, um unseren Modellen die grundlegenden Regeln des Gehirns beizubringen.

Dieser Ansatz erleichtert das Training von Modellen für neue Aufgaben oder neue Patienten mit minimaler Kalibrierungszeit. Er öffnet zudem die Tür zu „Neuro-Foundation-Models“ – massiven, universellen Gehirnmodellen, die für viele verschiedene Aufgaben angepasst werden können, von der Unterstützung gelähmter Menschen bei Bewegungen bis hin zum Verständnis, wie wir Entscheidungen treffen. Die Autoren merken an, dass dies ein bedeutender Schritt nach vorn ist, die Modelle aber noch viel Daten benötigen, um die komplexen Dynamiken des Gehirns zu lernen, und dass es weiterhin Herausforderungen beim perfekten Umgang mit verschiedenen Arten von Signalen gibt. Aber der Weg ist klar: Die Zukunft der Dekodierung des Gehirns liegt darin, diesen Modellen beizubringen, die „unbeschrifteten“ Geschichten unserer Geister zu lesen.