Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data
Diese Studie zeigt, dass selbstüberwachte Masked Autoencoder, die auf unbeschrifteten Daten des Ruhezustands neuronaler Aktivität vortrainiert wurden, interpretierbare Hirnstrukturen erlernen und die Genauigkeit der Perzeptionsdekodierung bei einem blinden Teilnehmer signifikant verbessern können, was beweist, dass spontane kortikale Aktivität reichhaltige, aufgabenrelevante Informationen enthält.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man sieht. Normalerweise muss man einen Roboter trainieren, indem man ihm tausende beschriftete Bilder zeigt: „Das ist eine Katze“, „Das ist ein Hund“, „Das ist ein Baum“. Aber was wäre, wenn Sie nur wenige beschriftete Bilder haben, aber einen Berg an unbeschriftetem Videomaterial, in dem der Roboter einfach nur in einem dunklen Raum sitzt und nichts tut? Lange Zeit dachten Wissenschaftler, dass „Nichts-tun“-Aufnahmen nur statisches Rauschen waren – nutzloser Müll, der dem Roboter nichts über die reale Welt beibringen konnte. Dies ist das große Problem auf dem Gebiet der Neuroprothetik (Geräte, die dem Gehirn helfen, sich mit Maschinen zu verbinden). Ärzte wollen Blinden helfen, wieder zu „sehen“, indem sie winzige elektrische Signale an ihr Gehirn senden, aber sie verfügen nicht über genügend Trainingsdaten, um den Computer darauf zu trainieren, vorherzusagen, was die Person tatsächlich sehen wird. Sie haben Stunden an „Ruhe“-Hirndaten, aber sie dachten, diese seien zu chaotisch, um sie zu verwenden.
Diese Arbeit stellt eine kühne Frage: Was wäre, wenn diese „Ruhe“-Hirndaten gar kein Rauschen sind? Was wäre, wenn das Gehirn, selbst wenn es nur entspannt, im Geheimen dieselben Muster übt, die es auch verwendet, wenn es tatsächlich etwas sieht? Die Forscher testeten einen cleveren Trick namens Self-Supervised Learning (selbstüberwachtes Lernen). Denken Sie an dies wie an ein Spiel von „Lückentext ausfüllen“. Man zeigt einem Schüler einen Satz mit zufällig fehlenden Wörtern und bittet ihn, die fehlenden Wörter basierend auf dem Kontext zu erraten. Wenn der Schüler wirklich gut darin wird, die fehlenden Wörter zu erraten, muss er die tiefen Regeln der Sprache gelernt haben, selbst wenn man ihm nie die Bedeutung der Geschichte verraten hat. Die Forscher wandten dieses „Lückentext“-Spiel auf Hirndaten an, um zu sehen, ob sie einen Computer lehren konnten, Vision zu verstehen, ohne ihm jemals einen einzigen „beschrifteten“ Sehtest zu zeigen.
Das große Experiment: Einem Gehirn das Raten beibringen
Das Team arbeitete mit einem blinden Teilnehmer, bei dem ein kleines Gitter aus 9engan 96 winzigen Sensoren im Teil des Gehirns implantiert war, der für das Sehen verantwortlich ist (genannt V1). Sie hatten zwei Arten von Daten:
- Die „Chill“-Daten: 14,6 Stunden, in denen das Gehirn einfach nur da saß, nichts tat, ohne dass Lichter oder Signale gesendet wurden.
- Die „Test“-Daten: Kurze Impulse, bei denen bestimmte Sensoren mit Elektrizität angeregt wurden, um zu versuchen, einen „Lichtblitz“ (ein Phosphen) im Geist der Person zu erzeugen.
Die Forscher bauten ein Computermodell namens Masked Autoencoder. Stellen Sie sich vor, Sie haben ein riesiges Puzzle der Gehirnaktivität. Das Modell nimmt ein Stück der „Chill“-Daten, bedeckt 75 % davon mit einer Maske (wie das Kleben eines Stücks Klebeband über die Puzzleteile) und versucht dann zu erraten, wie die verborgenen Teile aussehen, basierend nur auf den sichtbaren Teilen. Es wiederholte dies immer und immer wieder über 14,6 Stunden hinweg. Entscheidend ist, dass das Modell während dieser gesamten Trainingsphase niemals die „Test“-Daten sah. Es wusste nie, wie ein „Lichtblitz“ aussieht; es kannte nur, wie sich das Gehirn ausruht.
Die Überraschung: Der Ruhezustand des Gehirns besitzt eine geheime Karte
Als das Modell sein Training beendet hatte, blickten die Forscher in sein Inneres (oder vielmehr in seinen digitalen „latenten Raum“). Sie fanden etwas Erstaunliches heraus. Obwohl das Modell nie etwas über das Sehen gesagt wurde, hatte es versehentlich die interne Karte des Gehirns gelernt.
- Der Nachbarschaftseffekt: Als sie das Verständnis des Modells untersuchten, wurden Sensoren, die physisch nah beieinander im Gehirn lagen, im Geist des Modells ebenfalls gruppiert. Es war, als hätte das Modell herausgefunden: „Hey, diese Sensoren sind Nachbarn“, allein durch das Beobachten der Entspannung des Gehirns.
- Der Stimmungsring: Das Modell lernte auch, zwischen verschiedenen „Stimmungen“ des Gehirns zu unterscheiden. Es konnte Zeiten unterscheiden, in denen das Gehirn in einem Zustand bereit war, etwas zu sehen, von Zeiten, in denen es das nicht war, obwohl es nie angewiesen wurde, nach diesen Zuständen zu suchen.
Der wahre Test: Kann es vorhersagen, was du siehst?
Um zu sehen, ob dieses Training im „Ruhezustand“ tatsächlich half, frierten sie das Modell ein (stoppten das Lernen) und nutzten es, um die Ergebnisse der „Test“-Daten vorherzusagen. Sie fragten das Modell: „Basierend auf der Gehirnaktivität im Moment: Wird die Person einen Lichtblitz sehen oder nicht?“
Sie testeten dies auf zwei Ebenen:
- Die leichte Ebene (psychometrische Aufgabe): Sie verwendeten starke elektrische Impulse, die normalerweise einen Lichtblitz erzeugen. Das Modell, das sein „Ruhe“-Training genutzt hatte, lieferte in 84,1 % der Fälle die richtige Antwort. Dies war besser als ältere Methoden, die die Daten lediglich komprimierten oder auf Rohzahlen basierten.
- Die schwere Ebene (Schwellenwertaufgabe): Dies war die eigentliche Herausforderung. Sie verwendeten sehr schwache Impulse, genau an der Grenze der Wahrnehmung. Manchmal sah die Person einen Lichtblitz, manchmal nicht, obwohl der Impuls exakt derselbe war. Hier versagen herkömmliche Computer meistens, weil die Daten wie zufälliges Rauschen aussehen. Aber das auf „Ruhe“-Daten trainierte Modell schaffte es, eine Genauigkeit von 64,0 % zu erreichen.
Warum das wichtig ist
Die Arbeit zeigt, dass das „Rauschen“ eines ruhenden Gehirns tatsächlich voller reicher, nützlicher Muster ist. Indem man den Computer erlaubte, die Regeln der „Chill-Zeit“ des Gehirns zu lernen, wurde er viel besser darin, vorherzusagen, was während der „Aktionszeit“ passiert.
Die Autoren betonen vorsichtig, dass dies noch kein magisches Allheilmittel ist. Sie haben dies nur an einer Person getestet, daher wissen wir nicht, ob es für jeden funktioniert. Sie geben auch zu, dass sie sich nicht zu 100 % sicher sind, warum die Ruhe-Daten helfen – vielleicht übt das Gehirn das Sehen, während es ruht, oder vielleicht setzt es einfach eine Basislinie, die die „Aktions“-Signale deutlicher hervorstechen lässt. Aber die Hauptbotschaft ist klar: Wir müssen nicht stundenlange „langweilige“ Hirndaten wegwerfen. Wenn wir Computer lehren, die Stille zu verstehen, könnten sie vielleicht lernen, wie man die Musik hört.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.