Real-time Reconstruction of Human Visual Perception from fMRI
Diese Arbeit präsentiert eine echtzeitkompatible Adaption der hochmodernen MindEye2-Pipeline unter Verwendung der RT-Cloud-Plattform, die zeigt, dass eine zuverlässige, feingliedrige Rekonstruktion wahrgenommener natürlicher Bilder aus fMRT-Daten innerhalb von Sekunden machbar ist und den Weg für fortschrittliche Gehirn-Computer-Schnittstellen ebnet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie könnten in den Geist eines Menschen blicken und genau das Bild sehen, das er gerade betrachtet, indem Sie lediglich die winzigen Wellen des Blutflusses in seinem Gehirn beobachten. Dies ist der Traum der kognitiven Neurowissenschaft: die Gehirnaktivität in ein Fenster zu unseren Gedanken zu verwandeln. Lange Zeit haben Wissenschaftler ein Werkzeug namens fMRT (funktionelle Magnetresonanztomographie) verwendet, um dies zu erreichen. Stellen Sie sich das fMRT wie eine superlangsame High-Definition-Filmkamera für das Gehirn vor. Es macht keine Fotos davon, wie Neuronen feuern; statlich verfolgt es, wohin sauerstoffreiches Blut fließt, was ein wenig so ist, als würde man beobachten, welche Teile einer Stadt am geschäftigsten sind, indem man sieht, wo die Ampeln leuchten. Der Haken dabei ist, dass dieser „Verkehr“ langsam fließt und es einige Sekunden dauert, bis er nach dem Erscheinen eines Gedankens oder Bildes seinen Höhepunkt erreicht.
In den letzten Jahren sind Computer unglaublich intelligent geworden darin, zu erraten, was eine Person sieht, basierend auf diesen langsamen Blutflussmustern. Mithilfe massiver KI-Modelle können Wissenschaftler heute Bilder, die eine Person gesehen hat, mit verblüffender Genauigkeit rekonstruieren. Es gibt jedoch ein großes Problem: Diese smarten Computer benötigen meist Stunden oder sogar Tage, um die Zahlen zu berechnen. Es ist, als hätte man einen genialen Chefkoch, der ein perfektes Essen kochen kann, aber er braucht einen ganzen Tag, um das Gemüse zu schneiden. Dies macht es unmöglich, sie für „Echtzeit“-Experimente einzusetzen, bei denen man das Ergebnis sofort sehen möchte, während die Person noch im Scanner liegt. Wenn man diesen Prozess schnell genug machen könnte, könnte man eine „Gehirn-Computer-Schnittstelle“ erschaffen, bei der eine Person einen Bildschirm mit ihren Gedanken steuern oder sofortiges Feedback darüber erhält, worauf ihr Gehirn sich konzentriert.
In diesem Paper geht es darum, diesen langsamen, genialen Chefkoch zu lehren, ein Essen in unter 15 Sekunden zuzubereiten. Die Forscher, angeführt von Rishab Iyer und Kollegen, haben erfolgreich das leistungsstarke, komplexe KI-System namens MindEye2 angepasst, um in Echtzeit zu arbeiten. Es gelang ihnen, zu dekodieren, was eine Person sah, indem sie aus einem fMRT-Scan das Bild rekonstruierten, nur Sekunden nachdem die Person darauf geblict hatte. Sie taten dies nicht in einer perfekten, Zeitlupen-Laborumgebung; sie testeten es auf einem Standard-3-Tesla-MRT-Scanner (der Art, wie man sie in den meisten Krankenhäusern findet, nicht nur in speziellen Forschungslaboren) und zeigten, dass es selbst mit nur einer Stunde Trainingsdaten einer neuen Person funktioniert. Obwohl die Bilder nicht ganz so perfekt sind wie die der langsamen, über Nacht laufenden Versionen, sind sie klar genug, um das Objekt zu erkennen, was beweist, dass wir endlich beginnen können, Gedanken zu „lesen“, während sie geschehen, und nicht erst im Nachhinein.
Die „Gedankenlese“-Maschine erhält einen Geschwindigkeitsschub
Seit Jahren sind die besten KI-Systeme zum Lesen von Gedanken aus Gehirnscans wie eine Zeitlupe. Man zeigt einer Person ein Bild in einem MRT-Gerät, wartet, bis sie das Experiment beendet hat, und verbringt dann Stunden oder sogar Tage damit, die Daten zu verarbeiten, um zu erraten, was sie gesehen hat. Das Paper beschreibt einen neuen Ansatz, der dies drastisch beschleunigt und ein „Ergebnis am nächsten Tag“ in ein „Ergebnis in der nächsten Sekunde“ verwandelt.
Das Team nutzte ein System namens MindEye2, ein riesiges KI-Modell, das darauf trainiert ist, die Verbindung zwischen Gehirnaktivität und Bildern zu verstehen. Stellen Sie sich MindEye2 als einen Übersetzer vor, der zwei Sprachen spricht: „Blutfluss“ (die fMRT-Daten) und „Bildbeschreibung“ (eine digitale Karte davon, wie Dinge aussehen). In der Vergangenheit brauchte dieser Übersetzer viel Zeit zum Nachdenken. Die Forscher wollten sehen, ob sie ihn schnell genug machen können, damit er arbeiten kann, während die Person noch in der Maschine ist.
Um dies zu erreichen, bauten sie eine spezielle Pipeline unter Verwendung einer Cloud-basierten Plattform namens RT-Cloud. Dies ist wie ein Hochgeschwindigkeits-Lieferdienst, der die Gehirndaten in dem Moment nimmt, in dem sie aufgezeichnet werden, sie sofort verarbeitet und das Ergebnis zurücksendet. Sie testeten dies mit einem Teilnehmer, der natürliche Bilder betrachtete, wie etwa Bilder von Tieren oder Orten.
Die Ergebnisse: Schnell, aber nicht perfekt
Das Paper präsentiert einen faszinierenden Kompromiss zwischen Geschwindigkeit und Qualität. Sie testeten drei verschiedene Geschwindigkeiten:
- Der „Fast“-Modus: Dies ist die Echtzeit-Magie. Das System wartete etwa 7,9 Sekunden, nachdem das Bild erschien (um die Reaktion des Blutflusses im Gehirn zu erreichen), und führte dann die Dekodierung durch. Die Gesamtzeit vom Sehen des Bildes bis zum Erhalt der Rekonstruktion betrug etwa 14,5 Sekunden.
- Der „Slow“-Modus: Sie warteten etwa 29 Sekunden, um mehr Daten zu sammeln, was die Qualität leicht verbesserte.
- Der „End-of-Run“-Modus: Dies war der traditionelle Ansatz, bei dem man wartete, bis die gesamte Scan-Sitzung abgeschlossen war (etwa 5 Minuten), um alles zu analysieren.
Die Ergebnisse zeigten, dass selbst der „Fast“-Modus überraschend gut funktionierte. Wenn er gebeten wurde, das richtige Bild aus einem Pool von 50 Kandidaten auszuwählen, lag das schnelle System etwa 36 % der Zeit richtig (was viel besser ist als die 2 %, die man durch bloßes Raten erreichen würde). Wenn der Pool kleiner war (nur 2 Optionen), sprang die Genauigkeit auf 90,6 %. Die rekonstruierten Bilder waren etwas verschwommener als die der langsamen, nächtlichen Versionen, aber man konnte immer noch deutlich erkennen, ob die Person einen Hund, ein Auto oder eine Landschaft ansah.
Warum das wichtig ist (und was es noch nicht kann)
Das Paper ist vorsichtig und bezeichnet dies als einen „Proof-of-Concept“. Es beweist, dass es möglich ist, dies in Echtzeit zu tun, bedeutet aber nicht, dass wir bereits ein perfektes Gedankenlesegerät haben. Die Autoren merken explizit an, dass die Qualität sinkt, wenn man schneller wird. Der „Fast“-Modus ist nicht so genau wie der „Offline“-Modus, der Tage dauert. Sie weisen auch darauf hin, dass das aktuelle System auf einer spezifischen Art von KI-Architektur beruht und dass die Geschwindigkeit durch die Geschwindigkeit begrenzt ist, mit der das Blut im Gehirn fließt (die hämodynamische Verzögerung), was ein biologischer Fakt ist, den wir nicht ändern können.
Die Implikationen sind jedoch gewaltig. Da das System in unter 15 Sekunden arbeitet, öffnet es die Tür für Neurofeedback. Stellen Sie sich einen Patienten mit Depressionen vor, der in Echtzeit sehen könnte, wie sein Gehirn auf ein trauriges Bild reagiert. Wenn sein Gehirn zu sehr auf die negativen Teile fokussiert ist, könnte das System eine Rekonstruktion zeigen, die dies hervorhebt, und ihm helfen zu lernen, seinen Fokus zu ändern. Das Paper legt nahe, dass Verzögerungen von 10 bis 30 Sekunden tatsächlich schnell genug sind, damit das Gehirn von diesem Feedback lernen kann, basierend auf früheren Studien.
Die Forscher zeigten auch, dass man keinen extrem teuren, seltenen 7-Tesla-Scanner benötigt, um dies zu tun; ein Standard-3-Tesla-Scanner (wie er in Tausenden von Krankenhäusern zu finden ist) funktioniert ebenfalls gut, solange man die KI mit etwa einer Stunde Daten der neuen Person feinabstimmte.
Das Fazit
Dieses Paper ist ein bedeutender Schritt nach vorn, um das „Gehirn-Lesen“ von einer langsamen Post-Mortem-Analyse in eine lebendige, interaktive Erfahrung zu verwandeln. Durch die Anpassung einer schwergewichtigen KI für den Echtzeitbetrieb haben die Forscher gezeigt, dass wir das, was eine Person sieht, innerhalb von 14,5 Sekunden rekonstruieren können. Obwohl die Bilder noch nicht kristallklar sind, sind sie gut genug, um Objekte zu erkennen, und die Geschwindigkeit ist hoch genug, um potenziell Menschen dabei zu helfen, ihre eigenen Geisteszustände zu kontrollieren oder mit Maschinen zu kommunizieren. Es ist, als würde man eine langsame High-Definition-Filmkamera nehmen und sie lehren, Live-Videos zu streamen. Das Bild ist ein wenig körnig, aber zum ersten Mal können wir die Show sehen, während sie passiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.