Current gaps in downstream applications of fMRI foundation models: lessons learned from BrainLM & BrainHarmonix on Prevent-AD

Das menschliche Gehirn ist ein riesiges, summendes Netzwerk aus Milliarden von Zellen, die durch elektrische Signale kommunizieren. Um zu verstehen, wie dieses Netzwerk funktioniert, verwenden Wissenschaftler oft eine leistungsstarke Kamera namens funktionelle Magnetresonanztomographie oder fMRT. Diese Maschine macht kein statisches Foto; statstattdessen nimmt sie einen Film des Gehirns auf, während es ruht, und erfasst die subtilen Wellen der Aktivität, die durch verschiedene Regionen fließen. Indem Forscher beobachten, wie diese Regionen synchron steigen und fallen, können sie die funktionellen Verbindungen des Geins kartieren, ganz ähnlich wie man den Verkehrsfluss auf einer Stadtkarte nachverfolgt, um zu sehen, welche Stadtteile eng miteinander verbunden sind. Jahrelang war die Standardmethode zur Analyse dieser Karten die Messung der Stärke der Verbindungen zwischen jedem Paar von Regionen. Diese Methode, bekannt als funktionelle Konnektivität, war das Arbeitspferd für die Vorhersage von Dingen wie dem Alter oder dem Geschlecht einer Person und für den Versuch, frühe Anzeichen von Krankheiten wie Alzheimer zu erkennen.

Kürzlich hat eine neue Welle der künstlichen Intelligenz die Wissenschaft erfasst und verspricht, unser Verständnis komplexer Daten zu revolutionieren. In Bereichen wie Sprache und Vision sind „Foundation Models“ (Grundlagenmodelle) berühmt geworden. Dies sind massive Computerprogramme, die auf enormen Mengen von Daten trainiert wurden, um die zugrunde liegenden Muster der Welt zu lernen, ohne spezifische Antworten vorgegeben zu bekommen. Sie lernen, vorherzusagen, was als Nächstes in einem Satz kommt oder wie ein Bild aussieht, und bauen so ein tiefes, flexibles Verständnis auf, das auf neue, kleinere Aufgaben angewendet werden kann. Forscher in der Hirnforschung waren bestrebt, diesen Ansatz auszuprobieren, in der Hoffnung, ähnliche riesige Modelle auf tausenden von Gehirnscans zu trainieren, damit sie die allgemeine „Grammatik“ der Gehirnaktivität lernen könnten. Die Hoffnung war, dass diese Modelle zu leistungsfähigen Werkzeugen würden, die jeder Arzt oder Wissenschaftler nutzen könnte, um Krankheiten zu diagnostizieren oder vorherzusagen, wer möglicherweise unter Gedächtnisproblemen leiden wird, selbst wenn er nur über sehr wenig eigene Daten verfügt.

Ein Team von Forschern unternahm den Versuch zu testen, ob dieses Versprechen real war, für die Bildgebung des Gehirns. Sie wählten zwei der neuesten und fortschrittlichsten Foundation Models für fMRT, genannt BrainLM und BrainHarmonix, und stellten sie an einem anspruchsvollen Datensatz aus der realen Welt auf die Probe. Dieser Datensatz stammte aus der PREVENT-AD-Studie, die hunderte von gesunden älteren Erwachsenen mit einer familiären Vorgeschichte von Alzheimer untersucht. Das Ziel war es zu sehen, ob diese neuen KI-Modelle die alten, bewährten Methoden der funktionellen Konnektivität übertreffen könnten, wenn es darum geht, vier spezifische Dinge vorherzusagen: das Geschlecht einer Person, ihre Altersgruppe, ob sie in der Zukunft eine leichte kognitive Beeinträchtigung entwickeln würde und ob sie eine spezifische Art von Proteinablagerung in ihrem Gehirn hatte, die auf Alzheimer hindeutet. Die Forscher wollten wissen, ob diese Modelle bereit dafür waren, dass unabhängige Wissenschaftler sie nutzen, oder ob sie noch zu schwierig anzuwenden waren außerhalb der Labore, die sie erschaffen hatten.

Die Reise begann mit einer erheblichen Hürde: Einfach die Modelle auf neuen Daten zum Laufen zu bringen, war alles andere als unkompliziert. Als das Team versuchte, den Softwarecode der Ersteller von BrainLM zu verwenden, stellten sie fest, dass dieser nicht mit ihren Daten funktionierte. Der Code basierte auf einer maßgeschneiderten, hausgemachten Methode zur Bereinigung der Gehirnscans, die inkompatibel mit den Standardwerkzeugen war, die die meisten Neurowissenschaftler verwenden. Die Forscher mussten die Schritte der Datenverarbeitung umschreiben und zu einer weit verbreiteten, standardisierten Methode wechseln, die in der breiteren Fachwelt üblich ist. Erst nachdem sie diese wesentlichen Änderungen vorgenommen hatten, begann das Modell ordnungsgemäß zu lernen. Das zweite Modell, BrainHarmonix, präsentierte ein anderes Problem. Seine Dokumentation erklärte nicht, wie man neue Daten für das Modell vorbereitet, was das Team dazu zwang, die korrekte Art der Normalisierung der Signale zu erraten. Sie mussten mehrere verschiedene Ansätze testen, um überhaupt einen zu finden, der stabile Ergebnisse lieferte. Diese anfänglichen Schwierigkeiten verdeutlichten eine große Lücke: Während die Modelle leistungsstark waren, waren sie noch nicht in einer Weise verpackt, die es unabhängigen Forschern ermöglicht hätte, sie ohne erhebliches technisches Troubleshooting einfach zu nutzen.

Soblich die Modelle liefen, verglich das Team ihre Vorhersagen mit der Standardmethode der funktionellen Konnektivität und einem einfachen „Dummy“-Klassifikator, der jedes Mal einfach die häufigste Antwort rät. Bei der Vorhersage des Geschlechts war die alte Methode der funktionellen Konnektivität tatsächlich der Gewinner. Sie identifizierte das Geschlecht der Teilnehmer häufiger als die Merkmale, die aus den neuen Foundation Models extrahiert wurden. Für die Vorhersage von Altersgruppen war ein Merkmal des BrainHarmonix-Modells, das aus strukturellen statt aus funktionellen Gehirnbildern abgeleitet wurde, etwas besser als die Standardmethode, aber der Unterschied war so gering, dass er leicht durch Zufall entstanden sein konnte. Die Ergebnisse waren noch ernüchternder für die klinischen Ziele. Beim Versuch vorherzusagen, wer eine leichte kognitive Beeinträchtigung entwickeln würde oder wer die Alzheimer-bedingte Proteinablagerung aufwies, konnte keines der Foundation Models den einfachen Dummy-Klassifikator in Bezug auf die Gesamtgenauigkeit schlagen. Dies lag vor allem daran, dass die Gruppen von Menschen mit diesen Zuständen im Vergleich zur gesunden Gruppe sehr klein waren, was es für jedes Modell schwierig machte, ein Signal zu finden, ohne einfach die Mehrheit zu raten.

Dennoch war die Geschichte nicht ausschließlich eine der Misserfolge. Als die Forscher genauer auf die Details der Vorhersagen blickten, fanden sie einen subtilen Hinweis auf Erfolg. Obwohl die Modelle nicht genau genug waren, um als Diagnosewerkzeug eingesetzt zu werden, waren einige Merkmale aus den Foundation Models besser darin, die wenigen Personen zu identifizieren, die tatsächlich an der Krankheit erkrankt waren, als es die Standardmethode war. Mit anderen Worten: Wenn das Modell eine positive Vorhersage traf, war es etwas wahrscheinlicher korrekt, obwohl es viele Fälle übersah. Dies deutet daraufนั้น hin, dass die Modelle vielleicht ein anderes, vielleicht subtileres Signal in den Gehirndaten erfassen, das die Standardmethode übersieht. Da diese Verbesserungen jedoch nicht statistisch signifikant waren, konnten die Forscher nicht behaupten, dass die Modelle das Problem definitiv gelöst hatten. Die Ergebnisse legen nahe, dass der kraftvolle Wissenstransfer, der bei Sprachmodellen zu beobachten ist, in der Bildgebung des Gehirns noch nicht repliziert werden konnte.

Die Studie kommt zu dem Schluss, dass diese Foundation Models noch nicht bereit sind, dass unabhängige Forscher sie für den klinischen Einsatz übernehmen. Sie erfordern zu viel technische Anpassung, und sie haben noch nicht bewiesen, dass sie die etablierten, einfacheren Methoden übertreffen können, die seit Jahrzehnten verwendet werden. Die Autoren argumentieren, dass für diese Modelle wirklich nützlich zu werden, das Feld standardisierte Softwarewerkzeuge benötigt, die sie einfach installierbar und ausführbar machen, und dass zukünftige Studien diese Modelle immer gegen die Standard-Baseline der funktionellen Konnektivität vergleichen müssen. Bis dahin bleibt der Traum von einem universellen Gehirnmodell, das Alzheimer sofort diagnostiziert oder den Gedächtnisverfall vorhersagt, genau das – ein Traum, der auf strengere Tests und besseres Engineering wartet, um Realität zu werden.