Neuro-JEPA: Building and Evaluating Health-System Scale Neuroimaging Foundation Models with Mixture of Experts
Neuro-JEPA ist ein skalierbares, multimodales Foundation-Modell, das eine spärliche Mixture-of-Experts-Architektur und latentes prädiktives Lernen auf 1,55 Millionen klinischen MRT-Scans nutzt, um eine hochgradig robuste Generalisierung über diverse neurologische Bildgebungsaufgaben und Gesundheitssysteme hinweg zu erreichen, wobei es oft größere Modelle mit signifikant weniger Prätraining-Daten übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das menschliche Gehirn ist ein komplexes Organ, und das Verständnis seiner Gesundheit beruht oft darauf, in das Innere zu blicken, ohne einen einzigen Schnitt zu setzen. Ärzte nutzen die Magnetresonanztomographie, oder MRT, um detaillierte Bilder des Hirngewebes zu erstellen. Diese Bilder sind nicht alle gleich; sie werden unter Verwendung unterschiedlicher Einstellungen aufgenommen, die verschiedene Merkmale hervorheben, ganz so, als würde man den Fokus einer Kamera anpassen, um entweder die Textur eines Blattes oder das Wasser darin zu sehen. Eine Einstellung zeigt die Struktur des Gehirns klar, eine andere hebt Flüssigkeit hervor, und eine dritte unterdrückt diese Flüssigkeit, um Schwellungen oder Krankheiten deutlich sichtbar zu machen. Für einen menschlichen Experten erfordert das Lesen der Gesundheit eines Patienten das Betrachten all dieser verschiedenen Ansichten zusammen, wobei die Hinweise aus jeder Ansicht kombiniert werden, um eine vollständige Diagnose zu erstellen. Es war jedoch schwierig, Computer beizubringen, dies zu tun. Die meisten Systeme der künstlichen Intelligenz wurden darauf trainiert, nur eine Art von Bild zur Zeit zu betrachten, wodurch sie die reichen Verbindungen zwischen den verschiedenen Ansichten verpassen. Dies hinterlässt eine Lücke zwischen der Art und Weise, wie menschliche Ärzte denken, und der Funktionsweise aktueller Computerprogramme.
Ein Team von Forschern der New York University und der Stanford University hat eine neue Art von künstlicher Intelligenz entwickelt, die darauf abzielt, diese Lücke zu schließen. Sie schufen ein System namens Neuro-JEPA, ein Computermodell, das darauf trainiert wurde, das Gehirn zu verstehen, indem es alle drei Arten von MRT-Bildern gleichzeitig betrachtet. Anstatt aus einer kleinen Sammlung von Lehrbuchbeispielen zu lernen, studierte dieses Modell ein riesiges Archiv von 1,55 Millionen Gehirnscans von fast 430.000 Patienten. Diese Scans stammten aus einem großen Krankenhauswesen und deckten ein breites Spektrum an Erkrankungen ab, von Schlaganfällen und Tumoren bis hin zu neurodegenerativen Erkrankungen wie Alzheimer. Die Forscher speisten die Daten nicht einfach in ein Standard-Computerprogramm ein; sie bauten eine spezialisierte Architektur, die es dem Modell ermöglicht, aus den Beziehungen zwischen den verschiedenen Bildtypen zu lernen. Auf diese Weise lernte das Modell, ein einheitliches Verständnis des Gehirns zu entwickeln, das über verschiedene Krankenhäuser, verschiedene Scanner und verschiedene Krankheiten hinweg funktioniert.
Die Ergebnisse dieser Arbeit zeigen, dass das neue Modell besser im Verständnis von Gehirnbildern ist als bisherige Systeme. Bei Tests zu Dutzenden von Aufgaben, wie etwa der Identifizierung eines Schlaganfalls, der Vorhersage, wie ein Patient sich erholen wird, oder der Bestimmung, ob eine Person frühe Anzeichen von Demenz aufweist, übertraf das neue Modell bestehende Werkzeuge konsequent. Es war erfolgreich, selbst wenn es mit sehr wenigen gekennzeichneten Daten arbeiten musste – ein häufiges Problem in der Medizin, wo Expertenärzte benötigt werden, um Bilder für das Training zu markieren. In einigen Fällen verbesserte das Modell den AUC-Wert um bis zu 0,15 im Vergleich zu den besten bisherigen Systemen, insbesondere bei Erkrankungen wie Multipler Sklerose und Hirnentzündungen. Entscheidend ist, dass das Modell diese Ergebnisse erzielte, während es mit weniger als einem Drittel der Daten trainiert wurde, die andere führende Modelle verwendeten, was darauf hindeutet, dass das Design des Modells wichtiger war als einfach nur mehr Daten zu haben.
Die Forscher testeten auch, ob das Modell reale Herausforderungen bewältigen kann, wie etwa die Betrachtung von Patienten aus einem anderen Krankenhaus oder die Verwendung einer Scan-Art, die es noch nie zuvor gesehen hat. Das Modell behielt seine hohe Leistung über diese verschiedenen Settings hinweg bei, was beweist, dass es allgemeine Prinzipien der Ge Anatomie und der Krankheit gelernt hat, anstatt nur spezifische Bilder auswendig zu lernen. Es konnte sogar Ergebnisse vorhersagen, wie etwa die Dauer des Krankenhausaufenthalts eines Patienten oder ob eine leichte Gedächtnisstörung zu einer vollen Demenz fortschreiten würde, und zwar allein unter Verwendung der Standard-MRT-Scans, die bereits Teil der Routineversorgung sind. Diese Fähigkeit ist von entscheidender Bedeutung, da sie es ermöglichen könnte, mehr Informationen aus Scans zu gewinnen, die ohnehin bereits durchgeführt werden, was potenziell dazu führen kann, Krankheiten früher zu erkennen oder Behandlungen effektiver zu planen, ohne teure oder invasive zusätzliche Tests zu benötigen.
Um dieses System aufzubauen, mussten die Forscher mehrere spezifische Probleme lösen. Sie fanden heraus, dass das einfache Kopieren bestehender Methoden, die für andere Arten von Daten verwendet werden, bei Gehirnscans nicht gut funktionierte. Sie entdeckten, dass das Modell eine spezielle Methode benötigte, Teile des Bildes während des Trainings zu verbergen, um es zu zwingen, die wichtigsten Details zu lernen, anstatt nur basierend auf einfachen Mustern zu raten. Sie führten auch einen Mechanismus ein, der es dem Modell ermöglichte, seine Aufmerksamkeit auf das Hirngewebe selbst zu richten und den leeren Raum um den Schädel herum zu ignorieren, was den Lernprozess wesentlich effizienter machte. Darüber hinaus verwendeten sie ein Design, das es dem Modell erlaubte, verschiedene „Experten“ für unterschiedliche Teile des Bildes zu aktivieren, wodurch sichergestellt wurde, dass das System die enorme Vielfalt der Begegnungen mit verschiedenen Gehirnformen und Pathologien bewältigen kann. Dieser Ansatz ermöglichte es dem Modell, effektiv zu skalieren, sodass es leistungsfähiger wurde, wenn es mit mehr Daten und mehr Rechenleistung versorgt wurde.
Die Studie stellt explizit die Idee in Frage, dass der einzige Weg, eine bessere medizinische KI zu bauen, darin besteht, mehr Daten zu sammeln. Zwar sind Daten wichtig, doch die Forscher zeigten, dass das Design des Modells und die Qualität des Trainingsprozesses entscheidende Faktoren sind. Sie zeigten, dass ein sorgfältig entworfenes Modell, das auf einem kuratierten Satz von 1,55 Millionen Scans trainiert wurde, Modelle übertreffen konnte, die auf über fünf Millionen Scans trainiert wurden. Sie widerlegten auch die Vorstellung, dass diese Modelle nur in dem spezifischen Krankenhaus funktionieren, in dem sie trainiert wurden, und bewiesen, dass das gewonnene Wissen auf andere Institutionen und sogar auf andere Arten der medizinischen Bildgebung übertragbar ist. Die Arbeit legt nahe, dass die Zukunft der medizinischen Bildgebung nicht darin liegt, ein separates Computerprogramm für jede einzelne Krankheit zu erstellen, sondern in einem einzigen, vielseitigen System, das das Gehirn als Ganzes versteht und sich an neue Fragen und neue Patienten anpasst.
Diese Forschung stellt einen bedeutenden Schritt dar, um künstliche Intelligenz zu einem zuverlässigen Partner in der neurologischen Versorgung zu machen. Indem sie zeigten, dass ein einziges Modell aus vielfältigen Daten lernen und dieses Wissen auf eine breite Palette klinischer Probleme anwenden kann, haben die Forscher einen Rahmen geschaffen, der letztendlich Ärzte bei der schnelleren und präziseren Entscheidungsfindung unterstützen könnte. Die Fähigkeit des Modells, Krankheitsverläufe und Patientenergebnisse aus Routine-Scans vorherzusagen, öffnet die Tür für frühere Interventionen und ein besseres Management chronischer Erkrankungen. Während die Forscher diese Werkzeuge weiter verfeinern und ihr Training auf noch vielfältigere Populationen und Bildgebungsarten ausweiten, wächst das Potenzial dieser Systeme, die Patientenversorgung zu verbessern, und führt das Feld von experimentellen Prototypen hin zu praktischen, universellen Werkzeugen zum Verständnis des menschlichen Gehirns.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.