Stellen Sie sich vor, Sie haben ein riesiges 3D-Puzzle des menschlichen Gehirns, aber Sie haben das Bild auf dem Karton noch nie gesehen. Sie haben keinen Lehrer, der Ihnen sagt, welches Teil wohin gehört, und Sie haben auch kein Etikett mit der Aufschrift „dies ist ein 25-Jähriger“ oder „dies ist ein Tumor“. Das ist die Herausforderung, der sich Ärzte bei MRT-Scans stellen: Es gibt Millionen von ihnen, aber nur sehr wenige verfügen über die teuren, zeitaufwendigen Beschriftungen, die nötig sind, um Computer zu lehren, sie zu verstehen.

Hier kommt COJEPA ins Spiel, ein neues „selbstlernendes“ KI-Modell, das versucht, die Geheimnisse des Gehirns allein durch das Betrachten der rohen Puzzleteile zu erlernen.

Das zweiköpfige Monster

Die meisten KI-Modelle, die versuchen, aus unbeschrifteten Bildern zu lernen, nutzen meist eine von zwei Strategien:

1. Der „Lückentext“-Künstler (JEPA): Dieses Modell betrachtet ein Stück des Gehirns, deckt einen Teil davon ab und versucht, basierend auf dem umgebenden Kontext zu erraten, was sich darunter befindet. Es ist großartig darin, lokale Details zu verstehen, wie etwa, wie die Textur der Windungen des Gehirns mit der nächsten Windung verbunden ist.
2. Der „Ähnlichkeits“-Detektiv (Kontrastives Lernen): Dieses Modell nimmt zwei leicht unterschiedliche Fotos desselben Gehirns und versucht, sie in seinem Gedächtnis identisch aussehen zu lassen, während es gleichzeitig sicherstellt, dass sie sich von den Gehirnen anderer Menschen völlig unterscheiden. Es ist großartig darin, herauszufinden: „Wer ist das?“

Das Paper argumentiert, dass es nicht ausreicht, nur eine dieser Strategien für 3D-Hirnscans anzuwenden. Der „Lückentext“-Künstler ist zu vage, um Zwillinge voneinander zu unterscheiden, und der „Ähnlichkeits“-Detektiv ist zu sehr auf das große Ganze fokussiert, um die winzigen, lokalen Details der Gehirnstruktur zu verstehen.

Das Hauptergebnis: Die Autoren kombinierten beide Strategien in einem einzigen Modell namens COJEPA. Sie fanden heraus, dass dieser hybride Ansatz der „Sweet Spot“ ist. Er lernt, lokale Gehirndetails vorherzusagen und die einzigartige Identität der Person zu erkennen.

Wie sie es gelehrt haben

Das Team trainierte dieses Modell auf 2.286 gesunden Gehirnscans aus zwei Gruppen: jungen Erwachsenen (Alter 22–37) und älteren Erwachsenen (Alter 36–90+). Sie verwendeten keine Labels. Stattdessen nutzten sie einen cleveren Trick:

• Sie maskierten (deckten ab) zufällige 3D-Blöcke des Gehirns, waren aber vorsichtig, nur den „Vordergrund“ (das eigentliche Hirngewebe) abzudecken und den leeren Raum um es herum zu ignorieren.
• Sie baten das Modell, die verborgenen Gehirnteile vorherzusagen.
• Gleichzeitig zeigten sie dem Modell zwei verschiedene Ansichten desselben Gehirns und zwangen es zu der Erkenntnis: „Hey, das ist dieselbe Person!“

Die Ergebnisse: Was hat es gelernt?

Das Team testete diesen neuen Gehirn-Lerner in drei verschiedenen Aufgaben, um zu sehen, wie intelligent er wirklich war.

1. Der Zwillingstest (Zero-Shot Retrieval)
Dies war der große Test. Das Modell musste sich ein Gehirn ansehen, das es noch nie zuvor gesehen hatte, und dessen Zwilling in einer Datenbank anderer Gehirne finden.

• Das Modell, das nur auf „Lückentext“ (JEBAs Strategie) setzte, versagte kläglich beim Finden von eineiigen Zwillingen (monozygotische Zwillinge) und fand die richtige Übereinstimmung nur in 26 % der Fälle an der Spitze. Es konnte die Unterschiede zwischen Menschen nicht gut genug erkennen.
• Das „Ähnlichkeits“-Modell allein schnitt viel besser ab und fand die Übereinstimmung in 78 % der Fälle.
• COJEPA (Das Hybrid-Modell) war der Champion und fand den richtigen Zwilling in 84 % der Fälle an der Spitze.
• Der Haken: Das Modell war überraschend schlecht darin, nicht-identische (dizygote) Zwillinge zu finden, und erreichte die Übereinstimmung nur in 17 % der Fälle. Dies deutet darauf darauf hin, dass es zwar lernte, den einzigartigen „Fingerabdruck“ eines Gehirns zu erkennen, aber immer noch Schwierigkeiten mit den subtileren genetischen Ähnlichkeiten zwischen nicht-identischen Zwillingen hat.

2. Die Tumorsuche (Segmentierung)
Sie baten das Modell, Tumore in einem Datensatz zu finden, den es noch nie gesehen hatte (BraTS 2024).

• Als das Modell nur „eingefroren“ war (also nicht erlauben wurde, Neues zu lernen, sondern nur das zu nutzen, was es bereits wusste), schnitten das Hybrid-Modell und das „Ähnlichkeits“-Modell ähnlich ab und fanden etwa 52 % des Tumors korrekt, und das mit sehr wenig Trainingsdaten.
• Als sie dem Modell jedoch ein wenig Feinabstimmung (Fine-Tuning) ermöglichten (es also erlaubten, aus den spezifischen Tumordaten zu lernen), wurden alle drei Modelle viel besser und erreichten eine Genauigkeit von etwa 71 %.
• Die Erkenntnis: Das Hybrid-Modell beeinträchtigte die lokalen Details nicht; es war bei der Suche nach Tumoren genauso gut wie die anderen, was beweist, dass es seine „Künstler“-Fähigkeiten nicht verlor, während es zum „Detektiv“ wurde.

3. Die Altersschätzung (Regression)
Sie versuchten, das Alter der Person allein durch den Blick auf ihren Hirnscan zu schätzen.

• Das Hybrid-Modell war am effizientesten. Mit nur 5 % der beschrifteten Daten schätzte es das Alter mit einem Fehler von 4,22 Jahren, was besser war als bei den anderen Modellen.
• Bei vollständiger Feinabstimmung erreichte es das beste Ergebnis von allen: einen Fehler von nur 2,55 Jahren.
• Interessanterweise bemerkten die Autoren, dass der Teil des Gehirns, auf den das Modell beim Schätzen des Alters am meisten achtete, das Kleinhirn (der hintere Teil des Gehirns) war. Sie legen nahe, dass dies eine „emergente Eigenschaft“ ist, was bedeutet, dass das Modell von selbst herausgefunden hat, dass sich dieser Bereich mit dem Alter verändert, obwohl ihm nie gesagt wurde, dass es dort suchen soll.

Was das Paper ausschließt

Die Autoren sind sich sehr klar darüber, was nicht so gut funktioniert wie ihre neue Methode:

• Sie schließen explizit die Idee aus, dass nur das Vorhersagen fehlender Teile (JEPA) ausreicht, um ein Modell zu erstellen, das zwischen verschiedenen Menschen unterscheiden kann. Die Daten zeigten, dass es bei der Zwilling-Suche scheiterte.
• Sie legen auch nahe, dass nur das Suchen nach Ähnlichkeiten (Kontrastives Lernen) einige der feingliedrigen, lokalen Strukturdetails übersehen könnte, die für medizinische Aufgaben wie die Segmentierung entscheidend sind, obwohl das Hybrid-Modell diese Fähigkeiten beibehalten konnte.

Wie sicher sind sie?

Die Autoren sind zuversichtlich in Bezug auf ihre Zahlen, aber vorsichtig in Bezug auf das Gesamtbild.

• Sie haben die Ergebnisse der Zwilling-Suche und der Altersschätzung direkt auf Testsets gemessen, daher sind diese Zahlen (wie die 84 % Übereinstimmung bei Zwillingen und der 2,55 Jahre Fehler) solide Fakten aus ihrem Experiment.
• Sie schlagen jedoch vor, dass der Erfolg des Modells aus der Balance zwischen „Vorhersagbarkeit“ (die Zukunft erraten) und „Spezifität“ (die Identität kennen) resultiert. Sie behaupten nicht, dass dies die endgültige, perfekte Lösung für alle medizinischen KI-Anwendungen ist.
• Sie geben zu, dass ihr Trainingsdatensatz von 2.286 Personen nach modernen KI-Maßstäben eigentlich recht klein ist. Sie vermuten, dass das Modell wahrscheinlich noch besser würde, wenn sie über eine viel größere, vielfältigere Gruppe von Menschen zum Trainieren hätten.
• Sie stellten auch eine Einschränkung fest: Das Modell hatte größere Schwierigkeiten mit Scans von einem bestimmten älteren Gerät (1,5T-Scanner), was darauf hindeutet, dass es vielleicht noch nicht perfekt auf jedem Krankenhaus-Scanner funktioniert.

Kurz gesagt: COJEPA ist ein vielversprechender neuer Weg, um Computern beizubringen, das Gehirn zu verstehen, ohne für jeden einzelnen Scan einen Lehrer zu benötigen. Es lernte, sowohl ein guter Schätzer lokaler Details als auch ein scharfer Detektiv der Identität zu sein, hat aber noch Raum zum Wachsen, bevor es jeden Hirnscan der Welt bearbeiten kann.