💻 computer science

RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture

RadJEPA ist ein selbstüberwachtes Framework, das robuste Radiologie-Encoder für Thorax-Röntgenbilder lernt, indem es latente Darstellungen von maskierten Bildregionen ohne sprachliche Überwachung vorhersagt und dabei überdurchschnittliche Leistung bei mehreren nachgelagerten medizinischen Aufgaben erzielt.

Ursprüngliche Autoren: Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, Röntgenbilder der Brust zu verstehen. Normalerweise ist der beste Weg, einem Computer Bilder beizubringen, ihm ein Bild zu zeigen und dann den Arztbericht laut vorzulesen und dabei zu sagen: „Das ist eine Lungenentzündung" oder „Dieses Herz ist vergrößert". Das ist vergleichbar damit, einem Kind beizubringen, indem man ihm ein Bild eines Hundes zeigt und sagt: „Hund".

Die Autoren dieser Arbeit, RadJEPA, argumentieren jedoch, dass diese Methode einen Mangel hat. Arztberichte sind für Menschen geschrieben, die schnelle Entscheidungen treffen; sie lassen oft winzige Details oder subtile Veränderungen aus, weil sie für die unmittelbare Diagnose nicht relevant sind. Wenn Sie dem Computer nur das beibringen, was der Arzt sagt, könnte der Computer die subtilen visuellen Hinweise übersehen, die tatsächlich vorhanden sind.

Daher stellte sich das Team die Frage: Können wir dem Computer beibringen, Röntgenbilder zu verstehen, ohne jemals ein einziges Wort eines Arztberichts zu lesen?

Der neue Ansatz: Das „Lückentext"-Spiel

Anstatt Text zu verwenden, nutzt RadJEPA eine Methode namens Joint Embedding Predictive Architecture (JEPA). Stellen Sie sich dies wie ein hochriskantes Spiel von „Lückentext" oder ein Puzzle vor, das jedoch nicht auf Papier, sondern im „Gehirn" des Computers gespielt wird.

Das Setup: Der Computer betrachtet ein Röntgenbild der Brust.
Die Maske: Der Computer verdeckt (maskiert) einen zufälligen Teil des Bildes, als würde er ein Stück Klebeband über einen Teil des Röntgenbildes legen.
Die Vermutung: Der Computer betrachtet die sichtbaren Teile (die gesunde Lunge, die Rippen, das Herz) und versucht, vorherzusagen, wie der verborgene, maskierte Teil aussieht.
Die Wendung: Er versucht nicht, das Bild pixelweise neu zu zeichnen (wie ein Fotokopierer). Stattdessen versucht er, die Bedeutung oder das „Wesen" des fehlenden Teils zu erraten. Er fragt: „Basierend auf dem Rest des Körpers, was sollte an dieser verborgenen Stelle sein?"

Wenn der Computer das „Wesen" richtig errät, lernt er. Wenn er falsch liegt, passt er sein internes Verständnis an. Im Laufe der Zeit baut der Computer durch das Spielen dieses Spiels Millionen von Malen an Tausenden von Röntgenbildern ein tiefes, intuitives Verständnis von Anatomie und Krankheit auf, ohne dass jemals ein Mensch ihm sagen muss, was er sieht.

Warum dies besser ist als die alten Methoden

Die Arbeit vergleicht RadJEPA mit zwei anderen beliebten Methoden, um Computern beizubringen:

Der „Text-Lehrer" (Vision-Language-Modelle): Diese verlassen sich auf die Arztberichte. Wie erwähnt, können Berichte voreingenommen oder unvollständig sein. RadJEPA ignoriert den Text vollständig und zwingt den Computer, aus dem Bild selbst zu lernen.
Der „Spiegel-Lehrer" (Selbstdistillation/DINO): Diese Methoden zeigen dem Computer dasselbe Bild auf verschiedene Arten (zugeschnitten, gespiegelt, aufgehellt) und sagen ihm: „Das sind alles dasselbe Bild." Der Computer lernt, die Veränderungen zu ignorieren. Die Autoren argumentieren, dass dies den Computer dazu bringt, sich auf das Aussehen des Bildes zu konzentrieren, anstatt auf die Bedeutung der Anatomie. RadJEPA zwingt den Computer durch das Vorhersagen der fehlenden Teile, die Struktur und die Beziehungen zwischen Körperteilen zu verstehen.

Die Ergebnisse: Ein intelligenteres, kleineres Modell

Das Team testete seinen neuen „Lückentext"-Lehrer (RadJEPA) an drei schwierigen Aufgaben:

Diagnose von Krankheiten: Kann es feststellen, ob ein Patient eine Lungenentzündung oder eine vergrößerte Herzkammer hat?
Abgrenzung von Grenzen: Kann es eine Linie um eine Lunge oder eine Rippe ziehen, um sie vom Rest des Körpers zu trennen?
Verfassen von Berichten: Kann es einem Sprachmodell helfen, einen medizinischen Bericht basierend auf dem Bild zu verfassen?

Die überraschende Erkenntnis: RadJEPA schlug die aktuellen „Meister" (die besten existierenden Modelle) in all diesen Aufgaben.

Noch beeindruckender ist, dass RadJEPA dies erreichte, obwohl es viel kleiner war als seine Konkurrenten. Stellen Sie sich einen kleinen, hochtrainierten Detektiv vor, der einen Fall besser löst als eine riesige, langsam voranschreitende Bürokratie. Während andere Modelle massive Mengen an Rechenleistung und Daten benötigten, um zu lernen, lernte RadJEPA effizienter, weil seine „Lückentext"-Methode ihm das richtige lehrte, worauf es zu achten galt.

Das Fazit

Die Arbeit behauptet, dass Sie keine Röntgenbilder mit Text koppeln müssen, um eine intelligente medizinische KI zu erstellen. Indem Sie die KI einfach auffordern, fehlende Teile des Bildes vorherzusagen, können Sie einen „Radiologie-Encoder" erstellen, der die visuelle Sprache des menschlichen Körpers besser versteht als Modelle, die auf Text trainiert wurden. Die Autoren haben ihren Code und das trainierte Modell für andere verfügbar gemacht, um es zu nutzen und zu überprüfen.

Technische Zusammenfassung: RadJEPA

Problemstellung

Neueste Fortschritte bei medizinischen Vision-Language-Modellen haben das Erlernen visueller Repräsentationen durch textuelle Überwachung vorangetrieben. Dieses Paradigma ist jedoch durch die Verfügbarkeit von gepaarten Bild-Text-Daten eingeschränkt und beruht auf der Annahme, dass radiologische Befunde eine vollständige und unverzerrte Darstellung des visuellen Inhalts liefern. In der Praxis betonen klinische Befunde selektive Befunde zur Entscheidungsfindung und lassen oft subtile Variationen oder fehlende Beobachtungen aus. Folglich können Encoder, die darauf trainiert sind, Bilder mit Texten abzugleichen, Verzerrungen übernehmen und die vollständige semantische Struktur medizinischer Bilder nicht bewahren.

Darüber hinaus lernen bestehende selbstüberwachte Alternativen, wie DINO-artige Selbst-Distillation, Invarianzen, indem sie globale Repräsentationen über mehrere augmentierte Ansichten hinweg abgleichen. Im Kontext von Thorax-Röntgenaufnahmen, bei denen feinabgestufte anatomische Unterschiede und subtile pathologische Hinweise diagnostisch entscheidend sind, kann die Durchsetzung globaler Übereinstimmung über Ansichten hinweg die Konsistenz auf Pixelebene gegenüber der semantischen Vollständigkeit priorisieren. Diese Methoden betonen oft die Konsistenz im Pixelraum statt die Vorhersage semantischer Repräsentationen im latenten Raum.

Methodik: RadJEPA

Um diese Einschränkungen zu adressieren, stellen die Autoren RadJEPA (Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture) vor, ein selbstüberwachtes Framework, das ohne sprachliche Überwachung lernt.

Kernarchitektur

RadJEPA basiert auf einer Joint Embedding Predictive Architecture (JEPA). Im Gegensatz zu Methoden, die Pixel rekonstruieren oder globale Ansichtsrepräsentationen abgleichen, modelliert RadJEPA explizit die Vorhersage im latenten Raum:

Partitionierung der Eingabe: Eine Eingabe-Thorax-Röntgenaufnahme $x$ wird in sichtbare Bereiche ( $x_v$ ) und maskierte Bereiche ( $x_m$ ) partitioniert.
Codierung: Ein visueller Encoder $f_\theta$ bildet diese Bereiche in latente Repräsentationen ab: $z_v = f_\theta(x_v)$ und $z_m = f_\theta(x_m)$ .
Vorhersage: Ein Prädiktor-Netzwerk $g_\phi$ wird trainiert, um die latente Repräsentation der maskierten Bereiche ( $\hat{z}_m$ ) ausschließlich basierend auf der latenten Repräsentation des sichtbaren Kontexts ( $z_v$ ) vorherzusagen.
Zielsetzung: Das Modell minimiert den quadrierten Fehler zwischen der vorhergesagten latenten Repräsentation und der tatsächlichen (stop-gradient) latenten Repräsentation des maskierten Bereichs:
$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$
Trainingsdynamik: Die Parameter des Ziel-Encoders werden über einen exponentiellen gleitenden Durchschnitt (EMA) des Online-Encoders aktualisiert, ähnlich wie bei Teacher-Student-Formulierungen, wobei die Zielsetzung jedoch vollständig im Repräsentationsraum operiert, ohne Pixelrekonstruktion, kontrastive Negativbeispiele oder explizite Datenaugmentierungen.

Downstream-Anpassung

Nach dem Pretraining auf ungelabelten Thorax-Röntgenaufnahmen wird der visuelle Encoder $f$ eingefroren. Taskspezifische Köpfe werden unabhängig für folgende Aufgaben trainiert:

Krankheitsklassifikation: Ein linearer Klassifikator auf eingefrorenen globalen Embeddings.
Semantische Segmentierung: Ein UPerNet-Decoder, der Multi-Scale-Features aus dem eingefrorenen Encoder aggregiert.
Befunderstellung: Ein LLaVA-artiges multimodales Setup, bei dem eingefrorene visuelle Embeddings in den Sprach-Embedding-Raum projiziert und in ein Sprachmodell (Vicuna-7B) eingespeist werden.

Hauptbeiträge

Einschränkungen bestehender Paradigmen: Die Arbeit zeigt, dass sowohl sprachliche Überwachung als auch DINO-artige Selbst-Distillation Einschränkungen beim Erlernen radiologischer Repräsentationen aufweisen, insbesondere hinsichtlich semantischer Vollständigkeit und feinabgestufter anatomischer Details.
RadJEPA-Framework: Die Autoren stellen eine prädiktive selbstüberwachte Architektur vor, die direkt aus ungelabelten Thorax-Röntgenbildern lernt. Sie erzielt eine Leistung, die mit State-of-the-Art (SoTA)-Modellen vergleichbar ist oder diese übertrifft, die auf über 839.000 Thorax-Röntgenbildern trainiert wurden, obwohl sie einen kleineren Backbone (ViT-B/14, 86 Millionen Parameter) verwendet als größere Modelle wie DINOv2 (1,1 Milliarden) oder I-JEPA (0,6 Milliarden).
Umfassende Evaluation: Die Arbeit liefert empirische Evaluierungen über drei distincte Downstream-Aufgaben hinweg: Krankheitsklassifikation, semantische Segmentierung und Befunderstellung, mit Benchmarking gegen eine diverse Reihe von Baselines, einschließlich Architekturen mit größerer Kapazität.

Experimentelle Ergebnisse

Das Modell wurde auf 839.364 Thorax-Röntgenaufnahmen aus Open-Source-Datensätzen (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest) vortrainiert.

Bildklassifikation: Auf den Benchmarks VinDr-CXR und RSNA-Pneumonia übertraf RadJEPA konsistent bildbasierte und Vision-Language-Baselines.
- Auf VinDr-CXR erreichte es eine mittlere AUPRC von 55,2 und übertraf damit RAD-DINO (52,8) und I-JEPA (50,0).
- Bemerkenswerte Verbesserungen wurden bei subtilen und heterogenen Befunden wie Lungenfibrose (+4,5 AUPRC gegenüber RAD-DINO) und Aortenerweiterung beobachtet.
- Auf RSNA-Pneumonia erreichte es die beste AUPRC (72,7) und AUROC (89,2).
Semantische Segmentierung: Unter Verwendung eines UPerNet-Decoders erreichte RadJEPA die höchsten Dice-Scores bei den Segmentierungsaufgaben für Lunge (98,3), Lungenzone (93,7) und Rippen (89,6). Es zeigte besonders starke Gewinne bei strukturell komplexen Zielen wie Rippen (+4,8 Dice gegenüber RAD-DINO).
Befunderstellung: Auf MIMIC-CXR und dem Out-of-Distribution-Datensatz IU-Xray erzielte RadJEPA die beste Leistung über alle Metriken hinweg (ROUGE-L, BLEU-4, RGER, Macro-F1-14) unter bildbasierten und prädiktiven Encodern.
- Auf MIMIC-CXR erreichte es ein ROUGE-L von 26,1 und ein Macro-F1-14 von 32,6.
- Auf IU-Xray verbesserte es ROUGE-L um +1,7 gegenüber der stärksten Nicht-JEPA-Baseline.
Statistische Signifikanz: Einseitige Hypothesentests bestätigten, dass 16 von 19 bewerteten Fällen statistisch signifikante Verbesserungen ( $p < 0,05$ ) gegenüber den Baselines aufwiesen.

Bedeutung

Die Arbeit argumentiert, dass Thorax-Röntgenaufnahmen fundamental semantisch und nicht ansichtszentriert sind. Die klinische Interpretation beruht auf dem globalen anatomischen Kontext und räumlichen Beziehungen, was nahelegt, dass das Erlernen von Repräsentationen direkt im Pixelraum oder die Durchsetzung von Invarianzen auf Ansichtsebene suboptimal ist. RadJEPA zeigt, dass prädiktive latente Modellierung das Erlernen robuster, allgemeiner Radiologie-Encoder ermöglicht, ohne auf gepaarte Bild-Text-Daten oder traditionelle Distillation-Architekturen angewiesen zu sein.

Die Ergebnisse deuten darauf hin, dass Leistungsgewinne in der medizinischen Bildgebung nicht allein durch Modellgröße oder Datensatzgröße getrieben werden, sondern durch die Qualität der gelernten Repräsentationen. Durch das Erzielen überlegener Downstream-Leistung mit einer geringeren Parameteranzahl (ViT-B/14) im Vergleich zu massiven Modellen hebt RadJEPA die Stichprobeneffizienz und die repräsentative Qualität von JEPA-artigen Architekturen im medizinischen Bereich hervor. Die Autoren schließen, dass starke Radiologie-Encoder effektiv ohne sprachliche Überwachung gelernt werden können, was einen reproduzierbaren Weg nach vorne durch die öffentliche Veröffentlichung von Code und Gewichten bietet.