💻 computer science

RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture

RadJEPA is een zelftoezichthoudend raamwerk dat robuuste radiologie-encoders voor borstfoto's leert door latente representaties van gemaskeerde beeldregio's te voorspellen zonder taalkundige supervisie, en dat state-of-the-art prestaties bereikt op meerdere downstream medische taken.

Oorspronkelijke auteurs: Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Anas Anwarul Haq Khan, Mariam Husain, Kshitij Jadhav

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een computer te leren longfoto's te begrijpen. Meestal is de beste manier om een computer beelden te leren, een afbeelding te tonen en vervolgens hardop het verslag van de arts voor te lezen, zeggende: "Dit is een longontsteking," of "Dit hart is vergroot." Dit is vergelijkbaar met het leren van een kind door hen een foto van een hond te tonen en te zeggen: "Hond."

Echter, de auteurs van dit artikel, RadJEPA, betogen dat deze methode een gebrek heeft. Verslagen van artsen zijn geschreven voor mensen die snelle beslissingen moeten nemen; ze slaan vaak kleine details of subtiele veranderingen over omdat die niet relevant zijn voor de directe diagnose. Als je de computer alleen leert wat de arts zegt, kan de computer de subtiele visuele aanwijzingen die er wel degelijk zijn, missen.

Dus vroeg het team zich af: Kunnen we de computer longfoto's leren begrijpen zonder ooit een enkel woord uit een verslag van een arts te lezen?

De Nieuwe Aanpak: Het "Invul-de-Leegte"-Spel

In plaats van tekst te gebruiken, maakt RadJEPA gebruik van een methode genaamd Joint Embedding Predictive Architecture (JEPA). Denk hierbij aan een hoog-risico versie van het spel "Invul-de-Leegte" of een puzzel, maar dan gespeeld in het "brein" van de computer in plaats van op papier.

De Opzet: De computer kijkt naar een longfoto.
Het Masker: De computer bedekt (maskeert) een willekeurig stukje van de afbeelding, alsof je een stuk tape over een deel van de longfoto plakt.
De Gok: De computer kijkt naar de zichtbare delen (de gezonde long, de ribben, het hart) en probeert te voorspellen hoe het verborgen, gemaskeerde deel eruit ziet.
De Twist: Het probeert niet het beeld punt voor punt opnieuw te tekenen (zoals een fotokopieerapparaat). In plaats daarvan probeert het de betekenis of de "essentie" van het ontbrekende deel te raden. Het vraagt zich af: "Op basis van de rest van het lichaam, wat moet er in dit verborgen stuk zitten?"

Als de computer de "essentie" correct raadt, leert het. Als het fout raadt, past het zijn interne begrip aan. Na verloop van tijd, door dit spel miljoenen keren te spelen op duizenden longfoto's, bouwt de computer een diep, intuïtief begrip van anatomie en ziekte op zonder ooit dat een mens moet vertellen wat het ziet.

Waarom Dit Beter Is dan de Oude Manieren

Het artikel vergelijkt RadJEPA met twee andere populaire manieren om computers te leren:

De "Tekst-Leraar" (Vision-Language Models): Deze vertrouwen op de verslagen van artsen. Zoals vermeld, kunnen verslagen bevooroordeeld of onvolledig zijn. RadJEPA negeert de tekst volledig en dwingt de computer om uit het beeld zelf te leren.
De "Spiegel-Leraar" (Self-Distillation/DINO): Deze methoden tonen de computer hetzelfde beeld op verschillende manieren (bijgesneden, omgekeerd, opgehelderd) en zeggen tegen het: "Dit zijn allemaal dezelfde afbeelding." De computer leert de veranderingen te negeren. De auteurs betogen dat dit de computer doet focussen op het uiterlijk van de afbeelding in plaats van op de betekenis van de anatomie. RadJEPA, door het voorspellen van de ontbrekende delen, dwingt de computer om de structuur en relaties tussen lichaamsdelen te begrijpen.

De Resultaten: Een Slimmere, Kleinere Model

Het team testte hun nieuwe "Invul-de-Leegte"-leraar (RadJEPA) op drie moeilijke taken:

Ziekten Diagnosticeren: Kan het zeggen of een patiënt longontsteking heeft of een vergroot hart?
Randen Tekenen: Kan het een lijn trekken rond een long of een rib om deze te scheiden van de rest van het lichaam?
Verslagen Schrijven: Kan het helpen bij het schrijven van een medisch verslag op basis van het beeld door een taalmodel?

De verrassende bevinding: RadJEPA versloeg de huidige "kampioenen" (de beste bestaande modellen) in al deze taken.

Nog indrukwekkender is dat RadJEPA dit bereikte terwijl het veel kleiner was dan zijn concurrenten. Stel je een kleine, hoogopgeleide detective voor die een zaak beter oplost dan een gigantische, traag bewegende bureaucratie. Terwijl andere modellen enorme hoeveelheden rekenkracht en data nodig hadden om te leren, leerde RadJEPA efficiënter omdat zijn "Invul-de-Leegte"-methode het de juiste dingen leerde om naar te zoeken.

De Conclusie

Het artikel beweert dat je longfoto's niet hoeft te koppelen aan tekst om een slimme medische AI te bouwen. Door de AI simpelweg te vragen ontbrekende stukjes van het beeld te voorspellen, kun je een "radiologie-encoder" creëren die de visuele taal van het menselijk lichaam beter begrijpt dan modellen die op tekst zijn getraind. De auteurs hebben hun code en het getrainde model beschikbaar gesteld voor anderen om te gebruiken en te verifiëren.

Technische Samenvatting: RadJEPA

Probleemstelling

Recente vooruitgang in medische visueel-taalmodellen heeft het leren van visuele representaties via tekstuele supervisie gestimuleerd. Dit paradigma is echter beperkt door de beschikbaarheid van gekoppelde beeld-tekstgegevens en steunt op de aanname dat radiologische verslagen een volledig en onbevooroordeeld verslag bieden van visuele inhoud. In de praktijk benadrukken klinische verslagen selectieve bevindingen voor besluitvorming, waarbij vaak subtiele variaties of afwezige observaties worden weggelaten. Bijgevolg kunnen encoders die zijn getraind om beelden af te stemmen op tekst, vooroordelen overnemen en falen in het behoud van de volledige semantische structuur van medische beelden.

Bovendien leren bestaande zelfsuperviserende alternatieven, zoals DINO-stijl zelfdistillatie, invarianties door globale representaties af te stemmen over meerdere versterkte weergaven. In de context van thoraxröntgenfoto's, waar fijnmazige anatomische verschillen en subtiele pathologische aanwijzingen diagnostisch cruciaal zijn, kan het afdwingen van globale overeenstemming over weergaven prioriteit geven aan consistentie op het niveau van uiterlijk in plaats van semantische volledigheid. Deze methoden leggen vaak de nadruk op consistentie in de pixelruimte in plaats van het voorspellen van semantische representaties in de latente ruimte.

Methodologie: RadJEPA

Om deze beperkingen aan te pakken, introduceren de auteurs RadJEPA (Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture), een zelfsuperviserend kader dat leert zonder taalsupervisie.

Kernarchitectuur

RadJEPA is gebaseerd op een Joint Embedding Predictive Architecture (JEPA). In tegenstelling tot methoden die pixels reconstrueren of globale weergaverepresentaties afstemmen, modelleert RadJEPA expliciet voorspelling in de latente ruimte:

Input-partitionering: Een invoer thoraxröntgenfoto $x$ wordt opgedeeld in zichtbare gebieden ( $x_v$ ) en gemaskeerde gebieden ( $x_m$ ).
Codering: Een visuele encoder $f_\theta$ beeldt deze gebieden af op latente representaties $z_v = f_\theta(x_v)$ en $z_m = f_\theta(x_m)$ .
Voorspelling: Een predictornetwerk $g_\phi$ wordt getraind om de latente representatie van de gemaskeerde gebieden ( $\hat{z}_m$ ) uitsluitend te voorspellen op basis van de latente representatie van de zichtbare context ( $z_v$ ).
Doelstelling: Het model minimaliseert de kwadratische fout tussen de voorspelde latente representatie en de werkelijke (stop-gradient) latente representatie van het gemaskeerde gebied:
$L = \|g_\phi(z_v) - \text{stopgrad}(z_m)\|^2$
Trainingsdynamiek: De parameters van de doel-encoder worden bijgewerkt via een exponentiële voortschrijdende gemiddelde (EMA) van de online encoder, vergelijkbaar met leermeester-leerling-formuleringen, maar de doelstelling werkt volledig in de representatieruimte zonder pixelreconstructie, contrastieve negatieven of expliciete dataversterking.

Aanpassing voor Downstream-taken

Na pretraining op ongelabelde thoraxröntgenfoto's wordt de visuele encoder $f$ bevroren. Opdracht-specifieke koppen worden onafhankelijk getraind voor:

Ziekteclassificatie: Een lineaire classifier op bevroren globale embeddings.
Semantische segmentatie: Een UPerNet-decoder die multi-schaal kenmerken aggregeert vanuit de bevroren encoder.
Verslaggeneratie: Een LLaVA-stijl multimodaal setup waarbij bevroren visuele embeddings worden geprojecteerd in de taal-embeddingsruimte en worden ingevoerd in een taalmodel (Vicuna-7B).

Belangrijkste Bijdragen

Beperkingen van Bestaande Paradigma's: Het artikel toont aan dat zowel taalsupervisie als DINO-stijl zelfdistillatie beperkingen hebben in het leren van radiologische representaties, met name wat betreft semantische volledigheid en fijnmazige anatomische details.
RadJEPA-kader: De auteurs introduceren een voorspellende zelfsuperviserende architectuur die direct leert van ongelabelde thoraxröntgenfoto's. Het bereikt prestaties die vergelijkbaar zijn met of beter zijn dan state-of-the-art (SoTA) modellen die zijn getraind op meer dan 839.000 thoraxröntgenfoto's, ondanks het gebruik van een kleinere backbone (ViT-B/14, 86 miljoen parameters) in vergelijking met grotere modellen zoals DINOv2 (1,1 miljard) of I-JEPA (0,6 miljard).
Uitgebreide Evaluatie: Het werk biedt empirische evaluaties over drie verschillende downstream-taken: ziekteclassificatie, semantische segmentatie en verslaggeneratie, met benchmarking tegen een diverse reeks baselines, waaronder architecturen met een grotere capaciteit.

Experimentele Resultaten

Het model is getraind op 839.364 thoraxröntgenfoto's uit open-source datasets (BRAX, CheXpert, MIMIC-CXR, ChestX-ray14, PadChest).

Beeldclassificatie: Op de VinDr-CXR- en RSNA-Pneumonia-benchmarks presteerde RadJEPA consequent beter dan beeld-only en visueel-taal baselines.
- Op VinDr-CXR behaalde het een gemiddelde AUPRC van 55,2, waarmee het RAD-DINO (52,8) en I-JEPA (50,0) voorbijstreefde.
- Opmerkelijke verbeteringen werden waargenomen bij subtiele en heterogene bevindingen zoals pulmonale fibrose (+4,5 AUPRC ten opzichte van RAD-DINO) en aortavergroting.
- Op RSNA-Pneumonia behaalde het de beste AUPRC (72,7) en AUROC (89,2).
Semantische Segmentatie: Met behulp van een UPerNet-decoder behaalde RadJEPA de hoogste Dice-scores voor de taken van longsegmentatie (98,3), longzone (93,7) en rib (89,6). Het toonde bijzonder sterke winsten op structureel complexe doelen zoals ribben (+4,8 Dice ten opzichte van RAD-DINO).
Verslaggeneratie: Op MIMIC-CXR en de out-of-distribution IU-Xray-dataset behaalde RadJEPA de sterkste prestaties over alle metrieken (ROUGE-L, BLEU-4, RGER, Macro-F1-14) onder beeld-only en voorspellende encoders.
- Op MIMIC-CXR behaalde het een ROUGE-L van 26,1 en een Macro-F1-14 van 32,6.
- Op IU-Xray verbeterde het ROUGE-L met +1,7 ten opzichte van de sterkste niet-JEPA baseline.
Statistische Significantie: Enkelzijdige hypothese-toetsen bevestigden dat 16 van de 19 geëvalueerde gevallen statistisch significante verbeteringen ( $p < 0,05$ ) toonden ten opzichte van baselines.

Betekenis

Het artikel betoogt dat thoraxröntgenfoto's fundamenteel semantisch zijn in plaats van weergave-gericht. Klinische interpretatie berust op globale anatomische context en ruimtelijke relaties, wat suggereert dat het leren van representaties direct in de pixelruimte of het afdwingen van invariantie op weergaveniveau suboptimaal is. RadJEPA toont aan dat voorspellende latente modellering het leren van robuuste, algemene radiologie-encoders mogelijk maakt zonder afhankelijkheid van gekoppelde beeld-tekstgegevens of traditionele distillatie-achtige architecturen.

De resultaten geven aan dat prestatiewinst in medische beeldvorming niet uitsluitend wordt gedreven door modelschaal of datasetgrootte, maar door de kwaliteit van de geleerde representaties. Door superieure downstream-prestaties te behalen met een lager aantal parameters (ViT-B/14) in vergelijking met massale modellen, benadrukt RadJEPA de steekproefefficiëntie en representatieve kwaliteit van JEPA-stijl architecturen in het medische domein. De auteurs concluderen dat sterke radiologie-encoders effectief kunnen worden geleerd zonder taalsupervisie, en bieden een reproduceerbare weg vooruit via de publieke release van code en gewichten.