🤖 machine learning

RadPRISM: Schema-stratified radiology-report supervision for concept-disentangled image representations and visual grounding

RadPRISM is een nieuw vision-language pretraining-framework dat röntgenfoto's van de borstkas uitlijnt met door clinici gedefinieerde concepten in toegewezen visuele subruimtes via schema-gestratificeerd toezicht, wat de zero-shot classificatie, visuele gronding en concept-ontvlechtheid van retrieval significant verbetert in vergelijking met traditionele modellen met een gedeelde ruimte.

Oorspronkelijke auteurs: Fabian Drexel, Marlene Fritzsche, Era Stambollxhiu, Miriam Kumpf, Lena Schmitzer, Lea Schumann, Jannik Kahmann, Friedrich Puttkammer, Johannes Moll, Jannik Lübberstedt, Zeineb Ben Chaaben, Anirudh Nar

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabian Drexel, Marlene Fritzsche, Era Stambollxhiu, Miriam Kumpf, Lena Schmitzer, Lea Schumann, Jannik Kahmann, Friedrich Puttkammer, Johannes Moll, Jannik Lübberstedt, Zeineb Ben Chaaben, Anirudh Narayanan, Cosmin I. Bercea, Sebastian Ziegelmayer, Marcus R. Makowski, Daniel Rueckert, Lisa C. Adams, Keno K. Bressem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren de wereld te begrijpen door het te laten kijken naar foto's en het te laten lezen over verhalen die erbij horen. Dit is de kern van "vision-language" leren, een tak van kunstmatige intelligentie waarbij machines proberen te verbinden wat ze zien met wat ze lezen. Een lange tijd hebben wetenschappers deze computers onderwezen met een "one-size-fits-all"-aanpak: ze lieten de computer een röntgenfoto van een borstkas zien en de volledige tekst van het doktersverslag, waarbij ze de computer vroegen om te leren hoe deze twee als één grote blok informatie met elkaar overeenstemmen. Het is alsof je probeert een nieuwe taal te leren door tegelijkertijd naar een hele roman te luisteren en naar een afbeelding van een enkele scène te kijken, in de hoop dat de computer magisch ontdekt welk woord bij welk deel van de afbeelding hoort. Hoewel dit redelijk werkt voor algemene taken, is het rommelig wanneer je specifieke details nodig hebt. Als een arts schrijft: "Het hart is groot, maar de longen zijn helder," kan de computer in de war raken over welk deel van de afbeelding bij het hart hoort en welk deel bij de longen. Dit gebrek aan precisie maakt het moeilijk voor artsen om de AI te vertrouwen, omdat ze niet gemakkelijk kunnen zien waarom de computer een specifieke beslissing heeft genomen of precies naar de plek kan wijzen waar het een probleem zag.

Dit is waar het nieuwe artikel, RadPRISM, om de hoek komt kijken. De onderzoekers wilden een slimmere manier bouwen om computers te leren medische rapporten te lezen en naar röntgenfoto's te kijken. In plaats van het hele rapport als één grote brok tekst te behandelen, besloten ze het op te delen in kleine, specifieke stukjes, zoals het sorteren van een rommelige gereedschapskist in aparte laden voor hamers, schroevendraaiers en moersleutels. Ze creëerden een systeem dat een medisch verslag in vrije tekst neemt, een krachtig AI-taalmodel gebruikt om de specifieke zinnen te vinden die specifieke zaken beschrijven (zoals "een gebroken bot" of "vocht in de long"), en de computer vervolgens leert om naar alleen dat specifieke ding in de afbeelding te zoeken. Denk eraan als het geven van een vergrootglas aan de computer voor elk specifiek medisch concept, in plaats van een groothoeklens voor de hele foto. Het resultaat is een computer die niet alleen zegt "er is iets mis"; het kan precies aanwijzen waar het probleem zit en het uitleggen met dezelfde beschrijvende taal die een menselijke arts zou gebruiken, en dat alles zonder dat er een mens nodig is om tijdens de training dozen rondom elk probleem te tekenen.

Het Grote Idee: De Gereedschapskist Sorteren

Het team, onder leiding van Fabian Drexel en collega's van de Technische Universiteit van München, realiseerde zich dat eerdere AI-modellen als studenten waren die probeerden een hele bibliotheek tegelijkertijd uit het hoofd te leren. Ze leerden wel dat "pneumonie" en "vocht" beide slechte dingen in de longen zijn, maar ze hadden moeite om de details uit elkaar te houden. Als een rapport zei: "Er is vocht aan de linkerzijde maar niet aan de rechterzijde," leerde een standaardmodel misschien alleen "vocht = slecht" en vergat het welke kant het was.

Om dit op te lossen, hebben de onderzoekers RadPRISM uitgevonden. Ze begonnen met een enorm archief van meer dan 323.562 borstkas-röntgenfoto's en de bijbehorende verslagen in vrije tekst van een ziekenhuis in München. In plaats van het hele verslag aan de computer te voeren, gebruikten ze een speciale AI-tool (een groot taalmodel) om als een supersnelle bibliothecaris te fungeren. Deze bibliothecaris las elk verslag en haalde specifieke zinnen eruit voor 19 verschillende medische concepten, zoals "Pneumonie", "Botbreuken" of "Hartgrootte".

Stel je het brein van de computer voor als een enorme kamer met 19 verschillende "subkamers". Wanneer de bibliothecaris een zin vindt over "Pneumonie", stuurt hij die zin naar de "Pneumonie-kamer". Wanneer hij een zin vindt over "Botbreuken", stuurt hij die naar de "Botbreuken-kamer". De computer leert dan om naar de röntgenfoto te kijken en de visuele aanwijzingen te vinden die alleen bij de Pneumonie-kamer of alleen bij de Botbreuken-kamer passen. Dit wordt "concept-gestratificeerd" leren genoemd. Het dwingt de computer om zijn ideeën gescheiden en georganiseerd te houden, in plaats van ze allemaal door elkaar te mengen in een grote, verwarrende bende.

Wat Ze Vonden: Scherpere Ogen en Beter Geheugen

De resultaten van deze nieuwe methode waren indrukwekkend. Wanneer de onderzoekers de computer testten op nieuwe röntgenfoto's die hij nog nooit eerder had gezien (een taak genaamd "zero-shot classificatie"), kreeg de RadPRISM-modellen het in 0,868 van de gevallen goed (gemeten met een score genaamd macro AUROC). Vergelijk dit met de oude "one-size-fits-all"-methode, die het slechts in 0,717 van de gevallen goed had. Dat is een enorme sprong in nauwkeurigheid, wat suggereert dat het organiseren van de informatie in aparte "kamers" echt helpt om de details te begrijpen.

Maar de echte magie gebeurde toen ze de computer vroegen om het probleem op de röntgenfoto aan te wijzen, een taak genaamd "visual grounding". Dit is als de computer vragen om een stip te zetten op de exacte plek waar de pneumonie zit. In een test met een publieke dataset genaamd CheXlocalize, was RadPRISM een enorme verbetering ten opzichte van het vorige beste model, CARZero.

Voor Atelectase (gecollabeerde long), was RadPRISM 4,3 keer beter in het aanwijzen van de juiste plek.
Voor Pleura-effusie (vocht rond de long), was het 2,8 keer beter.
Voor Longlaesies was het 1,5 keer beter.

Nog spannender is dat de computer dit alles deed zonder ooit een enkel voorbeeld te hebben gezien waarbij een arts een cirkel rond een ziekte tekende. Hij leerde aanwijzen door simpelweg de tekstuele beschrijvingen te lezen en naar de afbeeldingen te kijken.

De Menselijke Test: Vertrouwt een Arts het?

Om er zeker van te zijn dat dit niet slechts een computertrucje was, lieten de onderzoekers menselijke artsen aan het werk gaan. Ze lieten zes radiologie-assistenten (artsen in opleiding) naar 200 röntgenfoto's kijken en het werk van de computer beoordelen. Ze stelden drie vragen:

Had de computer het goed geraden of een ziekte aanwezig was? (Het zat er in 0,83 van de gevallen naast).
Kwam de "attention map" (het gebied dat het systeem highlightte) van de computer overeen met waar de ziekte zich daadwerkelijk bevond? (Het zat er in 0,85 van de gevallen naast).
Kon de computer een zin uit zijn database vinden die de ziekte in de afbeelding beschreef? (Het zat er in 0,78 van de gevallen naast).

De artsen waren vooral onder de indruk van het derde punt. Omdat de computer had geleerd om concepten te scheiden, kon hij specifieke, beschrijvende zinnen ophalen zoals "Grote massale laesie van ongewijzigde omvang (ca. 6 cm) in de rechter bovenkwab" die perfect bij de afbeelding pasten. Dit is iets wat oudere modellen niet konden omdat ze getraind waren op vaste lijsten met labels (zoals alleen "Ja/Nee") en niet over de rijke, beschrijvende taal beschikten om uit te putten.

Waarom Dit Belangrijk Is

Het artikel suggereert dat door de rommelige, vrij lopende taal van artsen af te breken in georganiseerde, specifieke concepten, we AI kunnen bouwen die niet alleen slimmer is, maar ook transparanter. Artsen kunnen het werk van de computer bekijken, zien welke "kamer" het gebruikte om een beslissing te nemen, en de specifieke zin lezen die bij de afbeelding paste. Dit maakt de AI minder een "black box" en meer een behulpzame partner die dezelfde taal spreeelt als het medische team.

De auteurs merken echter voorzichtig op dat dit een bewijs van concept is. Hoewel de resultaten sterk zijn, zijn ze voornamelijk getest op borstkas-röntgenfoto's van één ziekenhuis en een publieke dataset. Ze vonden ook dat het systeem nog niet perfect is; voor zeer moeilijk te zien zaken zoals kleine fracturen of dunne lijnen van lucht in de long (pneumothorax), had de computer soms moeite om de exacte plek aan te wijzen, waarschijnlijk omdat de afbeeldingen niet met een hoge resolutie waren. Maar de kern van het idee — dat het organiseren van informatie per concept de AI slimmer en betrouwbaarder maakt — lijkt een solide stap voorwaarts te zijn in de medische technologie.

Technische Samenvatting van RadPRISM

Probleemstelling
Huidige medische kunstmatige intelligentie voor de interpretatie van radiologische beelden leunt voornamelijk op een paradigma van closed-vocabulary supervisie, waarbij modellen worden getraind tegen vaste sets ziekte-labels. Deze aanpak beperkt de geleerde representaties tot de granulariteit van de gekozen labelset, waardoor genuanceerde klinische redenering (bijv. het onderscheid tussen een definitieve bevinding en een bevinding die niet uitgesloten kan worden) wordt gereduceerd tot binaire targets, en waarbij beschrijvende inhoud structureel afwezig blijft van de features. Hoewel contrastieve vision-language (VL) pretraining een route biedt om de potentie van vrije tekst in radiologieverslagen te benutten, aligneren bestaande methoden doorgaans een enkele globale beeld-embedding met een volledige rapport-embedding binnen een gedeelde ruimte. Deze geometrie slaagt er niet in om conceptuele structuur af te dwingen; sub-categorische beschrijvende inhoud (bijv. specifieke subtype-aanduidingen van apparatuur of voorzichtige kwalificaties) wordt verwaterd door de bulk van het rapport, wat bijdraagt aan een beperkt leersignaal en de interpreteerbaarheid en ruimtelijke getrouwheid beperkt.

Methodologie: RadPRISM
De auteurs introduceren RadPRISM (Radiology Per-concept Representation learning via Interpretable Stratified Multimodal alignment), een framework dat een door clinici gedefinieerd radiologisch schema behandelt als een aangewezen stratificatie-as voor supervisie.

Schema-gestratificeerde Rapportdecompositie:
- Een on-premise, open-weight Large Language Model (LLM), specifiek GPT-OSS-120B, verwerkt vrije tekst uit radiologieverslagen.
- De LLM decomponeert verslagen in per-concept tekstfragmenten en discrete labels die voldoen aan een schema van 19 concepten (dekking van thoracale organen, pathologiecategorieën en ondersteunende hulpmiddelen).
- Dit proces transformeert het ongestructureerde rapport naar gestructureerde, concept-specifieke supervisiesignalen.
Concept-gestratificeerde Alignment Architectuur:
- Beeldencoder: Een bevroren, op CXR gepre-trainde DINOv2-gebaseerde vision transformer (RAD-DINO-MAIRA-2).
- Tekstencoder: Een bevroren Qwen3-Embedding-4B model voor Duitse medische tekst.
- Subruimte-alignment: In plaats van een enkele globale alignment, maakt het model gebruik van een cross-attention mechanisme met $K$ leerbare concept-tokens. Elk token extraheert een toegewijde visuele subspace $v^{(k)}$ voor een specifiek concept.
- Verliesfunctie: Het model wordt getraind met $K$ concept-specifieke contrastieve verliestermen. De visuele subspace van elk concept wordt direct gealigneerd met het bijbehorende geëxtraheerde tekstfragment $u^{(k)}$ . Dit zorgt ervoor dat het supervisiesignaal voor elk concept wordt gedreven door de specifieke beschrijvende tekst die met dat concept geassocieerd is, in plaats van door het gehele rapport.
- Trainingsdata: Het framework werd geïnstantieerd op een intern archief van 323.562 thoraxfoto's (203.602 onderzoeken) van de TUM Universiteitshospital.
Evaluatiestrategie:
- Intern: Zero-shot classificatie en linear probing op de interne testset.
- Extern: Evaluatie op de CheXlocalize benchmark (Stanford Health Care) om generalisatie over instellingen en label-vocabulaire te testen.
- Visuele Gronding: Beoordeeld via pointing-game hit rates op CheXlocalize zonder enige lokalisatie-supervisie tijdens de training.
- Retrieval: Een radioloog-lezerstudie die de bekwaamheid evalueert om concept-specifieke beschrijvende tekstfragmenten te extraheren uit een referentiedatabase.

Belangrijkste Resultaten

Classificatieprestaties: Op de interne dataset behaalde RadPRISM een macro AUROC van 0,868 voor zero-shot classificatie, een substantiële verbetering ten opzichte van de globale-alignment baseline (0,717). Linear probing op de bevroren RadPRISM-features verbeterde de prestaties verder naar 0,890, waarmee het de label-gesuperviseerde baseline die direct op de CLS token is getraind (0,859) overtrof.
Generalisatie: Op de externe CheXlocalize benchmark behield RadPRISM competitieve zero-shot prestaties (macro AUROC 0,861) ondanks verschuivingen in instelling en label-vocabulaire, waarbij het op gelijke hoogte presteerde met de doelgerichte CARZero referentie.
Visuele Gronding: RadPRISM demonstreerde superieure ruimtelijke getrouwheid. Bij een resolutie van 224 px overtrof het CARZero met factoren van 4,3 op Atelectase, 2,8 op Pleura-effusie en 1,5 op Longlaesie in pointing-game hit rates. Voor Cardiomegalie matchte het de menselijke referentie hit rate (0,983 vs. 0,972).
Concept-ontwarrende Retrieval: In een radioloog-lezerstudie behaalde het model een macro correctheidspercentage van 0,78 voor top-3 tekst-retrieval. Radiologen bevestigden dat de opgehaalde fragmenten beschrijvende details bevatten (bijv. subtype-aanduidingen van apparatuur, omvang, lateraliteit) die vaste label-vocabulaire niet kan uitdrukken.
Onzekerheidssignalering: De studie vond dat gevallen waar binaire classificatie en top-retrieval outputs overeenkwamen, substantieel hogere door radiologen bevestigde correctheid vertoonden over alle evaluatieassen vergeleken met gevallen waar ze niet overeenkwamen ( $P < 0,001$ ), wat wijst op een per-concept onzekerheidssignaal.

Betekenis en Claims
Het artikel claimt dat RadPRISM een erkende beperking van globale beeld-rapport alignment oplost door de granulariteit van de supervisie te laten schalen met de beschrijvende taal die radiologen reeds gebruiken. Door institutionele vrije tekstarchieven via LLM-gebaseerde structurering om te vormen tot een direct bruikbare supervisiebron, levert het framework representaties op die:

Discriminatief zijn: De globale baselines overtreffen in zero-shot en linear probing taken.
Ruimtelijk getrouw zijn: Menselijke gronding bereiken voor specifieke bevindingen zonder expliciete lokalisatie-supervisie.
Inspecteerbaar zijn: Het mogelijk maken voor clinici om het gedrag van het model te auditeren op het niveau van individuele bevindingen in plaats van op het niveau van de gehele casus.

De auteurs positioneren dit werk als een proof of principle voor een deployment patroon waarbij klinische AI wordt gebouwd vanuit de eigen routinematige klinische tekst van een instelling, geaudit op conceptniveau door de clinici die die tekst produceren, en wordt bijgewerkt naarmate het schema evolueert. Ze benadrukken dat het framework is ontworpen om institutioneel aanpasbaar en end-to-end on-premise uitvoerbaar te zijn, waarbij geen patiëntgegevens de institutionele perimeter hoeven te verlaten. Het artikel vermeldt expliciet beperkingen, waaronder de afhankelijkheid van LLM-geëxtraheerde supervisie (die fungeert als een gedeeltelijk plafond voor prestaties), de single-institution trainingsdata, en de noodzaak van prospectieve multi-site validatie voordat operationele claims kunnen worden gemaakt.

Het Grote Idee: De Gereedschapskist Sorteren

Wat Ze Vonden: Scherpere Ogen en Beter Geheugen

De Menselijke Test: Vertrouwt een Arts het?

Waarom Dit Belangrijk Is

Meer zoals dit