💬 NLP

Modeling Clinical Uncertainty in Radiology Reports: from Explicit Uncertainty Markers to Implicit Reasoning Pathways

Dit paper introduceert een tweeledig raamwerk om expliciete en impliciete onzekerheid in radiologieverslagen te modelleren via hedging-uitdrukkingen en diagnostische paden, wat resulteert in de release van Lunguage++, een uitgebreide benchmark die onzekerheidsbewuste beeldclassificatie en diagnostisch redeneren mogelijk maakt.

Oorspronkelijke auteurs: Paloma Rabaey, Jong Hak Moon, Jung-Oh Lee, Min Gwan Kim, Hangyul Yoon, Thomas Demeester, Edward Choi

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Paloma Rabaey, Jong Hak Moon, Jung-Oh Lee, Min Gwan Kim, Hangyul Yoon, Thomas Demeester, Edward Choi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🏥 Het Raadsel van de Röntgenfoto's: Van "Misschien" naar "Zeker"

Stel je voor dat een radioloog (een arts die röntgenfoto's bekijkt) een verslag schrijft over een longfoto. Dit verslag is als een kookrecept voor de behandelend arts: het vertelt welke "ingrediënten" (ziektes of afwijkingen) er in de longen zitten en hoe ze behandeld moeten worden.

Maar er zit een groot probleem in deze recepten: ze zijn vaak vaag of onvolledig. De auteurs van dit paper willen dit oplossen door twee soorten "warrigheid" in de verslagen te fixen.

1. De "Onzekerheids-woorden" (Expliciete Onzekerheid)

Soms gebruikt een radioloog woorden als "misschien", "waarschijnlijk" of "zou kunnen zijn".

Het probleem: Voor een computer is het moeilijk om te weten wat het verschil is tussen "misschien een longontsteking" en "waarschijnlijk een longontsteking". Is het 40% zeker of 60%?
De oplossing: De onderzoekers hebben een rekenmachine voor taal gebouwd.
- Ze hebben een hele lijst gemaakt van alle mogelijke twijfelwoorden.
- Ze hebben slimme AI's (grote taalmodellen) laten "wedden" tegen elkaar: "Welke zin klinkt zekerder: 'misschien' of 'waarschijnlijk'?"
- Door duizenden van deze vergelijkingen te maken, hebben ze een ranglijst gemaakt. Net zoals in een sportcompetitie waar je punten krijgt voor elke gewonnen wedstrijd, krijgen deze woorden nu een "zekerheids-score".
- Het resultaat: In plaats van alleen te zeggen "misschien", krijgt de computer nu een getal: "Deze longontsteking is 45% zeker." Dit maakt het voor de computer veel makkelijker om de ernst van de situatie in te schatten.

2. Het "Wat niet gezegd is" (Impliciete Onzekerheid)

Dit is de tweede, slimmere stap. Radiologen schrijven vaak alleen de eindconclusie, omdat ze het verslag kort en krachtig willen houden.

Het probleem: Stel, de radioloog schrijft: "De patiënt heeft hartfalen." Maar hij schrijft niet op dat er ook vocht in de longen zit of dat het hart vergroot is. Voor een computer lijkt het alsof die dingen er niet zijn, terwijl ze er wel degelijk zijn (ze zijn alleen niet opgeschreven). Het is alsof iemand zegt: "Ik heb een auto" en jij denkt: "Oh, dan heeft hij geen banden, geen motor en geen benzine."
De oplossing: De onderzoekers hebben 14 "detective-kaarten" (diagnostische paden) gemaakt voor de meest voorkomende longziektes.
- Deze kaarten zeggen: "Als je Hartfalen ziet, dan zijn er bijna altijd ook deze drie andere dingen te zien: een vergroot hart, vocht in de longen en kortademigheid."
- Het systeem kijkt naar het verslag, ziet "Hartfalen", en gebruikt de detective-kaart om de ontbrekende stukjes (de vocht, het vergrote hart) automatisch toe te voegen aan het verslag.
- Het resultaat: Het computer-verslag is nu compleet. Het bevat niet alleen wat de arts heeft opgeschreven, maar ook wat hij logischerwijs heeft gezien, zelfs als hij het niet schreef.

🚀 Het Eindresultaat: Lunguage++

Door deze twee stappen te combineren, hebben ze een nieuwe, super-versie van hun dataset gemaakt, genaamd Lunguage++.

Vroeger: Een computer zag een verslag en dacht: "Oké, hier staat 'misschien vocht' en 'hartfalen' (zonder details)."
Nu (met Lunguage++): De computer denkt: "Oké, hier staat 'hartfalen' met een zekerheid van 60%. Omdat het hartfalen is, voeg ik automatisch 'vocht in de longen' toe met een zekerheid van 60%. En omdat het woord 'misschien' werd gebruikt, is de hele situatie minder zeker dan wanneer het woord 'definitief' was gebruikt."

Waarom is dit belangrijk?

Stel je voor dat je een zelfrijdende auto bouwt die medische diagnoses moet stellen.

Als de auto niet begrijpt wat "misschien" betekent, kan hij een ernstige ziekte negeren of een onschuldig ding als gevaarlijk bestempelen.
Als de auto niet begrijpt dat "hartfalen" automatisch "vocht in de longen" betekent, mist hij cruciaal bewijs.

Met Lunguage++ krijgen computers een beter inzicht in hoe artsen denken. Ze leren niet alleen lezen wat er staat, maar ook begrijpen wat er bedoeld wordt en hoe zeker de arts is. Dit helpt bij het bouwen van betere AI-systemen die artsen kunnen ondersteunen, in plaats van hen in de war te brengen.

Kort samengevat: Ze hebben een systeem bedacht dat de "twijfel" in medische verslagen omzet in een precieze score, en dat de "onzichtbare" details die artsen niet opschrijven, automatisch voor hen invult.

Probleemstelling

Radiologieverslagen zijn cruciaal voor klinische besluitvorming, maar ze bevatten inherent onzekerheid die vaak wordt genegeerd door bestaande AI-systemen. De auteurs identificeren twee distincte vormen van onzekerheid die moeilijk te modelleren zijn:

Expliciete onzekerheid: Dit komt voort uit hedging-uitdrukkingen (zoals "mogelijk", "waarschijnlijk", "kan niet worden uitgesloten") die twijfel uiten over de aanwezigheid van een bevinding. Bestaande regelgebaseerde systemen gebruiken vaak een ternaire classificatie (positief/onzeker/negatief) en falen in het kwantificeren van de graad van onzekerheid, aangezien de betekenis van deze uitdrukkingen sterk afhankelijk is van de context.
Impliciete onzekerheid: Radiologen laten vaak tussenstappen in hun diagnostische redenering weg om verslagen beknopt te houden. Ze melden bijvoorbeeld een diagnose als "congestief hartfalen" zonder de bijbehorende sub-bevindingen (zoals "longoedeem" of "vergroting van het hart") expliciet te noemen. Voor een AI is het onduidelijk of deze ontbrekende bevindingen afwezig zijn of slechts niet vermeld. Dit leidt tot bias in data en een gebrek aan transparantie in het diagnostische proces.

Methodologie

De auteurs stellen een tweeledig raamwerk voor om beide vormen van onzekerheid aan te pakken, resulterend in de creatie van Lunguage++, een uitgebreide versie van het bestaande Lunguage-dataset.

1. Kwantificering van Expliciete Onzekerheid

In plaats van vaste regels te gebruiken, gebruiken de auteurs een LLM-gebaseerde aanpak om onzekerheid te vertalen naar continue waarschijnlijkheidswaarden (tussen 0 en 1).

Vocabulaire-extractie: Met behulp van een LLM (Gemini) worden uit 2.066 zinnen met "voorlopige" (tentative) zekerheid 42 veelvoorkomende hedging-uitdrukkingen geëxtraheerd.
Referentie-rangschikking (TrueSkill): Om een betrouwbare rangschikking van deze uitdrukkingen te maken, gebruiken de auteurs het TrueSkill-algoritme (oorspronkelijk ontwikkeld voor gamen). Vier LLM's (Gemini, GPT-4o, Claude, MedGemma) voeren duizenden paarwise vergelijkingen uit om te bepalen welke uitdrukking meer zekerheid impliceert. Dit resulteert in een globale rangschikking gebaseerd op relatieve "vaardigheid".
Validatie: Een groep experts (radiologen, internisten, oncologen) valideert de rangschikking, wat een hoge overeenkomst toont.
Probabilistische Mapping: De TrueSkill-scores ( $\mu$ ) worden gemapt naar een waarschijnlijkheidsschaal $[0, 1]$ via een sigmoid-functie, geankerd door expert-schattingen voor de meest en minst waarschijnlijke uitdrukkingen.

2. Modellering van Impliciete Onzekerheid (Pathway Expansion)

Om de ontbrekende redenering te reconstrueren, introduceren de auteurs een Pathway Expansion Framework.

Diagnostische Paden: Experts hebben 14 veelvoorkomende CXR-diagnoses (zoals pneumonie, CHF, COPD) omgezet in gerichte acyclische grafieken (DAG's). Deze paden definiëren causale relaties tussen een diagnose en zijn karakteristieke sub-bevindingen (bijv. CHF $\rightarrow$ cardiomegalie + longoedeem).
Expansie-algoritme: Het systeem scant gestructureerde verslagen en past deze paden toe. Als een diagnose wordt gevonden, worden de bijbehorende sub-bevindingen recursief toegevoegd aan het verslag.
Erfenis van Onzekerheid: De waarschijnlijkheid en status (voorlopig/definitief) van de oorspronkelijke diagnose worden doorgegeven aan de afgeleide sub-bevindingen.
Conflictoplossing: Een regelgebaseerd protocol lost conflicten op tussen originele vermeldingen en afgeleide bevindingen (bijv. originele tekst heeft voorrang, of de hoogste waarschijnlijkheid wordt behouden).

Belangrijkste Bijdragen

Kwantificering van Expliciete Onzekerheid: Een nieuw raamwerk dat hedging-uitdrukkingen vertaalt naar continue waarschijnlijkheidswaarden, gebaseerd op context en een door experts gevalideerde LLM-rangschikking.
Modellering van Impliciete Onzekerheid: Het eerste raamwerk dat diagnostische paden gebruikt om ontbrekende sub-bevindingen in radiologieverslagen systematisch te reconstrueren, waardoor de onderliggende redenering zichtbaar wordt.
Lunguage++ Dataset: Een uitgebreide, openbare benchmark die het originele Lunguage-dataset (1.473 verslagen) verrijkt met continue onzekerheidsmetingen en 4.761 extra afgeleide bevindingen.

Resultaten

Expliciete Onzekerheid: Van de 2.066 voorlopige bevindingen in het dataset werden waarschijnlijkheidswaarden toegewezen. De gemiddelde waarschijnlijkheid was 0,459 (SD 0,185), wat aantoont dat er een breed spectrum aan onzekerheid bestaat dat niet door een simpele "ja/nee" label kan worden vastgelegd.
Impliciete Onzekerheid: De expansieframework identificeerde 2.639 bestaande bevindingen (18,7%) die als anker konden dienen. Hieruit werden 4.761 nieuwe sub-bevindingen afgeleid (+33,9% aan data).
Conflictresolutie: Conflicten tussen originele en afgeleide data waren zeldzaam (ongeveer 3,2% van de gevallen) en werden succesvol opgelost zonder de klinische validiteit te schaden.
Expert Validatie: De LLM-rangschikking toonde een hoge overeenkomst met menselijke experts (Fleiss' $\kappa$ = 0,72), wat de betrouwbaarheid van de geautomatiseerde methode bevestigt.

Significantie en Toekomstperspectief

Dit werk is baanbrekend omdat het voor het eerst beide vormen van onzekerheid in radiologieverslagen systematisch adresseert.

Klinische Impact: Door onzekerheid te kwantificeren en impliciete redenering bloot te leggen, kunnen AI-systemen (zoals beeldclassificatie en rapportgeneratie) betrouwbaarder worden getraind en geëvalueerd.
Transparantie: Het maakt het "black box"-proces van radiologische diagnosestelling transparanter voor AI-modellen.
Toepassingsgebied: Hoewel getest op CXR-verslagen, is het raamwerk toepasbaar op andere medische domeinen en datasets (zoals CheXpert of MIMIC-CXR).

Beperkingen: De methode is afhankelijk van de kwaliteit van de LLM's voor de rangschikking en de huidige diagnostische paden zijn eenrichtingsverkeer (top-down), wat cyclische of bottom-up redenering in complexe klinische scenario's nog niet volledig kan modelleren. Toekomstig werk zal zich richten op het trainen van lichtere lokale modellen en het uitbreiden van de paden naar bidirectionele grafieken.

De code en de Lunguage++ dataset zijn beschikbaar via GitHub en PhysioNet.