Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text

Technische Samenvatting: Mogelijk of Zeker? Een Benchmark voor het Evalueren van Diagnostische Onzekerheidsbehoud in Klinische Tekst

Probleemstelling
Hoewel Large Language Models (LLM's) steeds vaker worden ingezet voor klinische teksttaken zoals samenvatting en rapportrevisie, blijft hun vermogen om diagnostische onzekerheid correct te behouden onderbelicht. In de klinische praktijk zijn uitingen van onzekerheid (bijv. "mogelijke pneumonie" versus "pneumonie") niet louter voorzichtige formuleringen; ze communiceren de sterkte van het bewijs, geven alternatieve diagnoses aan en sturen beslissingen over vervolgonderzoek en behandeling. Huidige evaluatiemetrieken voor klinische LLM's richten zich primair op vloeiendheid, coherentie en feitelijke consistentie, en falen vaak in het detecteren wanneer modellen de mate van onzekerheid wijzigen. Dit artikel stelt dat het wijzigen van deze uitdrukkingen de klinische betekenis volledig kan veranderen, wat potentieel schadelijke downstream-beslissingen kan leiden, maar dat dit specifieke foutenpatroon niet wordt gevangen door standaard evaluatieprotocollen.

Methodologie
De studie adresseert dit gat via een tweestapsbenadering: de constructie van een gespecialiseerde benchmark en een dual-mode evaluatie van drie LLM's.

1. Benchmark Constructie:

   • Databron: De auteurs hebben een dataset van 1.200 klinische documenten geconstrueerd, afgeleid van MIMIC-IV-Note (ontslagverslagen en radiologieverslagen) en TC-Reports (pathologieverslagen).
   • Annotatieschema: Er is een vijfniveau onzekerheidsschema gedefinieerd, variërend van UL1 (Zeker afwezig) tot UL5 (Niet-geassert), met tussenliggende niveaus voor Waarschijnlijk aanwezig, Mogelijk aanwezig en Indeterminaat/onopgelost.
   • Granulariteit: In tegenstelling tot documentniveau-labeling, maakt de benchmark gebruik van propositie-niveau annotaties. Elk document wordt gerepresenteerd als een set van 9.184 cue-target paren, waarbij een "cue" de onzekerheidsuitdrukking is (bijv. "kan niet uitsluiten") en de "target" het klinische concept (bijv. "longembolie").
   • Extractie Pipeline: Een regelgebaseerde pipeline (gebruikmakend van regex en medische NER-tools zoals medSpaCy en QuickUMLS) werd ingezet om deze paren te extraheren om circulaire evaluatie te voorkomen. Menselijke validatie op een subset van 90 documenten leverde een gemiddelde nauwkeurigheid op van 82% en een Cohen's $\kappa$ van 0,61.

2. Evaluatiekader:
   De studie evalueert drie LLM's (gpt-oss-120b, gemini-2.5-flash, en claude-haiku-4.5) met behulp van twee complementaire onderzoeksvragen (RQs):

   • RQ1 (Indirecte Beoordeling): Evalueert het behoud van onzekerheid tijdens downstream teksttransformatie-taken: Klinische Overdrachtsamenvatting en Patiëntvriendelijke Revisie. Deze werden getest onder twee prompt-condities: Baseline (standaard instructie) en Guarded (expliciete instructies om onzekerheid te bewaren en interpretaties te vermijden).
   • RQ2 (Directe Beoordeling): Test het expliciete vermogen van het model om onzekerheidscues te identificeren en te rangschikken. Dit omvatte een single-signal setting (classificatie van één paar) en een multi-signal setting (het gelijktijdig classificeren en rangschikken van bundels van 2–5 paren).

Belangrijkste Bijdragen

• Benchmark Creatie: Het artikel introduceert een herbruikbare benchmark van 1.200 documenten en 9.184 geannoteerde cue-target paren die zes klinische teksttypen en vijf verschillende onzekerheidsniveaus dekken.
• Empirische Evaluatie: Het biedt een systematische evaluatie van drie state-of-the-art LLM's, waarbij wordt aangetoond dat standaard vloeiendheidsmetrieken falen in het vastleggen van onzekerheidsdistortie.
• Identificatie van Foutenmodi: De studie identificeert een systematische bias in LLM's naar "zekerheidsassertie", waarbij genuanceerde taal wordt samengevallen tot definitieve claims, een patroon dat onzichtbaar is voor evaluatie op documentniveau.

Resultaten

• Indirecte Beoordeling (RQ1):
  • Slecht Behoud: Onder baseline-condities behielden LLM's de oorspronkelijke onzekerheidsgraad minder dan 50% van de tijd (Uncertainty Retained Rate [URR] varieerde van 33,64% tot 45,55%).
  • Dominante Foutenmodus: De primaire fout was Zekerheidsassertie (CAR). Ongeveer 40% van de behouden targets werd herschreven als definitieve asserties (bijv. het veranderen van "mogelijk" naar een definitieve stelling), terwijl partiële verschuivingen en overmatige hedging verantwoordelijk waren voor minder dan 8% van de fouten.
  • Taakvariantie: Patiëntvriendelijke revisietaken resulteerden in agressievere inhoudsverwijdering en lager onzekerheidsbehoud vergeleken met klinische samenvattingen.
  • Prompt Effectiviteit: Hoewel "Guarded" prompting de URR met 7–19 procentpunten verbeterde en zekerheidsassertie verminderde, elimineerde het de distortie niet; de beste configuratie bereikte nog steeds slechts ~62,5% URR.
• Directe Beoordeling (RQ2):
  • Classificatie versus Ranking: Het model (gemini-2.5-flash) behaalde een matige classificatienauwkeurigheid (78,4% ULA) in single-signal settings. Echter, de exacte rangorde-nauwkeurigheid degradeerde significant naarmate het aantal signalen toenam (dalend van 86% bij N=2 naar 48% bij N=5).
  • Granulariteitsproblemen: Het model presteerde goed op categorische onderscheiden (bijv. zeker afwezig) maar worstelde met fijnmazige onderscheiden tussen aangrenzende niveaus, met name tussen "Waarschijnlijk aanwezig" en "Mogelijk aanwezig".

Significantie en Claims
Het artikel claimt dat het behoud van onzekerheid behandeld moet worden als een afzonderlijke evaluatiedimensie, los van vloeiendheid en feitelijke consistentie. De auteurs argumenteren dat de dominante foutenmodus geen willekeurige ruis is, maar een systematische bias naar zekerheid, wat een aanzienlijk risico vormt in klinische workflows waar voorzichtige diagnoses andere managementstrategieën vereisen dan bevestigde diagnoses.

De studie concludeert dat hoewel expliciete prompting een gedeeltelijke mitigatie biedt, dit onvoldoende is voor veilige inzet. De bevindingen benadrukken een dringende behoefte aan meer geavanceerde interventies, zoals fine-tuning op onzekerheidsbewuste benchmarks of preference optimalisatie, om te waarborgen dat LLM's niet onbedoeld de klinische betekenis verstoren door onzekerheid te laten samenvallen met valse zekerheid. De auteurs benadrukken dat hun werk een foutenmodus onthult die niet wordt gevangen door standaard metrieken, wat een verschuiving noodzakelijk maakt in hoe klinische NLP-systemen worden geëvalueerd en ingezet.