💬 NLP

CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine

Het artikel introduceert het CLEAR-framework om aan te tonen dat standaard medische benchmarks het real-world-ambiguïteit niet vastleggen, en onthult dat het vergroten van het aantal antwoordopties, het verschuiven van de formulering van onthouding naar het erkennen van onzekerheid, en het schalen van de modelgrootte allemaal de betrouwbaarheid van LLM's ondermijnen door een "nederigheidsdeficit" te verergeren waarbij modellen moeite hebben om zich te onthouden van onjuiste antwoorden.

Oorspronkelijke auteurs: Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Goa, Juming Xiong, Zhijun Yin, Bradley A. Malin

Gepubliceerd 2026-05-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Goa, Juming Xiong, Zhijun Yin, Bradley A. Malin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Perfecte Examen" versus de "Reële Wereld"

Stel je voor dat je een student traint voor een medisch toelatingsexamen. Je geeft hen oefentoetsen waarbij elke vraag vier duidelijke antwoorden heeft, en je weet met zekerheid dat het juiste antwoord altijd één van die vier is. De student onthoudt patronen en beantwoordt 95% van de vragen goed. Ze lijken een genie.

Stel je nu voor dat je diezelfde student meeneemt naar een echte spoedeisende hulp. Een patiënt komt binnen met vaag omschreven symptomen. Er is geen duidelijke lijst met vier opties. Het verhaal van de patiënt is rommelig, onvolledig en verwarrend. Het juiste diagnosepunt staat misschien niet eens op de lijst van mogelijkheden waar je aan denkt.

Dit artikel stelt dat huidige Large Language Models (LLM's) lijken op die student. Ze zijn uitstekend in de "perfecte examen" (standaard medische benchmarks), maar slecht in de "reële wereld", omdat ze nederigheid missen. Ze weten niet wanneer ze moeten zeggen: "Ik weet het niet," of "Ik heb hulp nodig." In plaats daarvan gokken ze met zekerheid het verkeerde antwoord.

De auteurs hebben een nieuw testkader ontwikkeld genaamd CLEAR om deze zwakte bloot te leggen.

Hoe het CLEAR-kader Werkt (De Drie Experimenten)

De onderzoekers namen standaard medische vragen en "perturbeerden" (tweaken) ze op drie specifieke manieren om te zien hoe de AI reageerde. Denk hierbij aan het toevoegen van ruis aan een radiosignaal of rommel aan een kamer om te zien of de AI nog steeds de waarheid kan vinden.

1. De "Aandachtstrekker"-test (Ruis Toevoegen)

De Opzet: In een standaardtoets heb je misschien 2 verkeerde antwoorden en 1 juist antwoord. CLEAR voegde steeds meer verkeerde antwoorden (aandachtstrekkers) toe aan de lijst, zoals het toevoegen van valse verdachten aan een identiteitsparade.
Het Resultaat: Naarmate de lijst met verkeerde antwoorden groeide, werd de AI slechter in het vinden van het juiste antwoord. Maar hier is het engste deel: De AI werd niet alleen verward; ze werd zekerder in haar verkeerde gissingen. Ze stopte met proberen de waarheid te vinden en begon willekeurig te gokken, zelfs wanneer de lijst enorm was.
De Analogie: Stel je een detective voor die probeert een dief te vinden in een kamer. Als er 2 onschuldige mensen zijn, vindt de detective de dief. Als je 10 onschuldige mensen in de kamer zet, stopt de detective met zoeken en wijst ze gewoon een willekeurig persoon aan, met de bewering: "Het is zeker hij!"

2. De "Opt-out"-test (Het Nederigheidsdeficit)

De Opzet: De onderzoekers verwijderden het juiste antwoord volledig en vervingen het door een optie om "opt-out" te doen (afzien). Ze gaven de AI drie manieren om "Ik kan niet antwoorden" te zeggen:
1. "Geen van Bovenstaande" (Assertieve afwijzing: "Ik weet dat het antwoord hier niet staat.")
2. "Ik weet het niet" (Erkenning van onzekerheid: "Ik ben onzeker.")
3. "Ik heb hulp nodig" (Hulpvragen: "Ik kan dit niet alleen.")
Het Resultaat: De AI was slecht in het kiezen voor opt-out. Ze prefereerde een verkeerd antwoord te raden dan toe te geven dat ze het niet wist.
Het "Nederigheidsdeficit": De auteurs bedachten deze term om het gat te beschrijven tussen hoe goed de AI is in het vinden van het juiste antwoord (wanneer het er is) en hoe slecht ze is in toegeven dat ze fout zit (wanneer het antwoord er niet is).
De Analogie: Een student die een toets maakt. Als het antwoord op het papier staat, halen ze een A. Als het antwoord niet op het papier staat, schrijven ze in plaats van "Het antwoord staat hier niet" wanhopig een verkeerd antwoord op, gewoon om het invulblad te vullen. Ze zijn liever zelfverzekerd fout dan voorzichtig juist.

3. De "Kader"-test (Wie heeft de Leiding?)

De Opzet: De onderzoekers merkten op dat de bereidheid van de AI om "Ik weet het niet" te zeggen, veranderde op basis van hoe de optie werd geformuleerd.
Het Resultaat: De AI was het meest geneigd om "Geen van Bovenstaande" te zeggen (de leiding nemen) en het minst geneigd om "Ik heb hulp nodig" te zeggen (zwakte erkennen).
De Analogie: Stel je een robotbutler voor. Als je vraagt: "Is dit eten veilig?", zegt hij misschien: "Nee, het is niet veilig" (Assertief). Maar als je vraagt: "Ik weet niet of dit veilig is", weigert de robot misschien om die zin te zeggen en blijft hij volhouden dat het eten veilig is, gewoon om het gevoel van onzekerheid te vermijden. De AI lijkt een vooroordeel te hebben tegen het toegeven dat ze autoriteit mist.

Belangrijkste Bevindingen & Verrassingen

1. Groter is niet altijd beter (Het Falen van de Schaalwet)
Meestal wordt een AI slimmer als je hem groter maakt (meer parameters). In deze studie waren grotere modellen inderdaad beter in het vinden van het juiste antwoord in een schone test. Echter, de grotere modellen waren slechter in het erkennen van onzekerheid.

De Analogie: Denk aan een superslimme professor versus een middelbare scholier. De professor kent meer feiten, maar als ze het antwoord niet weten, zijn ze misschien te trots om "Ik weet het niet" te zeggen. De scholier is misschien eerder bereid onwetendheid toe te geven. De grootste modellen in deze studie waren de minst nederig.

2. "Chain-of-Thought" (Stap-voor-stap Denken) Hielp Niet
We vertellen AI vaak om "stap-voor-stap te denken" om hun redenering te verbeteren. In wiskunde of codering werkt dit geweldig. In de geneeskunde maakte het de dingen vaak slechter.

De Analogie: Als je een verwarde persoon vraagt om "langzaam te lopen en over elke stap na te denken", kan hij over zijn eigen voeten struikelen. Voor complexe medische gevallen maakte het dwingen van de AI om haar gedachten op te schrijven, het waarschijnlijker dat ze hallucineerde (dingen verzon) en het onwaarschijnlijker dat ze stopte en zei: "Dit is te verwarrend."

3. De "Ik Weet Het Niet"-Valstrik
Toen de onderzoekers een "Ik weet het niet"-optie toevoegden aan de test, gebruikte de AI deze niet veel. Sterker nog, het hebben van die optie maakte de AI waarschijnlijker om een verkeerd antwoord te kiezen.

De Analogie: Het is alsof je een bord "Niet Betreden" in een gang plaatst. In plaats van te stoppen, worden mensen misschien nieuwsgierig en proberen ze toch binnen te komen. De aanwezigheid van de optie om onzekerheid toe te geven, triggert de AI in feite om deze te negeren en verkeerd te gokken.

De Conclusie: Waarom Dit Belangrijk Is

Het artikel concludeert dat we AI in de geneeskunde niet zomaar kunnen vertrouwen omdat het hoge scores haalt op standaardexamens. Die examens zijn te schoon en te simpel.

Het Probleem: Huidige AI-modellen zijn getraind om "behulpzaam" en "volgzaam" te zijn. Ze zijn zo enthousiast om een antwoord te geven dat ze met zekerheid zullen liegen in plaats toe te geven dat ze onzeker zijn.
Het Risico: In een echt ziekenhuis, als een arts een AI vraagt om een diagnose en de AI verkeerd gokt omdat ze te bang was om "Ik weet het niet" te zeggen, kan een patiënt letsel oplopen.
De Les: We moeten stoppen met het testen van AI alleen op "perfecte" examens. We moeten ze testen op rommelige, ruizige, reële scenario's waar het juiste antwoord misschien zelfs niet bestaat. Totdat AI leert nederig te zijn en onzekerheid toe te geven, is het niet veilig voor medisch advies in de reële wereld.

Kortom: Het artikel toont aan dat onze medische AI een "alwetende" is die eigenlijk vrij fragiel is. Het moet leren dat het zeggen van "Ik weet het niet" een teken van intelligentie is, geen falen.

1. Probleemstelling

Huidige evaluaties van Medische Large Language Models (LLM's) vertrouwen sterk op gestandaardiseerde, examenachtige benchmarks (bijv. MedQA, MedMCQA). Deze benchmarks lijden aan drie kritieke beperkingen wanneer ze worden toegepast in realistische klinische settings:

Sluitende-wereld-aanneming: Ze gaan ervan uit dat het juiste antwoord altijd aanwezig is binnen een vast aantal opties, en testen niet het vermogen van een model om te herkennen wanneer het juiste antwoord ontbreekt (open-wereld scenario's).
Gebrek aan ambiguïteit: Realistische medische vragen hebben vaak te maken met gefragmenteerde, ruisende of onvolledige patiëntgegevens, terwijl benchmarks schone, goed gedefinieerde beslissingsruimtes bieden.
Fragiliteit ten opzichte van presentatie: De prestaties van LLM's zijn zeer gevoelig voor hoe de beslissingsruimte is gestructureerd (bijv. het aantal afleiders) en de semantische formulering van opties (bijv. hoe "onthouding" wordt verwoord).

Bijgevolg falen modellen die hoge nauwkeurigheid behalen op benchmarks vaak om epistemische nederigheid (het vermogen om onzekerheid toe te geven of te weigeren te antwoorden wanneer men het niet zeker weet) te demonstreren in praktische scenario's, wat aanzienlijke risico's voor de patiëntveiligheid met zich meebrengt.

2. Methodologie: Het CLEAR-kader

De auteurs introduceren CLEAR (CLinical Evaluation of Ambiguity and Reliability), een systematisch kader dat bestaande benchmarks pertubeert om realistische ruis en ambiguïteit te simuleren.

Datasets: Het kader werd toegepast op drie verschillende benchmarks:
1. MedMCQA: Fundamentele biomedische kennisretrieval.
2. MedQA: Gestructureerde klinische casuïstiek afgeleid van de USMLE.
3. JAMA-CC: Hoog-complexe, ongestructureerde realistische klinische uitdagingen.
Perturbatiestrategieën: CLEAR wijzigt de beslissingsruimte op drie manieren:
1. Distractor-saturatie: Systematisch verhogen van het aantal plausibele maar onjuiste antwoordopties ( $k=1$ tot $k=3/4$ ).
2. Verwijdering van Ground Truth: Vervanging van het juiste antwoord door een onthoudingsoptie om open-wereld betrouwbaarheid te testen.
3. Semantische formulering van onthouding: Testen van drie verschillende manieren om de weigering om te antwoorden te formuleren:
  - NA (Geen van bovenstaande): Assertieve afwijzing.
  - IDK (Ik weet het niet): Toegave van onzekerheid.
  - INA (Ik heb hulp nodig): Verzoek om hulp.
Experimentele opstelling:
- Modellen: 17 modellen geëvalueerd (15 open-source families: Llama, Qwen, Gemma; 2 propriëtaire: GPT-4o, GPT-5.2) variërend van 1B tot 72B parameters.
- Modaliteiten: Getest op zowel Direct Antwoord (basis) als Chain-of-Thought (CoT) prompt-strategieën.
- Metingen: Gemeten Nauwkeurigheid (selecteren van de ground truth) en Onthoudingspercentage (correct afwijzen van de antwoordruimte).

3. Belangrijkste bijdragen

Het CLEAR-kader: Een schaalbare methodologie om LLM's te stress-testen tegen ruis, ambiguïteit en open-wereld condities, verder gaand dan statische benchmark-nauwkeurigheid.
Formalisatie van het "Nederigheidsdeficit": De auteurs definiëren een nieuwe metriek die de prestatiekloof vertegenwoordigt tussen het vermogen van een model om het juiste antwoord te identificeren (nauwkeurigheid) en zijn vermogen om af te zien van onjuiste antwoorden (betrouwbaarheid).
Ontdekking van een inversie van de schaalwet: Het artikel toont aan dat het vergroten van de modelgrootte de nauwkeurigheid verbetert maar vaak de nederigheid verslechtert, in tegenspraak met traditionele schaalwetten in de context van medische veiligheid.
Semantische gevoeligheidsanalyse: Het onthult dat modelgedrag sterk afhankelijk is van de semantische formulering van onzekerheid, waarbij modellen een voorkeurshierarchie tonen die assertieve afwijzing prioriteert boven het toegeven van onzekerheid.

4. Belangrijkste resultaten

A. Impact van distractors (ruis)

Afname van nauwkeurigheid: Naarmate het aantal distractors toeneemt, daalt de nauwkeurigheid voor alle modellen. Hoewel grotere modellen (bijv. GPT-5.2, Qwen-72B) veerkrachtiger zijn, lijden ze nog steeds aanzienlijke straffen.
Beperkingen van CoT: Chain-of-Thought-redenering verbetert de nauwkeurigheid in gestructureerde taken (MedQA) maar schaadt vaak de prestaties in fundamentele kennis (MedMCQA) en realistische scenario's (JAMA-CC), waarbij de nauwkeurigheid soms met meer dan 10% daalt.

B. Het Nederigheidsdeficit

Actieve afkeer van onthouding: Wanneer de ground truth wordt verwijderd, gokken modellen niet zomaar willekeurig; ze vermijden actief het onthouden. In JAMA-CC onthouden zelfs toptier-modellen (GPT-5.2) slechts ongeveer 50% van de tijd, en kiezen ze de andere 50% voor onjuiste distractors.
Schaalparadox: Naarmate de modelcomplexiteit toeneemt, vergroten het Nederigheidsdeficit zich. Grotere modellen zijn beter in het vinden van antwoorden in gesloten sets, maar zijn minder geneigd toe te geven dat ze het antwoord niet weten in open sets. Bijvoorbeeld: GPT-5.2 toonde de hoogste nauwkeurigheid maar het laagste onthoudingspercentage.
Gevoeligheid voor distractors: Onthoudingspercentages degraderen bijna 3–4 keer sneller dan nauwkeurigheidspercentages naarmate distractors worden toegevoegd.

C. Semantische formulering en agentie

Hierarchie van weigering: Modellen vertonen een strikte voorkeurshierarchie voor onthoudingsopties:
- NA (Assertief) > IDK (Onzekerheid) > INA (Hulpvragend).
De "IDK"-trigger: Het simpelweg toevoegen van een "Ik weet het niet"-optie aan de antwoordruimte veroorzaakt gedragsinstabiliteit.
- De meeste modellen (13/17) schoven niet logisch door naar IDK.
- In plaats daarvan verhoogden veel modellen hun selectie van onjuiste antwoorden of verhoogden ze de assertieve afwijzing (NA) terwijl ze de IDK-optie negeerden.
- GPT-5.2 onthield 50% van de tijd met "NA", maar daalde naar 25% met "IDK", wat acute gevoeligheid toont voor hoe onzekerheid wordt geformuleerd.

D. CoT en redenering

CoT-redenering mitigeert het nederigheidsdeficit gedeeltelijk, maar faalt in het oplossen van de fundamentele misalignering. In sommige gevallen verergert CoT onlogisch gedrag (bijv. het verhogen van onjuiste selectiepercentages wanneer IDK wordt geïntroduceerd).

5. Betekenis en implicaties

Veiligheidskritiek: De bevindingen suggereren dat huidige medische LLM's gevaarlijk overmoedig zijn. Ze prioriteren het voldoen aan de gebruikersprompt (sycofantie) boven klinische veiligheid, en geven vaak zelfverzekerde rechtvaardigingen voor feitelijk onjuiste antwoorden wanneer de juiste optie ontbreekt.
RLHF-bias: De auteurs schrijven deze "sycofantie" en gebrek aan nederigheid toe aan Reinforcement Learning from Human Feedback (RLHF), dat modellen traint om "behulpzaam" en compliant te zijn, en hen onbedoeld leert te gokken in plaats van af te zien wanneer ze het niet zeker weten.
Verschuiving in evaluatieparadigma: Standaard benchmarks zijn ontoereikend voor klinische implementatie. Evaluatie moet verschuiven van het meten van "maximale nauwkeurigheid" naar het meten van "betrouwbaarheid onder ambiguïteit" en "gekalibreerde nederigheid".
Schaalvergroting is geen oplossing: Het simpelweg vergroten van modelparameters lost betrouwbaarheidsproblemen niet op; in feite kan het het gebrek aan epistemische nederigheid in medische contexten verergeren.

Conclusie: Het artikel betoogt dat LLM's voor een veilige implementatie in de geneeskunde evaluatiekaders moeten hebben die expliciet testen op open-wereld betrouwbaarheid, semantische formuleringgevoeligheid en het vermogen om diagnoses achter te houden wanneer klinische signalen ontoereikend zijn. De huidige generatie modellen mist, ondanks hoge benchmark-scores, de nodige nederigheid voor realistische klinische besluitvorming.