💬 NLP

Same Patient, Different Words, Different Diagnosis? Evaluating Semantic Stability in Clinical LLMs

Dit artikel stelt een semantisch verificatiekader en nieuwe metrieken voor om de stabiliteit van 16 klinische en algemene LLM's te evalueren tegen betekenisbehoudende variaties in prompts, waarbij wordt onthuld dat domeinspecialisatie in de gezondheidszorg niet consistent meer robuustheid garandeert.

Oorspronkelijke auteurs: Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Dezelfde Patiënt, Andere Woorden, Andere Diagnose?

Stel je voor dat je een arts bent. Je hebt een patiënt met een specifieke set symptomen. Je schrijft een notitie om de casus te beschrijven. Vervolgens vraag je aan een computerprogramma (een AI) om de diagnose te raden.

Stel je nu voor dat je die notitie herschrijft. Je gebruikt andere woorden, verandert de zinsstructuur, of vervangt een medische term door een alledaagse term (zoals "hartaanval" in plaats van "myocardinfarct"). De betekenis is exact hetzelfde. De patiënt is niet veranderd.

Het Probleem: Het artikel vraat: Als je de AI exact dezelfde vraag stelt maar het anders formuleert, geeft hij dan hetzelfde antwoord?

Helaas ontdekten de onderzoekers dat deze AI-modellen vaak lijken op wispelturige weersvoorspellers. Als je vraagt: "Gaat het regenen?", krijg je misschien een "Ja". Maar als je vraagt: "Is er een kans op neerslag?", kan diezelfde AI plotseling "Nee" zeggen, ook al is het weer niet veranderd. In een ziekenhuis is dit soort inconsistentie gevaarlijk.

De Oplossing: Een "Waarheidsfilter"

Om dit goed te testen, moesten de onderzoekers zeer voorzichtig te werk gaan. Ze konden de AI niet zomaar vragen om dingen te herformuleren, want soms verandert de AI per ongeluk de betekenis (bijvoorbeeld "geen pijn" veranderen in "pijn").

Ze bouwden een meerlagig waarheidsfilter om te garanderen dat de vragen werkelijk identiek waren in betekenis:

De Logica-check (NLI): Ze gebruikten een speciale "logica-robot" die controleert of twee zinnen elkaar logischerwijs impliceren. Als Zin A betekent dat Zin B waar is, en Zin B betekent dat Zin A waar is, dan zijn ze tweelingen.
De AI-rechter: Ze gebruikten een tweede, zeer intelligente AI om het werk van de logica-robot te controleren.
De Menselijke Arts: Ten slotte beoordeelde een echte, bevoegde arts de vragen om er zeker van te zijn dat de medische feiten (doseringen, symptomen, timing) niet per ongeluk waren gewijzigd.

Alleen de vragen die alle drie de tests doorstonden, werden gebruikt voor het experiment.

Het Experiment: Algemene versus Gespecialiseerde Artsen

De onderzoekers testten 16 verschillende AI-modellen. Ze verdeelden ze in twee groepen:

Algemeen gebruikte modellen (GP): Dit zijn als slimme generalisten. Ze hebben alles op het internet gelezen en zijn goed in veel dingen, maar ze zijn geen medische experts door opleiding.
Domeinspecifieke modellen (DS): Dit zijn als gespecialiseerde assistenten. Ze zijn specifiek getraind op medische boeken en patiëntendossiers.

De Hypothese: Iedereen ging ervan uit dat de "Gespecialiseerde Assistenten" (DS-modellen) stabieler en betrouwbaarder zouden zijn wanneer de formulering veranderde dan de "Generalisten" (GP-modellen).

De Verrassing: De gespecialiseerde modellen wonnen niet consistent.

Soms waren de gespecialiseerde modellen stabieler.
Soms waren de algemene modellen stabieler.
Vaak waren ze even wankel als elkaar.

De Analogie: Het is also Bu twee chefs testen. De ene is een meesterchef die alleen Italiaans kookt (Gespecialiseerd), en de andere is een goede kok die elke keuken beheerst (Algemeen). Je vraagt hen een pastagerecht te maken. Als je het gerecht iets anders beschrijft ("kook de noedels" versus "kook de pasta"), zou je verwachten dat de Italiaanse chef consistenter is. Maar de studie toonde aan dat de Italiaanse chef soms in de war raakt door de nieuwe woorden, terwijl de algemene kok kalm blijft. Specialisatie alleen garandeert geen stabiliteit.

De Vertrouwensval: "Ik weet het zeker, maar ik heb het mis"

De onderzoekers keken ook naar hoe zelfverzekerd de AI was in zijn antwoorden.

De Bevinding: De AI gedraagt zich vaak als een ijdel student die het fout heeft, maar denkt dat hij het goed heeft.
Zelfs wanneer de AI van antwoord veranderde omdat de formulering veranderde (wat aantoonde dat hij onstabiel was), behield hij vaak hetzelfde hoge niveau van zelfvertrouwen.
De Analogie: Stel je een student voor die een toets maakt. Als je een vraag anders formuleert, kan hij zijn antwoord veranderen van "A" naar "B". Maar als je vraagt: "Hoe zeker ben je?", zegt hij nog steeds: "100% zeker!" Het artikel vond dat een hoog zelfvertrouwen geen goed teken is dat de AI daadwerkelijk correct of stabiel is.

De Belangrijkste Conclusies

Kleine veranderingen maken uit: Het veranderen van een paar woorden in een medische prompt kan ervoor zorgen dat de AI een compleet andere diagnose geeft, zelfs als de betekenis hetzelfde is.
Training is geen magisch schild: Alleen omdat een AI getraind is op medische gegevens, betekent dit niet dat hij betrouwbaarder zal zijn wanneer de taal varieert.
Zelfvertrouwen is misleidend: Dat een AI zegt "ik ben 99% zeker", betekent niet dat hij niet van mening zal veranderen als je de vraag iets anders stelt.
We hebben betere tests nodig: Voordat we deze AI's in ziekenhuizen vertrouwen, moeten we ze niet alleen testen op of ze één keer het juiste antwoord geven, maar ook op of ze consistent blijven wanneer de woorden veranderen.

Kortom: Het artikel waarschuwt ons dat huidige medische AI's lijken op onbetrouwbare vertalers. Als je tegen hen spreekt in "Medisch Engels", geven ze misschien één antwoord. Als je tegen hen spreekt in "Informeel Engels" (zelfs als dat hetzelfde betekent), kunnen ze een ander antwoord geven. We moeten deze inconsistentie oplossen voordat we hen laten helpen bij het behandelen van patiënten door artsen.

Technische Samenvatting: Evaluatie van Semantische Stabiliteit in Klinische LLM's

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in klinische settings voor taken zoals diagnostische ondersteuning en samenvattingen genereren. Deze modellen vertonen echter een significante gevoeligheid voor kleine linguïstische variaties in de input-prompts (bijv. herformulering, substitutie van synoniemen of syntactische herordening). In veiligheidskritische zorgomgevingen zouden semantisch equivalente inputs consistente voorspellingen moeten opleveren; toch suggereert empirisch bewijs dat de prestaties onder dergelijke variaties met 8–50% kunnen afwijken.

Een primaire methodologische uitdaging bij het evalueren van deze instabiliteit is het gebrek aan betrouwbare semantische verificatie. Bestaande benaderingen die vertrouwen op embedding-gebaseerde gelijkenis-metrieken (bijv. cosinus-gelijkenis) schieten vaak tekort in het vastleggen van klinisch cruciale onderscheiden met betrekking tot negatie, temporaliteit of ernst. Bijvoorbeeld, "patiënt heeft pijn op de borst" en "patiënt ontkent pijn op de borst" kunnen hoge gelijkenisscores ontvangen, ondanks dat ze tegengestelde klinische betekenissen hebben. Zonder rigoureuze verificatie dat prompt-variaties de klinische betekenis werkelijk behouden, is het onmogelijk om onderscheid te maken tussen echte modelinstabiliteit en legitieme reacties op gewijzigde inhoud.

Methodologie

De auteurs stellen een systematisch framework voor om semantische stabiliteit te evalueren met behulp van een rigoureus geverifieerde benchmark en drie nieuwe metrieken.

1. Semantisch Verificatieframework

Om te waarborgen dat prompt-variaties de klinische betekenis behouden, ontwikkelden de auteurs een meerfasige verificatiepipeline:

Variatiegeneratie: Vertrekkend vanuit 200 basisprompts (100 uit MedQA-USMLE en 100 uit DiagnosisQA), werden per prompt 10 betekenisbehoudende variaties gegenereerd met behulp van GPT-4o-mini. Variaties omvatten afkortingsexpansie/-compressie, conversie van klinische naar leken-taal, syntactische herordening en stemtransformatie (voice transformation). Strikte beperkingen verboden het wijzigen van klinische feiten, negatie, temporaliteit of ernst.
NLI-gebaseerde Filtering: Gegenereerde variaties werden gefilterd met behulp van drie vooraf getrainde Natural Language Inference (NLI) modellen (PubMedBERT-MNLI-MedNLI, roberta-large-mnli, en deberta-large-mnli). Een variatie werd alleen behouden als deze voldeed aan bidirectionele implicatie (wederzijdse implicatie) met de oorspronkelijke prompt in ten minste twee van de drie modellen.
Hybride Menselijke-LLM Audit: Een tweefasig verificatieproces werd toegepast:
- Ronde 1: NLI-geverifieerde monsters werden beoordeeld door een LLM-as-a-Judge (gebruikmakend van GPT-5.2 en MedLLaMA3) en een bevoegd klinisch expert.
- Ronde 2: Monsters die door de LLM-judges werden afgewezen, werden opnieuw geëvalueerd door de klinische expert om conservatief gefilterde, maar valide herformuleringen te herstellen die door automatisering waren weggefilterd.
- De uiteindelijke benchmark bestaat uit 1.761 geverifieerde betekenisbehoudende variaties.

2. Evaluatiemetrieken

De studie introduceert drie metrieken om modelgevoeligheid te kwantificeren:

Betekenisbehoudende Variatiegevoeligheid (MVS): Het aandeel geverifieerde variaties dat resulteert in een verandering in de voorspelde output van het model ten opzichte van de basisprompt.
Confidentievariatie ( $\Delta$ C): De gemiddelde absolute verandering in de maximale voorspelde waarschijnlijkheid (confidentie) van het model over variaties heen, zelfs wanneer de voorspelde output ongewijzigd blijft.
Worst-Case Instabiliteit (WCI): Een per-sample metriek die aangeeft of een enkele geverifieerde variatie ervoor zorgt dat het model wisselt van een correcte naar een incorrecte voorspelling (of vice versa).

3. Experimentele Opzet

Het framework evalueerde 16 open-source LLM's (8 algemeen bruikbare [GP] en 8 domeinspecifieke [DS]) over overeenkomstige families en parameterschalen (1.5B tot 8B). Modellen werden getest onder 4-bit NF4-kwantisatie met half-precision inferentie. Voorspellingen werden deterministisch afgeleid van token-waarschijnlijkheden om semantische gevoeligheid te isoleren van sampling-ruis.

Belangrijkste Resultaten

1. Domeinspecialisatie Garandeert Geen Robuustheid

In tegenstelling tot de aanname dat medische fine-tuning de stabiliteit waarborgt, laten de resultaten zien dat robuustheid sterk modelafhankelijk is en niet strikt domeinafhankelijk.

Gemengde Prestaties: Verschillende DS-modellen stonden hoog in de ranglijst van meest robuuste modellen, maar sterke GP-baselines (bijv. LLaMA3.1-8B, Qwen2.5-7B) waren even competitief of zelfs competitiever.
Geen Universeel Voordeel: Statistische analyse (gepaarde permutatietesten) toonde geen consistent bewijs dat domeinspecialisatie de robuustheid verbetert. In sommige gevallen (bijv. MedQwen2.5-7B op MedQA) waren DS-modellen significant minder robuust dan hun GP-tegenhangers.
Catastrofaal Vergeten: Sommige DS-modellen (bijv. MediChat-LLaMA3-8B) presteerden slechter dan hun GP-tegenhangers, wat suggereert dat adaptatiestrategieën algemene redeneercapaciteiten kunnen degraderen.

2. Taakcomplexiteit Versterkt Instabiliteit

Modellen vertoonden hogere gevoeligheid (hogere MVS en WCI) op de complexere MedQA-dataset vergeleken met DiagnosisQA. Dit duidt erop dat semantische stabiliteit afneemt naarmate de eisen voor redeneren toenemen. Specifieke linguïstische transformaties, zoals Question Reframing (vraagherformulering) en Clinical-to-Lay Language (conversie van klinische naar leken-taal), bleken het meest disruptief, terwijl oppervlakkige bewerkingen (zoals afkortingsexpansie) minimale impact hadden.

3. Zwakke Alignement Tussen Confidentie en Stabiliteit

Confidentie vs. Voorspelling: Er is slechts een zwak verband tussen voorspellingsinstabiliteit (MVS) en confidentievariatie ( $\Delta$ C). Modellen behouden vaak een hoge mate van zelfvertrouwen, zelfs wanneer hun voorspellingen omslaan onder semantisch equivalente herformuleringen.
Overbevestiging (Overconfidence): Veel modellen bleven overbevestigd ondanks verminderde robuustheid of lage nauwkeurigheid. Zo behaalde Qwen2.5-3B slechts 40% nauwkeurigheid op MedQA terwijl het een confidentie van 0.90 rapporteerde.
Kalibratieproblemen: De correlatie tussen confidentie en nauwkeurigheid was matig op DiagnosisQA ( $r=0.41$ ) en zwak op MedQA ( $r=0.18$ ), wat aangeeft dat confidentie-scores geen betrouwbare indicatoren zijn voor juistheid of robuustheid in medische QA.

4. Impact van Kwantisatie

De studie vond dat 4-bit NF4-kwantisatie een verwaarloosbare impact had op de stabiliteitsmetrieken voor de meeste modellen, met slechts kleine, dataset-afhankelijke variaties in WCI.

Betekenis en Claims

Het artikel betoogt dat medische fine-tuning alleen niet betrouwbaar garandeert dat een model stabiel gedrag vertoont onder natuurlijke prompt-variaties. De auteurs claimen dat:

Robuustheid is niet inherent aan domeinspecialisatie: Het inzetten van een medisch gefinetuned model garandeert niet automatisch semantische invariantie; robuustheid hangt meer af van architectuur, schaal en trainingskwaliteit dan van de aanwezigheid van medische data.
Huidige evaluatie is onvoldoende: Standaard benchmark-nauwkeurigheid is een inadequate maatstaf voor klinische gereedheid. Modellen kunnen competent lijken op statische prompts, terwijl ze fataal falen onder kleine, betekenisbehoudende herformuleringen.
Confidentie is misleidend: Een hoge model-confidentie moet niet worden geïnterpreteerd als een signaal van stabiliteit of juistheid, aangezien modellen vaak sterke zekerheid uiten zelfs wanneer hun outputs fragiel zijn.
Noodzaak voor Expliciete Robuustheidsevaluatie: Voordat LLM's klinisch worden ingezet, moeten ze een expliciete robuustheidsevaluatie ondergaan met betekenisbehoudende variaties die zijn geverifieerd via geprincipeerde semantische methoden (zoals NLI), in plaats van eenvoudige gelijkenis-metrieken.

De studie concludeert dat semantische stabiliteit moet worden behandeld als een kernvereiste voor healthcare AI, wat een verschuiving vereist van enkelvoudige prompt-nauwkeurigheidsbeoordelingen naar systematische sensitiviteitsanalyse.