Medical errors in large language models revealed using 1,000 synthetic clinical transcripts

Dit onderzoek onthult dat grote taalmodellen, ondanks een hoge diagnostische nauwkeurigheid bij volledige patiëntgeschiedenissen, bij onvolledige klinische transcripten gevaarlijke fouten maken door essentiële onderzoeken af te raden en triage onveilig te verlagen, met name bij vrouwelijke patiënten.

De kern

De Medische AI die te snel oordeelt: Een verhaal over 1.000 uitvindingen

Stel je voor dat je een superintelligente robotarts hebt. Deze robot is getraind op miljoenen medische boeken en kan diagnoses stellen alsof het niets is. Maar wat gebeurt er als je die robot niet een perfect, schoon medisch dossier geeft, maar een rommelig, onvolledig gesprek zoals je dat in de echte wereld tegenkomt?

Dat is precies wat onderzoekers van het Imperial College London hebben onderzocht. Ze hebben een digitale simulatie-machine gebouwd die 1.000 unieke, nep-patiënten creëerde. Deze machine is als een enorme toneelgroep die 1.000 verschillende rollen speelt: van de ouderwetse, kortaf pratende meneer tot de paniekerige dame die alles uit de doeken doet, en alles daartussenin.

Hier is wat ze ontdekten, vertaald in begrijpelijke taal:

1. De "Textboek" Valstrik

Tot nu toe testen we medische AI's met "textboek-gevallen". Dat zijn perfecte scenario's: "De patiënt heeft een hoofdpijn die 3 dagen duurt, aan de linkerkant, met lichtschuwheid. Wat is het?" (Antwoord: Migraine).
In de echte wereld is het echter vaak: "Ik heb een pijn, ik weet niet hoe lang, het voelt raar, en ik heb gisteren nog koffie gedronken..."
De onderzoekers zeiden: "Laten we stoppen met die perfecte testjes en de AI's echt onder druk zetten." Ze lieten de AI's 1.000 van die rommelige, onvolledige gesprekken lezen.

2. De Robot die te zeker is

Het meest verrassende (en gevaarlijke) resultaat was dit: De AI's durfden niet om meer informatie te vragen.
In de echte wereld, als een arts niet genoeg informatie heeft, zegt hij: "Ik weet het niet zeker, laten we eerst een scan maken of een bloedtest doen."
De AI's deden het tegenovergestelde. Als ze maar een klein beetje informatie hadden, maakten ze direct een vast besluit. Ze dachten: "Oké, ik heb niet alles gehoord, maar ik ga ervan uit dat het niets is."

• Het gevaar: Bij levensgevaarlijke situaties (zoals een hersenbloeding of een tumor) adviseerden de AI's vaak: "Geen paniek, ga maar rusten en drink een kopje thee." In plaats van te zeggen: "Dit klinkt als een noodgeval, ga direct naar het ziekenhuis!"
• De analogie: Het is alsof je een detective bent die een moordzaak onderzoekt. Als hij maar één verdachte heeft gezien, zegt hij: "Geen zorgen, het was een ongeluk," in plaats van: "Ik heb niet genoeg bewijs, laten we de hele stad afzoeken."

3. De "Mini" vs. De "Pro"

Ze testten twee modellen: een zeer slimme versie (GPT-5.2) en een snellere, goedkopere versie (GPT-5-mini).

• De slimme versie was goed in het stellen van de juiste diagnose als ze alles wisten (97,5% goed). Maar zelfs zij maakten gevaarlijke fouten bij onvolledige informatie.
• De kleine versie deed het veel slechter. Ze gaf vaker verkeerde medicijnen (zoals pijnstillers die gevaarlijk kunnen zijn) en stuurde patiënten met ernstige klachten naar huis.
• De les: Je kunt niet zomaar de goedkoopste, snelste AI gebruiken voor medisch advies. Net als bij een auto: een goedkope tweedehands auto is prima om naar de supermarkt te gaan, maar niet om een Formule 1-race te rijden.

4. Vooroordelen en ongelijkheid

De AI's hadden ook een rare bias (vooroordeel). Vrouwen kregen vaker het advies om "zelf te regelen" of "wacht maar even" dan mannen, zelfs als ze dezelfde ernstige symptomen hadden.

• De analogie: Het is alsof een automatische tolpoort voor vrouwen langzamer opent dan voor mannen, zelfs als beide auto's dezelfde snelheid hebben. De AI "dacht" dat vrouwen minder serieus moesten worden genomen.

5. Waarom is dit zo belangrijk?

De onderzoekers zeggen: "We moeten stoppen met het testen van AI's met perfecte quizvragen. We moeten ze testen in de 'modderige' realiteit."
Als we AI's in ziekenhuizen of apps zetten die miljoenen mensen gebruiken, moeten we zeker weten dat ze niet te snel oordelen. Ze moeten leren dat "ik weet het niet" een veiliger antwoord is dan "ik denk dat het niets is" als er te weinig informatie is.

Samenvattend:
Deze studie is als een crashtest voor medische AI's. Ze lieten zien dat hoewel deze robots slim zijn in het memoriseren van feiten, ze nog niet slim genoeg zijn in het voorzichtig zijn. Ze missen de menselijke intuïtie om te zeggen: "Wacht, ik heb niet genoeg info, laat ons eerst verder kijken." Zolang ze dat niet kunnen, zijn ze nog te gevaarlijk om volledig op te vertrouwen als je echt ziek bent.

Technische samenvatting

Probleemstelling

Huidige evaluaties van medische Large Language Models (LLM's) vertrouwen voornamelijk op kleine datasets met zorgvuldig gecureerde, "leermiddel-achtige" casuïstiek. Deze methoden falen in het weergeven van de complexe, rommelige realiteit van klinische ontmoetingen, waar presentaties vaak atypisch zijn, geschiedenissen fragmentarisch zijn en communicatiestijlen divers zijn.
De kern van het probleem is dat LLM's, wanneer ze geconfronteerd worden met onvolledige informatie (wat in de praktijk de norm is), niet het nodige klinische oordeel tonen om om opheldering te vragen. In plaats daarvan neigen ze naar overmoedige, definitieve aanbevelingen die kunnen leiden tot gevaarlijke medische fouten, vooral bij zeldzame of levensbedreigende aandoeningen. Er is een dringende behoefte aan schaalbare evaluatiemethoden die deze "randgevallen" en de impact van onvolledige data kunnen testen.

Methodologie

De auteurs ontwikkelden een hoogdoorvoer-simulatie-engine om 1.000 unieke, synthetische arts-patiënt transcripties te genereren. Deze methologie combineert absolute experimentele controle met realistische, natuurlijke taal.

1. Case Generatie:

   • Er werden 33 verschillende hoofdpijn- en gezichtspijn-diagnoses geselecteerd op basis van de International Classification of Headache Disorders (ICHD-3).
   • In plaats van te vertrouwen op epidemiologische prevalentie (wat zou leiden tot bias naar veelvoorkomende gevallen), werd een gebalanceerde verdeling gehandhaafd over alle 33 diagnoses.
   • Voor elke casus werden "ground-truth" fenotypische feiten vastgesteld die strikt voldeden aan de ICHD-3-criteria.

2. Transcriptie Simulatie:

   • Patiënt Persona's: Er werden 7 communicatie-eigenschappen gevarieerd (bijv. verbaaliteit, geletterdheid, Engels beheersing, geheugenbetrouwbaarheid, focus, openheid en framing van pijn). Dit creëerde 3.645 unieke persona's.
   • Dynamische Transcripties: Een lokale LLM (GPT-OSS 20B) genereerde natuurlijke antwoorden op een gestandaardiseerd arts-script, gebaseerd op de fenotypische feiten en de gekozen persona.
   • Informatie Compleetheid: Om het effect van onvolledige data te testen, werden de transcripties systematisch gereduceerd naar vijf niveaus van informatie-inhoud: 20%, 40%, 60%, 80% en 100% van de vereiste klinische kenmerken.

3. Evaluatie Protocol:

   • Twee frontier LLM's werden getest: GPT-5.2 (een state-of-the-art redeneringsmodel) en GPT-5-mini (een efficiënter model dat vaak in publieke gezondheidstools wordt gebruikt).
   • De modellen kregen de transcripties en moesten 7 klinische beslissingen nemen:
     1. Prioriteren van differentiaaldiagnoses.
     2. Aanbevelingen voor diagnostische procedures (CT, MRI, Lumbale Punctie).
     3. Farmacologische interventies (Indomethacine, Codeïne).
     4. Triage-urgentie (directe spoedeisende hulp vs. zelfmanagement).
   • De output werd vergeleken met de deterministische ground truth.

Belangrijkste Bijdragen

• Nieuwe Evaluatieparadigma: De studie introduceert een schaalbare, hoogdoorvoer-simulatie die medische AI-evaluatie transformeert van "snapshot"-tests naar een uitgebreide "stress-test" voor klinische veiligheid.
• Granulaire Analyse van Onzekerheid: Het is de eerste studie die systematisch de degradatie van LLM-prestaties analyseert bij het variëren van informatie-inhoud (van 20% tot 100%) in natuurlijke dialoog.
• Ontmaskering van Risicokalibratie: De methologie onthult dat hoge diagnostische nauwkeurigheid niet garandeert dat een model veilig handelt bij onvolledige informatie.

Resultaten

1. Diagnostische Nauwkeurigheid vs. Veiligheid:

   • Met volledige geschiedenis (100%) behaalde GPT-5.2 een hoge nauwkeurigheid van 97,5%. GPT-5-mini scoorde lager (84,9%).
   • Echter, bij onvolledige informatie (20%) daalde de prestatie drastisch. Hoewel GPT-5.2 nog steeds vaak de juiste diagnose noemde, faalde het in de beheer van onzekerheid.

2. Gevaarlijke Aanbevelingen bij Onvolledige Data:

   • Onderzoek: In plaats van om meer informatie te vragen, gaven de modellen vaak definitieve adviezen om essentiële onderzoeken af te raden. Bijvoorbeeld: in gevallen van subarachnoïdale bloeding (SAH) werd in 100% van de gevallen met onvolledige data (≤40%) een lumbale punctie afgeraden, zelfs als de diagnose in de differentiaal was opgenomen.
   • Triage: Voor levens- of gezichtsbedreigende noodsituaties (zoals SAH, meningitis, arteritis temporalis) downgradeerden de modellen de triage onterecht naar "zelfmanagement" of "routine follow-up". Bij GPT-5-mini gebeurde dit in 54,8% van de gevallen bij 20% informatie-inhoud.
   • Medicatie: GPT-5-mini raadde onveilig codeïne aan in 16,1% van alle gevallen, en dit percentage steeg tot 21,7% bij onvolledige informatie. Ook werd onveilig indomethacine voorgeschreven bij SAH.

3. Demografische Bias:

   • Er werd een significant bias gevonden ten opzichte van geslacht. GPT-5.2 adviseerde vrouwelijke patiënten vaker onveilige triage dan mannelijke patiënten (odds ratio 3,2). Dit was het meest uitgesproken bij vrouwen tussen de 30 en 50 jaar.

4. Modelverschillen:

   • GPT-5.2 presteerde over het algemeen beter dan GPT-5-mini, maar beide modellen vertoonden dezelfde fundamentele veiligheidsfouten bij onvolledige data. GPT-5-mini was echter consequent onveiliger en gaf vaker ongeschikte medicatievoorschriften.

Betekenis en Conclusie

De studie concludeert dat huidige LLM's een fundamenteel tekort hebben aan klinische risicokalibratie. Menselijke artsen neigen bij onvolledige informatie naar het "slechtste scenario" (rule-out van must-not-miss diagnoses), terwijl LLM's de afwezigheid van bewijs onterecht interpreteren als afwezigheid van ziekte. Dit leidt tot een gevaarlijke afname van de zorgintensiteit precies wanneer deze het meest nodig is.

Kernboodschappen:

• Modelselectie is cruciaal: Goedkopere, kleinere modellen (zoals "mini"-varianten) zijn niet geschikt voor klinische toepassingen waar veiligheid en precisie vereist zijn.
• Nieuwe Evaluatiestandaard: Traditionele tests op "textbook"-casuïstiek zijn ontoereikend. Evaluatie moet plaatsvinden via schaalbare simulaties met onvolledige data en diverse communicatiestijlen.
• Noodzaak van Veiligheidsmechanismen: Toekomstige medische AI moet worden uitgerust met algoritmische "guardrails" die het model dwingen om onzekerheid toe te geven en verdere informatie te vragen, in plaats van overmoedige, potentiële dodelijke aanbevelingen te doen.

De auteurs waarschuwen dat het integreren van deze technologieën in de gezondheidszorg zonder deze strenge stress-tests en correcties een groot risico vormt voor de patiëntveiligheid.