Aggregate benchmark scores obscure patient safety implications of errors across frontier language models

De studie toont aan dat geaggregeerde benchmarkscores de klinische veiligheidsimplicaties van fouten in frontier taalmodellen voor gezondheidszorg verdoezelen, omdat variaties in triage-richting, contextuele bias en crisisrespons niet worden weergegeven door de algehele nauwkeurigheid.

De kern

Titel: Waarom een hoge cijfer niet betekent dat een AI-arts veilig is

Stel je voor dat je een nieuwe auto koopt. De verkoper laat je een rapport zien met een gemiddeld cijfer van 8,5/10. Dat klinkt geweldig, toch? Maar wat als je niet weet dat die auto op de snelweg perfect rijdt, maar bij het remmen in de regen volledig uitvalt? Of dat hij soms te hard remt en je bijna laat vallen, en soms te laat remt waardoor je een ongeluk krijgt?

Dat is precies wat deze studie doet met de nieuwste kunstmatige intelligentie (AI) die mensen gebruiken voor medische vragen.

Het probleem: De "Gemiddelde Cijfer"-valkuil

De onderzoekers keken naar negen verschillende AI-modellen (zoals de nieuwste versies van ChatGPT, Claude en Gemini) die mensen gebruiken om te vragen: "Is dit een noodgeval of kan ik morgen naar de huisarts?"

De fabrikanten geven vaak één groot gemiddeld cijfer (bijvoorbeeld "87% accuraat"). Maar in de medische wereld is hoe je fout gaat, belangrijker dan hoe vaak je fout gaat.

De auteurs gebruiken een mooie analogie:

• Onder-triage (Te weinig zorg): De AI zegt: "Geen zorgen, ga naar huis," terwijl de patiënt eigenlijk direct naar de spoedeisende hulp moet. Dit is als een brandweerman die zegt: "Dat is maar een klein vonkje," terwijl het huis in brand staat. Gevaarlijk.
• Over-triage (Te veel zorg): De AI zegt: "Bel direct 112," terwijl de patiënt alleen een verkoudheid heeft. Dit is als een brandweerman die met een blusboot komt voor een klein vuurtje in de keuken. Ongemakkelijk en duur, maar niet levensgevaarlijk.

Een gemiddeld cijfer van 87% kan betekenen dat een model perfect is, of dat het 50% van de tijd te weinig doet en 50% van de tijd te veel doet. Die twee situaties zijn totaal verschillend voor de veiligheid van de patiënt, maar het gemiddelde cijfer ziet ze als hetzelfde.

Wat vonden ze? (De verrassingen)

1. Hogere cijfers = Niet per se veiliger
   Sommige modellen hadden een heel hoog gemiddeld cijfer, maar bleken juist heel vaak onder-triage te doen (ze lieten mensen met levensgevaarlijke symptomen naar huis sturen). Een ander model had een iets lager cijfer, maar was juist heel voorzichtig en verwees iedereen naar de dokter. Het gemiddelde cijfer vertelde je niets over dit cruciale verschil.

2. De "Vriend die het klein houdt"
   De onderzoekers testten wat er gebeurde als iemand in de vraag zei: "Mijn vriend zegt dat het wel meevalt."

   • Resultaat: Bijna alle AI-modellen werden dan slimmer in het negeren van de symptomen. Ze dachten: "Ah, de vriend zegt dat het niet erg is, dus ik zeg ook dat het niet erg is."
   • Gevolg: Mensen met twijfelachtige, maar ernstige symptomen werden vaker naar huis gestuurd. Dit gebeurde bij alle modellen, ongeacht hoe "slim" ze waren. Het is alsof een dokter luistert naar een vriend die zegt: "Het is niets," en dan zelf ook stopt met kijken.

3. Zelfmoord en hulpbronnen
   Als mensen aangaven dat ze suïcidale gedachten hadden, gaven de AI-modellen vaak geen telefoonnummer voor hulp (zoals 0800-047 of 113). Soms deden ze dit wel, soms niet. Het was een groot loterijspel. Als je in crisis bent, wil je niet dat de AI "vergeten" is om je te helpen.

4. Nieuwe versies = Niet per se beter
   De onderzoekers keken naar de allernieuwste modellen (bijv. GPT-5.4 vs. GPT-5.2). Soms was de nieuwste versie juist veiliger, maar soms maakte hij juist meer ernstige fouten dan de oude versie. Je kunt dus niet zomaar aannemen dat "nieuwer" altijd "veiliger" is.

De conclusie in het kort

Deze studie zegt: Stop met kijken naar alleen het gemiddelde cijfer.

Het is alsof je een dokter beoordeelt op basis van hoeveel patiënten hij in totaal heeft gezien, in plaats van te kijken of hij de juiste diagnose stelde bij de mensen die het echt nodig hadden.

Als we AI willen gebruiken voor onze gezondheid, moeten we kijken naar:

• Hoe vaak laat hij mensen met een noodgeval naar huis sturen?
• Wordt hij beïnvloed door wat een vriend zegt?
• Geeft hij hulp bij mentale crisissen?

Zolang we alleen kijken naar het "gemiddelde cijfer", zien we de gevaren die voor ons liggen. We hebben een nieuwe manier van testen nodig die kijkt naar de richting van de fouten, niet alleen naar het aantal fouten.

Kortom: Een hoge score op een test betekent niet dat de AI een veilige arts is. Soms is een model dat "veiligheid" kiest door te veel naar de dokter te verwijzen, veiliger dan een model dat "slim" lijkt maar mensen in gevaar laat.

Technische samenvatting

Probleemstelling

Grenswaarde-taalmodellen (frontier language models) worden steeds vaker gebruikt voor gezondheidsgerelateerde vragen. Echter, de huidige evaluatiemethoden vertrouwen te sterk op aggregatie-scores (zoals algemene nauwkeurigheid) die de klinische ernst van fouten verdoezelen. In de zorg hebben fouten in verschillende richtingen fundamenteel verschillende gevolgen: het missen van een noodsituatie (under-triage) is niet gelijkwaardig aan het aanbevelen van onnodige zorg (over-triage). Bestaande benchmarks rapporteren vaak alleen de totale nauwkeurigheid, waardoor systematische veiligheidsrisico's en contextuele vertekeningen onzichtbaar blijven. De auteurs stellen dat deze aggregatie het onmogelijk maakt om de klinische veiligheid van ingezette modellen te karakteriseren, te rangschikken of te voorspellen.

Methodologie

De auteurs hebben een bestaand benchmark-ontwerp (oorspronkelijk ontwikkeld voor ChatGPT-Health) toegepast op negen verschillende frontier-modellen van grote commerciële en open-weight providers (waaronder OpenAI, Anthropic, Google, DeepSeek en Meta).

• Dataset: De studie gebruikte 960 gestructureerde klinische scenario's (vignettes) verdeeld over vier ernstniveaus: Thuis (A), Routine (B), Dringend (C) en Spoedeisende Hulp nu (ED Now - D).
• Variabelen: Elke vignette werd gepresenteerd met systematische variaties in:
  • Demografie (ras en geslacht).
  • Toegangsbarrières (bijv. geen verzekering, buiten kantoortijden).
  • Ankerzinnen (contextuele beïnvloeding, zoals een metgezel die symptomen minimaliseert).
• Evaluatie:
  • De modellen werden via API bevraagd met identieke prompt-templates.
  • Voor inferentiemodels werden 10 onafhankelijke steekproeven genomen per scenario; het modale antwoord werd gebruikt als eindresultaat.
  • Fouten werden niet alleen als "juist" of "onjuist" geclassificeerd, maar specifiek onderverdeeld in under-triage (aanbeveling lager dan het gold-standaard niveau) en over-triage (aanbeveling hoger dan het gold-standaard niveau).
  • Speciale aandacht ging uit naar "edge cases" (scenario's met een dubbel gold-standaard over aangrenzende niveaus) en suicidale scenario's (waarbij het noemen van crisisresources werd gemeten).
• Statistiek: Er werden gemengde-logistische regressiemodellen gebruikt om de associatie tussen contextfactoren en triage-uitkomsten te testen, met correctie voor meervoudige toetsing (Holm-Bonferroni).

Belangrijkste Resultaten

1. Verborgen Heterogeniteit in Foutrichting:

   • De "in-range" nauwkeurigheid (algemene score) varieerde slechts marginaal tussen de modellen (75,0% tot 87,7%). Deze scores suggereren vergelijkbare prestaties.
   • Bij ontleding van de foutrichting bleek echter een enorme variatie:
     • Under-triage: Varieerde van 0,0% (GPT-5.2) tot 12,3% (GPT-5-mini).
     • Over-triage: Varieerde van 9,4% (GPT-5-mini) tot 36,9% (Gemini-2.5-Pro).
   • Er was geen correlatie tussen de algemene nauwkeurigheid en de under-triage-ratio. Een model met een hoge algemene score kon dus een hoog risico lopen op het missen van noodsituaties.

2. Kritieke Fouten bij Noodgeval (ED Now):

   • Bij de meest kritieke scenario's (ED Now) varieerde de under-triage-ratio van 0% (GPT-5.2, Gemini-2.5-Pro) tot 75% (GPT-5-mini).
   • Opmerkelijk: De nieuwste flagship-versie (GPT-5.4-Thinking) vertoonde een statistisch significant hogere under-triage-ratio dan de vorige versie (GPT-5.2), wat aantoont dat nieuwere modelreleases niet automatisch veiliger zijn.

3. Contextuele Vertrekking (Anker-effect):

   • Wanneer familieleden of begeleiders symptomen minimaliseerden ("Anchoring"), neigden alle geteste modellen sterk naar een lagere triage-urgentie in dubbelzinnige gevallen. De odds ratio (OR) voor het verlagen van de urgentie varieerde van 2,9 tot 14,9.
   • Dit was het enige contextuele effect dat consistent significant was over alle modellen heen.
   • Toegangsbarrières (zoals gebrek aan verzekering) verhoogden het under-triage-risico in zes van de tien modellen.
   • Ras en geslacht waren geen significante voorspellers van triage-fouten in dit specifieke benchmark-ontwerp.

4. Crisisinterventie:

   • De frequentie waarmee modellen crisisresources (zoals het suicide-hulplijnnummer 988) noemden bij suïcidale scenario's was laag en zeer variabel (mediaan 31,2% met objectieve bevindingen, 25,0% zonder). Er was geen consistent patroon tussen de modellen.

Bijdragen en Significatie

• Kritiek op Bestaande Benchmarks: De studie demonstreert dat aggregatie-scores ontoereikend zijn voor het beoordelen van klinische veiligheid. Modellen kunnen "hoog scoren" op algemene nauwkeurigheid terwijl ze systematisch gevaarlijke fouten maken in specifieke richtingen (bijv. het negeren van noodsituaties).
• Nieuwe Evaluatiestandaard: De auteurs pleiten voor het standaard rapporteren van directionele foutpercentages (under- vs. over-triage), gesplitst per ernstniveau en context. Dit is essentieel om de asymmetrische schade van fouten in de zorg te begrijpen.
• Veiligheid vs. Prestatie: De resultaten tonen aan dat "gezondheidsbranding" (zoals specifieke medische modelvarianten) zonder een gedetailleerd profiel van foutrichting geen betrouwbare indicator is voor veiligheid.
• Implicaties voor Deployments: Voor zorgverleners en beleidsmakers is het cruciaal om niet alleen naar de totale nauwkeurigheid te kijken, maar specifiek naar de kans dat een model een noodsituatie mist (under-triage), aangezien dit de meest schadelijke fout is.

Conclusie:
De studie waarschuwt dat de huidige evaluatiekaders de veiligheidsrisico's van AI in de zorg maskeren. Zonder het analyseren van de richting en context van fouten, kunnen modellen die ogenschijnlijk goed presteren, in de praktijk leiden tot ernstige patiëntschade door het negeren van noodsituaties of het niet bieden van crisisinterventie.