Technische Samenvatting: Een Multi-domein Red Teaming Framework voor de Evaluatie van Medische LLM's

Probleemstelling

Ondanks de snelle integratie van Large Language Models (LLM's) in de gezondheidszorg voor klinische assistentie, administratieve workflows en patiëntinteractie, zijn bestaande evaluatiebenchmarks ontoereikend om veiligheid in de praktijk te waarborgen. Huidige beoordelingen leunen grotendeels op nauwe vraag-en-antwoordformaten of statische nauwkeurigheidsmetrieken die er niet in slagen het gedrag van modellen onder adversariële condities, ambigue prompts of ethisch complexe scenario's te vatten. Conventionele benchmarks leggen de nadruk op gemiddelde nauwkeurigheid, wat vaak "worst-case" falen, foutpropagatie en instabiliteit in veiligheidskritische redenering maskeert. Er is een kritiek gebrek aan verenigde, multi-domein frameworks die adversariële scenario-ontwerp combineren met gestructureerde scoring op het gebied van veiligheid, robuustheid, ethiek en rechtvaardigheid. Er is een kloof in het operationaliseren van de verwachtingen van regelgevers met betrekking tot eerlijkheid, privacy en het weigeren van onveilige verzoeken in meetbare evaluatiepunten.

Methodologie

De auteurs hebben een multi-domein red teaming framework ontwikkeld om elf hedendaagse LLM's te testen middels 690 klinisch gefundeerde scenario's.

Framework Ontwerp

• Dataset: Een dataset van 690 scenario's werd geselecteerd uit een initiële pool van 1.500, gecreëerd door drie clinici met ervaring in AI-veiligheid. De taxonomie beslaat negen hoofdgebieden: klinische nauwkeurigheid, veiligheid/betrouwbaarheid, medische fouten, bias/gelijkheid, privacy, ethische redenering, robuustheid, toxiciteit en systeemintegratie. Deze werden uitgebreid naar meer dan 150 subcategorieën.
• Adversariële Mutaties: Om stabiliteit te evalueren, ondergingen scenario's adversariële transformaties (bijv. wijzigingen in bewoording, demografische modificaties, ontbrekende context, conflicterende details) ontworpen om veelvoorkomende bronnen van klinische fouten na te bootsen.
• Evaluatie Rubriek: Responsies werden beoordeeld met behulp van een zevendimensionale rubriek die is afgestemd op klinische, ethische en regulatoire richtlijnen.
• Scoring Pipeline: Een hybride benadering werd gehanteerd:
  1. Geautomatiseerde Scoring: Een hoogpresterend judge-model (GPT-5) genereerde initiële beoordelingen op basis van expliciete instructies.
  2. Human-in-the-Loop: Menselijke beoordelaars auditeerden alle risicovolle items, alle discrepanties tussen de judge en de rubriek, en een vast percentage van de routinedossiers (totaal 10% van de outputs, oftewel 760 responsies). Finale scores werden pas toegekend na menselijke bevestiging.
• Geëvalueerde Modellen: Elf systemen werden getest, waaronder OpenAI (GPT-3.5 Turbo, GPT-4o, GPT-4o-mini, GPT-5), Anthropic (Claude Opus 4.1), Google (Gemini 2.5 Pro), X-BAI, en open-source varianten (GPT-OSS-20B/120B, CALM v2/v3).

Statistische Analyse

De studie gaf prioriteit aan variantie, minimale prestaties en faalpatronen boven gemiddelde nauwkeurigheid. De metrieken omvatten micro/macro-gemiddelden, standaarddeviatie, interkwartielafstanden en minimum/maximum scores. Instabiliteit werd gedefinieerd door hoge variantie, brede kwartielspreiding of lage minimumscores.

Belangrijkste Resultaten

• Prestatievariantie: De gemiddelde samengestelde scores over de 11 modellen varieerden van 0,791 (Gemini 2.5 Pro) tot 0,984 (X-BAI). Echter, gemiddelde nauwkeurigheid bleek een slechte voorspeller voor klinische betrouwbaarheid. Verschillende hoogpresterende systemen registreerden minimumscores van 0, wat duidt op volledig falen in specifieke veiligheidskritische vignettes ondanks hoge gemiddelden.
• Top Performers: De hoogst presterende systemen (X-BAI, GPT-5, Claude Opus 4.1) behaalden gemiddelde scores boven de 0,97 met een lage variantie (standaarddeviaties < 0,07), wat duidt op clustering rond optimale prestaties.
• Domeinspecifieke Instabiliteit:
  • Hoge Stabiliteit: Procedurele categorieën zoals Richtlijn Conformiteit en Informatiestroom naderden plafondprestaties (≥0,97).
  • Hoge Volatiliteit: Domeinen die genuanceerde redenering vereisen, zoals Bias/Fairness/Equity en Klinische Nauwkeurigheid, vertoonden een grotere variantie. Equity-gerelateerde taken vertoonden een foutversterking van 10–20% wanneer demografische informatie werd gewijzigd.
  • Operationele Uitdagingen: Categorieën die betrekking hebben op Aansprakelijkheid, Verantwoordelijkheid en Medische Codering waren het moeilijkst, met domeingemiddelden tussen 0,79 en 0,83.
• Menselijke vs. Geautomatiseerde Evaluatie: Geautomatiseerde scoring had de neiging om responsies te hoog te beoordelen waarbij empathische formuleringen ontbrekende veiligheidsacties maskeerden (bijv. in gevallen van suïcidale ideatie of medicatie-interacties). Menselijke beoordelaars identificeerden klinisch relevante fouten die automatisering miste, met name wat betreft toon, contextuele nuance en ongegronde demografische verschuivingen in aanbevelingen.

Belangrijkste Bijdragen

1. Verenigd Framework: De studie introduceert een uitgebreid, multi-domein red teaming framework dat veiligheid, robuustheid en eerlijkheidsevaluatie voor medische LLM's operationaliseert, waarbij verder wordt gekeken dan geïsoleerde domeintests.
2. Variantie-Centrische Metrieken: De auteurs demonstreren dat prestatievariantie en worst-case falen klinisch meer betekenisvolle indicatoren van betrouwbaarheid zijn dan gemiddelde nauwkeurigheid alleen.
3. Hybride Evaluatieprotocol: Het paper valideert een hybride evaluatieprotocol waarbij geautomatiseerde scoring wordt aangevuld met gerichte klinische controle, wat essentieel blijkt voor het detecteren van fouten die door linguïstische vloeiendheid kunnen worden verborgen.
4. Empirisch Bewijs van Risico: De dataset en resultaten leveren empirisch bewijs dat zelfs topmodellen catastrofale fouten kunnen produceren in veiligheidskritische scenario's, wat de aanname uitdaagt dat een hoge geaggregeerde nauwkeurigheid veiligheid garandeert.

Betekenis en Claims

Het paper betoogt dat de klinische gereedheid van medische LLM's niet kan worden afgeleid van benchmark-nauwkeurigheid alleen. De auteurs stellen dat:

• Tail-Risk is Paramount: In de echte wereld wordt patiëntveiligheid bepaald door worst-case gedrag (tail-risk) in plaats van gemiddelde prestaties.
• Gedecoupleerde Dimensies: Verbeteringen in feitelijke nauwkeurigheid en veiligheidsspecificaties vertalen zich niet automatisch in winst in equitabele redenering of fairness stabiliteit; deze dimensies blijven gedeeltelijk ontkoppeld.
• Noodzaak van Toezicht: Klinische integratie vereist een gelaagde risicomitigatiestrategie. Hybride evaluatiepipelines die schaalbare automatisering combineren met gerichte klinische controle zijn noodzakelijk voor een geloofwaardige veiligheidsbeoordeling.
• Regulatoire Verschuiving: Huidige regulatoire en benchmarking benaderingen die focussen op statische nauwkeurigheid zijn onvoldoende. De auteurs pleiten voor een verschuiving naar variantie-bewuste en op falen gerichte evaluatieframeworks die dispersiemetrieken en minimumprestaties rapporteren om een realistische beoordeling van klinisch risico te geven.

De studie concludeert dat hoewel sommige systemen een grotere stabiliteit vertonen, de persistente volatiliteit in bias, fairness en ethische redenering onderstreept dat rechtvaardige redenering en workflowtransparantie kritieke bottlenecks blijven voor klinische inzet. Continue, longitudinale red teaming met klinisch toezicht is essentieel voor het veilige en rechtvaardige gebruik van LLM's in de geneeskunde.