Technische Samenvatting: MedMisBench

Probleemstelling

Grote taalmodellen (LLM's) hebben een expertniveau bereikt op medische licentieexamens, wat heeft geleid tot de aanname dat hoge benchmarkscores duiden op veilig en betrouwbaar medisch oordeelsvermogen. Deze aanname is echter fragiel in scenario's van echte wereldimplementatie, waarbij modellen interageren met rommelige informatieomgevingen die bestaan uit opgehaalde documenten, patiëntbeschrijvingen en online beweringen.

Het kernprobleem dat wordt geïdentificeerd, is dat huidige medische benchmarks voornamelijk modellen evalueren op "schone" inputs, waarbij ze meten wat modellen weten, in plaats van of ze correct medisch oordeelsvermogen kunnen behouden wanneer ze worden blootgesteld aan plausibele maar onjuiste contextuele informatie. De auteurs stellen dat bestaande evaluaties een kritieke structurele blinde vlek over het hoofd zien: de vatbaarheid voor "misleidende context-injectie", waarbij gefabriceerde claims de correcte redenering kunnen overrulen, wat potentieel tot klinisch schadelijke beslissingen kan leiden.

Methodologie

De MedMisBench Benchmark

De auteurs introduceren MedMisBench, een benchmark ontworpen om epistemische veerkracht te meten—het vermogen van een LLM om correct medisch oordeelsvermogen te behouden onder een adversariële context. De benchmark bestaat uit:

• 10.932 medische vraagitems afgeleid van vijf brondatasets: MedQA, MedMCQA, MedXpertQA, MedJourney en HLE.
• 48.889 misleidende context-optie paren gegenereerd door elke vraag te koppelen aan gerichte injecties.

Taxonomie van Misleidende Context

De benchmark construeert een $5 \times 3$ designruimte om de aard van de misleiding te variëren:

1. Content Corruptie Typen (5):
   • Relatie/Sequentie Inversie: Het omkeren van de temporele of logische volgorde.
   • Drempelwaarde/Referentie Corruptie: Het wijzigen van numerieke beslisregels (bijv. drempelwaarden voor laesiedikte).
   • Cue Remapping: Het verkeerd interpreteren van diagnostische aanwijzingen.
   • Spurieuze Verankering: Het introduceren van prominente maar irrelevante ankers.
   • Uitzondering Vergiftiging: Het fabriceren van contra-indicaties of uitzonderingen.
2. Herkomst Framing (3):
   • Neutraal: Een onjuiste declaratieve stelling.
   • Patiënt Zelfverklaring: Een overtuiging of diagnose toegeschreven aan een patiënt.
   • Autoriteit: Claims geframed als richtlijnen, ontslagbrieven of Standard Operating Procedures (SOP's).

Generatie en Validatie Pipeline

• Filtering: Een LLM-gebaseerde filter zorgt ervoor dat injecties semantisch toepasbaar zijn op onjuiste opties zonder het oorspronkelijke gouden antwoord onjuist te maken.
• Generatie: Een generator LLM (Gemini-3-flash) creëert contextbundels waarbij de correcte optie waarheidsgetrouw wordt bevestigd, terwijl onjuiste opties worden ondersteund door misleidende zinnen.
• Klinische Review: Een klinisch panel van 14 leden uit 7 landen beoordeelde een gestratificeerde steekproef om de kwaliteit van de items, de getrouwheid van de aanval (attack fidelity) en de klinische plausibiliteit te valideren. Het panel bevestigde de validiteit van de benchmark en beoordeelde de potentiële schade van misleide reacties.

Evaluatie Protocollen

De studie gebruikt twee leveringsprotocollen om veerkracht te testen:

1. Type 1 (Gerichte Levering): Er wordt slechts één misleidende zin gepresenteerd die een specifieke onjuiste optie ondersteunt, samen met de vraag. Dit test of een enkele plausibele valse claim een correct antwoord kan overrulen.
2. Type 2 (Alle-Optie Levering): De volledige bundel wordt gepresenteerd, inclusief waarheidsgetrouwe ondersteuning voor de correcte optie en misleidende ondersteuning voor alle onjuiste opties. Dit test het vermogen van het model om te arbitreren tussen concurrerende claims.

Experimentele Opzet

De auteurs evalueerden 11 modelconfiguraties, waaronder commerciële modellen (GPT-5.4, Gemini-3.1-pro/flash-lite, Claude-sonnet-4.6), open-weight modellen (Gemma 4, Qwen3.6), en een domeinspecifiek model (MedGemma). De gebruikte metrieken waren clean accuracy, post-injectie accuracy, en Attack Success Rate (ASR), gedefinieerd als de snelheid waarmee een correct antwoord uit de "clean"-fase omslaat naar een onjuist antwoord na injectie.

Belangrijkste Resultaten

1. Fragiliteit van Epistemische Veerkracht

• Prestatieverlies: Terwijl de gemiddelde clean accuracy over de modellen 71,1% was, daalde de accuracy onder gerichte (Type 1) misleidende context naar 38,0%.
• Attack Success: De gemiddelde ASR was 51,5%, wat aangeeft dat in meer dan de helft van de gevallen waar modellen oorspronkelijk correct waren, zij er niet in slaagden dat oordeel te behouden wanneer ze werden blootgesteld aan misleidende context.
• Clean vs. Resilient: Hoge clean accuracy correleert niet met hoge veerkracht. Bijvoorbeeld, Gemini-3.1-pro (hoge redeneercapaciteit) behaalde 83,5% clean accuracy maar leed onder een ASR van 65,0% bij Type 1 injectie.

2. Impact van Levering en Content

• Focused vs. Mixed: Type 1 (gerichte) injecties waren aanzienlijk schadelijker dan Type 2 (gemengde) injecties. Type 1 ASR was 51,5%, vergeleken met 18,7% voor Type 2. Dit suggereert dat modellen een aggregaat van bewijslast kunnen behouden wanneer er concurrerend bewijs aanwezig is, maar falen wanneer een enkele plausibele valse claim de beslissing inkadert.
• Meest Schadelijke Injecties:
  • Autoriteit Framing: Claims geframed als richtlijnen of SOP's behaalden de hoogste ASR (69,5%).
  • Regelachtige Fabricaties: "Uitzondering Vergiftiging" (64,1%) en "Drempelwaarde/Referentie Corruptie" (60,9%) waren de meest effectieve contenttypen, wat suggereert dat modellen bijzonder kwetsbaar zijn voor gefabriceerde regels en uitzonderingen.

3. Redeneerinspanning en Modelgedrag

• Niet-Uniforme Bescherming: Het verhogen van de redeneerinspanning (bijv. "medium" of "high" reasoning modi) verbeterde de veerkracht niet uniform. Hoewel het sommige modellen hielp (bijv. GPT-5.4), verminderde het de veerkracht juist bij andere modellen (bijv. Gemini-3.1-pro en Gemini-3.1-flash-lite), waarbij hogere redeneermodi leidden tot een hogere ASR onder gerichte injectie.

4. Klinische Schade Beoordeling

• Potentiële Schade: Een klinische review van 89 taken vond dat 38,2% van de reacties onder misleidende context "worst-case" outputs waren: onjuiste antwoorden met de opname van materiële injectie en een ernstig potentieel voor klinische schade.
• Totale Schade: Wanneer onjuiste antwoorden met lage tot matige schade potentieel werden meegerekend, waren 84,3% van de beoordeelde outputs klinisch schadelijk.
• Validatie: De beoordelingen van clinici over de juistheid kwamen in 98,1% van de gevallen overeen met de automatische labels, wat de ASR valideert als een hoogprecisie scherm voor fouten in juistheid.

5. Pogingen tot Mitigatie

• Zoektools: Het toevoegen van externe zoekcapaciteiten verminderde de ASR voor sterkere modellen (Gemini-3.1-pro) maar had een beperkt effect op kleinere modellen, wat aangeeft dat retrieval alleen geen generieke bescherming is.
• Defensieve Prompts: Expliciete waarschuwingen tegen het vertrouwen op misleidende context verminderden de ASR met 10–14 punten, maar slaagden er niet in de veerkracht volledig te herstellen, wat suggereert dat modellen moeite hebben met het operationaliseren van dergelijke waarschuwingen tijdens de uiteindelijke besluitvorming.

Betekenis en Claims

Het artikel beweert een fundamentele benchmark te hebben gevestigd voor het bestuderen van epistemische veerkracht in medische LLM's. De belangrijkste bijdragen zijn:

1. Blootleggen van een Structurele Blinde Vlek: MedMisBench toont aan dat huidige medische benchmarks de werkelijke effectiviteit overschatten door geen rekening te houden met misleidende context-injectie.
2. Kwantificeren van Kwetsbaarheid: De studie levert empirisch bewijs dat formele, regelachtige fabricaties (vooral die geframed als autoriteit) het meest effectief zijn in het ondermijnen van medisch oordeelsvermogen.
3. Klinische Relevantie: Door benchmark-fouten te koppelen aan door clinici beoordeelde schade, beargumenteert het artikel dat respons-niveau veerkracht een vereiste is voor veilige implementatie in consumentengezondheidszorg en klinische beslissingsondersteuning.
4. Open Resource: De release van een statische, herbruikbare benchmark met 10.932 items en 48.889 paren heeft als doel toekomstig onderzoek naar veerkracht-evaluatie en mitigatiestrategieën te ondersteunen.

De auteurs concluderen dat hoewel LLM's sterke medische kennis vertonen, hun vermogen om correct oordeelsvermogen te behouden onder onzekerheid en adversariële context een kritieke, onopgeloste uitdaging blijft voor veilige AI-implementatie in de gezondheidszorg.