💬 NLP

Same Facts, Different Diagnosis: Measuring and Mitigating Narrative Anchoring in Clinical Language Models

Dit artikel identificeert "Narrative Anchoring", een bias waarbij klinische taalmodellen uiteenlopende diagnoses produceren voor identieke feiten op basis van enkel het sociolinguïstische register, en stelt "NarrativeShield" voor, een driestaps-agent-pipeline die feiten structureel extraheert en verifieert om deze kloof vrijwel volledig te elimineren terwijl de diagnostische stabiliteit behouden blijft.

Oorspronkelijke auteurs: Prabhjot Singh, Pritam Deka, Vijay Chennareddy

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Prabhjot Singh, Pritam Deka, Vijay Chennareddy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van naar de aanwijzingen te kijken, beoordeel je de verdachte op basis van hoe ze hun verhaal vertellen. Als ze met een chique, gepolijste stem spreken, vertrouw je hen misschien meer. Als ze met een ruig, volks accent spreken of kleurrijke metaforen gebruiken, wantrouw je hen misschien, zelfs als de feiten van het misdrijf precies hetzelfde zijn. Dit is de wereld van "Large Language Models" (LLM's), wat superintelligente computerprogramma's zijn die getraind zijn om te lezen en te schrijven als mensen. Wetenschappers proberen deze programma's nu te gebruiken als "digitale artsen" om ziekten te helpen diagnosticeren. Maar er is een eng probleem: deze digitale artsen kunnen niet alleen bevooroordeeld zijn door wie de patiënt is (zoals hun ras of inkomen), maar ook door hoe de patiënt hun pijn beschrijft. Dit artikel duikt in deze verborgen bias en stelt een eenvoudige maar diepgaande vraag: Als twee patiënten exact dezelfde symptomen hebben, geven ze de computer dan dezelfde diagnose als de één het verhaal op een "rijke" manier vertelt en de ander op een "kwetsbare" manier?

De onderzoekers noemen dit sluipende probleem Narrative Anchoring (narratieve verankering). Het is als een kompas dat vast komt te zitten en naar de stijl van het verhaal wijst in plaats van naar de waarheid van de feiten. Om dit te testen, vroegen ze de computer niet alleen om te raden; ze bouwden een enorme, superstrikte wedstrijd. Ze namen 1.000 echte medische examenvragen (het soort vragen dat artsen moeten maken om hun licentie te krijgen) en schreven elke vraag drie keer om. Eén versie was neutraal, één werd herschreven zodat het klonk alsof iemand financiële stress ervoer, en een derde klonk als iemand die culturele metaforen gebruikte. Cruciaal was dat ze ervoor zorgden dat de medische feiten — zoals de koorts, de locatie van de pijn en de bloedtestresultaten — in alle drie de versies exact hetzelfde bleven. Ze huurden zelfs een tweede computer en echte menselijke artsen in om te controleren of er tijdens het herschrijven geen feiten verloren gingen of veranderden.

Toen ze deze verhalen aan zeven verschillende AI-modellen voerden, waren de resultaten verbijsterend. Hoewel de medische feiten identiek waren, gaven de AI-modellen verschillende diagnoses afhankelijk van de "stem" van het verhaal. Dit gebeurde in elk model dat ze testten. De kloof in nauwkeurigheid was aanzienlijk: voor sommige modellen gaf de "neutrale" stem ongeveer 15% vaker het juiste antwoord dan de "kwetsbare" stem. De onderzoekers probeerden dit op te lossen door de AI te vragen om "stap voor stap te denken" (een methode genaamd Chain-of-Thought) of door simpelweg te zeggen: "Negeer de stijl, focus op de feiten." Deze trucjes hielpen een beetje, maar niet genoeg. Sterker nog, vragen de AI om harder na te denken maakte het soms juist slechter in het geven van het juiste antwoord over het algemeen, zoals een student die een simpel wiskundeprobleem overanalyseert en het erdoor fout doet.

Daarom bouwde het team een nieuwe tool genaamd NarrativeShield. Denk aan een strikte redacteur die tussen de patiënt en de arts in zit. Voordat de AI-arts het verhaal überhaupt ziet, stript deze redacteur alle chique woorden, de emotionele toon en de culturele metaforen weg, waardoor alleen een kale lijst van koude, harde medische feiten overblijft. Vervolgens kijkt de AI-arts alleen naar die lijst. Wanneer ze NarrativeShield gebruikten, verdween de bias bijna volledig. De kloof tussen de verschillende stemmen daalde naar bijna nul (tussen -0,004 en 0,037), wat betekende dat de AI alle verhalen eerlijk begon te behanden, ongeacht hoe ze werden verteld. Er zat echter een addertje onder het gras: voor de meeste modellen maakte deze strikte redactie de AI iets minder nauwkeurig in het algemeen, zoals een vertaler die alle smaak uit een gedicht haalt om de betekenis perfect te waarborgen.

Het paper testte ook een "bare-bones" medische AI die niet goed was geleerd om instructies op te volgen. Dit model faalde volledig toen het werd gevraagd de nieuwe regels te volgen, wat bewees dat je een computer niet simpelweg kunt vragen om "eerlijk te zijn" als de computer niet eens de basisvaardigheid heeft om instructies op te volgen. De auteurs concluderen dat het probleem niet alleen gaat over de labels die we aan patiënten geven; het gaat erom hoe de computer de manier waarop patiënten spreken verwerkt. Om dit te oplossen, kunnen we niet alleen de prompt aanpassen; we moeten de architectuur van het systeem zelf veranderen, zodat de "feiten" gescheiden worden van het "verhaal" voordat de diagnose wordt gesteld. Hoewel dit een veelbelovende stap is, benadrukken de onderzoekers dat dit nog een onderzoekstool is, en geen kant-enklaar product voor echte ziekenhuizen, en dat er meer testen nodig zijn om te zien of het werkt in de chaotische, echte wereld van patiënt-artsgesprekken.

Technische Samenvatting: Dezelfde Feiten, Andere Diagnose

Probleemdefinitie: Narratieve Verankering (Narrative Anchoring)
Huidig onderzoek naar bias in klinische Large Language Models (LLM's) heeft zich grotendeels gericht op demografische bias, waarbij expliciete identiteitstokens (bijv. ras, geslacht, inkomen) de diagnostische outputs veranderen. Dit werk identificeert echter een afzonderlijke en voorheen niet onderzochte foutmodus, getiteld Narratieve Verankering. Dit fenomeen treedt op wanneer identieke klinische feiten, uitgedrukt via verschillende sociolinguïstische registers (bijv. variërende sociaaleconomische of culturele inkadering), ervoor zorgen dat de diagnostische outputs uiteenlopen. Cruciaal is dat deze bias opereert zonder expliciete demografische markers; de redenering van het model verschuift enkel op basis van hoe de patiënt de symptomen beschrijft, in plaats van wie de patiënt is. Bestaande benchmarks falen vaak in het detecteren hiervan omdat ze elke casus slechts één keer presenteren, waardoor het model geen kans krijgt om register-afhankelijke inconsistenties te onthullen.

Methodologie en Datasetconstructie
Om deze bias te isoleren en te meten, hebben de auteurs NARRATIVESHIELD-SDOH geconstrueerd, een dataset van 1.000 USMLE-stijl klinische casussen.

Bron & Filtering: Casussen werden afkomstig uit de MedQA-USMLE corpus en gefilterd op narratieve diepte, klinische signaaltermen en specifieke doeltypen (diagnose, behandeling, onderzoek).
Persona Generatie: Elke casus werd herschreven naar drie verschillende sociolinguïstische persona's:
1. Controle ( $P_\alpha$ ): Behoudt het oorspronkelijke register.
2. Sociaaleconomisch ( $P_\beta$ ): Herkaderd door financiële of occupationele spanning.
3. Cultureel ( $P_\gamma$ ): Herkaderd door cultureel gesitueerde metaforen.
  Constraint: Geen expliciete demografische markers (ras, inkomenscijfers, culturele identificatoren) zijn in enige persona opgenomen.
Audit van Feitenbehoud: Om te garanderen dat klinische feiten constant bleven over de registers heen, werd een tweestaps verificatieproces gehanteerd. Eerst verifieerde een onafhankelijk aangeroepen "auditor"-model (gescheiden van de generator) dat elk klinisch feit de herschrijving overleefde. Ten tweede werd een gestratificeerde steekproef van 300 ontmoetingen gevalideerd door drie menselijke annotatoren met een klinische achtergrond, die 100% feitenbehoud en registerovereenkomst bevestigden.

Experimentele Opstelling
De studie evalueerde zeven open-weight modellen (variërend van 3B tot 12B parameters, inclusief Llama, Mistral, Qwen, Gemma en BioMistral) over vier condities:

Direct Prompten (B1): Baseline zero-shot prompting.
Chain-of-Thought (B2): Stap-voor-stap redenering vóór het beantwoorden.
Expliciete Debiasing (B3): Een enkele instructie om de sociolinguïstische inkadering te negeren.
NarrativeShield (NS): Een voorgestelde driestaps-agent architecturale interventie.

Belangrijkste Bijdragen en Resultaten

Bewijs van Alomvattende Narratieve Verankering:
Onder directe prompting (B1) vertoonden alle zeven modellen een statistisch significante Narrative Anchoring Gap (NAG) — het nauwkeurigheidsvoordeel van het controle-register over gemarkeerde registers. De NAG varieerde tussen 0,064 en 0,151 over de modellen heen. Dit bevestigt dat het sociolinguïstische register alleen al voldoende is om de diagnostische outputs te verschuiven, zelfs in de afwezigheid van demografische labels.
Beperkingen van Prompt-niveau Mitigaties:

Chain-of-Thought (B2): Hoewel B2 de NAG voor sommige modellen verminderde, werd deze verbetering vaak geconfundeerd door een instorting in de algehele nauwkeurigheid (bijv. Gemma-3-12b-it verloor 21 punten aan nauwkeurigheid). De auteurs stellen dat een lagere NAG voortkomend uit een kleiner aantal correcte antwoorden niet telt als een verbeterde eerlijkheid.
Expliciete Debiasing (B3): Instructies om inkadering te negeren verminderden de NAG matig (bijv. van 0,151 naar 0,135 voor Llama-3.1-8B) zonder verlies van nauwkeurigheid voor instructie-getunede modellen. Echter, BioMistral (een domein-aangepast basismodel zonder instructie-tuning) faalde volledig onder B3, met een 0,00% parse-rate, wat aangeeft dat prompt-niveau interventies een basiscapaciteit voor instructie-opvolging veronderstellen.

NarrativeShield Architectuur:
De auteurs introduceerden NarrativeShield, een driestaps-agent pipeline ontworpen om de klinische feiten structureel te ontkoppelen van het narratieve register:

Agent 1 (Adversarial Intake Extractor): Verwijdert alle sociolinguïstische registers, economische inkadering en metaforen, en produceert een gestructureerde JSON van klinische feiten.
Deterministic Tool Router: Injecteert klinische beslissingsondersteuning (bijv. risicocalculatoren, drug knowledge bases) op basis van de geëxtraheerde feiten.
Agent 2 (Clinical Reasoning Engine): Voert diagnostische redenering uit alleen op de gestructureerde JSON en tool-outputs, en ziet nooit het oorspronkelijke narratief.
Agent 3 (Emergency Fallback): Extraheert een definitieve antwoordletter als Agent 2 de output niet correct formatteert.

Prestaties: NarrativeShield reduceerde de NAG tot bijna nul (−0,004 tot 0,037) over alle modellen heen. Het behaalde ook de laagste mate van ernstig instabiele beslissingen (Diagnostic Stability Score < 0,8) vergeleken met alle andere condities. Dit ging gepaard met een bescheiden, mechanistisch verklaarbare nauwkeurigheidskost voor de meeste modellen (toe te schrijven aan informatieverlies tijdens extractie), hoewel Gemma-4-E4B-it de nauwkeurigheid juist verbeterde, wat suggereert dat voor sommige modellen het verwijderen van narratieve ruis de redenering helpt.

Betekenis en Claims
Het paper betoogt dat klinische bias in LLM's niet uitsluitend een functie is van demografische labeling, maar diep ingebed is in hoe patiënt-narratieven worden verwerkt. De primaire betekenis van dit werk is drieledig:

Identificatie: Het stelt Narratieve Verankering vast als een alomvattende, register-gestuurde bias die standhoudt tegen standaard prompt-niveau mitigaties.
Architecturale Oplossing: Het demonstreert dat structurele interventies (het scheiden van feitenextractie van redenering) effectiever zijn bij het elimineren van deze bias dan instructieve prompts.
Vereiste Capaciteit: Door middel van de stress-tests van BioMistral laten de auteurs zien dat elke debiasing-interventie — of het nu een prompt of een pipeline is — een basis nul-shot instructie-opvolgingscapaciteit vereist die niet alle modellen bezitten.

De auteurs concluderen dat het dichten van de kloof in klinische bias een pipeline-ontwerp vereist dat klinische feiten structureel isoleert van sociolinguïstische inkadering, in plaats van enkel te vertrouwen op prompt engineering. Ze verklaren expliciet dat hun werk een onderzoek-fase diagnose en mitigatie is, en geen klaar voor gebruik klinische tool, en dat de nauwkeurigheid-trade-offs van dergelijke architecturen moeten worden geëvalueerd tegen specifieke klinische belangen.

Meer zoals dit