💬 NLP

Beyond Accuracy: Risk-Sensitive Evaluation of Hallucinated Medical Advice

Dit paper introduceert een risicosensitief evaluatiekader voor hallucinaties in medische vraag-antwoordsystemen dat, in plaats van alleen feitelijke juistheid te meten, de potentieel schadelijke impact van gegenereerde medische adviezen kwantificeert om zo kritieke veiligheidsrisico's te identificeren die door bestaande metrics worden gemist.

Oorspronkelijke auteurs: Savan Doshi

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Savan Doshi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat overdreven robot-arts hebt. Deze robot kan vragen over gezondheid beantwoorden, maar soms verzint hij dingen die niet waar zijn. In de wereld van kunstmatige intelligentie noemen we dit "hallucinaties".

Tot nu toe keken experts alleen naar één vraag: "Is wat de robot zegt, feitelijk waar?" Als de robot een verkeerd getal noemt, was het fout. Als hij een verkeerd medicijn noemt, was het ook fout. Alles werd als even erg beschouwd.

Maar dit artikel van Savan Doshi zegt: "Wacht even, dat is niet het hele verhaal!"

Hier is de kern van het onderzoek, vertaald naar alledaags taal met een paar leuke vergelijkingen:

1. Het probleem: Niet alle fouten zijn even gevaarlijk

Stel je voor dat de robot twee fouten maakt:

Fout A: Hij zegt dat een appel rood is, terwijl die groen is. (Dit is vervelend, maar niemand raakt er gewond van).
Fout B: Hij zegt tegen iemand met een hoge bloeddruk: "Neem direct deze sterke medicijnen, anders sterf je!" terwijl die medicijnen gevaarlijk zijn of niet nodig.

In de oude manier van testen werden deze twee fouten als even ernstig gezien. Maar in het echte leven is Fout B veel gevaarlijker. Als iemand die fout volgt, kan er echt schade ontstaan. Het gaat er niet om of de robot "klopt", maar om of zijn woorden mensen kunnen aanzetten tot iets gevaarlijks.

2. De oplossing: Een "Risico-Alarm"

De auteurs hebben een nieuwe manier bedacht om deze robots te testen. In plaats van te kijken of ze "slim" zijn, kijken ze of ze gevaarlijke taal gebruiken.

Ze hebben een soort "Risico-Alarm" (de Risk-Sensitive Hallucination Score) bedacht. Dit alarm gaat af als de robot woorden gebruikt die mensen kunnen aanzetten tot actie, zoals:

"Stop met je medicijn."
"Ga direct naar de spoedeisende hulp."
"Neem 5 pillen."
"Dit medicijn is voor jou verboden."

Zelfs als de robot hierbij een feitelijk foutje maakt, is het alarm nog niet af. Maar als hij gevaarlijke instructies geeft, gaat het alarm heel hard rinkelen. Het is alsof je niet kijkt of de robot de juiste tijd heeft, maar of hij iemand aan het sturen is van een auto terwijl hij zelf blind is.

3. De verrassing: Grotere robots zijn soms gevaarlijker

De onderzoekers testten drie robots van dezelfde familie, maar met verschillende maten (klein, medium, groot).

De kleine robot: Moeilijkheden, maar soms zegt hij zomaar iets raars dat niet eens bij de vraag past.
De grote robot: Hij is veel slimmer en praat vloeiender, maar hij is ook veel sneller geneigd om zelfverzekerd gevaarlijke adviezen te geven.

Het is alsof een kleine, verwarde chauffeur soms de verkeerde kant op rijdt, maar een zeer ervaren, zelfverzekerde chauffeur die denkt dat hij alles weet, plotseling met 100 km/u de afgrond in rijdt omdat hij denkt dat de weg goed is. De grote robot lijkt veiliger, maar zijn "risicoprofiel" is juist hoger als het fout gaat.

4. De "Niet-horen" test

Een ander belangrijk punt is of de robot luistert.
Stel, iemand vraagt: "Ik heb een lichte hoofdpijn."

Goede reactie: "Drink water en rust uit."
Gevaarlijke reactie: "Ga direct naar het ziekenhuis, je hebt een hersentumor!" (Dit is gevaarlijk én irrelevant).

De nieuwe methode kijkt naar twee dingen tegelijk:

Hoe gevaarlijk is de taal? (Gaat het alarm af?)
Hoe goed luistert hij? (Past het antwoord bij de vraag?)

De ergste fouten zijn wanneer de robot veel gevaarlijke taal gebruikt die helemaal niet bij de vraag past. Alsof iemand die vraagt om een recept voor pannenkoeken, plotseling een handleiding krijgt voor het ontmantelen van een bom.

5. Waarom dit belangrijk is

De onderzoekers zeggen: "We moeten stoppen met alleen kijken naar cijfers en feiten. We moeten kijken naar risico."

Als we een robot-arts willen gebruiken in de echte wereld, moeten we weten:

Is hij geneigd om mensen te vertellen om naar het ziekenhuis te gaan als dat niet nodig is?
Is hij geneigd om medicijnen te voorschrijven die gevaarlijk zijn?

Conclusie in één zin:
Het is niet genoeg om te weten of een robot "slim" is; we moeten weten of hij "veilig" is, en dat betekent dat we moeten kijken naar hoe gevaarlijk zijn woorden kunnen zijn als mensen ze echt opvolgen.

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor medische vragen die door patiënten worden gesteld. Bestaande evaluatiestandaarden en metrics voor hallucinaties focussen echter primair op feitelijke juistheid (factual correctness) of afwijkingen van een referentieantwoord. Deze benadering behandelt alle fouten als even ernstig, wat een kritiek probleem is in medische contexten.

In de klinische praktijk hangt de impact van een hallucinatie vaak minder af van de feitelijke nauwkeurigheid dan van de actiebaarheid van de output. Een onondersteunde aanbeveling om een medicijn te starten, een contra-indicatie te negeren of een dringende triage-advies te geven, kan leiden tot ernstige schade, zelfs als de feitelijke basis van het antwoord deels correct is. Bestaande benchmarks vangen deze verschillen in risico niet, waardoor veiligheidskritieke faalmodi (failure modes) worden gemaskeerd.

Methodologie

De auteurs stellen een risico-gevoelig evaluatiekader voor dat hallucinaties niet meet aan de hand van waarheid, maar aan de hand van de aanwezigheid van risicodragende taal in de modeloutput.

1. Risico-dragende Taalcategorieën
Het kader definieert specifieke taalkundige patronen die als veiligheidskritiek worden beschouwd als ze niet onderbouwd zijn:

Behandelrichtlijnen: Instructies om medicatie te starten, te stoppen, te verhogen of aan te passen.
Contra-indicaties en verboden: Uitspraken dat een actie of medicijn niet genomen mag worden.
Doseringsexpressies: Duidelijke kwantiteiten, schema's of dosiswijzigingen.
Urgentie- en triage-cues: Aanbevelingen om spoedeisende zorg te zoeken of juist medische zorg te vermijden.
Hoge-risico medicijnen: Vermelding van medicijnen met een verhoogd risico (bijv. anticoagulantia, insuline).
Overmoedige beweringen: Taal die zekerheid uitstraalt zonder onderbouwing.

2. Risico-gevoelige Hallucinatiescore (RSHS)
Om deze signalen te kwantificeren, wordt een continue score ontwikkeld:
$RSHS(x) = \frac{\sum_{k=1}^{K} \sum_{p \in P_k} w_{k,p} \cdot n(p, x)}{1 + \log(1 + |x|)}$
Waarbij:

$x$ de modelrespons is.
$n(p, x)$ aangeeft of een patroon $p$ voorkomt.
$w_{k,p}$ een gewicht is dat de ernst van het risico weergeeft (bijv. het afraden van medische zorg weegt zwaarder dan een algemene urgentie-cue).
De noemer normaliseert voor de lengte van de tekst om te voorkomen dat langere generaties onterecht een hogere score krijgen.

3. Risico $\times$ Relevantie Analyse
Aangezien risicodragende taal alleen niet het volledige plaatje geeft, wordt de RSHS gecombineerd met een relevantiescore (QASim). Dit is de cosinus-ähnelijkheid tussen de sentence-embeddings van de patiëntvraag en het modelantwoord.

Doel: Het identificeren van een specifiek gevaarlijk faaltype: antwoorden met hoge risico's maar lage relevantie (zwakke gronding). Dit vertegenwoordigt onondersteunde of irrelevant medisch advies.

4. Experimenteel Opzet

Modellen: Drie instructie-geoptimaliseerde modellen uit dezelfde familie (FLAN-T5-small, base, large) en één decoder-only model (Phi-3-mini).
Prompts: 200 gecontroleerde, synthetische "stress-tests" ontworpen om situaties op te roepen waarin modellen onondersteund maar actiebaar advies zouden kunnen geven (bijv. symptoomtriage, medicatiebeheer).
Doel: Isolatie van het effect van modelgrootte en prompt-ontwerp op het risicoprofiel, zonder afhankelijkheid van klinische grondwahrheid.

Belangrijkste Resultaten

Verschillende Risicoprofielen: Modellen met vergelijkbaar oppervlakkig gedrag vertonen aanzienlijk verschillende risicoprofielen. Grotere modellen (FLAN-T5-large) vertonen een hogere neiging tot het genereren van risicodragende taal in de "staart" van de verdeling (extreme gevallen), terwijl kleinere modellen minder vaak fouten maken maar deze soms extremer zijn.
Dominantie van Actiebaar Advies: De verschillen tussen modellen worden voornamelijk gedreven door behandelrichtlijnen en urgentie-cues. Duidelijke doseringsexpressies komen zelden voor.
Risico-Relevantie Faalmodi: De analyse toont aan dat een subset van antwoorden zowel een hoog risico als een lage relevantie heeft. Deze antwoorden bevatten vaak onondersteunde instructies die losstaan van de input van de gebruiker. Kleine modellen neigen hier meer naar (nonsensisch advies), terwijl grotere modellen coherent maar te voorschrijvend advies geven.
Prompt-gevoeligheid: Het risico is sterk afhankelijk van de prompt. Prompts die expliciet vragen om management-overwegingen leiden tot een aanzienlijke toename van risicodragende taal. Standaard evaluatiemetrics vangen deze variatie niet.
Generalisatie: Het kader werkt ook voor decoder-only modellen (Phi-3), wat aantoont dat het een robuuste evaluatiemethode is die niet beperkt is tot één modelarchitectuur.

Bijdragen

Conceptuele Verschuiving: Het verschuiven van de focus van "feitelijke juistheid" naar "potentiële impact" bij het evalueren van hallucinaties in medische contexten.
Nieuwe Metric: De introductie van de Risk-Sensitive Hallucination Score (RSHS), een gewogen, continue score die de ernst van risicodragende taal kwantificeert.
Diagnostisch Kader: Een methode om veiligheidskritieke faalmodi te identificeren door risico te combineren met relevantie (QASim), waardoor "zwakke gronding" van gevaarlijk advies zichtbaar wordt.
Empirisch Bewijs: Het aantonen dat standaard metrics falen om de verschillen in veiligheid tussen modellen van dezelfde familie te onderscheiden, en dat prompt-ontwerp cruciaal is voor geldige evaluatie.

Betekenis en Implicaties

Dit werk benadrukt dat evaluatiemetrics voor medische LLM's niet alleen moeten kijken naar of een antwoord "waar" is, maar vooral naar of het antwoord gevaarlijk kan zijn als het wordt opgevolgd.

Veiligheid in de Praktijk: Voor real-world implementaties is het cruciaal om modellen te selecteren op basis van hun risicoprofiel, niet alleen op hun algehele nauwkeurigheid.
Evaluatie Validiteit: De geldigheid van hallucinatiedetectie is sterk afhankelijk van het taakontwerp en de prompt. Neutrale prompts kunnen veiligheidsrisico's maskeren die alleen zichtbaar worden onder stress-tests.
Complementair Instrument: Het kader is bedoeld als een diagnostisch hulpmiddel voor ontwikkelaars en onderzoekers om modellen te vergelijken en veiligheidskritieke prompts te testen, en niet als vervanging voor klinische beoordeling of een implementatiedrempel.

Samenvattend biedt dit artikel een noodzakelijke nuance in de evaluatie van medische AI, waarbij het de nadruk legt op het minimaliseren van potentieel schadelijke uitkomsten boven het maximaliseren van feitelijke perfectie.