Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment

Deze studie toont aan dat voor de inzet van kleine open-source taalmodellen in zorgomgevingen met beperkte middelen niet alleen nauwkeurigheid, maar ook promptconsistentie en instructie-opvolging cruciaal zijn, waarbij Llama 3.2 de beste balans biedt en hoge consistentie niet garandeert dat het antwoord juist is.

De kern

De "Kleine Dokter" in de Drukke Wachtzaal: Waarom Kleine AI's soms te betrouwbaar fout zijn

Stel je voor dat je in een afgelegen dorp woont, ver weg van de grote stad. Er is geen snel internet en geen dure supercomputer. Maar er is wel een dokter die hulp nodig heeft bij het stellen van diagnoses. Gelukkig hebben we nu slimme, kleine kunstmatige intelligenties (AI) die op een gewone laptop kunnen draaien, zonder dat je een dure server nodig hebt. Dit klinkt als een droom voor arme regio's, maar deze studie vraagt zich af: kunnen we deze kleine digitale dokters wel vertrouwen?

De onderzoekers van dit paper hebben een experiment gedaan met vijf verschillende "kleine" AI-modellen. Ze stelden ze dezelfde medische vragen, maar dan op vijf verschillende manieren:

1. Origineel: De vraag zoals hij in het boek staat.
2. Formeel: Alsof een professor het vraagt.
3. Simpel: Alsof een leek het vraagt.
4. Direct: Gewoon de vraag, zonder omhaal.
5. Rolspel: "Je bent nu een ervaren arts, beantwoord deze vraag."

Hier zijn de belangrijkste lessen, vertaald in alledaagse taal:

1. Betrouwbaarheid betekent niet altijd juistheid (De "Stijve Koe" vs. de "Slimme Dwaas")

Dit is misschien wel het belangrijkste punt. Je zou denken: als een AI steeds hetzelfde antwoord geeft, ongeacht hoe je de vraag stelt, moet hij wel slim zijn. Niet waar.

• De Analogie: Stel je een stugge koe voor die elke keer "Moe" zegt, of je haar nu vraagt of ze honger heeft of of ze moe is. Ze is consistent (altijd hetzelfde antwoord), maar ze is niet correct.
• In de studie: Het model Gemma 2 was de meest "stugge koe". Het gaf bijna altijd hetzelfde antwoord, ongeacht de vraag. Maar helaas was dat antwoord vaak fout. Het was een "betrouwbare dwaler".
• De winnaar: Llama 3.2 was iets minder stug (soms gaf hij een ander antwoord als je de vraag anders stelde), maar hij gaf veel vaker het juiste antwoord. Voor een dokter is het beter om een AI te hebben die soms twijfelt en het goed heeft, dan een AI die zeker is en het fout heeft.

2. "Doe alsof" werkt niet (Het kostuum van de arts)

Veel mensen denken: "Als ik de AI vraag om te doen alsof hij een arts is, zal hij dan slimmer worden?"

• De Analogie: Het is alsof je een kind een doktersjasje aantrekt en vraagt of hij een operatie kan uitvoeren. Het kostuum maakt hem niet ineens een chirurg; het verstoort juist zijn focus.
• In de studie: Zodra de AI's werden gevraagd om "rol te spelen" (bijvoorbeeld: "Je bent een senior arts"), werden ze allemaal slechter. Ze maakten meer fouten. De kleine AI's raken in de war door de "personage" en vergeten hun eigen taak: de feitelijke vraag beantwoorden.
• Advies: Houd het simpel. Vraag gewoon de vraag, zonder theater.

3. Grootte is niet alles (De olifant in de kamer)

Je zou denken dat een groter model (met meer "hersencellen") altijd beter is.

• De Analogie: Een olifant is groot en sterk, maar hij kan niet altijd door een smalle deur. Soms is een slimme hond (kleiner) juist handiger.
• In de studie: Het grootste model (Mistral 7B) was niet per se de beste. En het model dat speciaal was getraind op medische kennis (Meditron), faalde volledig op de opdracht. Waarom? Omdat het wel veel medische feiten wist, maar niet wist hoe hij zijn antwoord moest geven (bijvoorbeeld: "Ja" of "Nee"). Het was als een professor die alles weet, maar niet kan praten.
• Conclusie: Je hebt niet alleen kennis nodig, je moet ook weten hoe je de opdracht uitvoert.

4. Het gevaar van de "Zekerheid"

Het grootste risico in de medische wereld is niet dat de AI soms twijfelt, maar dat hij zeker is over iets dat fout is.

• Als een AI elke keer, op elke manier, hetzelfde fout antwoord geeft, gaat de dokter denken: "Ah, dit systeem is betrouwbaar!" en vertrouwt het blindelings. Dat kan leiden tot verkeerde diagnoses.
• Een AI die soms "hmm, misschien" zegt en dan het juiste antwoord geeft, is veiliger, omdat de dokter alert blijft.

Wat betekent dit voor de toekomst?

Voor ziekenhuizen in arme gebieden, waar ze geen dure computers hebben, is dit een gouden raad:

• Kies niet voor het model dat het meest "stijf" en consistent lijkt.
• Kies niet voor modellen die je moet "vermommen" als arts.
• Kies een model dat Llama 3.2 lijkt: het geeft het juiste antwoord, luistert goed naar de instructies, en is niet bang om een beetje variatie te tonen.

Kortom: In de wereld van medische AI is "altijd hetzelfde zeggen" gevaarlijk als je het verkeerd zegt. We hebben AI's nodig die niet alleen consistent zijn, maar vooral juist. En vergeet het kostuum: een AI is een hulpmiddel, geen acteur.

Technische samenvatting

Probleemstelling

Kleine, open-source taalkundige modellen (SLM's, 2B–7B parameters) worden steeds belangrijker voor de gezondheidszorg in landen met beperkte middelen, omdat ze lokaal kunnen draaien op standaard CPU-hardware zonder afhankelijkheid van cloud-infrastructuur. Hoewel hun toegankelijkheid groeit, is hun betrouwbaarheid onvoldoende onderzocht.

De kernproblematiek die dit artikel adresseert, is de prompt-sensitiviteit: de neiging van een model om verschillende antwoorden te geven op semantisch identieke klinische vragen, afhankelijk van de formulering. In veiligheidskritieke domeinen zoals de gezondheidszorg is stabiliteit net zo belangrijk als nauwkeurigheid. Bestaande evaluaties focussen voornamelijk op de algehele nauwkeurigheid, maar negeren of modellen stabiel blijven bij variaties in de prompt. Een model dat consistent het verkeerde antwoord geeft, is in een klinische setting potentieel gevaarlijker dan een model dat wisselvallig is, omdat het een vals gevoel van zekerheid creëert.

Methodologie

De studie voerde een systematische evaluatie uit van vijf open-source modellen op drie klinische vraag-antwoord datasets:

1. Modellen:
   • Phi-3 Mini (3.8B), Llama 3.2 (3B), Gemma 2 (2B), Mistral 7B (7B): Algemeen instructie-getrainde modellen.
   • Meditron-7B (7B): Een domein-specifiek model (voortgezet getraind op medische data) zonder instructie-tuning. Dit werd opgenomen om het effect van domeinkennis versus instructie-gevolgzaamheid te testen.
2. Datasets: MedQA (USMLE), MedMCQA (Indiase toelatingsexamens) en PubMedQA (biomedisch onderzoek). Per dataset werden 200 vragen willekeurig geselecteerd (totaal 600 vragen).
3. Prompt Variatie: Elke vraag werd omgezet in vijf semantisch equivalente maar stijlverschillende prompts:
   • Origineel: Exact zoals in de dataset.
   • Formeel: Academische klinische taal.
   • Vereenvoudigd: Dagelijkse taal (niet-expert).
   • Rolspel: Het model wordt gevraagd te antwoorden als een praktiserend arts.
   • Direct: Alleen de vraag en opties, zonder context.
4. Setup: Alle inferentie vond lokaal plaats op consumenten-CPU-hardware via Ollama, zonder fine-tuning. De temperatuur was ingesteld op 0 om deterministische output te garanderen.
5. Metingen:
   • Consistentiescore: Hoe vaak geeft het model hetzelfde antwoord over de 5 prompt-varianten heen?
   • Nauwkeurigheid: Overeenstemming met de ground truth.
   • UNKNOWN-rate: Percentage antwoorden dat geen geldig antwoord (A-D of ja/nee/maybe) bevatte (instructie-falen).

Belangrijkste Resultaten

1. Onafhankelijkheid van Consistentie en Nauwkeurigheid
Er is geen positieve correlatie gevonden tussen consistentie en nauwkeurigheid.

• Gemma 2 behaalde de hoogste consistentie (0,845–0,888) maar de laagste nauwkeurigheid (33,0–43,5%). Dit illustreert het fenomeen van "betrouwbare onjuistheid": het model geeft consequent het verkeerde antwoord, wat in de kliniek zeer gevaarlijk is.
• Llama 3.2 toonde een goede balans met de hoogste nauwkeurigheid (49,0–65,0%) en een gemiddelde consistentie (0,774–0,807).

2. Schadelijk Effect van Rolspelprompts
De "Roleplay"-prompt (waarbij het model zich voordoet als een arts) leidde consistent tot een lagere nauwkeurigheid bij alle modellen en datasets.

• Bij Phi-3 Mini op MedQA daalde de nauwkeurigheid met 21,5 procentpunten ten opzichte van de beste stijl.
• Dit suggereert dat persona-gebaseerde framing de redeneercapaciteit van kleine modellen verstoort.

3. Instructie-volgende Fouten en Modelgrootte
De "UNKNOWN-rate" (falen om een geldig antwoord te geven) varieerde sterk en was niet afhankelijk van het aantal parameters.

• Meditron-7B (domein-specifiek, geen instructie-tuning) faalde bijna volledig op PubMedQA met een 99,0% UNKNOWN-rate. Dit bewijst dat pure medische kennis zonder instructie-tuning ontoereikend is voor gestructureerde vragen.
• Phi-3 Mini had de hoogste foutenrate bij instructie-getrainde modellen (10,5% op MedQA), terwijl Llama 3.2 en Gemma 2 zeer stabiel waren (<3% fouten).

4. Prestaties per Model

• Llama 3.2 (3B): Bode de beste balans tussen nauwkeurigheid, consistentie en instructie-gevolgzaamheid, wat het de meest geschikte kandidaat maakt voor low-resource deploy.
• Mistral 7B: Toonde geen significant voordeel ten opzichte van kleinere modellen, ondanks de grotere parametergrootte.

Bijdragen en Significatie

Technische Bijdragen:

• Introductie van een kwantitatieve consistentiescore als aanvullende metriek naast nauwkeurigheid voor klinische AI-evaluatie.
• Empirisch bewijs dat domeinkennis en instructie-gevolgzaamheid orthogonale vereisten zijn; een model kan veel medische kennis hebben maar functioneel onbruikbaar zijn zonder instructie-tuning.
• Een reproduceerbaar evaluatiekader dat draait op consumentenhardware, toegankelijk voor onderzoekers in landen met beperkte middelen.

Klinische en Praktische Betekenis:

• Veiligheidswaarschuwing: Consistentie is geen proxy voor veiligheid. Een model dat consequent fout is, is gevaarlijker dan een onstabiel model.
• Prompt Engineering: Rolspelprompts ("Je bent een arts") moeten worden vermeden in klinische AI-toepassingen voor kleine modellen, omdat ze de nauwkeurigheid systematisch verminderen.
• Modelselectie voor Low-Resource Settings: Voor deploy in gebieden zonder GPU's of cloud-toegang, is Llama 3.2 de aanbevolen keuze vanwege de superieure nauwkeurigheid en betrouwbare instructie-volging.
• Noodzaak van Multidimensionale Evaluatie: Toekomstige klinische AI-systemen moeten niet alleen op nauwkeurigheid worden getoetst, maar ook op consistentie en instructie-gevolgzaamheid om patiëntveiligheid te waarborgen.

Conclusie:
De studie concludeert dat voor een veilige implementatie van AI in de gezondheidszorg, vooral in omgevingen met beperkte middelen, een holistische evaluatie noodzakelijk is. Kleine modellen kunnen betrouwbaar zijn, maar alleen als ze zowel nauwkeurig als instructie-getrouw zijn, en niet als ze slechts consistent fout zijn.