Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework

Probleemstelling

De integratie van Large Language Models (LLMs) in medische vraag-antwoordsystemen (QA) vereist meer dan alleen een hoge gemiddelde nauwkeurigheid. In veiligheidskritieke domeinen, zoals online gezondheidscommunities (bijv. Reddit), is een model dat bij elke query substantieel verschillende antwoorden teruggeeft, onbetrouwbaar, ongeacht de kwaliteit van het gemiddelde antwoord.

Bestaande evaluatieparadigma's voor klinische NLP (zoals MedQA en PubMedQA) richten zich bijna uitsluitend op single-pass nauwkeurigheid (één keer een antwoord genereren en vergelijken met een ground truth). Ze negeren echter de run-to-run variatie. Voor medische toepassingen is stabiliteit even belangrijk als correctheid; een onstabiel model ondermijnt vertrouwen en auditbaarheid, zelfs als het antwoord soms correct is.

Methodologie

De auteurs presenteren een open-source evaluatiekader dat reproduceerbaarheid behandelt als een 'first-class' metriek, naast semantische en lexische nauwkeurigheid.

1. Dataset:

   • Gebruik van MedQuAD (50 willekeurig geselecteerde vragen uit een dataset van 16.412 medische vraag-antwoordparen).
   • Elke vraag wordt 10 keer herhaald per model (totaal 1.500 antwoorden).
   • Een vaste random seed (42) zorgt voor reproduceerbare steekproeven.

2. Modellen:
   Drie lokaal deploybare, open-weight modellen werden getest via de Ollama-runtime:

   • Llama 3.1 8B: Algemeen, instructie-getuned model.
   • Gemma 3 12B: Groter algemeen model.
   • MedGemma 1.5 4B: Klein model, specifiek gefinetuned op klinische corpora.
   • Voorwaarde: Alle modellen kregen dezelfde systeem-instructie en generatieparameters (Temperature $T=0.2$, top-p=1.0, max tokens=512). De keuze voor $T=0.2$ is bewust; dit is een standaardinstelling voor productie om variatie te minimaliseren, maar de studie onderzoekt of dit voldoende is.

3. Evaluatiemetrieken:
   De pipeline berekent acht kwaliteitsmetrieken:

   • Kwaliteit (vs. Ground Truth): Exact Match, Token F1, String Similarity, BLEU, ROUGE-L en BERTScore.
   • LLM-as-judge: Een lokaal gehost 20B-model beoordeelt de klinische juistheid en veiligheid op een schaal van 0-1.
   • Reproduceerbaarheid (binnen-model):
     • Self-agreement rate: Het percentage runs dat overeenkomt met het meest frequente antwoord.
     • Response uniqueness rate: Het percentage unieke antwoorden.
   • Efficiëntie: Latentie en doorvoer (tokens/second).

4. Pipeline Architectuur:
   Een modulaire Python CLI (clinical-eval) met drie fasen: run (generatie), score (evaluatie) en report. De scheiding tussen generatie en scoring maakt het mogelijk om metrieken opnieuw te berekenen zonder de dure LLM-inferentie te herhalen.

Belangrijkste Resultaten

1. Extreme Onstabiliteit bij Lage Temperature:
   Zelfs bij een lage temperatuur ($T=0.2$) is de output van de modellen extreem inconsistent.

   • De self-agreement rate varieerde slechts tussen 0,12 en 0,20. Dit betekent dat een model gemiddeld minder dan één op de vijf keer hetzelfde antwoord geeft als het dezelfde vraag opnieuw krijgt.
   • Uniekheid: 87% tot 97% van alle gegenereerde antwoorden was uniek per model. Bijvoorbeeld, Llama 3.1 8B produceerde op 97,4% van de runs een uniek antwoord.
   • Er was geen enkele overlap tussen de outputruimtes van de drie modellen; ze gaven elk totaal verschillende antwoorden op dezelfde vragen.

2. Kwaliteit vs. Reproduceerbaarheid Trade-off:

   • Llama 3.1 8B: Had de hoogste lexische kwaliteit (Token F1) en snelste doorvoer (43 tok/s), maar de slechtste reproduceerbaarheid.
   • Gemma 3 12B: Had de hoogste score van de "judge" (klinische juistheid) en de beste reproduceerbaarheid, maar was het traagst (25,5 tok/s).
   • MedGemma 1.5 4B: Presteerde op alle metrieken (kwaliteit én reproduceerbaarheid) slechter dan de grotere modellen.

3. Gefinetuned vs. Algemene Modellen:
   Het klinisch gefinetuned model (MedGemma) presteerde slechter dan de grotere algemene modellen. De auteurs waarschuwen echter dat dit resultaat verward is door het parameteraantal (4B vs. 8B/12B). Het is onduidelijk of de slechte prestatie komt door het gebrek aan domeinspecialisatie of simpelweg door het kleinere formaat.

Bijdragen

1. Evaluatieprotocol: Een nieuw protocol dat reproduceerbaarheid kwantificeert via self-agreement en uniekheid, naast traditionele nauwkeurigheidsmetrieken.
2. Open-source Tooling: Een volledig reproduceerbare, modulaire pipeline (CLI) die door de gemeenschap kan worden gebruikt voor modelselectie.
3. Empirisch Bewijs: Data die aantoont dat zelfs in "bepaalde" regimes ($T=0.2$) grote variatie bestaat, wat huidige single-pass benchmarks onvoldoende maakt voor medische toepassingen.

Betekenis en Conclusie

De studie concludeert dat lage temperaturen geen garantie bieden voor reproduceerbaarheid in medische QA. Voor een veilige implementatie in de kliniek zijn strategieën nodig zoals:

• Ensembling: Meerdere runs uitvoeren en een meerderheidsstemming gebruiken.
• Gating: Alleen antwoorden tonen als de consensus hoog is.
• Human-in-the-loop: Menselijke controle voorafgaand aan publicatie.

De auteurs benadrukken dat modelselectie empirisch moet gebeuren in plaats van te vertrouwen op "domein-specifieke branding" (zoals "MedGemma"). Een groter, algemeen model kan beter presteren dan een kleiner, gespecialiseerd model. Voor de toekomst wordt een vergelijking opgelost voor modelgrootte (bijv. 4B vs 4B) voorgesteld om het effect van fine-tuning zuiver te isoleren.

Kortom: Voor medische LLM-toepassingen is consistentie een even belangrijke veiligheidsmetriek als nauwkeurigheid, en huidige benchmarks negeren dit risico volledig.