Importance of Prompt Optimisation for Error Detection in Medical Notes Using Language Models

Probleemstelling

Medische fouten in teksten kunnen leiden tot vertragingen in de zorg of zelfs tot verkeerde behandelingen, wat ernstige gevolgen heeft voor patiënten. Hoewel grote taalmodellen (LLMs) veelbelovend zijn voor het automatisch detecteren van fouten in medische teksten, presteren ze vaak onder de verwachtingen, vooral op onbekende datasets. De huidige benchmark (MEDEC) toont aan dat zelfs geavanceerde modellen moeite hebben met deze taak, en hun prestaties dalen aanzienlijk wanneer ze worden getest op data die niet deel uitmaakt van hun trainingsset (bijvoorbeeld echte klinische notities van de Universiteit van Washington).

Daarnaast zijn er beperkingen bij het gebruik van online LLMs vanwege privacy- en beveiligingszorgen rondom gevoelige patiëntgegevens. Er is behoefte aan veilige, lokaal draaiende alternatieven (Small Language Models of SLMs, <4B parameters) en methoden die de prestaties van modellen kunnen verbeteren zonder kostbare hertraining (fine-tuning).

Methodologie

De auteurs onderzoeken de impact van geautomatiseerde prompt-optimalisatie op de foutdetectie in medische notities. De kern van hun aanpak is het gebruik van GEPA (Genetic-Pareto), een algoritme voor geautomatiseerd prompt-engineering dat wordt geïmplementeerd via het DSPy-framework.

1. Dataset: Het onderzoek gebruikt de MEDEC-dataset, bestaande uit twee subsets:
   • MS (Microsoft): Synthetische klinische scenario's met geïntroduceerde fouten (gebruikt voor training en validatie).
   • UW (University of Washington): Echte, geanonimiseerde klinische notities met handmatig ingevoegde fouten (gebruikt als out-of-distribution testset om generalisatie te meten).
2. Modellen: Er zijn zeven verschillende modellen getest, variërend van frontier-modellen tot lokale open-source modellen:
   • Frontier: GPT-5, Grok-4, Gemini-2.5-Pro, Claude-Sonnet-4.5.
   • Open-source (lokaal): De Qwen3-familie (0.6B tot 32B parameters).
3. GEPA-workflow:
   • Het systeem gebruikt een inference model (het model dat de taak uitvoert) en een reflector model (een krachtiger model dat feedback geeft).
   • GEPA wisselt af tussen het uitvoeren van de huidige prompt op mini-batches en het genereren van reflectieve revisies.
   • De reflector ontvangt een scalair beloningssignaal (op basis van nauwkeurigheid) en tekstuele feedback (waarin de fout en de correctie worden uitgelegd).
   • Via Pareto-frontier selectie worden de beste prompts behouden die op verschillende validatie-instanties superieure prestaties leveren, wat overfitting voorkomt.
   • Een belangrijke innovatie is het ontkoppelen van inference en reflectie: een zeer krachtig (maar duur) model zoals GPT-5 kan worden gebruikt om prompts te optimaliseren voor kleinere, lokaal draaiende modellen (zoals Qwen3-4B).

Belangrijkste Bijdragen

1. Evaluatie van Modellen: Een uitgebreide benchmark van zowel frontier- als lokale modellen voor medische foutdetectie.
2. Geautomatiseerde Prompt Engineering: Het aantonen dat geautomatiseerde prompt-engineering (GEPA) de prestaties van zowel commerciële als open-source modellen significant kan verbeteren zonder fine-tuning.
3. Optimalisatie van SLMs: Het bewijzen dat kleine, lokaal draaiende modellen (Qwen3) effectief kunnen worden geoptimaliseerd met behulp van krachtige reflector-modellen, wat privacy en kostenbesparing biedt.
4. State-of-the-art Resultaten: Het bereiken van nieuwe state-of-the-art resultaten op de MEDEC-benchmark, waarbij de prestaties van medisch specialisten worden benaderd of zelfs overtroffen.

Resultaten

De resultaten tonen een duidelijke verbetering door GEPA-optimalisatie:

• Prestatieverbetering:
  • GPT-5: De nauwkeurigheid steeg van 0.669 (baseline) naar 0.785 op de gecombineerde testsets.
  • Qwen3-32B: De nauwkeurigheid steeg van 0.578 naar 0.690.
• Generalisatie: Prompts die zijn geoptimaliseerd op de MS-dataset (synthetisch) presteerden verrassend goed op de UW-dataset (echt klinisch), wat aantoont dat de geleerde logica generaliseert naar nieuwe klinische distributies.
• Vergelijking met Mensen: De geoptimaliseerde GPT-5 (0.785) presteerde beter dan één van de twee medische artsen in de benchmark (0.716) en nagenoeg even goed als de ander (0.796).
• Foutanalyse: Baseline-modellen neigden tot het overmatig melden van fouten (hoge false positives). GEPA-optimalisatie maakte de modellen conservatiever en accurater door expliciete instructies over drempelwaarden en medische context toe te voegen.
• Efficiëntie: In tegenstelling tot multi-agent debatten of web-retrieval methoden, vereist de GEPA-aanpak slechts één modelaanroep tijdens de inferentie, wat het zeer efficiënt maakt.

Significantie en Conclusie

Dit onderzoek onderstreept het cruciale belang van prompt-optimalisatie voor het gebruik van taalmodellen in de gezondheidszorg.

• Governance en Audit: Omdat prompts expliciet en leesbaar zijn, zijn ze makkelijker te auditeren dan de interne gewichten van een gefinetuned model. Dit voldoet aan richtlijnen zoals ELCAP voor "Background AI"-systemen die fouten moeten detecteren terwijl artsen de uiteindelijke autoriteit behouden.
• Privacy en Lokale Implementatie: De methode maakt het mogelijk om krachtige AI-systemen lokaal in ziekenhuisnetwerken te draaien (met SLMs), wat privacyrisico's van cloud-API's elimineert.
• Kosteneffectiviteit: Het vermijden van dure fine-tuning en het gebruik van lokaal draaiende modellen maakt deze oplossing schaalbaar voor de klinische praktijk.

Kortom, het paper toont aan dat reflectieve prompt-evolutie een praktische en effectieve route biedt naar betrouwbare AI-systemen voor het bewaken van medische dossiers op fouten.