Domain-Adapted Small Language Models for Reliable Clinical Triage

1. Probleemstelling

De nauwkeurige toewijzing van de Emergency Severity Index (ESI) in spoedeisende hulpafdelingen (ED) is cruciaal voor patiëntuitkomsten en resourceallocatie, maar blijft zeer variabel en subjectief.

• Huidige Uitdagingen: De menselijke triage-nauwkeurigheid is laag (vaak 30–50%), wat leidt tot ondertriage (vertraging van levensreddende zorg) of overtriage (overbelasting van middelen).
• Beperkingen van Bestaande AI: Hoewel Large Language Models (LLM's) veelbelovend zijn, roepen propriëtaire modellen HIPAA/privacy-problemen op door externe API-aanroepen, vereisen ze enorme rekenkracht en produceren ze vaak inconsistente outputs. Bovendien zijn complexe inferentiestrategieën (zoals multi-agent debatten of Retrieval-Augmented Generation) niet bewezen om de prestaties te verbeteren bij regelgebaseerde klinische taken.
• De Kloof: Er is behoefte aan privacy-bewuste, on-premise en computatie-efficiënte beslissingsondersteunende tools die de ESI-toewijzing betrouwbaar kunnen automatiseren zonder veiligheid of reproduceerbaarheid te compromitteren.

2. Methodologie

De studie stelt een raamwerk voor voor het aanpassen van Small Language Models (SLM's) (≤7B parameters) aan klinische triage met behulp van een specifieke datapipeline en fine-tuning-strategie.

Data Bronnen & Voorbereiding

• Dataset: Retrospectieve data van de pediatrische ED van Children's National Hospital (CNH) (ongeveer 117k contactmomenten).
• Filtering: Een subset van hoge kwaliteit ($n=353$) werd samengesteld voor evaluatie, waarbij volledige Hoofdklachten, Vitalen, Fysisch Onderzoek en Medische Voorgeschiedenis vereist waren.
• Trainingsdata:
  1. Expert-gecurateerd: 245 vignettes uit het ESI-handboek (Gouden Standaard).
  2. Zilveren Standaard Dataset: 117.247 klinische vignettes automatisch gegenereerd door Qwen2.5-7B te vragen gestructureerde triagevelden te samenvatten, waarbij de door de verpleegkundige toegewezen ESI als ground truth werd behouden.

Modelselectie & Architectuur

• Basismodellen: Er werden meerdere open-source SLM's (Qwen2.5, MedGemma, MedLLaMA2) en grotere modellen (GPT-OSS) geëvalueerd.
• Doelmodel: Qwen2.5-7B werd geselecteerd als primaire kandidaat vanwege de balans tussen prestaties en efficiëntie.
• Fine-tuning Strategie:
  • QLoRA (Quantized Low-Rank Adaptation): Gebruikt voor geheugenefficiënt trainen op multi-GPU-opstellingen.
  • Sequentiële Chunking: De zilveren dataset werd opgedeeld in 10 chunks. Het model werd sequentieel getraind op elke chunk (Chunk 1 $\to$ Chunk 10) om convergentie en stabiliteit te monitoren.
  • Invoerformaten: Er werden zes prompting-pijplijnen getest, waaronder ruwe notities, gestructureerde data en klinische vignettes (beknopte samenvattingen van patiëntverhalen).

Evaluatiemetingen

Prestaties werden gemeten tegenover door verpleegkundigen toegewezen ESI-niveaus met behulp van:

• Totale Discordantie: Algemene misclassificatiesnelheid.
• Ondertriage/Overtriage: Directionele fouten.
• Significante Fouten: Kritieke misclassificaties (bijv. het voorspellen van ESI 3–5 voor een ware ESI 2, of ESI 1–2 voor een ware ESI 3–5).
• Inferenti Tijd: Latentie per patiëntcontact.

Exploratieve Experimenten

• Uitlegbaarheid: Token-niveau attentiekaarten werden geanalyseerd om te identificeren welke klinische aanwijzingen (bijv. ademhalingsnood versus administratieve termen) de voorspellingen dreven.
• Multi-Agent Systemen: Er werden ensembles van 3–4 agenten met verschillende persona's (veiligheid-eerst, richtlijn-streng) getest met behulp van stemming en debaatmechanismen.
• Retrieval-Augmented Generation (RAG): Er werd getest of het injecteren van het ESI-handboek in het contextvenster effectief was.
• Robuustheid: Prestaties werden geëvalueerd wanneer belangrijke data (Vitalen of Fysisch Onderzoek) kunstmatig werd verwijderd.

3. Belangrijkste Bijdragen

1. Demonstratie van SLM-Viabiliteit: Bewezen dat een open-source model met 7B parameters, bij domein-aanpassing, betere prestaties kan leveren dan grotere propriëtaire LLM's (bijv. GPT-4o) en andere SLM's in klinische triage.
2. Optimalisatie van Invoervoorstelling: Geïdentificeerd dat klinische vignettes (beknopte samenvattingen) het superieure invoerformaat zijn, aanzienlijk beter presterend dan ruwe triagenotities of gestructureerde data alleen.
3. Superioriteit van Fine-tuning boven Complexe Inferentie: Aangetoond dat gerichte fine-tuning op instellingspecifieke data betere resultaten oplevert dan complexe inferentiestrategieën zoals multi-agent debatten of RAG, die vaak ruis en latentie introduceerden.
4. Privacy-bewuste Implementatie: Een pad gevestigd voor on-premise, HIPAA-compliant triageondersteuning met behulp van lichtgewicht modellen die in sub-seconde latentie draaien.

4. Belangrijkste Resultaten

Model Prestatie Vergelijking

• Beste Model: Fine-tuned Qwen2.5-7B behaalde de beste balans tussen nauwkeurigheid en snelheid.
  • Totale Discordantie: Gereduceerd tot 25,85% (vergeleken met ~50–60% voor basismodellen en ~57% voor GPT-4o).
  • Significante Fouten: Lage rates van significante ondertriage (6,25%) en overtriage (2,56%) bereikt.
  • Inferentie Snelheid: 0,15–0,16 seconden per contactmoment, waardoor het geschikt is voor real-time workflows.
• Vergelijking met Grotere Modellen: Grotere modellen (bijv. GPT-OSS-120B, MedGemma-27B) boden geen nauwkeurigheidswinst maar waren 20–150x trager. GPT-4o had een discordantie van ~57% en duurde ~6 seconden per contactmoment.

Impact van Strategieën

• Fine-tuning vs. RAG: Alleen fine-tuning reduceerde de discordantie aanzienlijk. Het toevoegen van RAG (ophalen van ESI-richtlijnen) verhoogde de foutpercentages en latentie, wat suggereert dat voor regelgebaseerde taken, geïnternaliseerde kennis via fine-tuning superieur is aan externe retrieval.
• Multi-Agent Systemen: Ensembles (3–4 agenten) verslechterden de prestaties (discordantie steeg naar ~33–43%) en verhoogden de latentie (21–56s), waarschijnlijk door conflicterende redenering en variabiliteit.
• Robuustheid tegen Ontbrekende Data: De fine-tuned Qwen2.5-7B behield een lage discordantie (~29%) zelfs wanneer Vitalen of Fysisch Onderzoek ontbraken, en presteerde beter dan zowel basis Qwen als GPT-4o in scenario's met onvolledige data.

Uitlegbaarheidsbevindingen

• Correcte Voorspellingen: Attentie was gericht op klinisch betekenisvolle markers (ademhalingsfrequenties, pijndescriptoren, leeftijdspecifieke context).
• Incorrecte Voorspellingen: Attentie dwaalde af naar administratieve termen ("management", "proces") of oppervlakkige lexische aanwijzingen, wat wijst op gebieden voor toekomstige verbetering in de curatie van trainingsdata.

5. Betekenis en Conclusie

Deze studie stelt vast dat domein-geadaptede Small Language Models een praktische, veilige en zeer effectieve oplossing zijn voor klinische triageondersteuning.

• Klinische Impact: Door discordantie en significante fouten te verminderen, kunnen deze modellen verpleegkundigen helpen bij het standaardiseren van ESI-toewijzingen, wat mogelijk vertragingen in zorg voor patiënten met hoge urgentie kan verminderen.
• Operationele Haalbaarheid: De inferenti tijd in sub-seconden en de mogelijkheid tot on-premise implementatie adresseren de kritieke barrières van latentie en dataprivacy die de adoptie van LLM's in de gezondheidszorg hebben gehinderd.
• Strategisch Inzicht: De bevindingen suggereren dat voor gestructureerde, regelgebaseerde medische taken, kwalitatief hoogwaardige fine-tuning op instellingspecifieke data effectiever is dan het schalen van modelgrootte of het inzetten van complexe inferentie-architecturen.

Toekomstig Werk: De auteurs raden aan uit te breiden naar real-time, ruwe data, inclusief uitgesloten populaties (psychische gezondheid, ESI 1), en outcome-geankerde benchmarks te ontwikkelen om triagenauwkeurigheid te valideren tegen daadwerkelijke patiëntuitkomsten in plaats van alleen verpleegkundige toewijzingen.