Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

Technische Samenvatting: Prestatie-evaluatie en Benchmarking van Large Language Models op Real-World Emergency Department Triagegegevens

Probleemstelling
De triage op de Spoedeisende Hulp (SEH) is een proces met hoge inzet dat de prioritering van patiënten en de toewijzing van middelen bepaalt onder tijdsdruk. Hoewel Large Language Models (LLM's) zijn voorgesteld als beslissingsondersteunende instrumenten voor triage, berust de huidige evaluatie voornamelijk op gesimuleerde scenario's of gecureerde datasets (bijv. MIMIC-IV, NEJM Healer). Er is een kritiek gebrek aan bewijs met betrekking tot de prestaties, kalibratie en reproduceerbaarheid van hedendaagse LLM's wanneer deze worden toegepast op uitgebreide, ongecureerde, real-world klinische gegevens. Bovendien blijft de impact van prompting-strategieën versus modelarchitectuur op de nauwkeurigheid van de triage onduidelijk.

Methodologie
Deze retrospectieve cross-sectionele benchmarkingstudie werd uitgevoerd in een tertiair academisch centrum voor acute zorg in Duitsland, voorzien van een geïntegreerd Central Point of Assessment (CPA).

• Dataset: De studie maakte gebruik van 16.107 opeenvolgende volwassen walk-in consulten (oktober 2023 – februari 2024). De gegevens werden geëxtraheerd uit een gestructureerd klinisch beslissingsondersteunend systeem (CDSS) dat klachten vastlegt (CEDIS-PCL), vitale functies (ABCDE-framework) en de uiteindelijke triagebeslissingen gemaakt door gespecialiseerd verpleegkundig personeel. De gegevens waren volledig geanonimiseerd.
• Geëvalueerde Modellen: De studie beoordeelde 16 configuraties, waaronder 14 individuele LLM's (propriëtair en open-source, variërend in omvang en redeneervermogen), één ensemble-strategie ("Council of Models") en een specifieke stapsgewijze prompting-aanpak.
• Evaluatieprotocol:
  • Inputs: Modellen ontvingen gestructureerde klinische variabelen voor elk consult.
  • Outputs: Modellen kregen de taak om het Emergency Severity Index (ESI) niveau (1–5), de sectorale toewijzing (SEH versus Urgent Care Practice/UCP) en een zelfgerapporteerd mondeling geuit vertrouwensniveau (0–100%) te voorspellen.
  • Strategieën:
    • Standaard Prompting: Directe classificatie op basis van beschikbare gegevens.
    • Council of Models: Aggregatie van voorspellingen van negen modellen, waarbij een "voorzitter"-model de uiteindelijke ESI bepaalt.
    • ESI Stepwise: Een gestructureerde, beslisboom-benadering die het model sequentieel door het ESI-algoritme leidt (behoefte aan levensreddende interventie, risicovolle kenmerken, gevarenzone-vitale functies, schatting van middelen).
  • Reproduceerbaarheid: Een subset van 100 patiënten werd 100 keer bevraagd (10.000 classificaties in totaal) met identieke inputs om de stochastische variabiliteit te meten.
• Metrieken: Primaire uitkomsten omvatten overeenstemming gemeten via de kwadratisch gewogen Cohen's $\kappa$ ($\kappa_{qw}$), misclassificatiepatronen (over- of undertriage), Expected Calibration Error (ECE) en output-reproduceerbaarheid.

Belangrijkste Resultaten

• Triage-nauwkeurigheid (ESI-classificatie):
  • De prestaties waren zeer heterogeen over de verschillende modellen. De kwadratisch gewogen $\kappa$-waarden varieerden van 0,18 (GPT 5 Nano) tot 0,75.
  • Alleen de ESI Stepwise-aanpak bereikte een "substantiële" overeenstemming ($\kappa_{qw} = 0,747$), wat dicht bij de ondergrens van de gerapporteerde menselijke inter-beoordelaarsbetrouwbaarheid ligt.
  • De meeste andere modellen vertoonden slechts een "matige" tot "redelijke" overeenstemming ($\kappa_{qw}$ 0,18–0,52).
  • De meest voorkomende fouten traden op tussen aangrenzende niveaus, met name tussen ESI 3 en ESI 4.
• Sectorale Toewijzing (SEH versus UCP):
  • De overeenstemming over de sectorale toewijzing was uniform laag voor alle modellen ($\kappa \leq 0,30$).
  • Misallocaties kwamen frequent voor; bijvoorbeeld ruilden sommige modellen tot wel 75% van de patiënten die bedoeld waren voor de SEH naar de UCP, of vice versa.
• Bias en Kalibratie:
  • Overconfidence (Overmatige zelfverzekerdheid): Alle 14 individueel geëvalueerde modellen waren systematisch overmoedig. De overconfidence-indices varieerden van +5,2 tot +33,7 procentpunt (gemiddelde verbale vertrouwensniveau minus werkelijke nauwkeurigheid).
  • Kalibratie: De Expected Calibration Error (ECE) was hoog (0,099–0,355). Het verbale vertrouwensniveau vertoonde geen betekenisvolle associatie met correcte antwoorden (Confidence Accuracy $\approx$ 0), wat aangeeft dat modellen niet betrouwbaar hun eigen onzekerheid kunnen signaleren.
  • Directionele Bias: 13 van de 16 modellen vertoonden een netto over-triage (het toekennen van een hogere urgentie dan de verpleegkundigen), terwijl de ESI Stepwise-aanpak en GPT 5 Nano-varianten significante onder-triage vertoonden.
• Reproduceerbaarheid:
  • De output was niet-deterministisch voor een aanzienlijk deel van de gevallen. In het reproduceerbaarheidsexperiment ontvingen 23% van de patiënten in minder dan 70 van de 100 runs hun meest voorkomende ESI-classificatie.
  • Meerderheidsstemmen over 100 runs verbeterden de nauwkeurigheid niet significant, wat suggereert dat de variabiliteit voortkomt uit echte onzekerheid in de beslissingsgrenzen in plaats van eenvoudige steekproefruis.

Belangrijkste Bijdragen

1. Real-World Benchmarking: Dit is de eerste studie die meer dan een dozijn hedendaagse LLM's systematisch evalueert op een uitgebreide, ongecureerde real-world dataset van een actieve spoedeisende hulp, waarbij verder wordt gekeken dan fictieve vignettes of gecureerde archieven.
2. Prompting versus Architectuur: De studie toont aan dat de prompting-strategie invloedrijker is dan de modelgrootte of architectuur. Een gestructureerde, algoritme-gestuurde stapsgewijze aanpak presteerde aanzienlijk beter dan high-reasoning modellen met ongestructureerde prompts, wat suggereert dat het coderen van klinische logica in de prompt cruciaal is voor de prestaties.
3. Veiligheids- en Betrouwbaarheidsanalyse: Het artikel biedt een empirische kwantificering van de variabiliteit van LLM-output in een klinische setting, waarbij wordt onthuld dat een aanzienlijk deel van de gevallen inconsistente classificaties oplevert, zelfs met identieke inputs. Het benadrukt ook de kritieke veiligheidsgebreken van ongekalibreerde, zelfgerapporteerde vertrouwensscores.

Betekenis en Claims
De auteurs concluderen dat huidige large language models over het algemeen een heterogene en beperkte prestatie leveren bij real-world triage-taken op de SEH. Hoewel LLM's potentieel hebben als ondersteunende instrumenten, ondersteunen hun huidige kenmerken — specifiek het gebrek aan kalibratie, niet-deterministische outputs voor een deel van de patiënten en een slechte nauwkeurigheid bij sectorale toewijzing — geen autonome of veiligheidskritische inzet in klinische triage-omgevingen.

De studie benadrukt dat verbeteringen in kalibratie, betrouwbaarheid en workflow-integratie vereisten zijn voor klinische implementatie. Het suggereert dat toekomstige ontwikkeling de prioriteit moet geven aan gestructureerde, algoritme-gestuurde prompting en reguleringsconforme validatie in prospectieve settings, boven simpelweg het selecteren van grotere of complexere modellen. De bevindingen onderstrepen de noodzaak van externe kalibratiemechanismen en waarschuwen tegen het presenteren van zelfgerappoteerde vertrouwensscores aan clinici als waarschijnlijkheidschattingen.