Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

Sintesi Tecnica: Valutazione delle Prestazioni e Benchmarking di Large Language Models su Dati Reali di Triage in Pronto Soccorso

Problematica
Il triage in Pronto Soccorso (PS) è un processo ad alto rischio che determina la priorità dei pazienti e l'allocazione delle risorse sotto pressione temporale. Sebbene i Large Language Models (LLM) siano stati proposti come strumenti di supporto decisionale per il triage, le valutazioni esistenti si basano prevalentemente su scenari simulati o dataset curati (es. MIMIC-IV, NEJM Healer). Esiste una carenza critica di prove riguardanti le prestazioni, la calibrazione e la riproducibilità degli LLM contemporanei quando applicati a dati clinici reali, completi e non curati. Inoltre, rimane poco chiaro l'impatto delle strategie di prompting rispetto all'architettura del modello sull'accuratezza del triage.

Metodologia
Questo studio di benchmarking trasversale retrospettivo è stato condotto presso un centro accademico di emergenza di terzo livello in Germania, caratterizzato da un punto di valutazione centrale (CPA) integrato.

• Dataset: Lo studio ha utilizzato 16.107 incontri consecutivi di adulti (ottobre 2023 – febbraio 2024). I dati sono stati estratti da un sistema di supporto decisionale clinico (CDSS) strutturato che cattura i motivi della presentazione (CEDIS-PCL), i segni vitali (framework ABCDE) e le decisioni finali di triage effettuate dal personale infermieristico specializzato. I dati sono stati completamente anonimizzati.
• Modelli Valutati: Lo studio ha valutato 16 configurazioni, inclusi 14 singoli LLM (proprietà e open-source, con diverse dimensioni e capacità di ragionamento), una strategia di ensemble ("Council of Models") e un approccio di prompting sequenziale specifico.
• Protocollo di Valutazione:
  • Input: I modelli hanno ricevuto variabili cliniche strutturate per ogni incontro.
  • Output: Ai modelli è stato chiesto di predire il livello dell'Emergency Severity Index (ESI) (1–5), l'allocazione settoriale (PS vs. Centro Medico Urgente/UCP) e un livello di fiducia verbale auto-riportato (0–100%).
  • Strategie:
    • Prompting Standard: Classificazione diretta basata sui dati disponibili.
    • Council of Models: Aggregazione delle predizioni di nove modelli, con un modello "presidente" che determina l'ESI finale.
    • ESI Stepwise: Un approccio strutturato ad albero decisionale che guida il modello sequenzialmente attraverso l'algoritmo ESI (necessità di interventi salvavita, caratteristiche ad alto rischio, parametri vitali nella zona di pericolo, stima delle risorse).
  • Riproducibilità: Un sottogruppo di 100 pazienti è stato interrogato 100 volte ciascuno (10.000 classificazioni totali) utilizzando input identici per misurare la variabilità stocastica.
• Metriche: Gli esiti primari hanno incluso l'accordo misurato tramite il coefficiente kappa di Cohen pesato quadraticamente ($\kappa_{qw}$), i pattern di errore di classificazione (sovra-triage/sotto-triage), l'Errore di Calibrazione Attesa (ECE) e la riproducibilità dell'output.

Risultati Chiave

• Accuratezza del Triage (Classificazione ESI):
  • Le prestazioni sono state altamente eterogenee tra i modelli. I valori di kappa pesato quadraticamente ($\kappa_{qw}$) sono variati da 0,18 (GPT 5 Nano) a 0,75.
  • Solo l'approccio ESI Stepwise ha raggiunto un accordo "sostanziale" ($\kappa_{qw} = 0,747$), avvicinandosi al limite inferiore della affidabilità inter-valutatore riportata per gli esseri umani.
  • La maggior parte degli altri modelli ha dimostrato un accordo solo "moderato" o "discreto" ($\kappa_{qw}$ 0,18–0,52).
  • Gli errori più comuni si sono verificati tra livelli adiacenti, in particolare tra ESI 3 ed ESI 4.
• Allocazione Settoriale (PS vs. UCP):
  • L'accordo sull'assegnazione settoriale è stato uniformemente basso per tutti i modelli ($\kappa \leq 0,30$).
  • Le errate allocazioni sono state frequenti; ad esempio, alcuni modelli hanno erroneamente allocato fino al 75% dei pazienti destinati al PS verso l'UCP, o viceversa.
• Bias e Calibrazione:
  • Overconfidence (Eccessiva Sicurezza): Tutti i 14 modelli valutati singolarmente erano sistematicamente eccessivamente sicuri. Gli indici di overconfidence variavano da +5,2 a +33,7 punti percentuali (fiducia verbale media meno accuratezza reale).
  • Calibrazione: L'Errore di Calibrazione Attesa (ECE) era elevato (0,099–0,355). La fiducia verbale non mostrava alcuna associazione significativa con le risposte corrette (Confidence Accuracy $\approx$ 0), indicando che i modelli non possono segnalare in modo affidabile la propria incertezza.
  • Bias Direzionale: 13 dei 16 modelli hanno mostrato un netto over-triage (assegnazione di un'acuità maggiore rispetto agli infermieri), mentre l'approccio ESI Stepwise e le varianti GPT 5 Nano hanno mostrato un significativo under-triage.
• Riproducibilità:
  • L'output è risultato non deterministico per una parte sostanziale dei casi. Nell'esperimento di riproducibilità, il 23% dei pazienti ha ricevuto la propria classificazione ESI più comune in meno di 70 sessioni su 100.
  • Il voto di maggioranza su 100 sessioni non ha migliorato significativamente l'accuratezza, suggerendo che la variabilità derivi da una genuina incertezza nei confini decisionali piuttosto che da semplice rumore di campionamento.

Contributi Chiave

1. Benchmarking nel Mondo Reale: Questo è il primo studio che valuta sistematicamente oltre una dozzina di LLM contemporanei su un dataset completo e non curato proveniente da un vero pronto soccorso attivo, andando oltre vignette fittizie o archivi curati.
2. Prompting vs. Architettura: Lo studio dimostra che la strategia di prompting è più influente della dimensione o dell'architettura del modello. Un approccio stepwise strutturato e guidato dall'algoritmo ha superato significativamente i modelli ad alto ragionamento che utilizzavano prompt non strutturati, suggerendo che codificare la logica clinica nel prompt è critico per le prestazioni.
3. Analisi della Sicurezza e dell'Affidabilità: Il documento fornisce una quantificazione empirica della variabilità dell'output degli LLM in un contesto clinico, rivelando che una parte significativa dei casi produce classificazioni incoerenti anche con input identici. Evidenzia inoltre la critica vulnerabilità di sicurezza rappresentata dai punteggi di fiducia verbale non calibrati.

Significato e Conclusioni
Gli autori concludono che gli attuali Large Language Models dimostrano prestazioni eterogenee e generalmente limitate nei compiti di triage in contesti reali di emergenza. Sebbene gli LLM possano rappresentare strumenti di supporto, le loro caratteristiche attuali — specificamente la mancanza di calibrazione, gli output non deterministici per un sottogruppo di pazienti e la scarsa accuratezza nell'allocazione settoriale — non supportano l'implementazione autonoma o in contesti critici per la sicurezza nei processi di triage clinico.

Lo studio sottolinea che il miglioramento della calibrazione, dell'affidabilità e dell'integrazione nei flussi di lavoro è un prerequisito per l'implementazione clinica. Suggerisce che lo sviluppo futuro debba dare priorità al prompting strutturato guidato da algoritmi e alla validazione conforme alle normative in contesti prospettici, piuttosto che alla semplice selezione di modelli più grandi o complessi. I risultati sottolineano la necessità di meccanismi di calibrazione esterni e invitano alla cautela nel presentare i punteggi di fiducia auto-riportati ai clinici come stime di probabilità.