Concordance of a ChatGPT-4o–based triage model with emergency physician categorization in the emergency department: a prospective observational comparison with emergency medical technicians

Sintesi Tecnica: Concordanza di un modello di triage basato su ChatGPT-4o con la categorizzazione di un medico d'emergenza

Problema
Il triage nel pronto soccorso (PS) è fondamentale per la sicurezza del paziente e l'allocazione delle risorse, ma si basa su un giudizio umano soggettivo, che porta a una variabilità inter-operatore influenzata dall'esperienza, dalla fatica e dai bias cognitivi. Sebbene i Large Language Models (LLM) come ChatGPT abbiano mostrato potenziale nei compiti clinici, le prove esistenti riguardo alle loro prestazioni nel triage sono eterogenee. Molti studi inquadrano la valutazione dell'LLM come "accuratezza diagnostica" rispetto a un'etichetta del clinico trattata come un "gold standard" oggettivo, un difetto metodologico dato che l'acuità del triage manca di una singola verità verificabile. Inoltre, studi precedenti utilizzano spesso input di testo libero, sistemi di triage a cinque livelli (es. Manchester Triage System) o disegni retrospettivi, limitandone l'applicabilità a contesti di triage strutturati a tre zone (Rosso/Giallo/Verde) comuni in Turchia, dove gli EMT (Tecnici di Emergenza Medica) spesso eseguono le valutazioni iniziali. Manca una prova prospettica che quantifichi quanto un LLM riproduca la categorizzazione di un medico in un ambiente standardizzato a tre zone (Rosso/Giallo/Verde) rispetto ai valutatori umani al letto del paziente.

Metodologia
Questo studio osservazionale prospettico è stato condotto in un ospedale universitario di terzo livello a Denizli, Turchia, tra giugno e novembre 2024.

• Partecipanti: 788 pazienti adulti (≥18 anni) presentatisi al PS. I criteri di esclusione includevano stato mentale alterato, disturbi psichiatrici acuti, barriere linguistiche, intossicazione acuta, necessità di RCP o visite ripetute entro 72 ore.
• Sistema di Triage: È stato utilizzato un sistema a tre zone (Rosso/alto, Giallo/moderato, Verde/basso) basato sulle linee guida del Ministero della Salute turco.
• Valutatori: Per ogni paziente sono state ottenute tre categorizzazioni indipendenti:
  1. Medico di Riferimento: Un singolo medico d'emergenza certificato ha assegnato la categoria di riferimento basandosi su un modulo di dati strutturati standardizzati.
  2. Modello AI: Un modello ChatGPT-4o (API, temperatura 0) ha ricevuto lo stesso modulo strutturato (in turco) e ha prodotto una singola categoria di triage.
  3. EMT: Gli EMT di routine hanno eseguito il triage al letto del paziente come parte del flusso di lavoro standard, ignari dello studio.
• Input dei Dati: Il medico e l'IA hanno condiviso input strutturati identici (dati demografici, parametri vitali ove disponibili, motivo della presentazione, anamnesi). Gli EMT hanno valutato i pazienti di persona. I parametri vitali sono stati registrati in modo incompleto per i pazienti a minore acuità, riflettendo la pratica routinaria.
• Analisi Statistica: La concordanza è stata misurata utilizzando il kappa di Cohen non pesato, il kappa lineare pesato e il kappa quadratico pesato, con intervalli di confidenza al 95% derivati tramite bootstrap di percentile (B=5000). Il confronto primario è stato AI vs. Medico; il confronto secondario è stato EMT vs. Medico. Le analisi per sottogruppi (età, sesso, modalità di arrivo) sono state aggiustate utilizzando la correzione di Holm. La performance a livello di categoria è stata valutata tramite il richiamo (recall) di riferimento e il valore predittivo.

Risultati Chiave

• Concordanza Complessiva: Il modello AI ha dimostrato un'alta concordanza con il medico di riferimento (kappa di Cohen = 0,842; 95% CI 0,806–0,875; kappa quadratico pesato = 0,901). Questo ha superato significativamente la concordanza tra EMT e medico (κ = 0,629; 95% CI 0,580–0,676). La differenza di accordo (Δκ) ha favorito l'IA di 0,213 (p < 0,001).
• Accordo Grezzo: L'IA ha raggiunto un accordo grezzo del 90,74% con il medico, rispetto al 78,68% degli EMT.
• Performance per Alta Acuità (Rosso):
  • Richiamo (Recall): L'IA ha identificato correttamente il 92,41% dei pazienti rossi designati dal medico, mentre gli EMT ne hanno identificati solo il 43,04%. Gli EMT hanno declassato il 57,0% dei pazienti rossi a gialli; l'IA ha declassato solo il 7,6%.
  • Valore Predittivo (Sovratriage): L'alto richiamo dell'IA è avvenuto a scapito del sovratriage. Solo il 72,28% dei pazienti che l'IA ha etichettato come "rossi" è stato confermato come rosso dal medico (28 erano in realtà gialli). Al contrario, gli EMT avevano un valore predittivo più alto per i casi rossi (87,18%), sebbene abbiano mancato più casi critici.
• Sottogruppi: Il vantaggio dell'IA rispetto agli EMT è stato costante tra i gruppi di sesso ed età. Tuttavia, nel sottogruppo di arrivo in ambulanza (n=67), la differenza non è stata statisticamente significativa dopo la correzione, probabilmente a causa della dimensione ridotta del campione e dell'arricchimento di casi ad alta acuità.
• Parametri Vitali: La registrazione incompleta dei parametri vitali non ha influenzato materialmente la concordanza medico-IA nelle analisi di sensibilità limitate ai pazienti con parametri registrati.

Significato e Rivendicazioni
Gli autori pongono questo studio come una dimostrazione di prova di concetto piuttosto che come una validazione dell'accuratezza diagnostica.

• Concordanza vs. Accuratezza: Lo studio afferma esplicitamente che, poiché il riferimento è il giudizio soggettivo di un singolo medico e non sono stati valutati gli esiti dei pazienti, i risultati riflettono l'accordo tra valutatori, non la validità diagnostica. Il modello riproduce le tendenze di categorizzazione del medico, ma non può essere definito "più accurato" dell'uomo.
• Potenziale di Rete di Sicurezza: La capacità del modello di identificare i pazienti ad alta acuità (rossi) in modo più coerente rispetto agli EMT (92,41% vs. 43,04% di recall) suggerisce un potenziale utilizzo come rete di sicurezza per ridurre il sottotriage, un noto fattore di rischio per esiti avversi.
• Compromessi (Trade-offs): Lo studio evidenzia un compromesso critico: il modello ottiene una maggiore sensibilità per i casi critici, ma a costo di un significativo sovratriage (riducendo l'efficienza delle risorse).
• Limitazioni e Lavoro Futuro: Gli autori riconoscono che l'input strutturato condiviso tra l'IA e il medico probabilmente gonfia l'accordo rispetto agli EMT, rendendo la differenza IA-EMT un "limite superiore" del potenziale vantaggio. Concludono che, prima dell'implementazione clinica, è necessaria una validazione multicentrica con riferimenti indipendenti ancorati agli esiti per determinare se il modello possa ridurre il sottotriage senza imporre un carico inaccettabile di sovratriage.

In sintesi, l'articolo dimostra che un modello ChatGPT-4o può mimare strettamente la categorizzazione di triage di un medico in un contesto strutturato a tre zone, superando gli EMT nell'identificazione dei casi critici, ma introducendo un tasso più elevato di sovratriage. Questi risultati supportano il potenziale del modello come strumento di supporto decisionale, ma sottolineano la necessità di una rigorosa validazione basata sugli esiti prima dell'implementazione clinica.