Domain-Adapted Small Language Models for Reliable Clinical Triage

1. Enunciato del Problema

L'assegnazione accurata dell'Indice di Gravità delle Emergenze (ESI) nei dipartimenti di emergenza (ED) è fondamentale per gli esiti dei pazienti e l'allocazione delle risorse, ma rimane altamente variabile e soggettiva.

• Sfide Attuali: L'accuratezza del triage umano è bassa (spesso 30–50%), portando a sottotriage (ritardo di cure salvavita) o sopratriage (sovraccarico delle risorse).
• Limitazioni dell'IA Esistente: Sebbene i Modelli Linguistici di Grande Dimensione (LLM) mostrino promesse, i modelli proprietari sollevano preoccupazioni HIPAA/privacy a causa delle chiamate API esterne, richiedono risorse computazionali massive e spesso producono output incoerenti. Inoltre, strategie di inferenza complesse (come dibattiti multi-agente o Generazione Aumentata dal Recupero) non hanno dimostrato di migliorare le prestazioni su compiti clinici basati su regole.
• Il Divario: Esiste la necessità di strumenti di supporto decisionale che preservino la privacy, siano on-premise e computazionalmente efficienti, in grado di automatizzare in modo affidabile l'assegnazione dell'ESI senza compromettere la sicurezza o la riproducibilità.

2. Metodologia

Lo studio propone un framework per adattare i Small Language Models (SLM) (≤7B parametri) al triage clinico utilizzando una specifica pipeline di dati e una strategia di fine-tuning.

Fonti dei Dati e Preparazione

• Dataset: Dati retrospettivi dal dipartimento di emergenza pediatrico dell'Ospedale Nazionale per Bambini (CNH) (circa 117k accessi).
• Filtraggio: È stato curato un subset di alta qualità ($n=353$) per la valutazione, richiedendo Motivi di Accesso Completamente Descritti, Segni Vitali, Esami Fisici e Anamnesi Completa.
• Dati di Addestramento:
  1. Curati da Esperti: 245 vignette dal Manuale ESI (Gold Standard).
  2. Dataset Silver-Standard: 117.247 vignette cliniche generate automaticamente sollecitando Qwen2.5-7B a riassumere campi di triage strutturati, mantenendo l'ESI assegnato dall'infermiera come verità fondamentale.

Selezione e Architettura del Modello

• Modelli Base: Valutati diversi SLM open-source (Qwen2.5, MedGemma, MedLLaMA2) e modelli più grandi (GPT-OSS).
• Modello Target: Qwen2.5-7B è stato selezionato come candidato principale grazie al suo equilibrio tra prestazioni ed efficienza.
• Strategia di Fine-Tuning:
  • QLoRA (Adattamento a Basso Rango Quantizzato): Utilizzato per l'addestramento efficiente in memoria su configurazioni multi-GPU.
  • Chunking Sequenziale: Il dataset silver è stato suddiviso in 10 chunk. Il modello è stato addestrato sequenzialmente su ciascun chunk (Chunk 1 $\to$ Chunk 10) per monitorare la convergenza e la stabilità.
  • Formati di Input: Sperimentati sei pipeline di prompting, inclusi appunti grezzi, dati strutturati e vignette cliniche (riassunti concisi delle narrazioni dei pazienti).

Metriche di Valutazione

Le prestazioni sono state misurate rispetto ai livelli ESI assegnati dalle infermiere utilizzando:

• Discordanza Totale: Tasso complessivo di errata classificazione.
• Sottotriage/Sopratriage: Errori direzionali.
• Errori Significativi: Errate classificazioni critiche (es. prevedere ESI 3–5 per un vero ESI 2, o ESI 1–2 per un vero ESI 3–5).
• Tempo di Inferenza: Latenza per ogni accesso del paziente.

Esperimenti Esplorativi

• Spiegabilità: Analizzate mappe di attenzione a livello di token per identificare quali segnali clinici (es. distress respiratorio vs. termini amministrativi) guidavano le previsioni.
• Sistemi Multi-Agente: Testati ensemble di 3–4 agenti con diversi ruoli (sicurezza prioritaria, rigore delle linee guida) utilizzando meccanismi di votazione e dibattito.
• Generazione Aumentata dal Recupero (RAG): Testata l'iniezione del Manuale ESI nella finestra di contesto.
• Robustezza: Valutate le prestazioni quando dati chiave (Segni Vitali o Esame Fisico) sono stati rimossi artificialmente.

3. Contributi Chiave

1. Dimostrazione della Fattibilità degli SLM: Ha provato che un modello open-source da 7B parametri, quando adattato al dominio, può superare i LLM proprietari più grandi (es. GPT-4o) e altri SLM nel triage clinico.
2. Ottimizzazione della Rappresentazione dell'Input: Ha identificato che le vignette cliniche (riassunti concisi) sono il formato di input superiore, superando significativamente gli appunti di triage grezzi o i soli dati strutturati.
3. Superiorità del Fine-Tuning rispetto all'Inferenza Complessa: Ha dimostrato che il fine-tuning mirato su dati specifici dell'istituzione produce risultati migliori rispetto a strategie di inferenza complesse come dibattiti multi-agente o RAG, che spesso introducevano rumore e latenza.
4. Deploy che Preserva la Privacy: Ha stabilito un percorso per il supporto al triage on-premise e conforme HIPAA utilizzando modelli leggeri che operano con latenza sub-secondo.

4. Risultati Chiave

Confronto delle Prestazioni del Modello

• Miglior Modello: Il Qwen2.5-7B fine-tunato ha raggiunto il miglior equilibrio tra accuratezza e velocità.
  • Discordanza Totale: Ridotta al 25,85% (rispetto a ~50–60% per i modelli base e ~57% per GPT-4o).
  • Errori Significativi: Ha raggiunto bassi tassi di sottotriage significativo (6,25%) e sopratriage (2,56%).
  • Velocità di Inferenza: 0,15–0,16 secondi per accesso, rendendolo adatto a flussi di lavoro in tempo reale.
• Confronto con Modelli Più Grandi: I modelli più grandi (es. GPT-OSS-120B, MedGemma-27B) non hanno offerto guadagni di accuratezza ma erano 20–150 volte più lenti. GPT-4o ha avuto una discordanza di ~57% e ha richiesto ~6 secondi per accesso.

Impatto delle Strategie

• Fine-Tuning vs RAG: Il solo fine-tuning ha ridotto significativamente la discordanza. Aggiungere RAG (recuperando le linee guida ESI) ha aumentato i tassi di errore e la latenza, suggerendo che per compiti basati su regole, la conoscenza interiorizzata tramite fine-tuning è superiore al recupero esterno.
• Sistemi Multi-Agente: Gli ensemble (3–4 agenti) hanno peggiorato le prestazioni (la discordanza è salita a ~33–43%) e aumentato la latenza (21–56s), probabilmente a causa di ragionamenti conflittuali e variabilità.
• Robustezza ai Dati Mancanti: Il Qwen2.5-7B fine-tunato ha mantenuto una bassa discordanza (~29%) anche quando Segni Vitali o Esami Fisici mancavano, superando sia Qwen base che GPT-4o in scenari di dati incompleti.

Risultati sulla Spiegabilità

• Previsioni Corrette: L'attenzione si è concentrata su marcatori clinicamente significativi (frequenze respiratorie, descrittori del dolore, contesto specifico per età).
• Previsioni Errate: L'attenzione si è spostata verso termini amministrativi ("gestione", "processo") o indizi lessicali superficiali, indicando aree per futuri miglioramenti nella cura dei dati di addestramento.

5. Significato e Conclusione

Questo studio stabilisce che i Small Language Models adattati al dominio sono una soluzione pratica, sicura ed estremamente efficace per il supporto al triage clinico.

• Impatto Clinico: Riducendo la discordanza e gli errori significativi, questi modelli possono assistere le infermiere nel standardizzare le assegnazioni ESI, potenzialmente riducendo i ritardi nelle cure per pazienti ad alta acuità.
• Fattibilità Operativa: Il tempo di inferenza sub-secondo e la capacità di deploy on-premise affrontano le barriere critiche di latenza e privacy dei dati che hanno ostacolato l'adozione degli LLM nell'assistenza sanitaria.
• Insight Strategico: I risultati suggeriscono che per compiti medici strutturati e basati su regole, il fine-tuning di alta qualità su dati specifici dell'istituzione è più efficace rispetto alla scalatura delle dimensioni del modello o all'impiego di architetture di inferenza complesse.

Lavori Futuri: Gli autori raccomandano di espandere il lavoro a dati in tempo reale e rumorosi, includendo popolazioni escluse (salute mentale, ESI 1), e di sviluppare benchmark ancorati agli esiti per validare l'accuratezza del triage rispetto ai reali esiti dei pazienti piuttosto che alle sole assegnazioni delle infermiere.