Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries

Questo studio dimostra che i grandi modelli linguistici con prompt a pochi esempi, in particolare Claude Haiku 4.5, possono superare le linee di base supervisionate come BioBERT nell'instradare le richieste online dei pazienti verso i livelli di follow-up clinico appropriati in condizioni di risorse limitate, sebbene la variabilità delle loro prestazioni suggerisca che siano più adatti a supportare una revisione umana selettiva piuttosto che un dispiegamento autonomo.

L'essenziale

Immagina un pronto soccorso ospedaliero affollato, ma invece di persone che entrano dalla porta, migliaia di persone stanno digitando domande su uno schermo di computer. Alcune chiedono informazioni per un raffreddore lieve, altre necessitano di fissare un appuntamento di routine dal medico, alcune presentano sintomi che richiedono l'attenzione di un medico entro un giorno, e poche hanno emergenze che mettono in pericolo la vita.

La sfida per l'ospedale è: Come si ordinano rapidamente e in sicurezza queste migliaia di messaggi senza che un umano ne legga uno solo?

Questo articolo è come una prova su strada per un nuovo tipo di "ordinatore digitale" che utilizza l'Intelligenza Artificiale (AI). Ecco una panoramica di ciò che hanno fatto e di ciò che hanno scoperto, utilizzando semplici analogie.

Il Problema: La casella di posta "rumorosa"

I messaggi dei pazienti online sono disordinati. Le persone non parlano come i medici; scrivono come amici. Potrebbero dimenticare di menzionare da quanto tempo sono malate, quanto è forte il dolore o se hanno altri problemi di salute.

• L'Obiettivo: Ordinare questi messaggi in quattro categorie:
  1. Autocura: "Rimani a casa, bevi tè, starai bene."
  2. Prenota una visita: "Fissa un appuntamento per la prossima settimana."
  3. Revisione Urgente: "Chiama un medico oggi o domani."
  4. Emergenza: "Chiama il 112 o vai al pronto soccorso immediatamente."

L'Esperimento: Il "Maestro" contro lo "Studente Intelligente"

I ricercatori volevano vedere se nuovi e potenti modelli di AI (chiamati Modelli Linguistici di Grande Dimensione o LLM) potessero eseguire questa ordinazione meglio dei vecchi, più semplici programmi informatici, specialmente quando non disponevano di un enorme mucchio di esempi pre-etichettati da studiare.

• Il Vecchio Metodo (Modelli Supervisionati): Immagina uno studente che deve memorizzare 700 esempi specifici di messaggi dei pazienti e le relative risposte per imparare le regole. Sono addestrati su "etichette d'argento" (risposte generate da un'AI, non da un medico umano).
• Il Nuovo Metodo (LLM con Prompt): Immagina uno studente molto intelligente che ha letto milioni di libri. Invece di memorizzare 700 esempi, gli dai solo alcune regole e un paio di esempi (chiamati "few-shot prompting") e chiedi: "Ecco un nuovo messaggio; dove va?"

I Risultati: Chi ha vinto la gara?

1. Lo "Studente Intelligente" (LLM) ha fatto meglio, ma non in modo travolgente.
Il miglior modello di AI (Claude Haiku 4.5) ha ottenuto circa il 47,5% di risposte corrette quando gli sono stati forniti 12 esempi da cui imparare. Il miglior modello del "Vecchio Metodo" (BioBERT) ha ottenuto circa il 37,8% di risposte corrette.

• Il Punto Debole: La differenza non è stata abbastanza grande per affermare che la nuova AI è definitivamente "migliore" in senso statistico; i loro punteggi si sovrapponevano. È come due corridori che terminano una gara in cui uno è leggermente in testa, ma il divario è così piccolo che non si può essere sicuri al 100% di chi sia più veloce senza rifare la corsa.

2. Il "Punteggio di Sicurezza" è più importante del "Voto".
In un compito di ordinazione, è peggio perdere un incendio (Emergenza) che inviare un non-emergenza al dipartimento dei vigili del fuoco (Sovra-triage).

• I ricercatori hanno scoperto che, sebbene i modelli di AI fossero migliori nel voto generale (Macro-F1), erano molto migliori nella sicurezza.
• I modelli di AI non hanno quasi mai perso una vera emergenza (Sottotriage Severo è stato 0% nel test), mentre i modelli più vecchi hanno perso casi pericolosi circa il 30% delle volte.
• Analogia: L'AI è come una guardia di sicurezza che è leggermente più lenta nel controllare i documenti d'identità ma è molto migliore nell'individuare una vera minaccia.

3. Il "Mezzo Confuso" è ancora difficile.
L'AI era ottima nell'individuare l'"Autocura" (facile) e l'"Emergenza" (ovvia). Ma faticava con la via di mezzo: "Revisione Urgente da parte del Clinico".

• Analogia: È facile distinguere tra un taglio di carta e un infarto. È molto difficile distinguere tra un forte mal di pancia che richiede un medico domani e uno che può aspettare una settimana. Anche l'AI più intelligente si confondeva qui.

4. La Strategia "A Due Teste" (Consenso)
I ricercatori hanno provato un trucco intelligente: cosa succederebbe se utilizzassero due diversi modelli di AI per ordinare i messaggi?

• Se entrambe le AI concordano: "Ok, pensiamo entrambi che questo sia 'Autocura'. Accettiamolo." (Questo ha funzionato molto bene).
• Se le AI non concordano: "Non possiamo accordarci. Inviamo questo a un medico umano per la visione."
• Il Risultato: Questo approccio "A Due Teste" ha creato una rete di sicurezza. Non significava che l'AI potesse lavorare da sola; significava che l'AI poteva agire come un filtro per aiutare gli umani a concentrarsi sui casi difficili.

La Conclusione: Un Assistente Utile, Non un Sostituto

L'articolo conclude che questi modelli di AI non sono pronti a lavorare da soli. Non sono medici "autonomi".

Invece, pensateci come a un assistente infermiere di triage high-tech:

• Possono ordinare rapidamente le domande di "autocura" facili.
• Possono segnalare le emergenze ovvie in modo che nessuno le perda.
• Ma per i casi confusi e di mezzo, devono sempre passare il messaggio a un medico umano.

In breve: L'AI è un ottimo strumento per aiutare gli umani a dare priorità al loro carico di lavoro, ma non dovrebbe mai essere il decisore finale per la sicurezza del paziente.

Sommario tecnico

Riepilogo Tecnico: Modelli Linguistici di Grande Dimensione con Few-Shot per la Categorizzazione Azionabile di Triage delle Richieste Online dei Pazienti

Enunciato del Problema

Le richieste online dei pazienti sulle piattaforme sanitarie sono tipicamente informali, incomplete e redatte prima di una valutazione professionale. Nonostante queste limitazioni, i sistemi sanitari richiedono metodi scalabili per instradare questi messaggi a un livello appropriato di follow-up clinico. Questo studio inquadra il problema come un compito di triage azionabile a quattro classi, distinto dalla generazione di diagnosi o dalla classificazione generale di testi medici. L'obiettivo è assegnare esattamente una delle quattro etichette di instradamento a una richiesta del paziente:

1. Autocura: Gestibile a casa senza contatto clinico.
2. Prenotazione visita: Richiede una valutazione clinica non urgente (giorni o settimane).
3. Revisione urgente da parte del clinico: Richiede una revisione tempestiva entro 24–48 ore.
4. Rinvio al pronto soccorso: Richiede una valutazione immediata di emergenza.

Il compito è impegnativo a causa della mancanza di dettagli clinici chiave (durata, gravità, parametri vitali) nel testo scritto dal paziente, della rarità dei casi ad alta acuzie e dell'asimmetria clinica degli errori, in cui il sottotriage (mancare un caso urgente) è più pericoloso del sovratriage.

Metodologia

Costruzione dei Dati

Lo studio utilizza il corpus HealthCareMagic-100K, un dataset pubblico di scambi anonimizzati tra pazienti e medici.

• Preprocessing: I record sono stati filtrati per rimuovere messaggi con meno di 20 token o più di 500 token, lasciando 110.163 messaggi utilizzabili.
• Campionamento Stratificato: Per affrontare lo squilibrio delle classi (in particolare la scarsità di casi di emergenza), è stata adottata una strategia di campionamento stratificato per parole chiave. I record sono stati valutati in base a parole chiave relative alle emergenze e a frasi di escalation da parte del medico, quindi assegnati a gruppi (autocura, prenotazione visita, urgente, emergenza) per arricchire il pool di lavoro con richieste ad alta acuzie.
• Divisioni dei Dati: Da un pool di lavoro di 1.040 record, sono stati creati tre insiemi disgiunti:
  • Set di Addestramento Argento (N=700): Etichettato automaticamente da Claude Sonnet 4.5. Utilizzato per l'addestramento di baseline supervisionate.
  • Set di Valutazione Oro (N=300): Calibrato da umani da due ricercatori utilizzando una guida di annotazione raffinata. Utilizzato per la valutazione finale.
  • Pool Few-Shot (N=40): Esempi ad alta confidenza verificati da umani utilizzati per dimostrazioni di apprendimento in contesto.

Annotazione ed Etichettatura

È stata sviluppata una guida di annotazione strutturata attraverso un pilota con due persone e sei round di raffinamento. Essa enfatizza il "triage dal solo testo", distinguendo i sintomi attivi dalle richieste informative e applicando soglie più basse per le popolazioni vulnerabili.

• Etichette Argento: Generate da Claude Sonnet 4.5.
• Calibrazione Oro: I revisori umani hanno confrontato le loro etichette indipendenti con le etichette iniziali di Sonnet. Per il set oro, il 38% delle etichette è stato rivisto, risultando in un $\kappa$ di Cohen Sonnet-umano di 0,35, evidenziando la necessità di una calibrazione umana.

Configurazione Sperimentale

Lo studio confronta baseline supervisionate con Modelli Linguistici di Grande Dimensione (LLM) promptati in condizioni di risorse limitate.

• Baseline Supervisionate:
  • TF-IDF: Regressione Logistica, Random Forest e XGBoost addestrati sul set argento di 700 record.
  • BioBERT: BioBERT-v1.1 fine-tuned sul set argento.
  • Nota: Sono state valutate entrambe le condizioni di addestramento "predefinita" (700 esempi completi) e "bilanciata" (sottocampionata a 91 esempi per classe).
• LLM Promptati: Sei modelli (Llama3.1-8B, Qwen3-8B, Mistral-7B, DeepSeek-R1-7B, GPT-4o-mini, Claude Haiku 4.5) valutati senza aggiornamenti dei parametri.
• Condizioni di Prompting: I modelli sono stati testati nelle impostazioni 0-shot, 4-shot (un esempio per classe) e 12-shot (tre esempi per classe).

Metriche di Valutazione

• Metrica Primaria: Macro-F1 (per tenere conto dello squilibrio delle classi).
• Metriche Consapevoli della Sicurezza: Recall per l'emergenza, recall per urgente o superiore, tasso di sottotriage (prevedere una gravità inferiore a quella reale) e tasso di sottotriage grave (divario di $\ge$ 2 livelli).
• Analisi del Consenso: Una simulazione Oracle Human-in-the-Loop (HITL) in cui le previsioni sono accettate automaticamente solo se due modelli concordano; altrimenti, i casi vengono escalati alla revisione umana.

Risultati Chiave

Prestazioni di Classificazione

• Baseline Supervisionate: La baseline supervisionata più forte è stata BioBERT-v1.1 (predefinito) con un macro-F1 di 0,378. Le prestazioni sono state notevolmente deboli sulla classe rinvio al pronto soccorso (F1 $\approx$ 0,26).
• Prestazioni LLM: Il prompting few-shot ha migliorato le prestazioni. Il modello più forte, Claude Haiku 4.5 (12-shot), ha raggiunto un macro-F1 di 0,475. Altri migliori performer includono Llama3.1-8B (0,464) e Qwen3-8B (0,444).
• Significatività Statistica: Sebbene gli LLM abbiano superato le baseline nelle stime puntuali, gli intervalli di confidenza si sono sovrapposti. I test di McNemar hanno indicato che solo Llama3.1-8B era significativamente migliore di BioBERT-v1.1; i migliori LLM non erano significativamente diversi tra loro.

Prestazioni Specifiche per Classe e di Sicurezza

• Difficoltà della Classe: "Autocura" è stata la classe più facile per gli LLM (F1 > 0,65). "Revisione urgente da parte del clinico" è rimasta la classe più difficile per tutti i modelli (F1 < 0,35), riflettendo l'ambiguità dei casi di acuzie intermedia.
• Metriche di Sicurezza: Gli LLM hanno dimostrato profili di sicurezza superiori rispetto alle baseline supervisionate.
  • Sottotriage: Tutte le configurazioni LLM principali hanno raggiunto un tasso di sottotriage grave di 0,000 sul set oro, mentre le baseline supervisionate variavano da 0,269 a 0,308.
  • Recall: GPT-4o-mini (12-shot) ha raggiunto la recall più alta per urgente o superiore (0,984) e il tasso di sottotriage più basso (0,053), nonostante avesse un macro-F1 inferiore rispetto a Claude Haiku 4.5.

Sensibilità al Prompt e Consenso

• Sensibilità al Prompt: I guadagni di prestazioni dal prompting few-shot non sono stati monotoni o uniformi. Mentre Claude Haiku 4.5 è migliorato in modo monotono con più shot, Qwen3-8B ha raggiunto il picco a 4-shot, e Llama3.1-8B ha performato peggio a 4-shot rispetto a 0-shot.
• Consenso a Due Modelli: L'accordo tra i modelli è stato fortemente dipendente dall'etichetta.
  • Autocura: Alta affidabilità dell'accordo (accuratezza del consenso > 90%).
  • Revisione urgente da parte del clinico: Bassa affidabilità dell'accordo (accuratezza del consenso $\approx$ 25%).
  • Oracle-HITL: Simulando un flusso di lavoro in cui i disaccordi vengono escalati agli umani, si è ottenuto un macro-F1 teorico fino a 0,708 (GPT-4o-mini + Llama3.1-8B), suggerendo un potenziale significativo per il supporto decisionale.

Significato e Affermazioni

Il documento conclude che gli LLM promptati possono supportare la prioritizzazione del triage e la revisione umana selettiva, ma non sono pronti per il dispiegamento autonomo.

• Supporto Decisionale, Non Sostituzione: Gli autori sostengono che il valore degli LLM risiede nella loro capacità di interpretare sintomi in testo libero e seguire linee guida complesse senza fine-tuning specifico per il compito. Tuttavia, la difficoltà persistente nella classificazione dei casi "revisione urgente da parte del clinico" e il rischio di sottotriage in scenari ad alto rischio precludono l'instradamento autonomo.
• Integrazione nel Flusso di Lavoro: Lo studio propone una strategia di previsione selettiva in cui gli LLM gestiscono gli accordi a basso rischio "autocura" (che sono affidabili) e segnalano i casi ad alto rischio o incerti per la revisione umana.
• Valutazione Consapevole della Sicurezza: Il documento sottolinea che le metriche aggregate come il macro-F1 oscurano i compromessi critici per la sicurezza. Modelli con punteggi F1 più bassi possono essere preferibili se minimizzano il sottotriage, una constatazione che richiede framework di valutazione consapevoli della sicurezza nell'NLP clinico.
• Limitazioni: Gli autori riconoscono le limitazioni, tra cui l'uso di un singolo corpus pubblico, la dimensione modesta del set oro (in particolare per i casi di emergenza), la dipendenza da etichette argento per l'addestramento supervisionato e la natura offline della valutazione. Affermano che è necessaria una validazione prospettica con revisori clinici prima di poter formulare affermazioni sulla riduzione del carico di lavoro o sulla sicurezza.

In sintesi, questo lavoro fornisce un benchmark rigoroso per gli LLM nel triage online dei pazienti, dimostrando che, sebbene gli LLM few-shot superino le tradizionali baseline supervisionate in ambienti a risorse limitate, il loro dispiegamento deve essere strettamente delimitato dalla supervisione umana e da segnali di confidenza dipendenti dall'etichetta.