Sintesi Tecnica: ClaMPAPP – Un sistema ibrido LLM–ML per l'appendicite pediatrica

Problematica

L'integrazione dell'Intelligenza Artificiale nel supporto alle decisioni cliniche per l'appendicite pediatrica affronta un dicotomia fondamentale. I modelli di Machine Learning (ML) supervisionato, addestrati su dati clinici strutturati (ad esempio, valori di laboratorio, misurazioni ecografiche), offrono una previsione del rischio robusta e deterministica, ma faticano a interfacciarsi con la natura non strutturata e narrativa della documentazione clinica reale. Al contrario, i Large Language Models (LLM) eccellono nell'interpretare le narrazioni in testo libero, ma presentano problemi critici di affidabilità quando utilizzati come motori diagnostici autonomi. Questi problemi includono la sensibilità alla formulazione dei prompt, il bias posizionale (ordine delle informazioni) e la generazione di output "allucinati" ma dall'aspetto plausibile. In contesti di triage acuto ad alta criticità, come l'appendicite pediatrica, il rischio di falsi negativi (diagnosi mancate) è una preoccupazione primaria per la sicurezza, rendendo inaccettabile l'instabilità di una diagnosi end-to-end basata su LLM.

Metodologia: L'architettura ClaMPAPP

Per colmare il divario tra l'usabilità del linguaggio naturale e l'affidabilità diagnostica, gli autori propongono ClaMPAPP (Clinical Language-assisted Machine-learning Pipeline for Appendicitis). Questo sistema ibrido riassegna l'LLM da decisore a interfaccia, delegando la previsione del rischio finale a un modello di ML supervisionato. La pipeline si compone di quattro fasi sequenziali:

1. Estrazione delle caratteristiche basata su LLM: Un LLM (specificamente Llama-3.1-8B nella fase di riscrittura) elabora narrazioni cliniche non strutturate simili a note. Invece di generare una diagnosi, l'LLM è vincolato tramite tool calling per eseguire il parsing semantico, mappando il testo libero in una rappresentazione strutturata vincolata da uno schema (JSON) contenente dati demografici, punteggi clinici (Alvarado, PAS), sintomi, variabili di laboratorio e risultati ecografici.
2. Validazione deterministica delle caratteristiche: Un gate di sicurezza valida le caratteristiche estratte rispetto a vincoli di plausibilità fisiologica e clinica predefiniti (ad esempio, $0 \le \text{Età} \le 18$, $35.0 \le \text{Temperatura} \le 42.0^\circ\text{C}$). I valori che violano questi limiti vengono mappati come valori mancanti (NaN) anziché essere troncati, evitando l'introduzione di input distorti. Questo passaggio assicura che solo dati clinicamente plausibili entrino nel predittore.
3. Previsione del rischio: Il vettore di caratteristiche validato viene passato a un classificatore XGBoost addestrato su variabili cliniche, di laboratorio ed ecografiche strutturate. XGBoost è stato selezionato per la sua capacità di gestire nativamente i dati mancanti e per le sue elevate prestazioni nei compiti di classificazione clinica. Il modello restituisce un punteggio di rischio di appendicite continuo.
4. Generazione del report: L'LLM agisce come riassuntore clinico, contestualizzando il punteggio di rischio di XGBoost e le caratteristiche estratte in un report strutturato per i clinici, utilizzando un linguaggio di triage non prescrittivo (ad esempio, "Alto rischio: considerare consulenza chirurgica") senza emettere direttive diagnostiche definitive.

Generazione dei dati e valutazione:
Per consentire una valutazione controllata con preservazione della verità di base (ground truth), gli autori hanno sintetizzato narrazioni simili a note partendo da dati strutturati di cartelle cliniche elettroniche (EHR) tramite un rendering basato su template seguito da una riscrittura tramite LLM. Questo approccio ha permesso la creazione di narrazioni "permutate" in cui l'ordine delle informazioni è stato invertito per testare la robustezza contro il bias posizionale, una vulnerabilità nota degli LLM.

Il sistema è stato valutato su due coorti retrospettive indipendenti da ospedali tedeschi:

• Coorte interna (Regensburg): 782 pazienti (580 addestramento, 202 test).
• Coorte esterna (Düsseldorf): 301 pazienti (utilizzata esclusivamente per la validazione esterna).

Contributi chiave

Il documento delinea tre contributi primari:

1. Riposizionamento dell'LLM: Il framework vincola l'LLM a un ruolo di estrazione delle caratteristiche e di interfaccia piuttosto che alla classificazione diagnostica diretta. Ciò rende la previsione finale deterministica, trasparente e verificabile, facendo affidamento su un modello ML validato per la stima del rischio.
2. Performance orientata alla sicurezza: ClaMPAPP dimostra un trade-off sensibilità-specificità superiore rispetto ai baseline di standalone LLM. Riduce significativamente i falsi negativi (casi di appendicite mancati), che è la metrica di sicurezza critica nel triage acuto.
3. Robustezza alle perturbazioni narrative: Attraverso esperimenti di permutazione dell'ordine delle frasi, lo studio mostra che mentre i baseline end-to-end degli LLM soffrono di un significativo degrado delle prestazioni dovuto al bias posizionale, l'architettura ibrida di ClaMPAPP rimane comparativamente stabile.

Risultati sperimentali

Il sistema è stato confrontato con uno spettro di LLM (inclusi OpenAI GPT-5.5, o3-pro, Anthropic Claude Opus 4.7 e modelli open-source come MedGemma e Llama-3.1) e modelli ML tradizionali.

• Performance diagnostica:

  • Validazione interna (Regensburg): ClaMPAPP ha raggiunto l'accuratezza più elevata (85,1%) e l'F1-score (84,8%) con una sensibilità del 97,7%, mancando solo 2 casi confermati. Al contrario, gli LLM standalone hanno mostrato trade-off instabili; ad esempio, MedGemma-4b-it aveva un'alta specificità ma ha mancato 40 casi (sensibilità 53,5%), mentre OASST-Pythia-12b ha mancato solo 1 caso ma aveva un tasso di falsi positivi di 113 (specificità 2,6%).
  • Validazione esterna (Düsseldorf): ClaMPAPP ha mantenuto l'accuratezza più elevata (80,7%) e l'F1-score (0,881) con una sensibilità del 93,5%, mancando 15 casi. Ha superato tutti i baseline nel minimizzare le diagnosi mancate, mentre modelli come OpenAI GPT-5.5 hanno mancato 78 casi nonostante una specificità superiore.

• Analisi della robustezza:

  • Sotto permutazione dell'ordine delle frasi (scambio della prima e della seconda metà della narrazione), i baseline di puro LLM hanno mostrato un significativo collasso delle prestazioni. Ad esempio, l'accuratezza di Llama-3.1-8b è scesa a 0,475 e la sensibilità di MedGemma-4b-it è crollata a 0,128.
  • ClaMPAPP ha dimostrato un'elevata robustezza architettonica, mantenendo una sensibilità perfetta (1,000) internamente e 0,926 esternamente sotto permutazione, con solo una minore diminuzione dell'accuratezza (5,2%).

• Calibrazione:

  • Sebbene ClaMPAPP abbia mostrato un'eccellente discriminazione (AUC interna = 0,982; AUC esterna = 0,804), la calibrazione della probabilità grezza era imperfetta. Una ricalibrazione logistica post-hoc esplorativa ha migliorato le metriche di calibrazione (ad esempio, riducendo il Brier score e l'ECE) senza alterare le prestazioni di ranking, suggerendo che la miscalibrazione fosse dovuta a un disallineamento della scala di probabilità piuttosto che a una scarsa capacità predittiva.

Significato e rivendicazioni

Il documento sostiene che il paradigma "LLM-come-interfaccia, ML-come-predittore" offre un percorso più verificabile e orientato alla sicurezza rispetto alla diagnosi generativa non vincolata. Separando l'usabilità del linguaggio naturale dall'inferenza predittiva, il sistema sfrutta l'utilità clinica degli LLM per l'estrazione dei dati pur facendo affidamento su modelli ML validati e deterministici per lo step decisionale critico.

Gli autori sottolineano che ClaMPAPP è progettato come un ausilio alla stratificazione del rischio orientato al triage, non come un test diagnostico autonomo. Il suo valore primario risiede nel minimizzare le diagnosi errate (falsi negativi) in contesti acuti. Lo studio conclude che, sebbene gli LLM end-to-end siano attualmente inadatti per decisioni diagnostiche critiche per la sicurezza a causa dell'instabilità e dei rischi di allucinazione, i sistemi ibridi possono colmare efficacemente il divario tra la documentazione narrativa e i modelli predittivi strutturati. Gli autori osservano che questo schema di integrazione è trasferibile ad altri domini medici dove coesistono predittori tabulari validati e documentazione narrativa, pur avvertendo che è necessaria una validazione prospettica nei flussi di lavoro reali prima del dispiegamento clinico.