Performance of Large Language Model on Real-World Patient Histories for Imaging Appropriateness.

Sintesi Tecnica: Prestazioni di un Modello di Linguaggio di Grandi Dimensioni su Anamnesi Reali di Pazienti per l'Appropriatezza delle Tecniche di Imaging

Definizione del Probleamento
Il mal di schiena lombare (LBP) è un disturbo muscoloscheletrico globale molto diffuso, che porta a frequenti richieste di risonanza magnetica (RM) della colonna lombosacrale. Le revisioni sistematiche indicano che circa il 29–34% di queste richieste di imaging è inappropriato, spesso in assenza di "segnali di allarme" (red flags) quali infezione, neoplasia o trauma. Le RM non necessarie aumentano i costi sanitari, l'ansia del paziente e il rischio di sovradiagnosi. Sebbene esistano strumenti di supporto alle decisioni cliniche e linee guida, la loro implementazione nel mondo reale è ostacolata dalle sfide di integrazione nel flusso di lavoro e dalla fatica da allerta. Sebbene i modelli di linguaggio di grandi dimensioni (LLM) siano emersi come un'alternativa scalabile per ridurre l'utilizzo non necessario, gli studi precedenti si sono ampiamente basati su scenari clinici ipotetici piuttosto che su anamnesi reali di pazienti, hanno utilizzato standard di riferimento basati su un singolo radiologo e si sono concentrati su versioni precedenti dei modelli (ad es. GPT-4) senza valutare sistematicamente il legame tra la qualità del ragionamento e l'affidabilità della decisione.

Metodologia
Questo studio trasversale ha valutato l'accuratezza diagnostica di GPT-5.2 nel classificare l'appropriatezza delle RM lombosacrali utilizzando anamnesi reali di pazienti e i criteri dell'American College of Radiology (ACR).

• Raccolta Dati: I dati sono stati raccolti retrospettivamente da 160 pazienti adulti (età media 48 ± 15 anni; 58% maschi) che sono stati sottoposti a RM lombosacrale tra settembre e novembre 2025. Sono stati esclusi i pazienti con anamnesi insufficiente, chirurgia spinale pregressa, sospetta infezione o trauma acuto. Un questionario strutturato, validato da cinque specialisti, è stato utilizzato per raccogliere le anamnesi cliniche pre-imaging.
• Prompting del Modello: Le anamnesi dei pazienti sono state inserite in GPT-5.2 tramite prompt strutturati che assegnavano al modello il ruolo di radiologo e richiedevano di classificare le indicazioni per la RM come "Solitamente Appropriate" (UA), "Possono Essere Appropriate" (MBA), "Solitamente Non Appropriate" (UNA) o "Informazioni Cliniche Insufficienti" (ICI) in base alle linee guida ACR, includendo un ragionamento esplicito.
• Standard di Riferimento: Due radiologi indipendenti (con 5 e 10 anni di esperienza) hanno funto da standard di riferimento.
  • Fase 1: I radiologi hanno valutato l'appropriatezza basandosi sugli stessi prompt forniti all'LLM, in cieco rispetto all'output del modello.
  • Fase 2: I radiologi hanno valutato l'accuratezza delle raccomandazioni dell'LLM e la qualità del suo ragionamento clinico utilizzando una scala Likert a 5 punti (1–5), in cieco l'uno rispetto alla valutazione dell'altro.
• Analisi Statistica: L'accordo è stato misurato utilizzando il kappa di Cohen pesato ($\kappa_w$) e il test di asimmetria di Bowker. Per l'analisi binaria, UA e MBA sono stati raggruppati come "Appropriate", e UNA come "Inappropriate". Le performance sono state misurate tramite Sensibilità, Specificità, PPV, NPV e Area Sotto la Curva (AUC). Sono state condotte analisi di sottogruppo basate sulla qualità del ragionamento valutata dai radiologi (Alta: $\ge$4 vs. Bassa: <4).

Risultati Chiave

• Accordo: GPT-5.2 ha dimostrato un accordo moderato con entrambi i radiologi ($\kappa_w = 0.58$ vs. Radiologo 1; $\kappa_w = 0.50$ vs. Radiologo 2). Questo livello di accordo è comparabile con l'accordo inter-radiologo ($\kappa_w = 0.575$).
• Classificazione Binaria: Il modello ha mostrato un'alta sensibilità (~85% rispetto a entrambi i radiologi) ma una specificità variabile (92.9% vs. Radiologo 1; 61.7% vs. Radiologo 2). Il Valore Predittivo Negativo (NPV) è stato moderato (57.8% vs. R1; 64.4% vs. R2), indicando una tendenza verso un uso della RM conservativo (restrittivo).
• Potere Discriminante: L'analisi ROC ha mostato una discriminazione da buona a eccellente contro il Radiologo 1 (AUC 0.891) e da discreta a buona contro il Radiologo 2 (AUC 0.751).
• Correlazione della Qualità del Ragionamento: Un reperto critico è stata la forte associazione tra la qualità del ragionamento e l'affidabilità della decisione. Quando i radiologi hanno valutato il ragionamento del modello come alto ($\ge$4), l'accordo esatto sull'appropriatezza era elevato (83.3% vs. R1; 90.4% vs. R2), e la discordanza opposta (il tipo di errore più pericoloso) era bassa (2.3–4.7%). Al contrario, quando il ragionamento era valutato basso (<4), l'accordo esatto scendeva allo 0–7.1% e la discordanza opposta aumentava drasticamente al 71.4–92.8%.
• Valutazione degli Esperti: I radiologi hanno valutato l'output del modello con punteggi elevati, con punteggi mediani Likert di 5 (massimo) sia per l'appropriatezza che per il ragionamento.

Significatività e Rivendicazioni
Gli autori affermano che GPT-5.2 si colloca nell'intervallo della variabilità inter-radiologo nel classificare l'appropriatezza della RM lombosacrale utilizzando anamnesi reali di pazienti. Lo studio evidenzia che la qualità del ragionamento del modello è un predittore robusto della affidabilità della decisione. Nello specifico, gli output di ragionamento di alta qualità correlano con un'alta concordanza con il giudizio esperto, mentre il ragionamento di bassa qualità correla con una significativa discordanza.

Il documento sostiene che gli LLM come GPT-5.2 abbiano il potenziale per servire come strumenti di supporto allo screening pre-analitico per ridurre le richieste di imaging non necessarie. Tuttavia, gli autori sottolineano che questo potenziale è subordinato alla qualità del ragionamento del modello, suggerendo un flusso di lavoro ibrido in cui gli output a basso ragionamento vengono scalati per la revisione esperta. Lo studio conclude che, sebbene il modello sia promettente, l'integrazione clinica sicura richiede una continua supervisione umana, una validazione prospettica multicentrica e l'istituzione di standard di riferimento consensuali per affrontare la variabilità inter-osservatore nei casi ambigui.