Can Physician Expertise Improve Machine Learning Identification of Delirium?

Sintesi Tecnica: L'esperienza medica può migliorare l'identificazione del delirio tramite machine learning?

Definizione del Problema
Il delirio, una condizione neuropsichiatrica acuta che colpisce fino al 50% dei pazienti anziani ospedalizzati, viene frequentemente trascurato nelle cure di routine. Il delirio non trattato porta a esiti gravi, tra cui il raddoppio dei costi sanitari, l'aumento della mortalità e il declino cognitivo a lungo termine. Sebbene tali interventi siano prevenibili in circa il 40% dei casi attraverso programmi multi-componente, queste strategie sono sottoutilizzate a causa della mancanza di protocolli standardizzati e di strumenti di rilevamento precoce scalabili. I modelli di predizione basati su machine learning (ML) esistenti soffrono spesso di limitazioni quali la dipendenza da dati non raccolti routinariamente (ad esempio, valutazioni cognitive), la bassa accuratezza, la trascuratezza dei dati testuali non strutturati e la suscettibilità al "model drift" (deriva del modello). Inoltre, gli approcci standard di machine learning automatizzato (aML) mancano spesso di trasparenza (natura "black-box"), ostacolando la fiducia clinica e l'adozione.

Metodologia: Apprendimento Automatico Interattivo Centrato sull'Utente (UC-iML)
Gli autori propongono un framework di Apprendimento Automatico Interattivo Centrato sull'Utente (UC-iML) progettato per integrare direttamente l'esperienza medica nel ciclo di vita dello sviluppo del ML. A differenza dei flussi di lavoro tradizionali in cui i clinici si limitano a revisionare i modelli finali, questo framework impiega un approccio "human-in-the-loop" attraverso tre fasi iterative:

1. Acquisizione dei Requisiti (RA): I medici (che agiscono come "Insegnanti della Macchina") collaborano con gli sviluppatori per definire le priorità cliniche. Essi danno priorità a caratteristiche che spaziano dai dati amministrativi (es. durata della degenza, destinazione alla dimissione), ai segnali clinici (es. anomalie dei laboratori, ammissione in terapia intensiva) fino ai pattern farmacologici. L'obiettivo è dare priorità all'alta sensibilità per lo screening piuttosto che affidarsi esclusivamente all'accuratezza, che può essere fuorviante in dataset sbilanciati.
2. Design e Prototipazione (DP): Questa fase prevede l'ingegneria delle caratteristiche da molteplici fonti e la raffinazione guidata dal medico. Il sistema integra:
   • Dati Amministrativi e Clinici: Codici ICD-10, parametri vitali e risultati di laboratorio (es. sodio, creatinina, globuli bianchi).
   • Indicatori derivati dal Testo: I referti radiologici (TC/RM) vengono elaborati utilizzando il metodo Term Frequency–Inverse Document-Frequency (TF-IDF) e un classificatore di gradient boosting per creare un indicatore di probabilità di delirio derivato dal testo.
   • Raffinazione dell'Esperto: Dopo uno screening iniziale basato su Lasso, i medici raffinano manualmente la ritenzione delle caratteristiche per preservare predittori clinicamente significativi e segnali etiologicamente rilevanti.
3. Valutazione Centrata sui "Machine Teachers" (MTCE): I medici valutano i modelli candidati utilizzando una dashboard interattiva. I criteri di selezione includono la performance di discriminazione (F1-score, ROC-AUC), la stabilità temporale (deviazione standard attraverso segmenti temporali) e la qualità della calibrazione.

Dataset e Configurazione Sperimentale
Lo studio utilizza il dataset GEMINI (General Medicine Inpatient Initiative), composto da 3.862 ricoveri ospedalieri etichettati provenienti da sei ospedali di Toronto. I dati includono variabili amministrative, risultati di laboratorio, farmaci e indicatori testuali derivati dalla radiologia.

• Fasi: Lo studio copre la Fase 1 (aprile 2010 – marzo 2015) e la Fase 2 (gennaio 2018 – gennaio 2020).
• Strategia di Validazione: È stato utilizzato un approccio di test di holdout temporalmente separato. I dati della Fase 1 sono stati segmentati in dieci intervalli di 6 mesi; i modelli sono stati addestrati sui primi nove e testati sul decimo per simulare una predizione prospettica. Un test di drift cross-fase ha valutato il modello addestrato sulla Fase 1 applicandolo ai dati della Fase 2.
• Comparatori: Il modello proposto UC-iML-Delirium è stato confrontato con:
  • aML-Delirium: Selezione delle caratteristiche guidata dai dati senza l'intervento del medico.
  • Baseline-Delirium: Esclusione delle caratteristiche derivate dal testo e della raffinazione guidata dal medico.
• Algoritmi: Sono stati testati dodici classificatori, tra cui Gradient Boosting (GBC), AdaBoost, Regressione Logistica e Random Forest. Il GBC è stato selezionato come il miglior performer.
• Interpretabilità: Sono stati utilizzati i valori di Shapley Additive Explanations (SHAP) per quantificare l'attribuzione delle caratteristiche e garantire l'interpretabilità clinica.

Risultati Chiave

• Performance: Il framework UC-iML-Delirium ha dimostrato una discriminazione complessiva superiore rispetto alle varianti automatizzate e di baseline. Nel test di holdout prospettico (Fase 1), il modello UC-iML basato su GBC ha raggiunto un F1 score di 0,719, un'Accuratezza di 0,851 e un ROC-AUC di 0,902.
• Robustezza Temporale: Il modello UC-iML ha mostrato una stabilità temporale significativamente più forte. Attraverso finestre mobili di 6 mesi, l'F1 score per UC-iML-GBC è stato di 0,701 ± 0,024, rispetto a 0,749 ± 0,136 per aML-Delirium e 0,402 ± 0,046 per Baseline-Delirium.
• Validazione Cross-Phase: Quando testato sui dati della Fase 2 (3–5 anni dopo), il modello ha mantenuto una performance robusta (F1 = 0,693 per GBC), sebbene abbia leggermente sottostimato la prevalenza del delirio, in linea con l'aumento dello sbilanciamento delle classi nel dataset successivo.
• Importanza delle Caratteristiche: L'analisi SHAP ha rivelato che le variabili ingegnerizzate, in particolare una probabilità di delirio derivata dal testo dai referti radiologici, erano tra i predittori più forti. Altri fattori di rischio principali includevano specifici codici diagnostici (es. F05 per il delirio in pronto soccorso), prescrizioni di antipsicotici e livelli di lattato.
• Compromessi Clinici: Sebbene il modello UC-iML abbia ottenuto un recall (sensibilità) e F1 score più elevati, ha mostrato una precisione inferiore rispetto al modello Baseline. Gli autori osservano che, per scopi di screening, si dà priorità alla minimizzazione dei casi mancati (alto recall) rispetto alla precisione.

Significatività e Rivendicazioni
L'articolo sostiene che il framework UC-iML sia un approccio pratico "human-in-the-loop" che migliora significativamente la predizione del delirio rispetto ai metodi automatizzati standard. I principali contributi sono:

1. Integrazione dell'Esperienza: Dimostrare che la raffinazione delle caratteristiche guidata dal medico e la valutazione portano a modelli con maggiore rilevanza clinica e robustezza temporale rispetto agli approcci puramente basati sui dati.
2. Replicabilità: Stabilire una pipeline replicabile per applicazioni cliniche che bilancia l'efficienza automatizzata con la supervisione di esperti del dominio.
3. Robustezza: Dimostrare che il modello mantiene la stabilità delle performance nel tempo e attraverso diversi coorti ospedalieri, affrontando il problema del "model drift" comune nell'IA sanitaria.
4. Interpretabilità: Utilizzare SHAP per evidenziare segnali clinicamente significativi (come gli indicatori testuali radiologici), favorendo così la fiducia tra i clinici.

Gli autori concludono che né l'ingegneria delle caratteristiche né l'esperienza medica da sole hanno ottenuto risultati comparabili; la sinergia di entrambe all'interno del framework UC-iML è essenziale per sviluppare strumenti di rilevamento del delirio affidabili e clinicamente azionabili. Il lavoro futuro suggerito si concentra sull'ulteriore integrazione dell'esperienza medica e sul perfezionamento della metodologia per una più ampia integrazione clinica.