Development and Evaluation of Explainable Machine-Learning Models for Predicting 30-Day Unplanned Hospital Readmission

Gli ospedali sono luoghi dove le persone vanno per guarire, ma a volte, poco dopo la dimissione, si ritrovano a tornare. Questo ritorno, noto come riammissione, è spesso imprevisto e può segnalare che il recupero del paziente è stato incompleto, che la sua transizione verso casa è stata difficile o che la sua salute sottostante è più complessa di quanto inizialmente ipotizzato. Per i sistemi sanitari, questi ritorni sono costosi e stressanti per tutti i soggetti coinvolti. Per i pazienti, rappresentano un'interruzione nel loro percorso di guarigione e una potenziale minaccia al loro benessere. Per questo motivo, medici e amministratori cercano costantemente modi per identificare quali pazienti siano più propensi a tornare ancora prima che lasciano l'ospedale. Se riescono a individuare questi rischi precocemente, possono offrire un supporto extra, una migliore gestione dei farmaci o un monitoraggio più stretto per mantenere le persone in salute a casa.

Per anni, i ricercatori hanno cercato di costruire programmi informatici in grado di prevedere questi ritorni. Questi programmi analizzano la storia di un paziente — la sua età, i precedenti ricoveri ospedalari, il numero di farmaci che assume e le sue attuali condizioni di salute — per calcolare un punteggio di rischio. Tuttavia, gli strumenti utilizzati per costruire questi programmi sono cambiati. In passato, gli scienziati si affidavano a metodi statistici diretti, facili da comprendere ma talvolta incapaci di cogliere schemi complessi nei dati. Oggi, tecniche informatiche più potenti, spesso chiamate machine learning, possono setacciare enormi quantità di informazioni e trovare connessioni sottili che i metodi più semplici potrebbero trascurare. Ma c'è un problema: questi strumenti potenti possono essere come una "scatola nera", emettendo una previsione senza spiegare il perché. Affinché un medico possa fidarsi del consiglio di un computer, ha bisogno di comprenderne il ragionamento.

Uno studio recente condotto dai ricercatori Sharare Taheri Moghadam e Md Shafiqur Rahman Jabin ha affrontato questa sfida costruendo e testando due diversi tipi di modelli di previsione per vedere quale funzionasse meglio e quale fosse in grado di spiegare il proprio pensiero in modo più chiaro. Si sono concentrati sul problema specifico di prevedere se un paziente adulto sarebbe stato riammesso in ospedale entro trenta giorni dalle dimissioni. Per fare ciò, hanno creato un framework dimostrativo utilizzando un dataset sintetico — una collezione di dati generati al computer che imitano i dati reali degli ospedali senza utilizzare alcuna informazione privata reale. Ciò ha permesso loro di testare i propri metodi in modo sicuro e riproducibile prima di applicarli a record del mondo reale.

I ricercatori hanno predisposto un confronto diretto tra due approcci. Il primo era un modello statistico tradizionale, che hanno utilizzato come base affidabile. Il secondo era un modello di machine learning più avanzato noto come Random Forest. Si può pensare a una Random Forest come a un team di molti decisori che lavorano insieme; invece di affidarsi a una singola regola, combina le opinioni di centinaia di piccoli alberi decisionali per raggiungere una conclusione finale. Questo approccio è noto per essere molto efficace nel rilevare relazioni complesse e non lineari nei dati, come ad esempio come l'età di un paziente possa interagire con il numero di farmaci assunti per aumentare il rischio. Il team ha addestrato entrambi i modelli sui dati sintetici e poi ha chiesto loro di prevedere gli esiti per un nuovo gruppo di pazienti che non avevano mai visto prima.

I risultati hanno mostrato che il modello di machine learning più complesso era effettivamente più accurato. Il modello Random Forest ha identificato correttamente i pazienti che sarebbero tornati nel 75,8% dei casi, rispetto al 71,2% del modello tradizionale. Ha anche commesso meno errori complessivi, classificando correttamente l'86,5% di tutti i casi, mentre il modello tradizionale ne ha classificati correttamente l'83,5%. Forse la cosa più importante è che il modello avanzato ha commesso meno errori in entrambe le direzioni: ha mancato meno pazienti ad alto rischio che sono effettivamente tornati e ha segnalato meno pazienti a basso rischio che sarebbero stati al sicuro a casa. Nel linguaggio dello studio, il modello di machine learning ha ottenuto un punteggio di 0,84 su una scala di discriminazione, il che significa che è stato migliore nel separare coloro che sarebbero tornati da coloro che non lo sarebbero stati, rispetto a un punteggio di 0,72 del modello tradizionale.

Tuttavia, lo studio non si è fermato alla sola misurazione dell'accuratezza. I ricercatori sapevano che un modello non è utile in un ospedale se i medici non possono capire perché ha formulato una specifica previsione. Per risolvere questo problema, hanno utilizzato una tecnica chiamata SHAP, che agisce come un riflettore per mostrare esattamente quali fattori hanno spinto la previsione verso l'alto o verso il basso per ogni singolo paziente. Quando hanno esaminato i risultati, è emersa un'immagine chiara. Il fattore più importante per prevedere un ritorno in ospedale era semplicemente se il paziente fosse già stato ricoverato in precedenza. Questo è stato il segnale più forte in entrambi i modelli. Altri fattori significativi includevano la durata della permanenza in ospedale durante l'attuale ricovero, il numero di diversi farmaci assunti, il numero di patologie mediche, l'età e la presenza di problemi renali.

Lo studio ha anche scoperto che certi fattori in realtà abbassavano il rischio di un ritorno. I pazienti che venivano dimessi con un appuntamento di controllo programmato, quelli i cui farmaci erano stati accuratamente controllati e riconciliati prima delle dimissioni, e quelli che venivano dimessi presso la propria abitazione anziché in una struttura di assistenza erano meno propensi a tornare. Il modello di machine learning è stato in grado di pesare tutti questi fattori insieme, mostrando come un paziente con una lunga permanenza in ospedale e molti farmaci potesse essere ad alto rischio, anche se l'età era giovane. Per un esempio specifico di paziente nello studio, il computer ha spiegato che l'alto rischio era guidato principalmente dai precedenti ricoveri, seguiti dal numero di farmaci assunti e dalla funzione renale.

È fondamentale notare che questo studio è stata una dimostrazione di un metodo, non uno strumento medico finale pronto per l'uso in ogni ospedale. I ricercatori hanno utilizzato dati sintetici per dimostrare che il loro flusso di lavoro funzionava, ma hanno esplicitamente dichiarato che questi risultati devono essere testati su ampi dataset del mondo reale provenienti da ospedali veri prima di poter essere considerati affidabili per le decisioni cliniche. Lo studio non ha ancora verificato se le previsioni del modello fossero perfettamente calibrate sulle probabilità del mondo reale, né ha testato come il modello si comportasse tra diversi gruppi demografici o in diversi sistemi sanitari. Questi sono passi successivi essenziali. I ricercatori hanno inoltre sottolineato che, sebbene il modello possa spiegare quali fattori abbiano contribuito a un punteggio di rischio, ciò non significa che tali fattori siano la causa diretta della riammissione. Ad esempio, una lunga permanenza in ospedale potrebbe essere un segno di una malattia grave piuttosto che la causa stessa del ritorno.

Nonostante queste limitazioni, il lavoro fornisce una preziosa tabella di marcia per il futuro dell'assistenza ospedaliera. Dimostra che è possibile utilizzare modelli informatici potenti e complessi per prevedere gli esiti dei pazienti pur mantenendo il ragionamento trasparente e comprensibile per i medici. Combinando l'alta accuratezza del machine learning con spiegazioni chiare del perché un paziente sia a rischio, gli operatori sanitari potrebbero eventualmente disporre di uno strumento che aiuti loro a concentrare le risorse sui pazienti che ne hanno più bisogno. Lo studio conclude che, sebbene il modello di machine learning abbia superato quello tradizionale in questa simulazione, il vero valore risiede nella capacità di combinare una previsione forte con una spiegazione chiara, aprendo la strada a sistemi di supporto alle decisioni cliniche più intelligenti e affidabili.