Spatial Transferability of Explainable Machine Learning for Predicting Pre-Treatment Tuberculosis Loss to Follow-up Across West Java Districts

Ogni anno, milioni di persone in tutto il mondo vengono diagnosticate la tubercolosi, una grave infezione batterica che attacca i polmoni. Il sistema medico ha un percorso chiaro da seguire: una volta che una persona viene diagnosticata, deve iniziare immediatamente a prendere la medicazione. Tuttavia, esiste un pericoloso vuoto in questo processo. Molti pazienti, dopo aver ricevuto la diagnosi, semplicemente non iniziano mai il trattamento. Abbandonano la clinica, perdono il contatto con gli operatori sanitari o decidono di non iniziare il regime terapeutico. Questo è noto come "perdita al follow-up". Questi individui rimangono infettivi, diffondendo la malattia alle loro famiglie e comunità, mentre la propria salute peggiora rapidamente. I programmi sanitari spesso faticano a trovare i fondi e il personale per assistere ogni singolo paziente, quindi hanno bisogno di un modo per identificare chi è più propenso ad abbandonare prima ancora che esca dalla porta. Se i medici potessero individuare precocemente questi pazienti ad alto rischio, potrebbero concentrare le loro limitate risorse sulle persone che ne hanno più bisogno, piuttosto che cercare di aiutare tutti allo stesso modo.

Nella provincia indonesiana di Giava Occidentale, i ricercatori si sono posti l'obiettivo di risolvere questo problema utilizzando le vaste quantità di dati già raccolte dal sistema sanitario nazionale. Hanno posto una domanda semplice ma difficile: può un programma informatico, addestrato sui record dei pazienti di tutta la provincia, prevedere con precisiono quali specifici individui in una specifica città non inizieranno il trattamento? Volevano sapere se un singolo modello su larga scala potesse funzionare ovunque, o se le circostanze uniche di ogni distretto avrebbero compromesso la previsione. Per rispondere a questo, si sono rivolti a un campo dell'informatica chiamato machine learning (apprendimento automatico), che permette ai computer di trovare schemi nei dati senza essere esplicitamente programmati con regole. Si sono concentrati su modelli "spiegabili", che sono come scatole trasparenti dove è possibile vedere esattamente perché il computer ha preso una decisione, piuttosto che "scatole nere" che forniscono una risposta senza mostrare il proprio ragionamento. Questa trasparenza è fondamentale per i medici, che devono comprendere il ragionamento dietro una previsione di rischio prima di agire su di essa.

Il team ha raccolto informazioni su oltre 174.000 persone diagnosticate con tubercolosi in ventisette diversi distretti e città di Giava Occidentale nel 2024. Hanno esaminato dettagli disponibili al momento della diagnosi, come l'età del paziente, se avesse il diabete, dove viveva e quale tipo di clinica avesse visitato. Soprattutto, hanno annotato se lo stato HIV del paziente fosse stato registrato nel sistema. Circa il nove per cento di questi pazienti era già andato perduto prima di iniziare il trattamento. I ricercatori hanno costruito cinque diversi modelli informatici per vedere quale potesse distinguere meglio i pazienti che avrebbero iniziato il trattamento da quelli che non lo avrebbero fatto. Hanno testato tutto, dai semplici metodi statistici a sistemi basati su alberi più complessi che prendono decisioni ponendo una serie di domande sì-o-no.

I risultati hanno mostrato che i modelli informatici erano sorprendentemente bravi nel loro lavoro. Il miglior modello riusciva a distinguere tra i pazienti che sarebbero rimasti e quelli che se ne sarebbero andati con un alto grado di precisione. Ciò che è stato forse più sorprendente è stato che tutti i cinque diversi tipi di modelli si sono comportati quasi allo stesso modo. Il modello più complesso non ha superato i più semplici di molto. Ciò ha suggerato che la qualità dei dati stessi, piuttosto che l'ingegnosità dell'algoritmo informatico, fosse il fattore principale che limitava l'efficacia delle previsioni. I dati contenevano segnali forti, in particolare riguardo alla registrazione dello stato HIV del paziente. I pazienti il cui stato HIV era mancante nel loro file erano molto più propensi a essere persi al follow-up rispetto a quelli il cui stato era chiaramente registrato come negativo o positivo. Questo indicava un problema più profondo: l'atto di registrare il test HIV non era solo un compito di inserimento dati, ma un segno di quanto fosse completo e accurato l'intero processo medico per quel paziente.

Tuttavia, quando i ricercatori hanno testato se questo singolo modello a livello provinciale funzionasse ugualmente bene in ogni città, il quadro è cambiato. Un modello che performava bene mediamente in tutta la regione falliva nell'essere affidabile in distretti specifici. In alcune aree, il modello sottostimava costantemente il rischio, prevedendo che i pazienti iniziassero il trattamento quando invece non lo facevano. In altre aree, sovrastimava il rischio. I ricercatori hanno scoperto due ragioni principali per questi fallimenti. In primo luogo, in alcuni distretti, il modo in cui i dati venivano registrati era diverso dal resto della provincia. Ad esempio, in un distretto, una percentuale molto più alta di pazienti presentava record HIV mancanti rispetto alla media provinciale. Poiché il modello faceva affidamento su questa informazione, faticava a fare previsioni accurate dove i dati erano incompleti.

La seconda ragione era più misteriosa. In certi distretti, anche quando i dati sembravano normali, il modello prevedeva che i pazienti iniziassero il trattamento, solo per scoprire che molti di loro non lo facevano. Ciò suggeriva che esistessero fattori locali che influenzavano le decisioni dei pazienti e che il computer non poteva vedere. Questi potevano includere la qualità dei servizi sanitari locali, la distanza dalla clinica o barriere culturali specifiche di quella città. I ricercatori hanno scoperto che questi fallimenti locali non si diffondevano tra le città vicine in un pattern prevedibile; una città con una cattiva previsione non era necessariamente accanto a un'altra città con una cattiva previsione. Ciò significava che un singolo modello unico, valido per tutti, non poteva essere affidato per funzionare ovunque senza aggiustamenti.

Lo studio ha concluso che, sebbene il machine learning sia uno strumento potente per identificare i pazienti a rischio, non può essere applicato semplicemente alla cieca in diverse regioni. I ricercatori hanno scoperto che il numero di pazienti in un distretto non determinava quanto bene funzionasse il modello; anche le aree con pochissimi pazienti potevano essere previste bene se i dati locali erano coerenti, mentre aree ampie potevano fallire se le condizioni locali erano uniche. Hanno anche scoperto che cercare di semplificare l'elenco dei fattori analizzati dal computer non migliorava i risultati. La lezione più importante era che il modello doveva essere ricalibrato per ogni specifica località. Regolando le previsioni del modello per adattarle alla realtà locale, gli operatori sanitari potevano utilizzare gli approfondimenti del computer per creare una lista mirata di pazienti che avevano realmente bisogno di ulteriore supporto.

Per rendere la cosa pratica per le cliniche impegnate, i ricercatori hanno tradotto il loro complesso modello informatico in un semplice sistema di punteggio. I medici potevano calcolare un punteggio di rischio per un paziente in pochi secondi usando solo pochi fatti: se lo stato HIV era registrato, come era stato diagnosticato, l'età e la storia del trattamento. Un paziente con un record HIV mancante, ad esempio, riceverebbe immediatamente un punteggio di rischio elevato, segnalando la necessità di attenzione immediata. Questo approccio permette ai programmi sanitari di passare dal trattare ogni paziente allo stesso modo e concentrarsi invece, con le loro limitate risorse, sugli individui che hanno maggiori probabilità di cadere tra le crepe del sistema. Lo studio ha dimostrato che, con i dati corretti e accurati aggiustamenti locali, la tecnologia può aiutare a colmare il divario tra diagnosi e trattamento, salvando vite nei giorni critici successivi a una diagnosi di tubercolosi.