Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

Nel mondo della medicina moderna, i medici si affidano sempre più ai computer per aiutare a prevedere quali pazienti potrebbero avere difficoltà a assumere le loro medicine quotidiane. Questo è particolarmente critico per i bambini che vivono con l'HIV, dove saltare le dosi della terapia antiretrovirale può avere conseguenze gravi e potenzialmente letali. Per fare queste previsioni, i ricercatori raccolgono enormi quantità di dati dalle visite ospedaliere, come il numero di pillole rimaste a un bambino, se un genitore ha segnalato una dose saltata o quanto tempo è trascorso per il ritiro di una prescrizione. Questi dati vengono inseriti in modelli di machine learning, programmi informatici sofisticati progettati per trovare schemi e prevedere comportamenti futuri. La speranza è che questi strumenti possano identificare precocemente i bambini a rischio, permettendo alle cliniche di intervenire prima che la salute del bambino peggiori. Tuttavia, esiste una trappola nascosta nel modo in cui questi dati vengono raccolti e utilizzati. Se le informazioni utilizzate per fare la previsione sono troppo strettamente legate alla definizione stessa del problema, il computer può apparire un genio quando in realtà sta solo leggendo la chiave di risposta. Questo fenomeno, noto come data leakage (dispersione dei dati), crea l'illusione di una perfezione che svanisce nel momento in cui il modello viene testato nel mondo reale.

Un team di ricercatori dell'Uganda ha recentemente indagato proprio su questo problema utilizzando i dati della coorte EARTH, uno studio a lungo termine che segue i bambini che vivono con l'HIV. Volevano capire quanto il successo apparente di un modello di machine learning dipendesse da un tipo specifico di problema metodologico: l'uso degli stessi indizi che definiscono il problema per risolvere il problema stesso. Nel loro studio complementare, il team aveva costruito un modello per prevedere l' "aderenza subottimale", che definivano come un bambino che salta le dosi, finisce le medicine o ritarda il ritiro in farmacia. Per essere rigorosi, avevano precedentemente rimosso i punti dati specifici che creavano direttamente questa definizione prima di addestrare il loro computer. Quel lavoro precedente aveva mostrato risultati modesti e realistici. Ma per questa nuova analisi, i ricercatori si sono posti una domanda diversa: cosa succede se lasciamo questi indizi all'interno? Volevano vedere quanto si sarebbe gonfiata la performance del modello se gli fosse stato permesso di sbirciare la risposta.

Per scoprirlo, i ricercatori hanno ricostruito il dataset dallo stesso gruppo di 208 bambini e 590 visite cliniche, ma hanno organizzato i dati in tre distinti livelli di rigore. Il primo livello era la versione "non controllata", in cui il computer riceveva ogni singolo pezzo di informazione disponibile, inclusi i rapporti diretti sulle dosi saltate e il conteggio esatto delle pillole rimanenti. Questi sono i fatti specifici che i ricercatori hanno usato per decidere se un bambino stava aderendo scarsamente o meno. Quando il computer è stato addestrato su questo livello, i risultati sono stati sorprendentemente perfetti. Sei diversi tipi di algoritmi di machine learning, compresi complessi modelli basati su alberi, hanno raggiunto un punteggio di 1,000, il che significa che non hanno commesso errori nelle loro previsioni. Il computer non stava prevedendo il futuro; stava semplicemente ripetendo le regole che gli erano state date. Ha scoperto che se un bambino aveva saltato una dose, il modello prevedeva la non-aderenza, e se non l'aveva saltata, prevedeva l'aderenza. Era un ciclo perfetto, ma inutile per la previsione nel mondo reale.

I ricercatori sono poi passati al secondo livello, la versione "scarsamente controllata". In questa fase, hanno rimosso i cinque campi specifici che definivano direttamente l'esito: la segnalazione di una dose saltata, il ritardo nel ritiro in farmacia, la segnalazione di aver finito le medicine, il calcolo del ritardo e la quantità di medicina rimanente. Senza questi indizi diretti, le prestazioni del computer sono scese significativamente. Il miglior modello, un programma chiamato CatBoost, ha visto il suo punteggio di accuratezza scendere da un perfetto 1,000 a 0,735. Sebbene questo fosse ancora un risultato discreto, era molto lontano dalla perfezione del primo livello. Questo calo ha dimostto che il successo iniziale era in gran parte un'illusione creata dal modello che leggeva la definizione del problema invece di apprendere un vero schema.

Tuttavia, la storia non finiva qui. I ricercatori hanno notato che anche in questo secondo livello, una variabile dominava ancora le decisioni del modello: un campo che indicava se il bambino avesse interrotto il trattamento dall'ultima visita. Sebbene questa variabile non definisse tecnicamente l'esito, era così strettamente correlata al concetto di aderenza da agire come un proxy quasi perfetto. Quando i ricercatori hanno rimosso questa ultima variabile per creare il terzo livello, "rigorosamente controllato", le prestazioni del modello sono scese nuovamente. Il modello CatBoost è sceso a un puntevo di 0,680, e la sua capacità di identificare correttamente i casi più critici è scesa a 0,407. Questo risultato finale corrispondeva da vicino alle modeste prestazioni viste nel loro precedente studio più rigoroso, confermando che il vero segnale predittivo nei dati era molto più debole di quanto suggerissero i numeri iniziali gonfiati.

Lo studio evidenzia una lezione cruciale per chiunque utilizzi i computer per prevedere esiti medici. I ricercatori hanno scoperto che i modelli basati su alberi, che sono popolari per la loro capacità di gestire dati complessi, sono particolarmente suscettibili a questo tipo di inflazione perché sono eccellenti nel trovare le regole esatte che definiscono una categoria. Quando l'esito target è costruito da una semplice combinazione "OR" di variabili di processo — come "dose saltata OPPURE finire le medicine" — il modello può facilmente memorizzare queste regole e raggiungere punteggi perfetti che non riflettono la realtà. I ricercatori sottolineano che variabili come i record di ritiro in farmacia non sono intrinsecamente cattive; sono utili per prevedere esiti diversi, come se il virus di un bambino sarà soppresso. Il pericolo sorge solo quando l'obiettivo è prevedere l'aderenza stessa, e al modello è permesso usare le stesse misurazioni che definiscono l'aderenza come suoi indizi primari.

In definitiva, questa analisi funge da avvertimento contro il prendere i numeri ad alte prestazioni per quelli che sono. I ricercatori hanno dimostrato che includere i campi che definiscono l'esito può aumentare artificialmente la discriminazione di un modello fino a 0,41 punti, una differenza enorme che potrebbe portare i clinici a fidarsi di uno strumento che non è in realtà pronto per l'uso. Suggeriscono che gli studi futuri dovrebbero adottare un approccio a livelli, rimuendo sistematicamente i componenti diretti e i proxy stretti per controllare questo tipo di leakage. Facendo così, gli scienziati possono garantire che i modelli che costruiscono stiano rilevando segnali genuini e trasportabili che reggeranno nel mondo reale, piuttosto che riflettere semplicemente la struttura dei dati con cui sono stati nutriti. Il lavoro conferma che, sebbene il machine learning offra grandi promesse per migliorare l'assistenza in contesti a basse risorse, il suo potere deve essere temperato da una rigorosa comprensione di come i dati vengono costruiti.