A Comprehensive Evaluation of Distributional Shift and Concept Drift Across Preprocessing Configurations, Domain Adaptation, and Representation Learning in GDM Prediction

La gravidanza è un periodo di intensi cambiamenti biologici e, per molte donne, comporta il rischio di diabete gestazionale, una condizione in cui i livelli di zucchero nel sangue salgono pericolosamente alti. Se non controllato, questo può portare a gravi complicazioni sia per la madre che per il bambino. Per intercettarlo precocemente, i medici si affidano spesso a un test del sangue specifico chiamato test di tolleranza al glucosio orale, che consiste nel bere una soluzione zuccherina e attendere di vedere come reagisce l'organismo. Tuttavia, questo test richiede molto tempo e attrezzature speciali, rendendolo difficile da utilizzare in ogni clinica o in aree con risorse limitate. Per questo motivo, i ricercatori hanno trascorso anni nel cercare di costruire programmi informatici in grado di prevedere chi svilupperà la malattia utilizzando solo informazioni semplici e di routine come età, peso e pressione sanguigna. La speranza era che questi strumenti digitali potessero fungere da sistema di allerta rapido ed precoce, segnalando le pazienti ad alto rischio prima ancora che abbiano bisogno del complesso test dello zucchero.

La sfida, tuttavia, è che questi programmi informatici spesso funzionano perfettamente nell'ospedale in cui sono stati creati, ma falliscono miseramente quando vengono portati in una clinica diversa. Ciò accade perché le persone in diversi ospedali non sono identiche; hanno età, tipologie corporee e storie cliniche differenti. Quando un modello addestrato su un gruppo di persone viene applicato a un altro, i modelli sottostanti che ha appreso possono interrompersi. Non si tratta solo di un problema di un modello leggermente impreciso; è un cambiamento fondamentale nel modo in cui i dati si comportano. I ricercatori chiamano questo fenomeno "concept drift" (deriva concettuale), una situazione in cui la relazione tra un fattore di rischio e la malattia cambia da un luogo all'altro. Ad esempio, un fattore che predice fortemente il diabete in una città potrebbe non avere alcun potere predittivo, o addirittura l'effetto opposto, in un'altra città.

Un team di ricercatori dell'Université de Moncton ha intrapreso un percorso per indagare esattamente perché questi modelli falliscono quando passano da una popolazione all'altra. Volevano sapere se il problema fosse semplicemente che i modelli non fossero abbastanza sofisticati, o se la questione fosse più profonda, radicata nei dati stessi. Per trovare la risposta, hanno raccolto due grandi gruppi di cartelle cliniche: uno da una fonte primaria con oltre 3.500 donne, e un gruppo completamente separato di oltre 1.200 donne di una regione diversa. Hanno poi costruito un vasto esperimento, testando decine di modi diversi per preparare i dati e cinque diversi tipi di modelli di machine learning. Hanno anche provato tecniche avanzate progettate per costringere i modelli ad adattarsi alla nuova popolazione, e hanno persino testato un moderno approccio di deep learning che cerca di apprendere la "forma" dei dati in modo più astratto.

I risultati sono stati netti e costanti. Quando i modelli venivano testati sui dati su cui erano stati addestrati, erano quasi perfetti, identificando correttamente quasi ogni caso di diabete gestazionale. Ma nel momento in cui venivano applicati al nuovo gruppo indipendente di donne, le loro prestazioni crollavano. Invece di un'alta accuratezza, i modelli performavano appena meglio di un caso casuale. Questo fallimento avveniva indipendentemente da quanto fosse complesso il modello, da come i dati venivano puliti o dal fatto che i ricercatori cercassero di usare trucchi matematici speciali per allineare i due gruppi. Persino i sistemi di deep learning più avanzati, che sono solitamente molto bravi a trovare schemi nascosti, subivano lo stesso fallimento totale. L'unico caso in cui i modelli funzionavano bene sul secondo gruppo era quando i ricercatori mescolavano i dati di entrambi i gruppi prima dell'addestramento. Ciò ha dimostrato che i modelli non erano troppo semplici per apprendere il compito; semplicemente, non potevano apprenderlo senza vedere esempi del gruppo target prima.

I ricercatori hanno scoperto che il principale colpevole era una specifica caratteristica nei dati: i risultati del test di tolleranza al glucosio orale. Nel primo gruppo di donne, questo test era il singolo predittore più potente della malattia. I modelli informatici avevano imparato a fare un forte affidamento su di esso. Tuttavia, nel secondo gruppo di donne, la relazione tra questo test e la malattia era cambiata così drasticamente che il test era diventato quasi inutile per la predizione. Poiché i modelli erano così dipendenti da questa singola informazione, tutta la loro logica cadeva a pezzi quando incontravano il nuovo gruppo. Quando i ricercatori hanno rimosso completamente questo test dai dati, i modelli hanno ottenuto prestazioni leggermente migliori nel nuovo contesto, sebbene abbiano continuato a faticare. Ciò suggerisce che, affinché un modello sia utile in diversi ospedali, deve essere addestrato senza fare affidamento sul test diagnostico specifico che varia così drasticamente tra le popolazioni.

Un'altra scoperta chiave riguardava il modo in cui i ricercatori gestivano le informazioni mancanti. Nelle cartelle cliniche, i dati sono spesso incompleti; una paziente potrebbe avere la pressione sanguigna registrata ma non il peso. Il team ha testato tre diversi metodi per colmare queste lacune. Hanno scoperto che il metodo più sofisticato, che utilizza le relazioni tra le diverse variabili per indovinare i valori mancanti, era il più robusto nel passaggio tra i gruppi. Metodi più semplici, che si limitano a inserire il valore medio, tendevano a rompere le delicate connessioni tra i punti dati, rendendo i modelli meno affidabili. Questo evidenzia come il modo in cui i dati vengono preparati sia tanto critico quanto il modello stesso.

Lo studio ha anche rivelato un colpo di scena sorprendente riguardo alle tecniche avanzate utilizzate per risolvere questi problemi. Un metodo popolare, che tenta di allineare matematicamente le proprietà statistiche dei due gruppi, ha in realtà peggiorato le cose per la maggior parte dei modelli. Ha migliorato le prestazioni di un tipo specifico di modello, ma ha degradato quelle degli altri. Ciò suggerisce che cercare semplicemente di far apparire due popolazioni diverse statisticamente simili non è una soluzione magica. Infatti, per i modelli che si basano sul prendere decisioni in base a soglie specifiche, questo allineamento ha distorto i dati in un modo che ha confuso ulteriormente il modello.

In definitiva, il lavoro punta a una conclusione chiara: la barriera all'uso di questi strumenti predittivi in diverse cliniche non è la mancanza di potenza di calcolo o di algoritmi ingegnosi. La barriera è il dato stesso. La relazione tra i fattori di rischio e la malattia non è fissa; cambia a seconda di chi viene studiato. I ricercatori hanno scoperto che, se si vuole che un modello funzioni in un nuovo luogo, non si può semplicemente addestrarlo su vecchi dati e sperare che si adatti. Bisogna includere i dati della nuova popolazione nel processo di addestramento, o almeno ricalibrare il modello utilizzando una piccola quantità di nuovi dati. Fino ad allora, l'approccio più affidabile per uno strumento di screening è evitare l'uso del test diagnostico specifico che causa la maggiore confusione e affidarsi invece agli indicatori di salute più stabili e basilari che rimangono coerenti tra i diversi gruppi. Questo studio serve da promemoria che, nel mondo dell'IA medica, un modello che funziona perfettamente in una stanza può essere completamente cieco nella successiva, e l'unico modo per vedere chiaramente è imparare dalle persone che si sta cercando di aiutare.