Deep Learning versus Linear Mixed Models for Estimating Treatment Effects in Longitudinal Repeated-Measures Studies

Nel mondo della ricerca clinica, gli scienziati devono spesso monitorare come i pazienti cambiano nel tempo. Immaginate una persona che assume un farmaco per la depressione; i suoi sintomi non passano semplicemente da "brutto" a "buono" in un singolo istante. Al contrario, fluttuano giorno dopo giorno, influenzati dal farmaco, dalla loro biologia e dal passare del tempo. Per capire se un trattamento funziona davvero, i ricercatori raccolgono dati in più punti temporali — settimane, mesi o anni — creando una lunga linea di misurazioni per ogni individuo. La sfida è che queste misurazioni ripetute della stessa persona sono collegate; ciò che accade nel primo giorno influenza ciò che accadrà nel secondo. Gli strumenti statistici tradizionali sono stati a lungo lo standard per sbrogliare questi dati collegati, permettendo agli scienziati di separare il vero effetto di un farmaco dalle naturali altalenate delle condizioni di un paziente. Tuttavia, questi strumenti tradizionali richiedono ai ricercatori di fare ipotesi specifiche sulla forma della curva di recupero prima ancora di iniziare a guardare i dati. Se il recupero nel mondo reale segue un percorso diverso da quello ipotizzato, lo strumento potrebbe mancare l'obiettivo.

Un approccio più flessibile chiamato deep learning è emerso negli ultimi anni. A differenza degli strumenti tradizionali, il deep learning non parte con una forma predefinita o una formula rigida. Invece, utilizza un sistema informatico progettato per imitare il modo in cui il cervello umano apprende, permettendogli di scoprire schemi e relazioni complesse direttamente dai dati stessi. Questa flessibilità è potente, ma solleva una domanda critica: in l'ambiente ad alta posta in gioco della sperimentazione medica, dove le dimensioni del campione sono spesso modeste e il costo dell'errore è elevato, questo approccio flessibile e affamato di dati performa effettivamente meglio dei metodi stabiliti basati su regole? Un team di ricercatori in Francia ha deciso di rispondere a questa domanda creando un esperimento controllato per vedere quale metodo potesse misurare con maggiore accuratezza l'effetto di un trattamento.

I ricercatori non hanno testato questo approccio su pazienti reali, ma piuttosto su una simulazione computerizzata altamente realistica di una sperimentazione clinica per il disturbo depressivo maggiore. Hanno costruito un mondo virtuale in cui 240 partecipanti erano divisi in tre gruppi: uno riceveva un placebo, uno una dose bassa di un farmaco e uno una dose alta. Hanno simulato i punteggi di depressione dei pazienti nell'arco di otto settimane, creando tre diversi tipi di modelli di recupero per garantire che il test fosse robusto. Hanno anche variato la programmazione dei controlli, testando scenari in cui alcuni partecipanti venivano valutati in momenti diversi o con frequenze differenti. In questo ambiente virtuale, i ricercatori conoscevano l'esatta verità su come funzionasse il farmaco perché avevano scritto loro stessi le regole della simulazione. Ciò ha permesso loro di agire come un arbitro, confrontando quanto bene due diversi metodi — il modello statistico tradizionale e il nuovo sistema di deep learning — riuscissero a trovare quella verità nota.

Quando l'analisi è iniziata, entrambi i metodi sono stati in grado di vedere la tendenza generale: la dose più alta funzionava meglio della dose più bassa, e entrambe funzionavano meglio del placebo. In questo senso ampio, entrambi gli approcci sono stati di successo. Tuttavia, quando i ricercatori hanno guardato più da vicino la precisione dei numeri, è emersa una chiara differenza. Il metodo tradizionale, pur essendo affidabile in media, mostrava una deriva evidente dalla verità nota nelle sue stime. In media, il suo calcolo dell'effetto del trattamento era errato di circa 3,5 punti sulla scala della depressione. Al contrario, il sistema di deep learning era straordinariamente preciso, con le sue stime che mancavano il valore reale di soli 0,15 punti circa. Il sistema di deep learning mostrava anche un allineamento molto più stretto con la realtà nota, seguendo i valori veri quasi perfettamente, mentre il metodo tradizionale tendeva ad appiattire le differenze tra i gruppi, sottostimando la vera forza del trattamento.

Lo studio ha anche esaminato come ciascun sistema si comportasse quando la tempistica e la frequenza delle valutazioni variavano, imitando scenari del mondo reale in cui le programmazioni dei controlli non sono uniformi. Il modello di deep learning si è dimostrato robusto, mantenendo la sua accuratezza anche quando i dati venivano raccolti a intervalli irregolari. È riuscito a imparare i modelli sottostanti del recupero dei pazienti senza bisogno di sapere esattamente come tali modelli dovessero apparire. Il metodo tradizionale, che si basa su assunzioni specifiche su come i dati siano connessi e sulla forma della curva di recupero, ha mostrato una maggiore deviazione dalla verità quando i dati non si adattavano perfettamente alle sue aspettative preimpostate. I ricercatori hanno scoperto che l'approccio di deep learning richiedeva molte meno assunzioni sul sistema sottostante per produrre un risultato più vicino alla verità.

Nonostante questi risultati impressionanti nella simulazione, gli autori sono cauti nel non dichiarare una vittoria definitiva. Essi sottolineano che questi risultati sono specifici per le condizioni che hanno creato. Lo studio ha utilizzato un tipo specifico di scala della depressione, un numero specifico di partecipanti e un set specifico di regole su come i dati venissero generati. Sebbene il metodo di deep learning abbia mostrato una performance superiore in questo ambiente controllato, i ricercatori non affermano che sia universalmente migliore per ogni sperimentazione medica. Notano che i modelli di deep learning possono essere complessi e difficili da interpretare, e il loro successo in questa simulazione non garantisce che supereranno i metodi tradizionali in ogni scenario del mondo reale. Lo studio serve come prova di concetto, suggerendo che il deep learning può essere uno strumento potente e affidabile per stimare gli effetti del trattamento, particolarmente quando i modelli di recupero sono complessi e difficili da prevedere in anticipo. Apre la porta a ulteriori investigazioni, invitando gli scienziati a testare questi metodi in studi più ampi e diversificati per vedere se questa precisione regge quando le variabili della vita reale vengono pienamente introdotte.