📊 statistics

Deep Generalised Mixed Models: a Novel Neural Network Structure for Analysing Hierarchical Data

Questo articolo propone una nuova architettura di Deep Generalised Mixed Model che integra gli effetti misti nel deep learning per affrontare il bias di selezione derivante da dati mancanti in modo casuale (missing-at-random) in studi longitudinali ad alta dimensionalità, come il dataset sull'emozione adolescenziale GrowIt!, sebbene l'approccio affronti attualmente sfide legate all'instabilità del modello.

Autori originali: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Pubblicato 2026-08-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire come si sentono un gruppo di amici ogni singolo giorno. Chiedi loro di segnalare il proprio umore, i livelli di stress e la noia più volte al giorno per settimane. Questo si chiama "Experience Sampling" (campionamento dell'esperienza), ed è come scattare mille piccole istantanee della vita di una persona invece di una sola grande foto alla fine dell'anno. Il problema è che la vita diventa disordinata. A volte i tuoi amici dimenticano di segnalare, o smettono del tutto di farlo perché stanno passando una giornata davvero brutta. Nel mondo della scienza dei dati, questo viene chiamato "dati mancanti".

Per molto tempo, gli statistici hanno usato uno strumento chiamato "Modelli Misti" (Mixed Models) per gestire la cosa. Pensa a questi modelli come a un coach intelligente che conosce le regole generali del gioco (come si sente la maggior parte delle persone), ma che tiene anche un taccuino speciale per ogni giocatore per ricordare le sue peculiarità uniche. Tuttavia, questi coach della vecchia scuola si sentono sopraffatti quando i dati diventano troppo grandi o complessi. D'altro canto, i coach moderni del "Machine Learning" sono super veloci e possono gestire enormi quantità di dati, ma sono facilmente ingannabili. Se un giocatore smette di giocare perché è triste, un coach standard di Machine Learning potrebbe semplicemente ignorare questo fatto e ipotizzare che il giocatore stia bene, portando a previsioni errate. La grande domanda che gli scienziati si pongono è: possiamo costruire un coach che sia abbastanza veloce da gestire grandi quantità di dati e abbastanza intelligente da capire perché le persone abbandonano, in modo da non ottenere la risposta sbagliata?

Questo articolo presenta un nuovo modello sperimentale chiamato Deep Generalised Mixed Model (DGMM). Gli autori, un team di ricercatori dai Paesi Bassi, volevano vedere se fossero in grado di combinare le parti migliori dei vecchi coach statistici e dei nuovi coach di Machine Learning in un'unica super-struttura. Hanno costruito questo nuovo modello utilizzando un tipo di intelligenza artificiale chiamato "Rete Neurale", che è come un cervello digitale fatto di strati di nodi connessi. Nello specifico, hanno utilizzato un trucco astuto chiamato "Variational Auto-Encoder". Puoi immaginarlo come una macchina a due parti: una parte (l'encoder) cerca di comprimere il diario disordinato e incompleto di una persona in un semplice riassunto del suo "stato d'umore nascosto", e l'altra parte (il decoder) cerca di espandere quel riassunto per prevedere come saranno i suoi giorni futuri.

I ricercatori hanno testato questo nuovo modello su dati reali provenienti da un'app chiamata "GrowIt!", che è stata utilizzata dai adolescenti durante la pandemia per monitorare le proprie emozioni. Hanno anche eseguito centinaia di simulazioni al computer per vedere come il modello si sarebbe comportato in diverse condizioni, incluse quelle in cui i dati erano mancanti perché le persone stavano vivendo un periodo particolarmente negativo.

I risultati sono stati un misto di promesse e realtà dei fatti. Anche quando i dati erano perfetti e completi, il nuovo DGMM non ha eguagliato del tutto le prestazioni predittive dei modelli standard di Machine Learning; anzi, ha mostrato un'accuratezza leggermente inferiore rispetto alla "Reti Neurali Ricorrenti" (RNN) standard. Tuttavia, quando i dati erano disordinati e mancanti (che è esattamente ciò che accade nella vita reale), la situazione è diventata più complessa. Nel test del mondo reale con i ragazzi, il DGMM ha mostrato un adattamento complessivo ai dati peggiore rispetto alla RNN. Eppure, la RNN è stata descritta come "molto instabile", producendo previsioni che oscillavano selvaggiamente. Al contrario, per alcuni individui, il DGMM ha seguito meglio i veri trend rispetto alla RNN, che a volte prevedeva cali di umore grandi e inaccurati.

Gli autori suggeriscono che questa instabilità potrebbe essere dovuta al fatto che il modello è molto sensibile a come viene impostato e ha faticato con il modo specifico in cui i dati degli adolescenti erano mancanti. Tuttavia, nelle loro simulazioni al computer, quando il modello funzionava correttamente, era in realtà migliore nel prevedere il futuro per le persone che avevano abbandonato lo studio rispetto ai modelli standard. È riuscito a tenere conto del fatto che le persone che hanno smesso di segnalare erano probabilmente in una fase più difficile, mentre i modelli standard avevano perso questo indizio.

In definitiva, l'articolo conclude che, sebbene il Deep Generalised Mixed Model sia un'idea nuova e affascinante che potrebbe essere uno strumento potente per comprendere comportamenti umani complessi, non è ancora del tutto pronto per sostituire gli strumenti tradizionali. È come un prototipo di auto che ha un motore eccezionale ma un volante che traballa. I ricercatori hanno scoperto che, per ora, medici e psicologi dovrebbero probabilmente attenersi ai dati che hanno effettivamente a disposizione, piuttosto che affidarsi alle previsioni del modello su ciò che potrebbe essere accaduto. Tuttavia, sostengono che con alcuni aggiustamenti e migliori trucchi di stabilità, questa nuova architettura potrebbe un giorno diventare il gold standard per analizzare come ci sentiamo, pensiamo e cambiamo nel tempo.

Sintesi Tecnica: Modelli Misti Generalizzati Profondi (DGMM)

Problematica
Il documento affronta le sfide nell'analisi di dati longitudinali intensivi, specificamente i dati del Metodo di Campionamento dell'Esperienza (ESM), che comportano misurazioni ripetute frequenti di pensieri, emozioni e comportamenti. Gli attuali approcci analitici affrontano una dicotomia:

Tecniche Statistiche Standard: Sebbene i Modelli a Effetti Misti (MEM) gestiscano bene i dati sbilanciati e l'abbandono (drop-out), essi spesso faticano con le strutture di correlazione ad alta dimensionalità e complesse proprie dei dati ESM e si basano su rigide assunzioni distribuzionali.
Machine Learning (ML) / Deep Learning (DL): Tecniche come le Reti Neurali Ricorrenti (RNN) possono modellare strutture ad alta dimensionalità, ma spesso non forniscono un'inferenza valida quando i dati sono Missing-At-Random (MAR). Negli studi longitudinali, l'abbandono è frequentemente guidato dall'esito stesso (ad esempio, i partecipanti smettono a causa di emozioni negative), creando un bias di selezione. I metodi di imputazione ML standard (ad esempio, masking, imputazione della media) assumono tipicamente meccanismi Missing-Completely-At-Random (MCAR), portando a risultati distorti in scenari MAR.

I tentativi esistenti di combinare questi campi (ad esempio, Che et al., 2018) si basano su assunzioni restrittive sui meccanismi di mancanza dei dati (ad esempio, valori mancanti che decadono verso una media empirica) che non si verificano in scenari clinici complessi.

Metodologia
Gli autori propongono il Deep Generalised Mixed Model (DGMM), un'architettura di rete neurale innovativa che generalizza i modelli a effetti misti al deep learning.

Struttura del Modello: Il DGMM decompone la predizione degli esiti longitudinali $Y_{i,k}$ in due componenti:
- Effetti Fissi ( $\mu_1$ ): Modellati da una rete neurale feed-forward standard ( $h$ ) che prende come input le covariate di base ( $X_i$ ) e il tempo ( $T_{i,k}$ ). Questa componente cattura i trend a livello di popolazione.
- Effetti Random ( $\mu_2$ ): Modellati tramite una struttura di Autoencoder Variazionale (VAE).
  - Encoder ( $e$ ): Mappa i dati osservati ( $Y_i, T_i, X_i$ ) in uno spazio latente, stimando la media e la varianza di un vettore di effetti random specifico per il soggetto $b_i$ .
  - Decoder ( $d$ ): Campiona da questa distribuzione latente per generare deviazioni specifiche per il soggetto ( $\mu_2$ ), che vengono combinate con gli effetti fissi.
- Distribuzione: Il modello accoglie distribuzioni di esito generiche (Gaussiana, Gamma, Binomiale, ecc.) tramite funzioni di legame $G_k(\cdot)$ .
Stima:
- Poiché la verosimiglianza marginale comporta un integrale intrattabile su effetti random non lineari, gli autori utilizzano l'Inferenza Variazionale.
- Massimizzano l'Evidence Lower Bound (ELBO), che consiste in un termine di ricostruzione (approssimato tramite campionamento Monte Carlo) e un termine di divergenza di Kullback-Leibler (KL) che regolarizza la distribuzione latente rispetto a un prior normale standard.
- Gestione dei Dati Mancanti: Per affrontare i dati MAR dove le dimensioni degli input variano, gli autori impiegano un algoritmo di stima Expectation-Maximization (EM) a approssimazione stocastica combinato con un processo di Robbins–Monro.
  - I valori mancanti vengono imputati iterativamente. In ogni epoca, i parametri vengono aggiornati tramite discesa del gradiente stocastico e i valori mancanti sono simulati dalla distribuzione predittiva posteriore utilizzando un algoritmo Random Walk Metropolis–Hastings (RWMH).
  - Ciò permette all'encoder di utilizzare il pattern della mancanza dei dati per l'inferenza, piuttosto che limitarsi a mascherarli.
Predizione: Le predizioni dinamiche per nuovi soggetti sono generate integrando sulla distribuzione posteriore degli effetti random e dei parametri del modello, approssimata tramite campionamento Monte Carlo.

Contributi Chiave

Architettura: Il primo framework che generalizza i modelli a effetti misti al deep learning, stimando sia gli effetti fissi che quelli random tramite reti neurali, permettendo una modellazione semi-parametrica e flessibile dell'eterogeneità intra-persona e inter-persona.
Inferenza MAR: Un adattamento specifico di VAE e aumento dei dati bayesiano che consente un'inferenza valida sotto meccanismi Missing-At-Random, affrontando il bias di selezione spesso ignorato nelle applicazioni standard di deep learning per dati longitudinali.
Generalizzabilità: Il modello supporta varie distribuzioni di esito e scala in contesti ad alta dimensionalità, superando la rigidità dei classici MEM e i limiti di inferenza delle RNN standard.

Risultati
Gli autori hanno valutato il DGMM sul progetto GrowIt! (dati sulla salute mentale degli adolescenti durante la pandemia) e su vari studi di simulazione.

Applicazione GrowIt!:
- Il DGMM è stato applicato per predire Affetto Negativo, Solitudine e Noia.
- Performance: Il DGMM ha mostrato un fit peggiore sui dati osservati rispetto a una RNN standard, particolarmente per gli esiti binari.
- Forecasting: Entrambi i modelli hanno avuto difficoltà a prevedere accuratamente le traiettorie future. Il DGMM tendeva a collassare verso un modello lineare stabile, mentre la RNN produceva previsioni eccessivamente flessibili ma instabili.
- Conclusione: Gli autori attribuiscono la performance subottimale alle caratteristiche dei dati (correlazioni sequenziali piccole, distribuzioni asimmetriche e alta percentuale di dati mancanti ~61%) piuttosto che a un difetto fondamentale dell'architettura, suggerendo che per questo specifico dataset le decisioni cliniche dovrebbero basarsi sui dati osservati piuttosto che su previsioni complesse.
Studi di Simulazione:
- Assenza di Dati Mancanti: Il DGMM si è adattato bene, ma ha mostrato una performance predittiva leggermente peggiore rispetto alla RNN su set di test indipendenti.
- Dati Mancanti (MAR): Il DGMM ha dimostrato instabilità del modello, con un'alta varianza nell'errore di addestramento e nella performance predittiva tra le iterazioni. Ciò è stato attribuito all'interazione tra l'algoritmo di imputazione dei dati, l'inferenza variazionale e l'inizializzazione della rete neurale.
- Bias: Nonostante l'instabilità, quando il DGMM convergeva, recuperava le traiettorie reali con meno bias rispetto alla RNN in condizioni MAR, sfruttando con successo il meccanismo di mancanza dei dati.
- Imputazione: L'algoritmo di aumento dei dati ha imputato accuratamente i valori mancanti nei dati di addestramento, sebbene con una certa varianza.

Significatività e Rivendicazioni
Il documento afferma modestamente che, sebbene il DGMM sia un'architettura promettente per l'analisi di dati gerarchici non lineari, attualmente soffre di problemi di instabilità (sensibilità agli iperparametri, collasso del posteriore e varianza nella convergenza).

Potenziale: Il modello ha il potenziale per fornire un'inferenza valida in condizioni MAR dove il machine learning standard fallisce, particolarmente man mano che vengono raccolti più dati nel tempo.
Limitazioni: L'attuale implementazione scambia l'interpretabilità con la flessibilità. Gli autori notano che la rappresentazione dello spazio latente profondo è stata trattata come un sottoprodotto in questo studio.
Direzioni Future: Gli autori suggeriscono che le iterazioni future potrebbero migliorare la stabilità utilizzando tecniche come il KL-annealing, $\beta$ -VAE o garantendo l'identificabilità. Propongono inoltre di estendere l'architettura ad altri tipi di dati (ad esempio, imaging medico) e di utilizzare le dimensioni latenti per compiti non supervisionati (clustering) o per la modellazione congiunta di esiti di tipo time-to-event.

In sintesi, il DGMM rappresenta un avanzamento teorico nell'unificare i modelli misti statistici con il deep learning per i dati longitudinali, offrendo un meccanismo per gestire i dati MAR, ma la sua utilità pratica è attualmente limitata dall'instabilità dell'addestramento e dalle caratteristiche specifiche dei dataset testati.

Articoli simili