📊 statistics

Deep Generalised Mixed Models: a Novel Neural Network Structure for Analysing Hierarchical Data

Dit artikel stelt een nieuwe Deep Generalised Mixed Model-architectuur voor die gemengde effecten integreert in deep learning om selectiebias door missing-at-random data in hoogdimensionele longitudinale studies, zoals de GrowIt! adolescentie-emotiedataset, aan te pakken, hoewel de aanpak momenteel kampt met uitdagingen wat betreft modelinstabiliteit.

Oorspronkelijke auteurs: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een groep vrienden zich elke dag voelt. Je vraagt hen om meerdere keren per dag gedurende weken door te geven hoe hun stemming, stressniveau en verveling zijn. Dit wordt "Experience Sampling" genoemd, en het is als het maken van duizend kleine snapshots van iemands leven in plaats van slechts één grote foto aan het einde van het jaar. Het probleem is dat het leven rommelig wordt. Soms vergeten je vrienden door te geven, of stoppen ze helemaal met doorgeven omdat ze een echt slechte dag hebben. In de wereld van data science wordt dit "missing data" (ontbrekende gegevens) genoemd.

Al een tijdje gebruiken statistici een hulpmiddel genaamd "Mixed Models" om hiermee om te gaan. Denk aan deze modellen als een slimme coach die de algemene regels van het spel kent (hoe de meeste mensen zich voelen), maar ook een speciaal notitieblokje voor elke speler bijhoudt om hun unieke eigenaardigheden te onthouden. Echter, deze ouderwetse coaches raken overweldigd wanneer de data te groot of te complex wordt. Aan de andere kant zijn moderne "Machine Learning"-coaches super snel en kunnen ze enorme hoeveelheden data aan, maar ze laten zich gemakkelijk foppen. Als een speler stopt met spelen omdat hij verdrietig is, kan een standaard Machine Learning-coach dat feit simpelweg negeren en voorspellen dat de speler het goed maakt, wat leidt tot foutieve voorspellingen. De grote vraag waar wetenschappers zich mee bezighouden is: Kunnen we een coach bouwen die zowel snel genoeg is om enorme hoeveelheden data te verwerken én slim genoeg is om te begrijpen waarom mensen uitvallen, zodat we niet het verkeerde antwoord krijgen?

Dit artikel introduceert een nieuwe, experimentele coach genaamd het Deep Generalised Mixed Model (DGMM). De auteurs, een team van onderzoekers uit Nederland, wilden zien of ze de beste delen van de oude statistische coaches en de nieuwe Machine Learning-coaches konden combineren tot één superstructuur. Ze bouwden dit nieuwe model met behulp van een type kunstmatige intelligentie genaamd een "Neuraal Netwerk", wat een digitale hersenstructuur is bestaande uit lagen van verbonden knopen. Specifiek gebruikten ze een slimme truc genaamd een "Variational Auto-Encoder". Je kunt dit zien als een machine met twee delen: één deel (de encoder) probeert iemands rommelige, incomplete dagboek te comprimeren tot een eenvoudige samenvatting van hun "verborgen gemoedstoestand", en het andere deel (de decoder) probeert die samenvatting weer uit te breiden om te voorspellen hoe hun toekomstige dagen eruit zullen zien.

De onderzoekers testten dit nieuwe model op echte data van een app genaamd "GrowIt!", die door tieners tijdens de pandemie werd gebruikt om hun emoties bij te houden. Ze voerden ook honderden computersimulaties uit om te zien hoe het model zou reageren onder verschillende omstandigheden, inclusief wanneer data ontbrak omdat mensen zich bijzonder negatief voelden.

De resultaten waren een mix van belofte en realiteitschecks. Zelfs toen de data perfect en compleet was, kwam de nieuwe DGMM niet helemaal overeen met de voorspellende prestaties van de standaard Machine Learning-modellen; het vertoonde zelfs een iets minder nauwkeurigheid dan een standaard "Recurrent Neural Network" (RNN). Echter, wanneer de data rommelig en incompleet was (wat precies gebeurt in het echte leven), werd de situatie complexer. In de praktijktest met de tieners liet de DGMM een minder goede algemene fit aan de data zien vergeleken met de RNN. Toch werd de RNN beschreven als "zeer instabiel", waarbij het voorspellingen genereerde die wild heen en weer sloegen. In tegenstelling hiertoe volgde de DGMM voor sommige individuen de werkelijke trends juist beter dan de RNN, die soms grote, onnauwkeurige dalingen in de stemming voorspelde.

De auteurs suggereren dat deze instabiliteit kan komen doordat het model erg gevoelig is voor de manier waarop het is ingesteld, en dat het moeite had met de specifieke manier waarop de data van de tieners ontbrak. Echter, in hun computersimulaties, wanneer het model wél correct functioneerde, was het daadwerkelijk beter in het voorspellen van de toekomst voor mensen die uit de studie waren gestapt, vergeleken met de standaardmodellen. Het slaagde erin om rekening te houden met het feit dat mensen die stopten met doorgeven waarschijnlijk een moeilijkere tijd hadden, terwijl de standaardmodellen die aanwijzing misten.

Uiteindelijk concludeert het artikel dat hoewel het Deep Generalised Mixed Model een fascinerend nieuw idee is dat een krachtig hulpmiddel zou kunnen zijn voor het begrijpen van complex menselijk gedrag, het nog niet klaar is om de oude tools te vervangen. Het is als een prototype auto met een fantastische motor, maar een stuur dat wiebelt. De onderzoekers vonden dat artsen en psychologen voorlopig beter vast kunnen houden aan de data die ze daadwerkelijk hebben, in plaats van te vertrouwen op de voorspellingen van het model over wat er misschien is gebeurd. Ze betogen echter dat met wat afstemming en betere stabiliteitstechnieken, deze nieuwe architectuur op een dag de gouden standaard zou kunnen worden voor het analyseren van hoe we ons voelen, denken en in de loop van de tijd veranderen.

Technische Samenvatting: Deep Generalised Mixed Models (DGMM)

Probleemstelling
Het artikel behandelt de uitdagingen bij het analyseren van intensieve longitudinale data, specifiek Experience Sampling Method (ESM) data, die bestaat uit frequente herhaalde metingen van gedachten, emoties en gedrag. Huidige analytische benaderingen kampen met een dichotomie:

Standaard Statistische Technieken: Hoewel Mixed Effects Models (MEMs) goed omgaan met ongebalanceerde data en uitval (drop-out), hebben ze vaak moeite met de hoogdimensionele, complexe correlatiestructuren die inherent zijn aan ESM-data en vertrouwen ze op rigide distributieve aannames.
Machine Learning (ML) / Deep Learning (DL): Technieken zoals Recurrent Neural Networks (RNNs) kunnen hoogdimensionele structuren modelleren, maar falen vaak in het leveren van geldige inferentie wanneer data Missing-At-Random (MAR) is. In longitudinale studies wordt uitval vaak gedreven door de uitkomst zelf (bijv. deelnemers die stoppen vanwege negatieve emoties), wat leidt tot selectiebias. Standaard ML-imputatiemethoden (bijv. masking, gemiddelde-imputatie) gaan doorgaans uit van Missing-Completely-At-Random (MCAR), wat leidt tot vertekende resultaten in MAR-scenario's.

Bestaande pogingen om deze velden te combineren (bijv. Che et al., 2018) leunen op restrictieve aannames over missingness-mechanismen (bijv. dat ontbrekende waarden vervallen naar een empirisch gemiddelde) die niet standhouden in complexe klinische scenario's.

Methodologie
De auteurs stellen de Deep Generalised Mixed Model (DGMM) voor, een nieuwe neurale netwerkarchitectuur die mixed effect models generaliseert naar deep learning.

Modelstructuur: De DGMM deelt de voorspelling van longitudinale uitkomsten $Y_{i,k}$ op in twee componenten:
- Fixed Effects ( $\mu_1$ ): Gemodelleerd door een standaard feed-forward neuraal netwerk ( $h$ ) dat baseline covariaten ( $X_i$ ) en tijd ( $T_{i,k}$ ) als input neemt. Dit vangt populatieniveau-trends op.
- Random Effects ( $\mu_2$ ): Gemodelleerd door een Variational Auto-Encoder (VAE) structuur.
  - Encoder ( $e$ ): Brengt geobserveerde data ( $Y_i, T_i, X_i$ ) in kaart naar een latente ruimte, waarbij het gemiddelde en de variantie van een subject-specifieke random effect vector $b_i$ worden geschat.
  - Decoder ( $d$ ): Samplet uit deze latente distributie om subject-specifieke afwijkingen ( $\mu_2$ ) te genereren, die vervolgens worden gecombineerd met de fixed effects.
- Distributie: Het model faciliteert generieke uitkomstdistributies (Gaussisch, Gamma, Binomiaal, etc.) via linkfuncties $G_k(\cdot)$ .
Schatting:
- Omdat de marginale likelihood een onhandelbare integraal betreft over niet-lineaire random effects, gebruiken de auteurs Variational Inference.
- Zij maximaliseren de Evidence Lower Bound (ELBO), die bestaat uit een reconstructieterm (benaderd via Monte Carlo sampling) en een Kullback-Leibler (KL) divergentieterm die de latente distributie reguleert tegen een standaard normale prior.
- Missing Data Handling: Om te gaan met MAR-data waarbij de inputgroottes variëren, gebruiken de auteurs een stochastische benadering van het Expectation-Maximization (EM) algoritme gecombineerd met een Robbins–Monro proces.
  - Ontbrekende uitkomsten worden iteratief geïmputeerd. In elke epoch worden parameters bijgewerkt via stochastic gradient descent, en ontbrekende waarden worden gesimuleerd uit de posterior predictive distributie met behulp van een Random Walk Metropolis–Hastings (RWMH) algoritme.
  - Dit stelt de encoder in staat om het patroon van missingness te gebruiken voor inferentie, in plaats van het simpelweg te maskeren.
Voorspelling: Dynamische voorspellingen voor nieuwe subjecten worden gegenereerd door te integreren over de posterior distributie van random effects en modelparameters, benaderd via Monte Carlo sampling.

Belangrijkste Bijdragen

Architectuur: Het eerste framework dat mixed effect models generaliseert naar deep learning door zowel fixed als random effects met neurale netwerken te schatten, wat een semi-parametrische en flexibele modellering van binnen- en tussenpersoons-heterogeniteit mogelijk maakt.
MAR Inferentie: Een specifieke adaptatie van VAEs en Bayesiaanse data-augmentatie die geldige inferentie mogelijk maakt onder Missing-At-Random mechanismen, waarmee de selectiebias wordt aangepakt die vaak genegeerd wordt in standaard deep learning toepassingen voor longitudinale data.
Generaliseerbaarheid: Het model ondersteunt diverse uitkomstdistributies en schaalt naar hoogdimensionele settings, waardoor de rigiditeit van standaard MEMs en de inferentiebeperkingen van standaard RNNs worden overwonnen.

Resultaten
De auteurs evalueerden de DGMM op de GrowIt! studie (adolescente mentale gezondheid tijdens de pandemie) en diverse simulatiestudies.

GrowIt! Toepassing:
- De DGMM werd toegepast om Negative Affect, Loneliness en Boredom te voorspellen.
- Prestaties: De DGMM vertoonde een minder goede fit op geobserveerde data vergeleken met een standaard RNN, met name voor binaire uitkomsten.
- Forecasting: Beide modellen hadden moeite met het accuraat voorspellen van toekomstige trajecten. De DGMM had de neiging om te convergeren naar een stabiel lineair model, terwijl de RNN te flexibele maar instabiele voorspellingen produceerde.
- Conclusie: De auteurs schrijven de suboptimale prestaties toe aan de karakteristieken van de data (kleine sequentiële correlaties, scheve distributies en hoge mate van missingness ~61%) in plaats aan een fundamenteel gebrek in de architectuur, wat suggereert dat klinische beslissingen voor dit specifieke dataset beter gebaseerd kunnen worden op geobserveerde data dan op complexe forecasting.
Simulatiestudies:
- Geen Missing Data: De DGMM paste goed, maar vertoonde iets slechtere voorspellende prestaties dan de RNN op onafhankelijke testsets.
- Missing Data (MAR): De DGMM vertoonde modelinstabiliteit, met een hoge variantie in trainingsfouten en voorspellende prestaties over verschillende iteraties. Dit werd toegeschreven aan de interactie tussen het data-imputatie algoritme, variational inference en de initialisatie van het neurale netwerk.
- Bias: Ondanks de instabiliteit, wanneer de DGMM convergeerde, herstelde het de ware trajecten met minder bias dan de RNN onder MAR-condities, waarbij het succesvol het missingness-mechanisme benutte.
- Imputatie: Het data-augmentatie algoritme imputeerde ontbrekende waarden in de trainingsdata accuraat, hoewel met enige variantie.

Betekenis en Claims
Het artikel claimt bescheiden dat hoewel de DGMM een veelbelovende architectuur is voor het analyseren van niet-lineaire hiërarchische data, het momenteel kampt met instabiliteitsproblemen (gevoeligheid voor hyperparameters, posterior collapse en variantie in convergentie).

Potentieel: Het model heeft potentie om geldige inferentie te bieden onder MAR-condities waar standaard ML faalt, vooral naarmate er meer data over de tijd wordt verzameld.
Beperkingen: De huidige implementatie ruilt interpreteerbaarheid in voor flexibiliteit. De auteurs merken op dat de diepe latente variabele representatie in deze studie als een bijproduct werd behandeld.
Toekomstige Richtingen: De auteurs suggereren dat toekomstige iteraties de stabiliteit kunnen verbeteren met technieken zoals KL-annealing, $\beta$ -VAE, of het garanderen van identificeerbaarheid. Ze stellen ook voor de architectuur uit te breiden naar andere datatypen (bijv. medische beeldvorming) en de latente dimensies te gebruiken voor ongesuperviseerde taken (clustering) of gezamenlijke modellering van time-to-event uitkomsten.

Samenvattend vormt de DGMM een theoretische vooruitgang in het verenigen van statistische mixed models met deep learning voor longitudinale data, en biedt het een mechanisme om met MAR-data om te gaan, maar de praktische bruikbaarheid wordt momenteel beperkt door trainingsinstabiliteit en de specifieke karakteristieken van de geteste datasets.

Meer zoals dit