📊 statistics

Deep Generalised Mixed Models: a Novel Neural Network Structure for Analysing Hierarchical Data

Cet article propose une nouvelle architecture de modèle mixte généralisé profond qui intègre les effets mixtes au deep learning pour traiter le biais de sélection provenant de données manquantes au hasard dans les études longitudinales de haute dimension, telles que l'ensemble de données sur les émotions des adolescents GrowIt!, bien que l'approche soit actuellement confrontée à des problèmes d'instabilité du modèle.

Auteurs originaux : Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Publié 2026-08-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nina van Gerwen, Dimitris Rizopoulos, Manon Hillegers, Loes Keijsers, Sten Willemsen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre ce que ressent un groupe d'amis chaque jour. Vous leur demandez de signaler leur humeur, leur niveau de stress et leur ennui plusieurs fois par jour pendant des semaines. C'est ce qu'on appelle l'« Échantillonnage d'Expérience », et c'est comme prendre mille petits instantanés de la vie d'une personne au lieu d'une seule grande photo à la fin de l'année. Le problème, c'est que la vie est désordonnée. Parfois, vos amis oublient de répondre, ou ils arrêtent de répondre parce qu'ils passent une très mauvaise journée. Dans le monde de la science des données, on appelle cela des « données manquantes ».

Pendant longtemps, les statisticiens ont utilisé un outil appelé « Modèles Mixtes » pour gérer cela. Voyez ces modèles comme un entraîneur intelligent qui connaît les règles générales du jeu (comment la plupart des gens se sentent), mais qui tient aussi un carnet spécial pour chaque joueur afin de se souvenir de ses particularités uniques. Cependant, ces entraîneurs de la vieille école sont dépassés lorsque les données deviennent trop volumineuses ou trop complexes. D'un autre côté, les entraîneurs modernes de l'« Apprentissage Automatique » (Machine Learning) sont super rapides et peuvent gérer des quantités massives de données, mais ils sont facilement trompés. Si un joueur arrête de jouer parce qu'il est triste, un entraîneur d'Apprentissage Automatique standard pourrait simplement ignorer ce fait et deviner que le joueur va bien, ce qui conduit à des prédictions erronées. La grande question que se posent les scientifiques est la suivante : pouvons-nous construire un entraîneur qui soit à la fois assez rapide pour gérer de grandes quantités de données et assez intelligent pour comprendre pourquoi les gens abandonnent, afin que nous n'ayons pas la mauvaise réponse ?

Ce document présente un nouvel entraîneur expérimental appelé le Modèle Mixte Généralisé Profond (DGMM). Les auteurs, une équipe de chercheurs des Pays-Bas, ont voulu voir s'ils pouvaient combiner les meilleures parties des anciens entraîneurs statistiques et des nouveaux entraîneurs d'Apprentissage Automatique en une seule super-structure. Ils ont construit ce nouveau modèle en utilisant un type d'intelligence artificielle appelé « Réseau de Neurones », qui est comme un cerveau numérique composé de couches de nœuds connectés. Plus précisément, ils ont utilisé une astuce ingénieuse appelée « Auto-encodeur Variationnel ». Vous pouvez voir cela comme une machine en deux parties : une partie (l'encodeur) tente de compresser le journal désordonné et incomplet d'une personne en un résumé simple de son « état d'humeur caché », et l'autre partie (le décodeur) tente d'étendre ce résumé pour prédire ce que seront ses journées futures.

Les chercheurs ont testé ce nouveau modèle sur des données réelles provenant d'une application appelée « GrowIt ! », qui était utilisée par des adolescents pendant la pandémie pour suivre leurs émotions. Ils ont également réalisé des centaines de simulations informatiques pour voir comment le modèle se comporterait sous différentes conditions, y compris lorsque les données étaient manquantes parce que les gens se sentaient particulièrement négatifs.

Les résultats étaient un mélange de promesses et de rappels à la réalité. Même lorsque les données étaient parfaites et complètes, le nouveau DGMM n'a pas tout à fait égalé la performance prédictive des modèles d'Apprentissage Automatique standards ; en fait, il présentait une précision légèrement inférieure à celle du « Réseau de Neurones Récurrent » (RNN) standard. Cependant, lorsque les données étaient désordonnées et manquantes (ce qui arrive exactement dans la vraie vie), la situation devenait plus complexe. Dans le test en conditions réelles avec les adolescents, le DGMM a montré un ajustement global moins bon que le RNN. Pourtant, le RNN a été décrit comme étant « très instable », produisant des prévisions qui oscillaient sauvagement. En revanche, pour certains individus, le DGMM suivait en fait mieux les tendances réelles que le RNN, qui prédisait parfois des chutes de moral importantes et inexactes.

Les auteurs suggèrent que cette instabilité pourrait être due au fait que le modèle est très sensible à la façon dont il est configuré, et qu'il a eu du mal avec la manière spécifique dont les données des adolescents étaient manquantes. Cependant, dans leurs simulations informatiques, lorsque le modèle fonctionnait correctement, il était en fait meilleur pour prédire l'avenir des personnes qui avaient abandonné l'étude par rapport aux modèles standards. Il a réussi à rendre compte du fait que les personnes qui arrêtaient de répondre étaient probablement en train de traverser une période difficile, alors que les modèles standards manquaient cet indice.

En fin de compte, le document conclut que, bien que le Modèle Mixte Généralisé Profond soit une idée nouvelle fascinante qui pourrait être un outil puissant pour comprendre les comportements humains complexes, il n'est pas encore tout à fait prêt à remplacer les anciens outils. C'est comme un prototype de voiture qui possède un moteur incroyable mais un volant qui vacille. Les chercheurs ont trouvé que, pour l'instant, les médecins et les psychologues devraient probablement s'en tenir aux données qu'ils possèdent réellement, plutôt que de se fier aux prédictions du modèle sur ce qui aurait pu se passer. Cependant, ils soutiennent qu'avec un certain réglage et de meilleures techniques de stabilité, cette nouvelle architecture pourrait un jour devenir la référence pour analyser comment nous nous sentons, pensons et changeons au fil du temps.

Résumé Technique : Modèles Mixtes Généralisés Profonds (DGMM)

Énoncé du Problème
L'article traite des défis liés à l'analyse des données longitudinales intensives, spécifiquement les données de la méthode d'échantillonnage d'expérience (ESM), qui impliquent des mesures répétées fréquentes de pensées, d'émotions et de comportements. Les approches analytiques actuelles font face à une dichotomie :

Techniques Statistiques Standards : Bien que les modèles à effets mixtes (MEM) gèrent bien les données déséquilibrées et les abandons, ils peinent souvent face aux structures de corrélation complexes et de haute dimension inhérentes aux données ESM et reposent sur des hypothèses de distribution rigides.
Apprentissage Automatique (ML) / Apprentissage Profond (DL) : Les techniques telles que les réseaux de neurones récurrents (RNN) peuvent modéliser des structures de haute dimension, mais échouent souvent à fournir une inférence valide lorsque les données sont manquantes de type « Missing-At-Random » (MAR/Manquantes de façon aléatoire). Dans les études longitudinales, l'abandon est fréquemment dicté par le résultat lui-même (par exemple, les participants arrêtent en raison d'émotions négatives), ce qui crée un biais de sélection. Les méthodes d'imputation ML standard (par exemple, le masquage ou l'imputation par la moyenne) supposent généralement que les données sont « Missing-Completely-At-Random » (MCAR/Manquantes de façon complètement aléatoire), ce qui conduit à des résultats biaisés dans les scénarios MAR.

Les tentatives existantes pour combiner ces domaines (par exemple, Che et al., 2018) reposent sur des hypothèses restrictives concernant les mécanismes de données manquantes (par exemple, les valeurs manquantes décroissant vers une moyenne empirique) qui ne tiennent pas compte des scénarios cliniques complexes.

Méthodologie
Les auteurs proposent le Modèle Mixte Généralisé Profond (DGMM), une nouvelle architecture de réseau de neurones qui généralise les modèles à effets mixtes au deep learning.

Structure du Modèle : Le DGMM décompose la prédiction des résultats longitudinaux $Y_{i,k}$ en deux composantes :
- Effets Fixes ( $\mu_1$ ) : Modélisés par un réseau de neurones à propagation avant standard ( $h$ ) prenant comme entrées les covariables de base ( $X_i$ ) et le temps ( $T_{i,k}$ ). Cela capture les tendances au niveau de la population.
- Effets Aléatoires ( $\mu_2$ ) : Modélisés par une structure d'auto-encodeur variationnel (VAE).
  - Encodeur ( $e$ ) : Cartographie les données observées ( $Y_i, T_i, X_i$ ) vers un espace latent, estimant la moyenne et la variance d'un vecteur d'effets aléatoires spécifiques au sujet $b_i$ .
  - Décodeur ( $d$ ) : Échantillonne à partir de cette distribution latente pour générer des écarts spécifiques au sujet ( $\mu_2$ ) qui sont combinés aux effets fixes.
- Distribution : Le modèle accomode des distributions de résultats génériques (Gaussienne, Gamma, Binomiale, etc.) via des fonctions de lien $G_k(\cdot)$ .
Estimation :
- Parce que la vraisemblance marginale implique une intégrale insoluble sur les effets aléatoires non linéaires, les auteurs utilisent l'inférence variationnelle.
- Ils maximisent la borne inférieure de l'évidence (ELBO), qui consiste en un terme de reconstruction (approximé via l'échantillonnage de Monte Carlo) et un terme de divergence de Kullback-Leibler (KL) régularisant la distribution latente par rapport à une distribution normale standard.
- Gestion des Données Manquantes : Pour traiter les données MAR où les tailles d'entrée varient, les auteurs emploient un algorithme d'espérance-maximisation (EM) par approximation stochastique combiné à un processus de Robbins–Monro.
  - Les données manquantes sont imputées de manière itérative. À chaque époque, les paramètres sont mis à jour via la descente de gradient stochastique, et les valeurs manquantes sont simulées à partir de la distribution prédictive postérieure à l'aide d'un algorithme de Metropolis–Hastings à marche aléatoire (RWMH).
  - Cela permet à l'encodeur d'utiliser le schéma de l'absence de données pour l'inférence, plutôt que de simplement masquer ces données.
Prédiction : Les prédictions dynamiques pour de nouveaux sujets sont générées en intégrant sur la distribution postérieure des effets aléatoires et des paramètres du modèle, approximée par échantillonnage de Monte Carlo.

Contributions Clés

Architecture : Le premier cadre généralisant les modèles à effets mixtes au deep learning en estimant à la fois les effets fixes et les effets aléatoires à l'aide de réseaux de neurones, permettant une modélisation semi-paramétrique et flexible de l'hétérogénéité intra-personnelle et inter-personnelle.
Inférence MAR : Une adaptation spécifique des VAE et de l'augmentation de données bayésienne qui permet une inférence valide sous des mécanismes MAR, traitant le biais de sélection souvent ignoré dans les applications de deep learning pour les données longitudinales.
Généralisabilité : Le modèle supporte diverses distributions de résultats et passe à l'échelle dans des contextes de haute dimension, surmontant la rigidité des MEM standards et les limites d'inférence des RNN standards.

Résultats
Les auteurs ont évalué le DGMM sur l'étude GrowIt! (données sur la santé mentale des adolescents pendant la pandémie) ainsi que sur diverses études de simulation.

Application GrowIt! :
- Le DGMM a été appliqué pour prédire l'affect négatif, la solitude et l'ennui.
- Performance : Le DGMM a montré un ajustement plus faible sur les données observées par rapport à un RNN standard, particulièrement pour les résultats binaires.
- Prévision : Les deux modèles ont eu du mal à prévoir les trajectoires futures avec précision. Le DGMM avait tendance à s'effondrer vers un modèle linéaire stable, tandis que le RNN produisait des prévisions trop flexibles mais instables.
- Conclusion : Les auteurs attribuent cette performance sous-optimale aux caractéristiques des données (faibles corrélations séquentielles, distributions asymétriques et taux élevé de données manquantes ~61 %) plutôt qu'à un défaut fondamental de l'architecture, suggérant que pour ce jeu de données spécifique, les décisions cliniques devraient s'appuyer sur les données observées plutôt que sur des prévisions complexes.
Études de Simulation :
- Sans Données Manquantes : Le DGMM s'ajuste bien mais présente une performance prédictive légèrement moins bonne que le RNN sur les ensembles de test indépendants.
- Données Manquantes (MAR) : Le DGMM a démontré une instabilité du modèle, avec une variance élevée de l'erreur d'entraînement et de la performance prédictive entre les itérations. Cela a été attribué à l'interaction entre l'algorithme d'imputation des données, l'inférence variationnelle et l'initialisation du réseau de neurones.
- Biais : Malgré l'instabilité, lorsque le DGMM convergeait, il récupérait les trajectoires réelles avec moins de biais que le RNN dans des conditions MAR, exploitant avec succès le mécanisme de données manquantes.
- Imputation : L'algorithme d'augmentation de données a imputé avec précision les valeurs manquantes dans les données d'entraînement, bien qu'avec une certaine variance.

Signification et Revendications
L'article affirme modestement que, bien que le DGMM soit une architecture prometteuse pour l'analyse de données hiérarchiques non linéaires, il souffre actuellement de problèmes d'instabilité (sensibilité aux hyperparamètres, effondrement de la distribution postérieure et variance de la convergence).

Potentiel : Le modèle présente un potentiel pour fournir une inférence valide sous des conditions MAR là où le ML standard échoue, particulièrement à mesure que davantage de données sont collectées au fil du temps.
Limites : L'implémentation actuelle échange l'interprétabilité contre la flexibilité. Les auteurs notent que la représentation par variable latente profonde a été traitée comme un sous-produit dans cette étude.
Directions Futures : Les auteurs suggèrent que les itérations futures pourraient améliorer la stabilité en utilisant des techniques telles que l'amortissement KL (KL-annealing), le $\beta$ -VAE, ou en garantissant l'identifiabilité. Ils proposent également d'étendre l'architecture à d'autres types de données (par exemple, l'imagerie médicale) et d'utiliser les dimensions latentes pour des tâches non supervisées (clustering) ou la modélisation conjointe de résultats de type "temps jusqu'à l'événement".

En résumé, le DGMM représente une avancée théorique dans l'unification des modèles mixtes statistiques avec le deep learning pour les données longitudinales, offrant un mécanisme pour gérer les données MAR, mais son utilité pratique est actuellement limitée par l'instabilité de l'entraînement et les caractéristiques spécifiques des jeux de données testés.

Articles similaires