Résumé technique : Intégration d'encodeurs neuronaux dans les modèles linéaires mixtes généralisés bayésiens pour les données multimodales

Énoncé du problème

Les modèles linéaires mixtes généralisés (GLMM) bayésiens sont des outils standards pour analyser les données regroupées et longitudinales dans des domaines à enjeux élevés comme la médecine clinique, offrant une quantification rigoureuse de l'incertitude (UQ) tant pour les paramètres du modèle que pour les prédictions. Cependant, les GLMM bayésiens traditionnels sont limités aux prédicteurs tabulaires de faible dimension et ne peuvent pas intégrer nativement des modalités complexes et de haute dimension, telles que les images médicales ou le texte. Les approches hybrides existantes qui tentent d'intégrer des réseaux de neurones sacrifient souvent l'interprétabilité en intégrant les effets aléatoires au sein d'architectures profondes ou en s'appuyant sur l'estimation ponctuelle (par exemple, le maximum a posteriori), ce qui échoue à capturer l'incertitude épistémique. De plus, l'inférence bayésienne scalable pour les GLMM avec des composantes neuronales est entravée par des vraisemblances marginales intraitables et des fonctions de perte hautement non convexes.

Méthodologie

Les auteurs proposent un cadre de Modèle Linéaire Mixte Généralisé (GLMM) Multimodal qui intègre des encodeurs neuronaux spécifiques à chaque modalité avec une inférence bayésienne scalable via la dynamique de Langevin à gradient stochastique (SGLD).

1. Architecture du modèle

Le cadre distingue deux types d'entrées :

• Données de haute dimension non structurées ($u_{ij}$) : Traitées par un encodeur neuronal spécifique à la modalité $h_\phi(\cdot)$ (par exemple, des CNN pour les images, des Transformers pour le texte) afin de produire un vecteur de caractéristiques latentes de dimension $K$.
• Données tabulaires structurées ($x_{ij}$) : Modélisées directement via des effets fixes.

Les caractéristiques latentes sont standardisées pour assurer la stabilité numérique. Le prédicteur linéaire $\eta_{ij}$ combine les effets fixes pour les covariables structurées et une composante à effets mixtes pour les caractéristiques latentes apprises :
$$\eta_{ij} = x_{ij}^\top \alpha + z_{ij}^\top (\beta + \gamma_i)$$
Où :

• $\alpha$ : Effets fixes pour les covariables structurées.
• $\beta$ : Effets fixes au niveau de la population pour les caractéristiques latentes.
• $\gamma_i \sim \mathcal{N}(0, \Sigma)$ : Effets aléatoires spécifiques au sujet, permettant l'hétérogénéité tant dans le risque de base que dans la sensibilité à des modalités spécifiques.

2. Identifiabilité et interprétation

Comme le système de coordonnées latentes est appris, il souffre d'une non-identifiabilité d'échelle et de signe. Les auteurs traitent cela en standardisant les sorties latentes à une variance empirique unitaire avant l'échantillonnage de la distribution postérieure. Par conséquent, ils se concentrent sur des résumés standardisés invariants au signe :

• Magnitude de l'effet de population : $\delta^{pop}_k = |\beta_k|$
• Magnitude de l'hétérogénéité : $\delta^{het}_k = \sqrt{\Sigma_{kk}}$
• Contributions relatives : Ratios de ces magnitudes pour comparer l'importance de différentes modalités à travers la population et au sein des sujets.

3. Inférence bayésienne scalable (Stratégie en deux étapes)

Pour surmonter l'intraitabilité de la vraisemblance marginale et la non-stationnarité de l'apprentissage des caractéristiques pendant l'échantillonnage, les auteurs emploient une stratégie d'optimisation en deux étapes :

• Phase 1 : Apprentissage de représentations supervisées : Les paramètres de l'encodeur neuronal $\phi$ et les paramètres du GLMM $\Theta$ sont mis à jour conjointement à l'aide de gradients stochastiques. L'encodeur apprend une représentation latente prédictive adaptée à l'objectif du GLMM. Les échantillons générés ici sont traités comme une période de chauffe (burn-in).
• Phase 2 : Échantillonnage de la distribution conditionnelle gelée : L'encodeur $\hat{\phi}$ est gelé. La SGLD est ensuite appliquée exclusivement aux paramètres du GLMM $\Theta$ conditionnellement aux représentations apprises et fixes. Cela garantit que la cible de la distribution postérieure est stationnaire, une condition requise pour des diagnostics SGLD valides et une correction de la variance.

Correction de la variance : La SGLD standard produit des échantillons avec une variance gonflée due au sous-échantillonnage par mini-lots et au bruit injecté. Les auteurs appliquent une correction de variance post-hoc basée sur l'équation de Lyapunov pour estimer la matrice de précision réelle de la distribution postérieure et mettre à l'échelle les échantillons, garantissant ainsi des estimations d'incertitude calibrées.

Contributions clés

1. Architecture GLMM à encodeur neuronal : Une conception novatrice qui intègre des encodeurs neuronaux spécifiques aux modalités dans un GLMM, permettant l'apprentissage conjoint de représentations de haute dimension et la quantification de leur importance au niveau de la population et des sujets.
2. Inférence scalable via SGLD : Une procédure d'apprentissage en deux étapes qui sépare l'apprentissage de la représentation de l'échantillonnage de la distribution postérieure bayésienne, permettant une inférence scalable dans des contextes de haute dimension tout en maintenant une UQ rigoureuse.
3. Validation empirique : Des simulations étendues et des applications réelles démontrant que la méthode récupère des moyennes et des variances postérieures comparables aux références MCMC sur données complètes, tout en fournissant des informations interprétables sur l'importance des modalités.

Résultats

Études de simulation

• Récupération de la structure latente : Dans les contextes de modèles linéaires mixtes (LMM), l'encodeur neuronal a réussi à récupérer des structures latentes non linéaires complexes (fonctions 1D, paraboloïdes, surfaces de selle) avec des corrélations dépassant 0,99 avec la vérité terrain.
• Précision de la distribution postérieure : Dans les contextes de GLMM de haute dimension avec pentes aléatoires, la méthode a récupéré avec précision les moyennes postérieures et les composantes de variance. La correction de variance post-hoc a réussi à aligner les logarithmes de variances estimés avec les références du l'échantillonneur de Gibbs, corrigeant la sous-estimation typique de l'incertitude des méthodes approximatives.

Applications réelles

1. Progression du glaucome :

   • Appliqué à des images de champs visuels longitudinales pour prédire la perte fonctionnelle.
   • Résultats : Le modèle a identifié l'âge avancé comme un facteur de risque significatif. La caractéristique latente extraite par le CNN (un "indice de santé") a montré une forte association négative avec le risque de progression.
   • Hétérogénéité : Des variances significatives de l'ordonnée à l'origine et de la pente aléatoires ont été trouvées, indiquant des risques de base et des sensibilités aux motifs de champ visuel substantiels et spécifiques aux patients.
   • Performance : A atteint une AUC de 0,764, comparable à une ligne de base déterministe CNN (0,761), prouvant que l'ajout de l'UQ bayésienne et des effets aléatoires ne sacrifie pas la précision prédictive.

2. Santé mentale de l'adolescent (Étude ABCD) :

   • Prédit le statut futur de psychopathologie à haut risque en utilisant des données multi-domaines (ex: sommeil, neurobiologie, environnement familial).
   • Résultats : Le sommeil a montré la plus forte association de population avec le risque. Cependant, le contexte de voisinage et socio-économique a présenté la plus grande variance de pente aléatoire, indiquant que bien que son effet moyen soit faible, son impact varie considérablement selon les individus (masquant des effets forts dans des sous-populations spécifiques).
   • Performance : Le modèle probabiliste a atteint une AUC de 0,78, égalant un MLP de base entraîné sans effets aléatoires.

Signification et affirmations

L'article affirme que ce cadre fournit une solution fondée sur des principes pour analyser les données longitudinales multimodales dans des contextes à enjeux élevés. En combinant l'apprentissage de représentations supervisées et l'inférence bayésienne conditionnelle, la méthode :

• Préserve l'interprétabilité : Elle conserve la capacité de quantifier l'importance relative des différentes modalités tant au niveau de la population qu'au niveau individuel, évitant la nature "boîte noire" des approches de deep learning pur.
• Assure une UQ rigoureuse : Elle fournit des estimations d'incertitude calibrées pour les paramètres du modèle et les prédictions, ce qui est crucial pour la prise de décision clinique.
• Évolue efficacement : Elle surmonte les goulots d'étranglement computationnels des GLMM bayésiens traditionnels, les rendant applicables à de grands ensembles de données de haute dimension.

Les auteurs notent des limites, spécifiquement la non-identifiabilité intrinsèque de signe/échelle des caractéristiques latentes (traitée via la standardisation) et l'absence d'attribution d'importance à des caractéristiques d'entrée brutes spécifiques (suggérant une intégration future avec des cartes de saillance ou des modèles de goulot d'étranglement conceptuel). Cependant, ils affirment que le cadre réussit à équilibrer performance prédictive, interprétabilité et quantification de l'incertitude sans nécessiter l'inférence bayésienne complète de tous les poids neuronaux.