Beyond Local Independence: High-Dimensional Latent Class Graphical Models with Shared Block Structure

Résumé technique : Au-delà de l'indépendance locale : Modèles graphiques à classes latentes de haute dimension avec structure en blocs partagés

Énoncé du problème
Les modèles à classes latentes (LCM - Latent Class Models) sont des outils standards pour analyser les données catégorielles multivariées issues de populations hétérogènes. Cependant, les LCM traditionnels reposent sur l'hypothèse d'une indépendance locale : conditionnellement à la classe latente, les réponses observées sont mutuellement indépendantes. Cette hypothèse est fréquemment violée dans les applications modernes de haute dimension, telles que les enquêtes d'opinion publique (où les items portant sur des sujets similaires restent dépendants) et les données génétiques (où les SNP proches présentent un déséquilibre de liaison). Ignorer une telle dépendance locale fausse les estimations de paramètres et l'assignation des classes latentes.

Les approches existantes pour lever l'indépendance locale sont généralement limitées aux contextes de faible dimension, reposent sur des schémas de dépendance présupposés ou non structurés, ou manquent de garanties statistiques. À l'inverse, les modèles graphiques de haute dimension peuvent apprendre des structures de dépendance, mais échouent généralement à rendre compte de classes latentes hétérogènes inconnues. Il existe un manque de méthodologie statistique rigoureuse permettant d'apprendre conjointement l'hétérogénéité latente et la dépendance locale structurée à partir de réponses ordinales de haute dimension.

Méthodologie
Les auteurs proposent un modèle graphique à classes latentes de haute dimension avec une structure en blocs partagés. Le modèle suppose que, conditionnellement à une classe latente $Z_i = k$, les réponses ordinales sont générées via une copule gaussienne latente. L'innovation clé réside dans le fait que la matrice de covariance $\Sigma_k$ du vecteur gaussien latent est bloc-diagonale après une permutation partagée des variables à travers toutes les $K$ classes latentes.

• Partition en blocs partagés : Les variables sont partitionnées en $L$ blocs ($V_1, \dots, V_L$) qui sont partagés entre toutes les classes latentes. Cela permet de capturer des groupes interprétables de variables localement dépendantes (par exemple, des items d'enquête sur un sujet spécifique).
• Dépendance spécifique à la classe : À l'intérieur de chaque bloc, la structure de dépendance conditionnelle (encodée par la matrice de précision $\Omega_k$) est autorisée à varier selon les classes latentes, capturant ainsi l'hétérogénéité spécifique à chaque classe.
• Pipeline d'estimation en trois étapes : Les auteurs développent un estimateur en trois étapes, non supervisé et scalable :
  1. Clustering spectral : Les étiquettes de classes latentes $Z$ sont récupérées en appliquant un clustering spectral à une matrice de réponses binaires « aplatie ». Cela exploite la structure de rang faible des données pour gérer la nature ordinale des réponses.
  2. Récupération de la structure en blocs : Au sein de chaque classe latente estimée, des corrélations polychoriques par paires sont estimées pour récupérer les matrices de covariance $\Sigma_k$ spécifiques à la classe. Celles-ci sont agrégées à travers les classes pour identifier la partition en blocs partagée. Les auteurs proposent d'utiliser des algorithmes de détection de communautés (spécifiquement Leiden) sur une matrice d'agrégation continue de ces corrélations pour récupérer les blocs de manière robuste.
  3. Estimation de la matrice de précision : Une fois les blocs identifiés, des matrices de précision creuses $\Omega_k$ sont estimées au sein de chaque bloc en utilisant des estimateurs de modèles graphiques standards (par exemple, Graphical Lasso ou CLIME), conditionnés à la structure de bloc connue.

Contributions clés

1. Formulation du modèle : Un nouveau modèle qui comble le fossé entre les LCM classiques à indépendance locale et les mélanges non restreints de modèles graphiques. Il impose une structure en blocs partagés pour garantir l'interprétabilité et la parcimonie, tout en permettant une dépendance flexible et spécifique à la classe au sein des blocs.
2. Algorithme scalable : Un pipeline en trois étapes efficace sur le plan computationnel qui évite l'optimisation de la pleine vraisemblance, laquelle est intraçable pour les LCM localement dépendantes non restreintes. La méthode est capable de traiter des dimensions élevées ($J \gg N$).
3. Garanties théoriques : L'article établit des bornes d'erreur en échantillon fini pour toutes les étapes du pipeline :
   • Précision du clustering (Proposition 1).
   • Consistance entrée par entrée pour l'estimation de la matrice de covariance et la récupération des blocs (Propositions 3 et 4).
   • Récupération du support et consistance du signe pour l'estimation de la matrice de précision (Proposition 5).
   • Consistance de bout en bout : Le Théorème 1 démontre que tous les composants du modèle (classes latentes, partition des blocs et matrices de précision) sont estimés de manière consistante sous une mise à l'échelle de haute dimension.

Résultats

• Simulations : Des simulations approfondies à travers différentes dimensions ($J \in \{100, 500\}$), nombres de classes latentes ($K$) et structures de blocs ($L$) montrent que la méthode récupère avec précision les classes latentes, les partitions de blocs partagés et les matrices de précision spécifiques à chaque classe. La méthode surpasse les bases de comparaison JGL (Joint Graphical Lasso), qui peinent à récupérer la structure en blocs sans réglage oracle. Des études d'ablation confirment que l'étape de clustering (Étape 1) et l'étape de récupération des blocs (Étape 2) sont toutes deux cruciales ; omettre l'une ou l'autre entraîne une dégradation significative des performances.
• Applications sur données réelles :
  • Données d'enquête ANES : Appliquée aux données de l'American National Election Studies 2022 ($N=1511, J=144$). La méthode a identifié trois classes latentes correspondant aux électeurs Républicains, Démocrates et Indépendants. Elle a récupéré des blocs interprétables (par exemple, « Racisme », « Engagement politique ») et a révélé des schémas de dépendance spécifiques aux classes, tels que des dépendances conditionnelles divergentes concernant les avantages raciaux selon les groupes idéologiques.
  • Données génétiques HapMap3 : Appliquée aux données de génotype SNP ($N=479, J=500$) de quatre sous-populations. La méthode a réussi à récupérer la structure de population et a identifié des blocs de SNP dépendants (blocs de déséquilibre de liaison) tout en tenant compte des sous-populations latentes. L'omission de l'étape de clustering a entraîné une inflation des corrélations inter-blocs, démontant la nécessité de prendre en compte l'hétérogénéité.

Signification et affirmations
L'article affirme fournir une méthodologie principled, interprétable et théoriquement fondée pour lever l'hypothèse d'indépendance locale dans l'analyse de classes latentes de haute dimension. En introduisant une structure en blocs partagés, la méthode équilibre le besoin de parcimonie avec la flexibilité nécessaire pour modéliser des dépendances complexes. Les auteurs soulignent que leur approche offre des garanties théoriques de bout en bout pour tous les composants du modèle, une caractéristique souvent absente des modèles de mélange de haute dimension existants. La méthode est présentée comme un outil pratique pour découvrir des structures de dépendance locale interprétables en présence d'hétérogénéité latente, avec une utilité démontrée tant en sciences sociales qu'en génétique. Les auteurs précisent que le code R est disponible publiquement pour faciliter la reproductibilité.