Discrete Causal Representations from Heterogeneous Domains: A Bayesian Approach with Social Survey Applications

Résumé Technique : Apprentissage de Représentations Causales Multi-Domaines Bayésien

Problématique
L'apprentissage de représentations causales (CRL - Causal Representation Learning) vise à inférer des concepts causaux latents de haut niveau à partir de mesures de bas niveau observées. Bien que l'identifiabilité de telles représentations ait été largement étudiée sur le plan théorique, les méthodes pratiques et sensibles à l'incertitude pour des données réelles restent peu explorées. Ce travail aborde le défi de l'apprentissage de représentations causales discrètes à partir de données hétérogènes collectées à travers plusieurs domaines (environnements).

La difficulté centrale réside dans le fait que les variables causales sont souvent latentes et seulement indirectement observées via des proxies de haute dimension (par exemple, des réponses à des enquêtes). De plus, les décalages de distribution entre les domaines proviennent généralement de changements localisés et épars dans les mécanismes causaux sous-jacents (interventions), tandis que d'autres parties du processus génératif restent invariantes. Les méthodes classiques de découverte causale échouent souvent dans ce contexte en raison du décalage entre les données observées et les variables latentes, ainsi que de l'absence d'interventions parfaites sur un nœud unique dans les scénarios réels.

Méthodologie
Les auteurs proposent un modèle bayésien hiérarchique qui formalise le processus de génération de données comme un modèle à variables latentes avec des concepts causaux discrets. Le cadre intègre trois composantes clés :

1. Structure du Modèle Génératif :

   • Modèle Causal Latent : Les variables latentes $Z = (Z_1, \dots, Z_L)$ sont discrètes et suivent un graphe causal $G$. La distribution jointe se factorise en mécanismes causaux $p(Z_\ell | PA_\ell)$.
   • Interventions Multi-Domaines : Les différences entre les domaines sont modélisées comme des interventions multiples, diffuses (imparfaites) et inconnues sur les mécanismes causaux latents. Le modèle suppose un processus de mesure invariant $p(X|Z)$ à travers tous les domaines, tandis que la distribution latente $p(Z)$ varie en raison de ces interventions.
   • Latents Discrets : Le modèle se concentre sur des variables latentes discrètes, permettant d'exprimer les distributions marginales spécifiques au domaine $p(X)$ sous forme de modèles de mélange finis avec des poids de mélange spécifiques au domaine mais des composantes de mélange partagées.

2. Priors et Hypothèses Bayésiens :

   • Décalages de Mécanismes Épars : Pour gérer les échantillons finis et éviter le surapprentissage, les auteurs affinent l'hypothèse de décalage de mécanisme éparse. Ils introduisent la détectabilité d'intervention $\epsilon$ (Hypothèse 3.3), exigeant que toute intervention active induise un changement de distribution (mesuré par la divergence KL) d'au moins $\epsilon$.
   • Prior de Décalage par Seuil de KL : Pour opérationnaliser la détectabilité, les auteurs conçoivent un nouveau prior pour les décalages d'intervention dans l'espace logit. Ce prior utilise une approximation quadratique de la divergence KL pour tronquer les décalages trop faibles pour être distinguables du bruit, écartant ainsi les interventions négligeables.
   • Induction de la Parcimonie : Un prior de Bernoulli-Bêta est placé sur les cibles d'intervention pour induire la parcimonie, reflétant l'hypothèse que les changements de distribution n'affectent que peu de facteurs.
   • Modèle de Mesure : Un modèle de mesure gaussien additif est utilisé, où les concepts latents contribuent de manière additive à la moyenne des variables observées. Cette paramétrisation favorise l'interprétabilité en traitant les niveaux latents comme des facteurs ordonnés.

3. Schéma d'Inférence :

   • En raison de la nature hautement multimodale de la distribution a posteriori (résultant des symétries de permutation dans l'ordonnancement latent), l'échantillonnage de Gibbs standard est insuffisant.
   • Les auteurs emploient l'Échantillonnage par Monte Carlo Séquentiel (SMCS) avec un tempérage de vraisemblance. Cette méthode basée sur une population fait évoluer un ensemble de particules à travers une séquence de distributions intermédiaires (du prior vers le postérieur) en utilisant des étapes de repondération, de rééchantillonnage et de mutation (mises à jour de Gibbs).
   • L'inférence exploite les mises à jour conjuguées pour la plupart des paramètres et utilise l'augmentation de données de type Pólya-Gamma pour gérer efficacement les paramètres logit non conjugués.

Contributions Clés

1. Conceptuelle : L'article formule un modèle bayésien hiérarchique pour les données multi-domaines interventionnelles, traduisant les hypothèses causales (modularité, décalages épars) en choix de modélisation et de priors spécifiques. Il affine l'hypothèse de mécanisme éparse pour les scénarios à échantillons finis via la condition de $\epsilon$-détectabilité.
2. Technique : Les auteurs développent un nouveau prior de décalage d'intervention tronqué par la divergence KL et une procédure d'inférence basée sur le SMCS capable d'explorer des posteriors complexes et multimodaux sur les structures causales latentes.
3. Empirique : Le travail démontre l'application d'un pipeline complet de CRL non supervisé — de la formulation du modèle à l'estimation et l'interprétation — sur des données réelles complexes, spécifiquement des enquêtes sociales et politiques.

Résultats
La méthode a été évaluée sur des données synthétiques et deux études de cas réelles :

• Expériences Synthétiques : L'approche SMCS a surpassé l'échantillonnage de Gibbs standard, le Parallel Tempering et l'Inférence Variationnelle pour la récupération de la véritable structure causale latente et des cibles d'intervention. Les études d'ablation ont montré que la suppression du seuillage KL ou des priors de parcimonie améliorait l'ajustement prédictif (LPPD) mais dégradait significativement la récupération de la structure causale sous-jacente, soulignant un compromis entre prédiction et découverte causale.
• World Values Survey (WVS) : Appliqué à des données d'enquêtes transnationales (2017–2022), le modèle a récupéré trois facteurs latents interprétables : difficulté économique, démographie et conservatisme culturel. Ceux-ci s'alignent sur la carte de variation culturelle établie d'Inglehart–Welzel. Le modèle a inféré une structure causale où la difficulté économique et la démographie influencent le conservatisme culturel, et a identifié des schémas d'intervention spécifiques aux pays cohérents avec les changements socio-économiques connus.
• Données d'Opinion Politique US :
  • Données Réelles : L'analyse de données d'enquêtes provenant de différentes régions des États-Unis et de différents niveaux d'urbanité a révélé une structure latente largement unidimensionnelle reflétant les divisions partisanes (gradients rural vs urbain), cohérente avec les tendances politiques connues.
  • Données Générées par LLM : En utilisant un ensemble de données "semi-synthétiques" générées par des modèles de langage de grande taille (LLM) avec des interventions contrôlées, le modèle a réussi à récupérer un graphe causal à cinq variables impliquant la Réglementation, le Partisanat, le Commerce, l'Immigration et la Pauvreté. Les dépendances récupérées (ex: Réglementation $\to$ Pauvreté) s'alignent sur les effets de traitement "vérité de terrain" intégrés dans le processus de génération synthétique.

Signification et Revendications
L'article affirme être l'une des premières démonstrations réussies de l'application d'un pipeline complet de CRL non supervisé à des données réelles complexes. Sa signification réside dans le passage au-delà des contextes synthétiques idéalisés et des résultats d'identifiabilité théorique pour développer un cadre bayésien robuste et sensible à l'incertitude, capable de gérer :

• Des tailles d'échantillons finis.
• Des interventions imparfaites, multi-nœuds et diffuses.
• L'identifiabilité partielle et l'erreur de spécification de modèle.

En ciblant une distribution a posteriori plutôt qu'une estimation ponctuelle, la méthode quantifie à la fois l'incertitude épistémique (due aux données limitées) et l'incertitude aléatoire (due aux ambiguïtés inhérentes au processus génératif). Les auteurs positionnent ce travail comme une étape vers le rapprochement entre l'apprentissage de représentations causales théorique et les applications pratiques dans des domaines tels que les sciences sociales, où les variables causales sont latentes et les interventions non observées.