Résumé technique : Découverte conjointe de la structure causale et des clusters par inférence variationnelle

Énoncé du problème

La découverte causale se concentre traditionnellement sur l'inférence de relations entre des variables aléatoires individuelles, généralement représentées par un graphe acyclique dirigé (DAG). Cependant, dans des domaines complexes tels que l'imagerie cérébrale ou la modélisation climatique, les interactions se produisent souvent entre des groupes de variables plutôt qu'entre des unités isolées. Bien que des méthodes existantes pour les « Cluster DAGs » (C-DAGs) ou « Group DAGs » existent, elles supposent généralement que le regroupement des variables en clusters est connu a priori grâce à la connaissance du domaine.

Cet article traite de la lacune où à la fois les clusters (partitions des variables) et la structure causale (le DAG sur ces clusters) sont latents et doivent être inférés simultanément à partir de données observationnelles. Les auteurs considèrent les modèles structurels causaux à valeurs vectorielles (vSCM), qui généralisent les SCM classiques pour gérer des sorties vectorielles générées par des clusters de variables, accommodant à la fois des scénarios de type Gaussien linéaire et des modèles de bruit additif non linéaire. Alors que Niu et al. (2022) ont précédemment proposé une approche basée sur un score pour cette estimation conjointe, ce travail introduit un nouveau cadre d'inférence variationnelle pour atteindre le même objectif, offrant un traitement bayésien pour la quantification de l'incertitude.

Méthodologie

L'approche proposée utilise l'inférence variationnelle (VI) pour apprendre une distribution postérieure approximative sur les assignations de clusters latents ($C$) et la structure du graphe de clusters ($E_C$). Le cœur de la méthode consiste à définir un modèle génératif et à optimiser une borne inférieure de l'évidence (ELBO).

1. Modèle génératif

Les données $D$ sont supposées être générées par un vSCM où chaque cluster $X_{C_i}$ est une fonction de ses clusters parents $Pa(X_{C_i})$ et d'un vecteur de bruit $\epsilon_i$ :
$$X_{C_i} := f_{C_i}(Pa(X_{C_i}), \epsilon_i)$$
La distribution jointe se factorise selon la structure du C-DAG. Les auteurs considèrent deux cas spécifiques :

• vSCM Gaussien linéaire : La fonction $f$ est linéaire et le bruit est gaussien multivarié. La vraisemblance marginale peut être calculée sous forme fermée en intégrant les paramètres.
• Modèle de bruit additif non linéaire : La fonction $f$ est modélisée par un réseau de neurones. Ici, la marginalisation sur les paramètres est intractale, donc une estimation ponctuelle des paramètres est utilisée parallèlement à l'inférence variationnelle sur la structure.

2. Approximation variationnelle

Puisque l'espace des C-DAGs possibles croît exponentiellement, l'inférence bayésienne exacte est infaisable. Les auteurs approximent la véritable distribution postérieure $P(C, E_C | D)$ à l'aide d'une distribution variationnelle $Q_\phi(C, E_C)$ qui se factorise en distributions sur les clusters et les arêtes :
$$Q_\phi(C, E_C) = Q_T(C) Q_Z(E_C)$$

Familles variationnelles pour les clusters ($C$) :

• Modèle factorisé : Suppose l'indépendance entre les assignations de variables, modélisée comme un produit de distributions catégorielles.
• Modèle autorégressif linéaire : Capture les dépendances entre les assignations de clusters en modélisant la postérieure comme un produit de conditionnelles, où les logits de la $m$-ième variable dépendent des assignations précédentes via un processus autorégressif linéaire.

Familles variationnelles pour les graphes ($E_C$) :

• Modèle binaire indépendant : Suppose que les arêtes sont des variables de Bernoulli indépendantes.
• Modèle autorégressif linéaire : Modélise les arêtes comme dépendantes conditionnellement des arêtes précédentes.
• Modèle conditionnel : Modélise explicitement la dépendance des arêtes vis-à-vis des assignations globales de clusters ($C$).
• Modèle conditionnel autorégressif : Combine les dépendances d'arêtes autorégressives avec la dépendance vis-à-vis des assignations de clusters.

3. Optimisation

Les paramètres des distributions variationnelles ($T$ pour les clusters, $Z$ pour les arêtes) et les paramètres du modèle ($\Theta$ pour les cas non linéaires) sont appris en maximisant l'ELBO.

• Estimation du gradient : Puisque $C$ et $E_C$ sont discrets, les auteurs utilisent l'estimateur de la fonction de score REINFORCE pour approximer les gradients. Pour atténuer la variance élevée, une moyenne mobile exponentielle est utilisée comme base de référence (baseline).
• Entraînement : L'optimisation est réalisée à l'aide de méthodes basées sur le gradient (par exemple, Adam, RMSprop) avec plusieurs redémarrages aléatoires pour éviter les optima locaux.

Contributions clés

1. Inférence latente conjointe via l'inférence variationnelle : L'article propose un nouveau cadre d'inférence variationnelle capable d'inférer simultanément les clusters de variables latentes et le DAG causal sur ces clusters sans connaissance préalable du groupement. Cela complète les approches existantes basées sur les scores (ex. Niu et al., 2022) en fournissant une distribution postérieure bayésienne complète plutôt que des estimations ponctuelles.
2. Familles variationnelles expressives : Les auteurs introduisent et évaluent plusieurs familles variationnelles, soulignant spécifiquement l'importance des modèles autorégressifs et conditionnels. Ceux-ci permettent au modèle de capturer des dépendances complexes entre les assignations de clusters et entre les arêtes du graphe, ce que les modèles factorisés plus simples manquent.
3. Extension aux vSCM non linéaires : Le cadre est étendu pour gérer les mécanismes causaux non linéaires à l'aide de réseaux de neurones, permettant la découverte de clusters et de structures dans des processus de génération de données complexes et non linéaires.
4. Nouvelle métrique d'évaluation : Les auteurs introduisent l'Expected Expanded-Graph Structural Hamming Distance (ExG-SHD). Contrairement au SHD standard, cette métrique tient compte de l'erreur d'approximation tant dans les assignations de clusters que dans la structure du graphe en développant le C-DAG en un DAG complet au niveau des variables avant de calculer la distance.

Résultats expérimentaux

La méthode a été évaluée sur des ensembles de données synthétiques et réels, comparant ses performances à une approche de base basée sur le score (Niu et al., 2022) en utilisant le bootstrapping.

• Données synthétiques (Linéaire) : Le modèle de cluster autorégressif a systématiquement surpassé les variantes factorisées et la méthode de base. Par exemple, sur un jeu de données « fork » à 4 variables, le modèle autorégressif a obtenu un ExG-SHD de 0,02 et un Expected Rand Index (E-RI) de 0,99, récupérant presque parfaitement la vérité terrain.
• Données synthétiques (Non linéaire) : Les formulations basées sur les réseaux de neurones ont nettement surpassé la méthode de base. Plusieurs variantes ont atteint un ExG-SHD parfait de 0,00 sur des jeux de données à 4 variables. Les résultats indiquent que capturer les dépendances topologiques dans les arêtes (via des modèles autorégressifs ou conditionnels) est crucial pour l'exactitude structurelle.
• Données réelles :
  • Jeu de données Protéine : Les modèles neuronaux ont obtenu des scores ExG-SHD et E-SHD quasi parfaits (0,0), identifiant correctement deux clusters non connectés, alors que la méthode de base présentait une erreur beaucoup plus élevée (ExG-SHD = 3,0).
  • Jeu de données Climat : Le modèle d'arêtes conditionnel neuronal a obtenu un ExG-SHD de 0,04 et un E-RI parfait de 1,0, suggérant que les mécanismes causaux sous-jacents sont intrinsèquement non linéaires et que la modélisation conditionnelle apporte des améliorations significatives par rapport aux autres méthodes.

Signification et affirmations

L'article affirme que son traitement bayésien de l'apprentissage des distributions sur les clusters et les structures offre des avantages distincts par rapport aux méthodes d'estimation ponctuelle :

• Quantification de l'incertitude : En apprenant une distribution postérieure, la méthode fournit une mesure de l'incertitude sur les C-DAGs inférés, ce qui est critique pour les applications à haut risque.
• Interventions actives : Le cadre probabiliste facilite les stratégies d'intervention active pour mieux comprendre le modèle causal sous-jacent.
• Gestion de la confusion latente : L'approche traite les scénarios où les hypothèses d'indépendance du bruit sont violées par le groupement des variables, gérant ainsi efficacement la confusion latente entre les variables exogènes.

Les auteurs concluent que bien que leur approche actuelle soit efficace pour des ensembles de données de dimension faible à modérée, les travaux futurs visent à mettre la méthode à l'échelle pour des données de haute dimension. Ils soulignent que la capacité de découvrir conjointement les clusters latents et les structures causales sans priors du domaine représente une étape importante pour la découverte causale dans les systèmes complexes.