Consistent Bayesian causal discovery for structural equation models with equal error variances

1. Problématique

L'article aborde le problème de la découverte de la structure causale à partir de données purement observationnelles. Plus précisément, il vise à identifier le graphe acyclique dirigé (DAG) véritable, noté $\gamma^*$, qui encode les relations causales entre un ensemble de variables $X_1, \dots, X_p$.

Le cadre considéré est celui des Modèles d'Équations Structurelles (SEM) linéaires acycliques. La particularité cruciale de ce travail réside dans l'hypothèse que les termes d'erreur sont :

• Indépendants.
• Non nécessairement gaussiens (distribution inconnue, mais à moyenne nulle).
• Dotés de variances égales ($\text{var}(\epsilon_j) = \sigma^2$ pour tout $j$).

Sous cette hypothèse de variances égales, il est théoriquement établi que le DAG sous-jacent est uniquement identifiable (contrairement au cas général où l'on ne peut identifier que la classe d'équivalence de Markov). Cependant, les méthodes existantes manquent souvent de garanties théoriques (comme la cohérence) dans un cadre bayésien, surtout lorsque le modèle de travail (Gaussien) est mal spécifié par rapport à la vraie distribution des erreurs.

2. Méthodologie

Les auteurs proposent une approche bayésienne pour la sélection de DAG, reposant sur les piliers suivants :

A. Le Modèle de Travail (Working Model)

Bien que les vraies erreurs puissent être non gaussiennes, les auteurs utilisent un modèle de travail supposant des erreurs gaussiennes avec des variances égales. Pour chaque DAG candidat $\gamma$, le modèle est défini par :
$$X_j = X_{pa_\gamma(j)}^T b_j^\gamma + e_j^\gamma, \quad e_j^\gamma \sim \mathcal{N}(0, \theta_\gamma)$$
où $b_j^\gamma$ sont les coefficients et $\theta_\gamma$ la variance commune.

B. Priors et Inférence

• Priors sur les coefficients : Des priors $g$-priors indépendants sont appliqués sur les vecteurs de coefficients $b_j^\gamma$ pour chaque ensemble de parents.
• Prior sur la variance : Un prior de Jeffreys non informatif ($\pi(\theta_\gamma) \propto 1/\theta_\gamma$) est utilisé.
• Calcul de la vraisemblance marginale : Grâce à la conjugaison des priors gaussiens, la vraisemblance marginale $m(D_n|\gamma)$ admet une forme fermée. Elle dépend directement d'une statistique clé : la somme des erreurs quadratiques minimales (résidus) pour chaque variable.

C. La Statistique Clé ($R_n^\gamma$)

La vraisemblance marginale fait intervenir la quantité $R_n^\gamma$, qui est une version empirique de la somme des erreurs quadratiques attendues minimales lors de la régression de chaque variable sur ses parents dans le graphe $\gamma$.

3. Contributions Théoriques Clés

L'article apporte deux contributions théoriques majeures qui garantissent la cohérence de la méthode :

Théorème 1 : Propriété de Minimisation des Erreurs

Les auteurs fournissent une preuve alternative (basée sur la factorisation de Cholesky) d'un résultat fondamental :

• La somme des erreurs quadratiques minimales attendues, notée $r_\gamma$, est minimisée si et seulement si le graphe candidat $\gamma$ est un supergraphe du vrai DAG $\gamma^*$ (c'est-à-dire $\gamma \supseteq \gamma^*$).
• Pour le vrai DAG, cette somme est égale à $p\sigma^2$. Pour tout autre graphe qui n'est pas un supergraphe, la somme est strictement supérieure.
• Cela signifie que même si le modèle est mal spécifié (erreurs non gaussiennes), la structure qui minimise l'erreur de prédiction linéaire est nécessairement un sur-ensemble du vrai graphe.

Théorème 2 : Cohérence de la Sélection de DAG

Sous l'hypothèse d'un prior de DAG uniforme (ou satisfaisant des conditions minimales de régularité) et en choisissant le paramètre $g = n$ (taille de l'échantillon), les auteurs démontrent que :

• La probabilité postérieure du vrai DAG $\gamma^*$ converge vers 1 en probabilité lorsque $n \to \infty$.
• La méthode est cohérente : elle retrouve le vrai graphe causal avec une probabilité arbitrairement élevée pour de grands échantillons, même si les erreurs réelles ne sont pas gaussiennes.
• Le taux de convergence est caractérisé, montrant que la probabilité d'erreur décroît exponentiellement avec la taille de l'échantillon pour les graphes non supergraphes, et polynomialement pour les supergraphes stricts.

4. Résultats et Validation

• Étude de Simulation : Les auteurs ont mené une simulation avec $p=3$ variables et un vrai DAG en chaîne ($X_1 \to X_2 \to X_3$). Les erreurs ont été générées à partir de distributions non gaussiennes (Laplace, distribution $t$ de Student) tout en respectant l'hypothèse de variance égale.
• Convergence : Les résultats montrent que la probabilité postérieure $\pi(\gamma^* | D_n)$ converge rapidement vers 1 à mesure que la taille de l'échantillon $n$ augmente (de 1600 à 12800 observations). Les boîtes à moustaches et les histogrammes confirment une concentration forte de la masse postérieure sur le vrai graphe.
• Robustesse : La méthode fonctionne efficacement malgré la violation de l'hypothèse de normalité des erreurs, validant ainsi la robustesse de l'approche bayésienne sous l'hypothèse de variances égales.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

1. Combler un vide théorique : Il établit la première preuve de cohérence pour la sélection de DAG bayésienne sous l'hypothèse de variances d'erreur égales, sans supposer la normalité des erreurs.
2. Robustesse du modèle de travail : Il démontre qu'il est "sûr" d'utiliser un modèle gaussien comme approximation de travail (working model) pour inférer des structures causales générées par des distributions non gaussiennes, tant que les variances sont égales.
3. Utilisation de la propriété de Cholesky : L'approche technique reliant la factorisation de Cholesky de la matrice de covariance aux erreurs de régression offre un outil puissant pour l'analyse asymptotique des facteurs de Bayes.
4. Applications potentielles : Cette méthode est applicable dans divers domaines (neuroscience, épidémiologie, économie) où les données sont observationnelles, les distributions d'erreurs inconnues, mais où l'hypothèse d'homogénéité des variances est plausible.

En résumé, l'article propose une méthode bayésienne robuste et théoriquement fondée pour la découverte causale, capable de surmonter les limitations des approches classiques face à la non-gaussianité des données, en exploitant intelligemment l'hypothèse de variances d'erreur égales.