Estimating Joint Interventional Distributions from Marginal Interventional Data

1. Problématique et Contexte

L'article aborde un défi fondamental en apprentissage causal et en inférence statistique : l'estimation de distributions interventionnelles conjointes (c'est-à-dire l'effet de plusieurs interventions simultanées) à partir de données marginales (où les variables ne sont pas toutes observées conjointement).

• Le problème des essais contrôlés randomisés (RCT) : Bien que les RCT soient la référence pour identifier les effets causaux, leur mise en œuvre est souvent prohibitivement coûteuse ou impossible pour des combinaisons complexes d'interventions (explosion combinatoire). Par exemple, tester toutes les combinaisons de médicaments ou de méthodes agricoles est irréaliste.
• Le problème causal marginal : Les chercheurs disposent souvent de plusieurs ensembles de données disjoints : des données observationnelles, des données d'interventions sur des variables uniques, ou des données sur des sous-ensembles de variables, mais jamais la distribution conjointe complète de toutes les variables sous intervention.
• La limitation actuelle : Les méthodes existantes pour l'apprentissage de la structure causale (comme les tests d'indépendance conditionnelle) nécessitent généralement l'accès à des observations conjointes complètes. De plus, l'identification non paramétrique des effets conjoints à partir de données marginales est souvent impossible selon les règles du do-calculus standard.

2. Méthodologie : i-CMAXENT

Les auteurs proposent une extension du principe de Maximum d'Entropie Causal (CMAXENT), qu'ils nomment i-CMAXENT (interventional Causal Maximum Entropy).

Principes Fondamentaux

• Extension du CMAXENT : Le CMAXENT original maximise l'entropie conditionnelle sous contraintes de moments observés (données observationnelles). i-CMAXENT étend ce cadre pour intégrer des contraintes provenant de distributions interventionnelles (données expérimentales).

• Hypothèses :

  • Suffisance causale faible : Pas de confondants non observés entre l'effet $Y$ et ses causes potentielles $X$ (bien que des confondants puissent exister entre les causes elles-mêmes).
  • Positivité : $p(x) > 0$ pour tout $x$.
  • Fidélité des f-espérances : Une hypothèse technique reliant les dépendances statistiques estimées à la structure du graphe causal.

• Formulation de l'optimisation :
  Le problème consiste à trouver la densité conditionnelle $p(Y|X)$ qui maximise l'entropie de Shannon $H(Y|X)$, sous contraintes d'espérances empiriques provenant de deux sources :

  1. Données observationnelles (marginales ou conditionnelles).
  2. Données d'intervention (ex: $p(Y | do(X_i))$).

  La contrainte d'intervention s'écrit :
  $$E[h_l(Y, x^{SI}_l, x^{SC}_l) | do(X^{SI}_l = x^{SI}_l), X^{SC}_l = x^{SC}_l] = \tilde{h}_l$$
  où $X^{SI}$ sont les variables intervenues et $X^{SC}$ les variables conditionnées.

Résultat Théorique Principal

En utilisant la dualité de Lagrange, les auteurs prouvent que la solution à ce problème d'optimisation appartient à la famille exponentielle :
$$p_\lambda(y | x) = \exp \left( \sum \lambda_k f_k + \sum \lambda_j g_j + \sum \lambda_l h_l + \beta(x) \right)$$
Cela généralise le résultat classique du Maximum d'Entropie (MAXENT) au cas causal avec interventions, garantissant que la distribution estimée est la moins informative possible tout en respectant les contraintes causales et interventionnelles.

3. Contributions Clés

1. Extension théorique du CMAXENT : Intégration formelle de données expérimentales (interventions) dans le cadre du Maximum d'Entropie Causal.
2. Preuve de la structure de la solution : Démonstration que la solution optimale reste dans la famille exponentielle, même avec des contraintes interventionnelles.
3. Identification non paramétrique : Démonstration que, sous certaines conditions (comme l'absence de confondants entre causes et effet), il est possible d'identifier des distributions interventionnelles conjointes à partir de données marginales (observationnelles et interventionnelles sur des sous-ensembles), là où le do-calculus échouerait.
4. Deux applications majeures :
   • Découverte parentale (Parental Discovery) : Identifier les parents causaux réels d'une variable cible à partir d'un mélange de données observationnelles et d'interventions sur des variables uniques, même sans observations conjointes complètes.
   • Estimation de distributions conjointes : Reconstruire l'effet d'une intervention conjointe (ex: $do(X_1, X_2)$) à partir d'interventions marginales (ex: $do(X_1)$ et $do(X_2)$ séparément).

4. Résultats Expérimentaux

Les auteurs ont évalué i-CMAXENT sur des données synthétiques générées à partir de graphes causaux avec des confondants cachés entre les causes.

• Découverte Parentale :

  • Comparaison : i-CMAXENT est comparé au CMAXENT (qui n'utilise que des données observationnelles) et au test KCI (Kernel Conditional Independence, qui nécessite des données conjointes complètes).
  • Performance : i-CMAXENT surpasse systématiquement le CMAXENT. Dans la plupart des scénarios, il atteint une précision (courbe ROC) comparable à celle du test KCI, bien qu'il n'utilise que des données marginales et interventionnelles partielles.
  • Robustesse : La méthode fonctionne même lorsque seule une fraction des variables dispose de données d'intervention, le reste étant traité par des données conditionnelles.

• Estimation de Distributions Conjointes :

  • L'évaluation de la reconstruction de $p(Y | do(X_1, X_2))$ à partir d'interventions univariées montre que l'ajout de contraintes interventionnelles réduit significativement l'erreur de résidu par rapport à l'utilisation exclusive de données conditionnelles ou d'une estimation sans contraintes.
  • Les résidus restent faibles (autour de 5%) même avec des contraintes limitées.

5. Signification et Impact

• Pragmatisme pour la recherche : Cette méthode offre une solution théoriquement fondée pour combiner des études indépendantes (par exemple, des essais cliniques sur différents médicaments) afin d'estimer des effets conjoints sans avoir à mener des essais combinés coûteux.
• Au-delà du do-calculus : Elle démontre que l'identification non paramétrique est possible dans des régimes où les règles standard d'identification échouent, en exploitant le principe d'entropie maximale comme régularisateur.
• Flexibilité : Contrairement aux méthodes paramétriques (qui supposent des formes fonctionnelles spécifiques comme linéaires ou additives), i-CMAXENT est non paramétrique et ne nécessite pas d'hypothèses sur la forme fonctionnelle des mécanismes causaux, à part la structure du graphe et les contraintes de moments.
• Limitations : La méthode nécessite de savoir quelles variables ont été intervenues pour formuler les contraintes. De plus, l'identifiabilité n'est pas garantie pour tous les graphes, bien que les résultats empiriques soient prometteurs.

En résumé, cet article propose un cadre unificateur puissant pour l'inférence causale dans des régimes de données fragmentées, permettant de tirer parti de données expérimentales partielles pour reconstruire des connaissances causales complexes.