Causal Effect Estimation with Learned Instrument Representations

1. Problématique : L'obstacle des instruments non observés

L'inférence causale à partir de données observationnelles est souvent biaisée par des facteurs de confusion non observés ($U$). La méthode standard pour corriger ce biais est la régression à variables instrumentales (VI). Une variable instrumentale $Z$ valide doit satisfaire trois conditions strictes :

1. Pertinence : Elle est corrélée au traitement $T$.
2. Restriction d'exclusion : Elle n'a aucun effet direct sur le résultat $Y$ (son effet passe uniquement par $T$).
3. Non-confusion : Elle n'est pas corrélée avec les facteurs de confusion non observés $U$.

Le problème central : Dans la pratique, il est souvent difficile, voire impossible, d'identifier une variable explicite $Z$ dans les données qui satisfasse ces conditions. Les méthodes traditionnelles échouent lorsque les données sont de haute dimension (textes, images, dossiers médicaux électroniques) ou lorsque aucune variable candidate évidente n'existe.

2. Méthodologie : ZNet et l'apprentissage de représentations

Les auteurs proposent ZNet, une approche d'apprentissage de représentations (representation learning) qui construit automatiquement des instruments latents à partir des covariables observées $X$, sans nécessiter de connaissance préalable d'un instrument valide.

Architecture du modèle

ZNet est un encodeur qui décompose l'espace des caractéristiques observées $X$ en deux composantes distinctes :

• $\tilde{X} = f(X)$ : Une représentation des facteurs de confusion (composante confondante).
• $\tilde{Z} = g(X)$ : Une représentation de l'instrument appris (composante instrumentale).

Cette architecture reflète le modèle causal structurel (SCM) des VI. Le modèle est entraîné pour garantir que $\tilde{Z}$ se comporte comme un instrument valide en imposant des conditions de moments empiriques via une fonction de perte spécifique.

Fonction de perte et conditions de moments

L'entraînement de ZNet vise à minimiser les erreurs de prédiction tout en respectant les contraintes statistiques définissant un instrument valide. La fonction de perte ($L_{ZNet}$) combine :

1. Pertes supervisées : Prédiction de $Y$ via $\tilde{X}$ et $T$, et prédiction de $T$ via $\tilde{Z}$.
2. Contraintes de moments (via régularisation) :
   • Pertinence : $\text{Cov}(\tilde{Z}, T) \neq 0$ (Maximiser la corrélation entre l'instrument appris et le traitement).
   • Restriction d'exclusion / Non-confusion : $\text{Cov}(\tilde{Z}, \tilde{X}) = 0$ et $\text{Cov}(\tilde{Z}, \tilde{\epsilon}_Y) = 0$ (L'instrument appris ne doit pas être corrélé aux facteurs de confusion ni aux résidus de l'erreur de prédiction du résultat).
   • Indépendance : $\text{Cov}(\tilde{Z}, U) \approx 0$ (Bien que $U$ soit inobservable, la structure du modèle et les contraintes sur les résidus visent à approximer cette condition).

L'optimisation utilise une relaxation lagrangienne pour intégrer ces contraintes de covariance (approximées par des corrélations de Pearson ou de l'information mutuelle) directement dans le processus d'entraînement.

Compatibilité

Une fois entraîné, ZNet produit un nouvel ensemble de données $\tilde{D} = \{\tilde{X}, \tilde{Z}, T, Y\}$. Ces représentations apprises peuvent être utilisées comme entrée pour n'importe quel estimateur d'effets causaux à deux étapes (TSLS, DeepIV, DFIV).

3. Contributions Clés

• Automatisation de la sélection d'instruments : ZNet élimine le besoin d'identifier manuellement un instrument valide, en apprenant une représentation latente qui satisfait les propriétés causales.
• Décomposition instrument-confondant : Le modèle apprend explicitement à séparer les variations causales pertinentes (instrument) des variations de confusion dans les données brutes.
• Applicabilité aux données non structurées : La méthode est conçue pour fonctionner avec des données de haute dimension (images, notes cliniques) où les instruments sont souvent implicites plutôt qu'explicites.
• Compatibilité universelle : ZNet agit comme un module pré-traitement compatible avec une large gamme d'estimateurs d'effets causaux existants.

4. Résultats Expérimentaux

Les auteurs ont évalué ZNet sur le jeu de données semi-synthétique IHDP (180 configurations variées) et sur des données réelles d'électrocardiogrammes (ECG).

Sur le jeu de données IHDP

• Récupération d'instruments existants : Lorsque des instruments explicites existent dans les données, ZNet apprend des représentations fortement corrélées à ces instruments (Fig. 4).
• Création d'instruments latents : Dans des scénarios sans instrument explicite (y compris avec des instruments catégoriels latents), ZNet réussit à reconstruire des clusters ou des représentations qui agissent comme des instruments valides (Fig. 5).
• Performance sur l'effet moyen du traitement (ATE) :
  • ZNet surpasse systématiquement les méthodes de base (TARNet, qui ignore la confusion non observée) et les méthodes génératrices d'instruments existantes (AutoIV, VIV, GIV).
  • Dans les scénarios les plus difficiles (confusion influençant les covariables observées $U \to X$ et absence d'instrument candidat), ZNet réduit significativement l'erreur d'estimation de l'ATE par rapport aux autres méthodes (Tableaux 2, 3 et 4).
  • ZNet est la seule méthode à surpasser TARNet dans tous les scénarios, prouvant sa capacité à corriger la confusion non observée.

Sur les données ECG (Données non structurées)

• Dans un contexte médical réel (ECG de 35 000 patients), où aucun instrument explicite n'existe, ZNet a réussi à extraire une représentation instrumentale à partir des signaux bruts.
• L'estimation de l'effet causal obtenue avec ZNet + DeepIV a une erreur de 0.126, comparée à 0.665 pour une régression OLS standard (Tableau 5).
• Les conditions d'instrument (pertinence, exclusion, non-confusion) sont satisfaites empiriquement (Tableau 6).

5. Signification et Implications

Ce travail marque une avancée significative pour l'inférence causale dans l'ère du Deep Learning :

1. Démocratisation des VI : Il rend les méthodes à variables instrumentales applicables à des domaines où elles étaient auparavant inaccessibles (médecine de précision, sciences sociales avec données textuelles/images).
2. Robustesse face aux hypothèses fortes : Bien que ZNet ne garantisse pas théoriquement la validité de l'instrument dans tous les cas (dépendant des hypothèses sur la génération des données), ses performances empiriques suggèrent qu'il peut atténuer efficacement les biais de confusion non observée, même lorsque les hypothèses classiques sont difficiles à vérifier.
3. Intégration Causalité-ML : ZNet permet d'intégrer la rigueur de l'inférence causale dans des pipelines d'apprentissage automatique sur des données complexes, transformant des modèles prédictifs en modèles décisionnels actionnables.

En résumé, ZNet propose une solution élégante au problème de l'absence d'instruments en apprenant à "inventer" des instruments valides directement à partir de la structure des données observées, ouvrant la voie à une inférence causale plus robuste et généralisable.