Instrumental and Proximal Causal Inference with Gaussian Processes

Cet article propose un cadre d'apprentissage causal incertain basé sur les processus gaussiens déconditionnés (DGP) qui comble le manque d'estimation d'incertitude épistémique dans les méthodes à variables instrumentales et proximaux, tout en assurant une précision prédictive et une sélection de modèle rigoureuse.

L'essentiel

🕵️‍♂️ Le Détective et le Brouillard : Une nouvelle méthode pour comprendre le monde

Imaginez que vous êtes un détective privé. Votre mission ? Comprendre pourquoi les choses se produisent. Par exemple : « Si je baisse le prix de mes billets d'avion, est-ce que je vais vendre plus de places ? »

C'est ce qu'on appelle l'inférence causale. Le problème, c'est qu'il y a souvent un brouillard invisible qui gâche votre enquête. Ce brouillard, ce sont des facteurs cachés (comme la saisonnalité ou l'humeur des clients) qui influencent à la fois le prix et les ventes. Si vous ne voyez pas ce brouillard, vous risquez de tirer de mauvaises conclusions (par exemple, penser que c'est le prix qui a fait vendre, alors que c'était juste le printemps !).

Les chercheurs de ce papier (Yuqi Zhang et son équipe) ont créé un nouvel outil pour percer ce brouillard et, surtout, pour savoir à quel point ils sont sûrs de leur réponse.

---

🧩 Les deux outils magiques du détective

Pour percer le brouillard, les détectives utilisent traditionnellement deux types d'outils :

1. La Variable Instrumentale (IV) : C'est comme un témoin spécial. Imaginez que vous ne pouvez pas voir le brouillard, mais vous avez un témoin qui sait exactement où il est, sans être influencé par lui. Ce témoin vous aide à déduire la vérité.
2. L'Apprentissage Proximal (Proxy) : C'est comme utiliser des indices indirects. Si vous ne pouvez pas voir le brouillard directement, vous regardez des objets qui sont collés à lui (comme des traces de pas ou de la poussière). Ces indices vous donnent une idée de ce qui se cache derrière.

Jusqu'à présent, les méthodes existantes pour utiliser ces outils étaient comme des devins : elles donnaient une réponse précise (un chiffre), mais elles ne disaient jamais : "Euh, je suis à 90% sûr de ce chiffre, ou alors c'est juste une grosse supposition". C'est dangereux ! Si vous prenez une décision importante (comme lancer un produit) sur une supposition, vous risquez gros.

---

🎨 La solution : Le "Gaussian Process" (Le Peintre Probabiliste)

Les auteurs de ce papier ont inventé une nouvelle méthode appelée GPIV et GPProxy. Pour comprendre comment ça marche, imaginez un peintre très spécial qui ne dessine pas une seule ligne, mais une zone de couleur.

• La ligne moyenne (la réponse) : C'est la prédiction la plus probable. Si le peintre dit "Vendez 100 billets", c'est sa meilleure estimation.
• La zone de couleur (l'incertitude) : C'est la grande innovation. Plus la zone de couleur est large, plus le peintre dit : "Je ne suis pas très sûr, il y a beaucoup de brouillard ici, faites attention !". Plus la zone est fine, plus il est confiant.

Pourquoi c'est génial ?

1. Pas de devinettes : Contrairement aux anciennes méthodes qui utilisaient des astuces mathématiques compliquées (comme le "bootstrap" qui consiste à refaire le calcul 1000 fois au hasard), cette méthode calcule l'incertitude de manière naturelle, comme une règle de la physique.
2. Le choix intelligent : Grâce à cette "zone de couleur", le système peut dire : "Je ne vais pas répondre pour ce cas précis, car je ne suis pas assez sûr". C'est comme un médecin qui dit : "Je ne peux pas diagnostiquer cette maladie avec ces symptômes, il faut plus d'examens". Cela évite de prendre de mauvaises décisions.

---

🏆 Ce que disent les résultats (Le test de réalité)

Les chercheurs ont testé leur nouveau détective sur des données simulées (des jeux de données inventés) et sur des cas réels (comme la vente de billets d'avion).

• Précision : Leur méthode donne des réponses aussi bonnes, voire meilleures, que les meilleures méthodes actuelles.
• Confiance : C'est là que ça brille. Quand ils disent "Je suis sûr", ils le sont vraiment. Les anciennes méthodes avaient tendance à être trop confiantes (elles donnaient une réponse précise alors qu'elles se trompaient souvent).
• Adaptabilité : Leur méthode s'adapte toute seule aux données, sans avoir besoin de régler des boutons compliqués à la main (ce qu'on appelle l'optimisation des hyperparamètres).

🚀 En résumé

Imaginez que vous conduisez une voiture dans le brouillard.

• Les anciennes méthodes vous donnaient une vitesse précise, mais sans vous dire si vous risquiez de percuter un mur.
• Cette nouvelle méthode vous donne la vitesse, mais elle allume aussi un feu rouge clignotant quand le brouillard est trop épais et qu'elle n'est pas sûre de la route.

C'est un outil plus honnête, plus sûr et plus pratique pour prendre des décisions importantes dans un monde incertain. Que ce soit pour la santé, l'économie ou l'écologie, savoir ce qu'on ne sait pas est tout aussi important que de savoir ce qu'on sait.

Résumé technique

1. Problématique et Contexte

L'estimation des effets causaux à partir de données observationnelles est fondamentale dans de nombreux domaines, mais elle est souvent compromise par la présence de facteurs de confusion non observés (unobserved confounders). Ces facteurs biaisent les estimateurs standards et rendent l'inférence causale invalide.

Pour contourner ce problème, deux cadres théoriques majeurs ont été développés :

• Les Variables Instrumentales (IV) : Utilisent une variable instrumentale $Z$ qui influence le traitement $X$ mais n'affecte pas directement le résultat $Y$, et qui est indépendante des facteurs de confusion.
• L'Apprentissage Causal Proximal (Proxy) : Utilise des variables de substitution (proxies) pour le traitement ($Z$) et le résultat ($W$) qui contiennent suffisamment d'informations sur le facteur de confusion non observé $U$.

Bien que des méthodes récentes basées sur l'apprentissage automatique (noyaux, réseaux de neurones) aient permis d'estimer ces effets avec précision, elles souffrent d'une lacune critique : l'absence de quantification fiable de l'incertitude épistémique (EU). Les approches existantes se concentrent sur l'estimation ponctuelle, et les méthodes d'incertitude actuelles (comme le bootstrap) sont souvent heuristiques, manquent d'interprétation probabiliste cohérente, ou sont coûteuses en calcul.

2. Méthodologie : Le Cadre des Processus Gaussiens Déconditionnés (DGP)

Les auteurs proposent un cadre unifié basé sur les Processus Gaussiens (GP) pour l'inférence causale sous IV et Proxy, baptisé GPIV et GPProxy.

Fondements Théoriques

Le problème d'estimation de la fonction structurelle causale $f$ dans ces cadres se réduit à la résolution d'une équation intégrale de Fredholm de première espèce.

• Dans le cadre IV : $E[Y|Z] = E[f(X)|Z]$.
• Dans le cadre Proxy : Une fonction "pont" $h$ est d'abord estimée via $E[Y|X,Z] = E[h(X,W)|X,Z]$, puis marginalisée pour obtenir $f$.

L'article exploite la théorie des noyaux de déconditionnement (Deconditional Kernel Embeddings). Ces opérateurs agissent comme des pseudo-inverses des opérateurs d'espérance conditionnelle, permettant de récupérer la fonction structurelle $f$ à partir des espérances conditionnelles observées.

Modélisation Bayésienne

Les auteurs construisent un modèle probabiliste où :

1. A priori : Une fonction $f$ (ou la fonction pont $h$) est modélisée comme un Processus Gaussien $GP(0, k)$.
2. Observation : Les données sont générées par un modèle de bruit additif sur l'espérance conditionnelle (ex: $y|z \sim N(g(z), \sigma^2 I)$ où $g(z) = E[f(X)|Z=z]$).
3. Inférence : En utilisant les propriétés de fermeture des processus gaussiens sous l'intégration linéaire, les auteurs dérivent la distribution a posteriori de $f$ conditionnée aux données observées.

Résultats Clés de la Modélisation :

• Moyenne a posteriori : La moyenne a posteriori du GP correspond exactement aux estimateurs fréquentistes basés sur les noyaux (comme KIV pour les IV et KNC pour les Proxy). Cela garantit que la méthode hérite des bonnes propriétés asymptotiques et de la précision prédictive des méthodes existantes.
• Variance a posteriori : La variance a posteriori fournit une quantification de l'incertitude épistémique (EU) cohérente et bien calibrée, reflétant à la fois la variabilité des données et l'incertitude liée à la structure causale non observée.
• Sélection de modèle : Le cadre bayésien permet une sélection de modèle rigoureuse via l'optimisation de la vraisemblance marginale, éliminant le besoin de techniques ad hoc comme la validation croisée complexe ou le découpage des données (data splitting) souvent utilisé dans les méthodes fréquentistes.

3. Contributions Principales

1. Cadre Unifié : Introduction d'un cadre bayésien non paramétrique unique (GPIV et GPProxy) couvrant à la fois les scénarios IV et Proxy.
2. Équivalence et Incertitude : Démonstration que les moyennes a posteriori récupèrent les estimateurs fréquentistes de pointe (KIV, KNC), tout en ajoutant une quantification d'incertitude probabiliste rigoureuse.
3. Sélection de Modèle Principée : Utilisation de la vraisemblance marginale pour optimiser les hyperparamètres (longueurs d'échelle, régularisation), évitant le découpage des données et améliorant l'efficacité sur les petits échantillons.
4. Évaluation de l'Incertitude : Introduction d'évaluations au-delà de la simple couverture (coverage), notamment via les courbes Précision-Rejet (Accuracy-Rejection Curves - ARC) et l'apprentissage actif, pour mesurer l'utilité de l'incertitude dans la prise de décision.

4. Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur des données synthétiques et des scénarios de demande de billets d'avion (plus complexes), en comparaison avec des méthodes de référence (KIV, MMRIV, QBIV, KPV, KNC, etc.).

• Précision Prédictive (MSE) :

  • GPIV et GPProxy atteignent systématiquement les erreurs quadratiques moyennes (MSE) les plus faibles ou parmi les plus faibles.
  • L'approche surpasse souvent les méthodes fréquentistes (comme KIV), en particulier sur les petits échantillons, grâce à l'utilisation de l'ensemble des données (pas de découpage) et à l'optimisation des hyperparamètres via la vraisemblance marginale.
  • Sur le design "demande", GPIV rivalise avec des méthodes basées sur l'apprentissage profond.

• Qualité de l'Incertitude :

  • Couverture : Les intervalles de confiance à 95% générés par GPIV/GPProxy sont mieux calibrés (couverture proche de 0,95) que ceux des méthodes basées sur le bootstrap (qui sont souvent trop optimistes et sous-estiment la variance).
  • Courbes ARC : Les méthodes proposées montrent des courbes ARC ascendantes, indiquant que l'incertitude est informatives : le modèle rejette efficacement les prédictions les plus incertaines, améliorant ainsi la précision sur les données retenues.
  • Apprentissage Actif : Dans une expérience d'apprentissage actif, l'incertitude du GP permet de sélectionner plus efficacement les points de données à étiqueter pour améliorer le modèle, surpassant les stratégies aléatoires et les autres méthodes.

5. Signification et Impact

Ce travail comble un vide important dans l'inférence causale moderne en fournissant une solution unifiée, pratique et fiable pour gérer l'incertitude dans des scénarios de confusion non observée.

• Fiabilité : En quantifiant l'incertitude épistémique, la méthode permet un déploiement plus responsable des modèles causaux, en particulier dans des domaines critiques (santé, économie) où la prise de décision basée sur des estimations incertaines peut être dangereuse.
• Efficacité : L'élimination du découpage des données et l'optimisation automatique des hyperparamètres rendent la méthode plus robuste et plus facile à appliquer sur des jeux de données réels, souvent limités en taille.
• Fondation Théorique : En reliant les estimateurs fréquentistes aux processus gaussiens bayésiens, l'article offre une interprétation probabiliste profonde aux méthodes de noyaux existantes, ouvrant la voie à de nouvelles extensions (comme l'apprentissage actif causal ou la fusion de données).

En résumé, cette approche transforme l'estimation causale d'un problème de point unique en un problème d'inférence probabiliste complet, offrant non seulement une prédiction précise, mais aussi une mesure fiable de la confiance que l'on peut accorder à cette prédiction.