Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap

1. Problématique : Le Défi du Chevauchement Faible

L'inférence causale observationnelle repose sur deux hypothèses fondamentales : l'ignorabilité (tous les confondants sont observés) et le chevauchement (ou positivité), qui stipule que la distribution des caractéristiques (covariables) dans les groupes traités et témoins doit avoir un support commun.

• Le problème : Dans les environnements modernes à haute dimension, le "fléau de la dimensionnalité" rend l'hypothèse de chevauchement souvent irréaliste. Lorsque les distributions des covariables diffèrent fortement entre les groupes, les estimateurs classiques (comme la pondération par l'inverse de la probabilité de traitement - IPW, ou les estimateurs doublement robustes - AIPW) souffrent d'une variance élevée et deviennent instables ("brittle").
• La limite des approches existantes : Bien que l'apprentissage de représentations (réduction de dimension) soit une stratégie naturelle pour améliorer le chevauchement, les méthodes existantes (comme les scores de propension ou les scores pronostiques) sont souvent des cas particuliers qui ne garantissent pas nécessairement l'absence de biais de confondance tout en optimisant le chevauchement. De plus, peu de travaux lient directement la mesure du chevauchement à la borne d'efficacité asymptotique des estimateurs.

2. Méthodologie : Les Scores de Déconfusion et la Divergence de Chevauchement

Les auteurs proposent une nouvelle classe de représentations et un cadre théorique pour optimiser l'estimation de l'effet causal moyen sur les traités (ATT).

A. Définition des Scores de Déconfusion (Deconfounding Scores)

Un score de déconfusion est une représentation $\phi(X)$ des covariables originales $X$ telle que l'estimation de l'effet causal reste non biaisée en ajustant uniquement sur $\phi(X)$.

• Condition mathématique : Le biais de confondance doit être nul. Cela se traduit par une contrainte de covariance conditionnelle nulle entre le modèle de résultat $m_0(X)$ et le rapport de densité (ou score de propension) conditionnellement à $\phi(X)$.
• Généralité : Cette classe englobe les scores de propension (qui capturent toute l'information sur l'assignation au traitement) et les scores pronostiques (qui capturent toute l'information sur le résultat) comme des cas extrêmes, formant un continuum entre les deux.

B. La Divergence de Chevauchement (Overlap Divergence)

Pour quantifier la qualité du chevauchement d'une représentation, les auteurs introduisent la divergence de chevauchement $O(Z)$, définie comme l'espérance du carré du rapport de densité entre les groupes traités et témoins :
$$O(Z) = \mathbb{E}_{P^0} \left[ \left( \frac{dP^1_Z}{dP^0_Z}(Z) \right)^2 \right] = \chi^2(P^1_Z || P^0_Z) + 1$$

• Lien avec l'efficacité : Ils démontrent que cette divergence contrôle directement la borne d'efficacité semi-paramétrique (variance asymptotique minimale) des estimateurs réguliers. Réduire $O(\phi(X))$ est donc nécessaire (et souvent suffisant) pour réduire la variance de l'estimateur.

C. Optimisation Théorique (Cas Gaussien)

Dans un cadre analytique où les covariables sont gaussiennes et les modèles (traitement et résultat) sont des modèles linéaires généralisés (GLM) :

1. Caractérisation : L'ensemble des scores de déconfusion linéaires forme une hyperbole dans l'espace des coefficients, dont les extrémités correspondent aux scores de propension et aux scores pronostiques.
2. Optimalité : Ils prouvent que, sur cette hyperbole, le score pronostique (qui dépend uniquement du modèle de résultat et non de l'assignation au traitement) minimise la divergence de chevauchement. À l'inverse, le score de propension la maximise.
3. Théorème clé : Les représentations qui sont moins prédictives de l'assignation au traitement (tout en préservant l'information sur le résultat) offrent un meilleur chevauchement.

3. Contributions Clés

1. Cadre théorique unifié : Introduction des "scores de déconfusion" comme classe complète de représentations préservant l'identification causale, généralisant les scores de propension et pronostiques.
2. Lien théorie-pratique : Démonstration que la divergence de chevauchement ($\chi^2$) est un proxy direct de la borne d'efficacité semi-paramétrique, justifiant mathématiquement l'objectif de minimisation de cette divergence.
3. Preuve d'amélioration : Preuve formelle que toute représentation de déconfusion améliore le chevauchement par rapport aux covariables brutes, et que les scores pronostiques sont optimaux pour le chevauchement dans le cadre gaussien.
4. Validation empirique : Expérimentations sur des données simulées et semi-synthétiques (IHDP, ACIC 2016, HC-MNIST) montrant que l'utilisation de scores de déconfusion (en particulier pronostiques ou équi-angulaires) réduit systématiquement l'erreur quadratique moyenne (RMSE) par rapport aux covariables brutes, surtout en cas de chevauchement faible.

4. Résultats Expérimentaux

Les auteurs ont évalué des estimateurs classiques (Régression, IPW, AIPW) en remplaçant les covariables brutes par des scores de déconfusion estimés (balancing, pronostic, ou équi-angulaire).

• Données simulées :
  • Lorsque le modèle de résultat est bien spécifié, les estimateurs basés sur le score pronostique surpassent systématiquement les autres, réduisant considérablement la variance.
  • Lorsque le modèle de propension est bien spécifié mais le modèle de résultat erroné, les méthodes basées sur le score de propension (balancing) dominent.
  • En cas de mauvaise spécification des deux modèles, les scores de déconfusion (notamment le score équi-angulaire) offrent un compromis robuste, surpassant souvent les covariables brutes.
• Données semi-synthétiques (IHDP, ACIC, HC-MNIST) :
  • Il existe toujours au moins un score de déconfusion qui améliore l'estimation par rapport aux covariables brutes.
  • Le score pronostique est celui qui améliore le plus fréquemment les performances, confirmant la théorie selon laquelle l'élimination de l'information purement liée au traitement (sans perte d'information sur le résultat) améliore le chevauchement.

5. Signification et Implications

• Pour la pratique : Cette étude fournit une justification théorique solide pour l'utilisation des scores pronostiques (ou de combinaisons de scores) dans les études observationnelles à haute dimension, en particulier lorsque le chevauchement est faible. Elle suggère que l'ajustement sur des variables prédictives du résultat mais non du traitement est souvent bénéfique pour la variance.
• Pour la recherche : L'article ouvre la voie à de nouvelles méthodes d'apprentissage de représentations qui intègrent explicitement la contrainte de "zéro biais de confondance" (via le lemme de covariance conditionnelle) et l'optimisation de la divergence de chevauchement.
• Limites et perspectives : Les résultats analytiques reposent sur des hypothèses restrictives (Gaussien, GLM). Les auteurs soulignent le besoin d'étendre ces résultats à des modèles non linéaires complexes (réseaux de neurones) et de développer des algorithmes d'estimation de ces scores optimaux dans des contextes plus généraux.

En résumé, ce papier propose un cadre rigoureux pour transformer le problème de la faible overlap en un problème d'optimisation de représentation, démontrant que les scores pronostiques sont souvent la solution optimale pour réduire la variance des estimateurs causaux sans introduire de biais.