Calibrated Inference for the Conditional Average Treatment Effect in the Few-Placebo Regime via Gaussian Processes

Résumé technique : Inférence calibrée pour l'effet moyen de traitement conditionnel (CATE) dans le régime à peu de placebos via des processus gaussiens

Énoncé du problème
L'article aborde le défi de l'estimation de l'effet moyen de traitement conditionnel (CATE), $\tau(x) = E[Y(1) - Y(0) | X=x]$, avec des intervalles d'incertitude calibrés dans le « régime à peu de placebos ». Ce régime est défini par un déséquilibre sévère des tailles d'échantillon entre les bras de traitement ($N_0 \ll N_1$), une situation courante dans les essais cliniques à allocation inégale, les tests A/B contraints par le budget et les études de régimes rares.

Bien que le X-Learner soit le méta-learner standard pour les bras déséquilibrés, il ne fournit qu'une estimation ponctuelle. Les auteurs examinent l'extension naturelle consistant à rendre la deuxième étape du X-Learner bayésienne afin de générer des intervalles de crédibilité. Ils démontrent que cette approche échoue à fournir une couverture calibrée (c'est-à-dire que les intervalles contiennent l'effet réel moins souvent que leur niveau nominal), spécifiquement dans le régime à peu de placebos.

Diagnostic de l'échec
L'article identifie une cause structurelle de la sous-coverage des intervalles du Bayesian X-Learner :

1. Biais de nuisance du premier ordre : Le X-Learner construit des pseudo-résultats (par exemple, $D_1 = Y - \hat{\mu}_0(X)$) pour estimer l'effet du traitement. Parce que les modèles de nuisance d'apprentissage automatique (comme les arbres régularisés) échangent le biais contre la variance, l'estimation $\hat{\mu}_0$ n'est pas sans biais conditionnellement. Par conséquent, la moyenne conditionnelle du pseudo-résultat est $\tau(x) - b_0(x)$, où $b_0(x)$ est le biais de régularisation du modèle de nuisance ajusté sur le petit bras de contrôle.
2. Déplacement du posterior : Une régression bayésienne sur ces pseudo-résultats biaisés produit un posterior centré sur la cible biaisée ($\tau - b_0$) plutôt que sur l'effet réel. Puisque le biais est un décalage de position, augmenter la variance du posterior (élargir l'intervalle) ne corrige pas la couverture ; l'intervalle reste décalé par rapport à la vérité.
3. Échec des scores orthogonaux : Le remède standard au biais de nuisance consiste à régresser un score de Neyman orthogonal, doublement robuste (DR). Les auteurs montrent que cela échoue également dans le régime à peu de placebos. Ce régime induit intrinsèquement un mauvais recouvrement (petite propension pour le bras de contrôle, $1-\pi \approx 0$). Le terme de « second ordre » du score DR est amplifié par un facteur de $1/(1-\pi)^2$, rendant le terme résiduel non négligeable. De plus, l'application d'un pondération par l'inverse de la variance pour stabiliser la variance élevée du bras de contrôle perturbe le mécanisme d'annulation inter-bras qui assure l'absence de biais, ramenant effectivement l'estimateur à la forme biaisée du X-Learner.

Méthodologie : GP-CATE
Pour résoudre ces problèmes, les auteurs proposent GP-CATE, qui abandonne le paradigme estimation ponctuelle plus variance a posteriori en faveur d'une approche entièrement bayésienne pour les fonctions de nuisance elles-mêmes.

• Modélisation : Au lieu d'ajuster des estimations ponctuelles $\hat{\mu}_0$ et $\hat{\mu}_1$, GP-CATE modélise la surface de résultat pour chaque bras ($\mu_0$ et $\mu_1$) en utilisant des processus gaussiens (GP) indépendants.
• Construction du posterior : Le GP renvoie une distribution postérieure complète sur la fonction, composée d'une moyenne $m_w(x)$ et d'un écart-type ponctuel $s_w(x)$. L'incertitude $s_w(x)$ est naturellement grande là où les données sont rares (le bras de contrôle) et faible là où les données sont denses.
• Inférence CATE : Le posterior du CATE est dérivé comme la différence des deux posteriors de bras :
  $$\tau(x) | D \sim \mathcal{N}(m_1(x) - m_0(x), s_1(x)^2 + s_0(x)^2)$$
  Cette construction garantit que l'incertitude du petit bras de contrôle entre dans le posterior du CATE directement sous forme de variance, plutôt que sous forme de biais non modélisé.
• Stratégie de calcul : Bien que les GP exacts soient de complexité $O(N^3)$, les auteurs notent que dans le régime à peu de placebos, le bras de contrôle ($N_0$) est petit, rendant son ajustement exact négligeable sur le plan computationnel. Pour le grand bras de traitement ($N_1$), un substitut évolutif (par exemple, un GP à points induits/rares) est suffisant car l'incertitude du bras de contrôle domine la variance totale du CATE.

Contributions clés

1. Diagnostic : L'article établit que la sous-coverage des X-Learners bayésiens pour des données déséquilibrées est causée par un biais de nuisance du premier ordre provenant de pseudo-résultats non orthogonaux, qui déplace la moyenne du posterior.
2. Résultat négatif : Il démontre que le remède par score doublement robuste/orthogonal échoue dans ce régime en raison de l'amplification du recouvrement et d'un conflit fondamental entre la pondération d'efficacité et l'absence de biais, même lorsque le score de propension est connu.
3. Analyse de la cause racine : Les auteurs soutiennent que l'attachement d'une variance à une estimation ponctuelle d'une nuisance « difficile à apprendre » (ajustée sur des données rares) est structurellement défectueux car le biais de régularisation est invisible pour les estimations de variance a posteriori.
4. Méthode et validation empirique : GP-CATE est proposé comme solution, remplaçant les estimations ponctuelles par des posteriors bayésiens. Les résultats empiriques montrent qu'il est la seule méthode testée à atteindre une couverture calibrée sur les benchmarks linéaires, non linéaires et semi-synthétiques (IHDP) dans le régime à peu de placebos.

Résultats expérimentaux
Les auteurs ont évalué GP-CATE par rapport à Causal Forest, BART et des méta-learners standards (X-Learner, DR-Learner) sur trois conceptions :

• Couverture : Dans le régime à peu de placebos ($N_0=30$), les estimateurs d'intervalles standards sous-couvrent sévèrement. La couverture de Causal Forest a chuté jusqu'à 0,34 sur le benchmark IHDP, et celle de BART à 0,59. En revanche, GP-CATE a maintenu une couverture entre 0,94 et 0,99 sur toutes les conceptions et tailles d'échantillon.
• Largeur de l'intervalle : Les intervalles calibrés produits par GP-CATE sont significativement plus larges que ceux des alternatives dans les settings de haute dimension avec peu de contrôles. Les auteurs soutiennent qu'il s'agit d'une caractéristique, non d'un défaut : les larges intervalles reflètent correctement la forte incertitude inhérente à l'estimation d'une surface à partir de données rares, alors que les intervalles plus étroits des autres méthodes sont mal calibrés.
• Précision ponctuelle : GP-CATE reste compétitif en précision d'estimation ponctuelle (mesurée par $\sqrt{\epsilon PEHE}$), surpassant ou égalant souvent Causal Forest et BART, en particulier lorsque $N_0$ augmente.

Signification et revendications
L'article affirme que le régime à peu de placebos représente une frontière structurelle où les propriétés oraculaires asymptotiques standards (qui supposent un recouvrement fixe) s'effondrent. La signification du travail réside dans l'identification que l'inférence calibrée dans ce régime nécessite un modèle de nuisance entièrement bayésien plutôt qu'une estimation ponctuelle avec une variance corrigée.

Les auteurs présentent modestement leur contribution non pas comme une architecture d'estimateur novatrice (notant qu'un T-learner bayésien avec des GP est similaire à des travaux antérieurs de Alaa et van der Schaar, 2017), mais comme un insight diagnostique : l'échec des méta-learners dans ce régime est dû à la séparation de l'estimation du biais et de la variance. GP-CATE est présenté comme l'estimateur que l'analyse de la cause racine rend nécessaire. L'article conclut que les praticiens devraient préférer GP-CATE dans les contextes déséquilibrés, acceptant des intervalles plus larges comme le reflet honnête de la rareté des données, plutôt que de s'appuyer sur des intervalles plus étroits et mal calibrés provenant de méthodes standards.