Bayesian X-Learner: Calibrated Posterior Inference for Heterogeneous Treatment Effects under Heavy-Tailed Outcomes

1. Énoncé du problème

L'estimation des Effets Moyens Conditionnels du Traitement (CATE), notés $\tau(x)$, dans des applications réelles se heurte à une triade critique d'exigences que les outils existants ne parviennent pas à satisfaire simultanément :

1. Hétérogénéité : La capacité d'estimer des effets du traitement qui varient d'un individu à l'autre ($\tau(x)$).
2. Incertitude calibrée : La fourniture d'une quantification statistiquement valide de l'incertitude (intervalles de crédibilité) pour ces effets hétérogènes.
3. Robustesse aux queues lourdes : Une robustesse face aux distributions de résultats à "queues lourdes", fréquentes dans des domaines tels que les essais cliniques (événements graves rares), le marketing (revenus "baleines") et l'économie.

Limites des méthodes actuelles :

• Meta-learners (S/T/X-Learners) : Fournissent de l'hétérogénéité mais produisent généralement des estimations ponctuelles sans incertitude calibrée.
• Forêts causales : Fournissent de l'hétérogénéité et une incertitude approximative via le bootstrap, mais les intervalles bootstrap échouent souvent à maintenir la couverture en présence de contamination à queues lourdes.
• Modèles bayésiens classiques (par ex. Causal BART, BCF) : Fournissent des posteriors bayésiens complets mais reposent sur des hypothèses de vraisemblance gaussienne. Une seule valeur aberrante extrême ("baleine") peut fausser la moyenne du posterior et gonfler la variance en raison de l'influence non bornée des résidus au carré.
• Méthodes fréquentistes robustes : Fournissent souvent des estimations ponctuelles ou des intervalles fréquentistes mais manquent de l'objet posterior complet requis pour une prise de décision complexe en aval (par ex. intégration sur l'incertitude).

2. Méthodologie : Le Bayesian X-Learner

L'article propose le Bayesian X-Learner, un cadre en trois phases conçu pour délivrer un posterior MCMC calibré sur $\tau(x)$, même lorsque les résultats sont fortement contaminés.

Phase 1 : Quarantaine croisée des fonctions de nuisance

• Objectif : Estimer les fonctions de nuisance ($\hat{\mu}_0, \hat{\mu}_1, \hat{\pi}$) de manière robuste pour empêcher la contamination de se propager aux pseudo-résultats.
• Mécanisme : Utilisation d'un appariement croisé (cross-fitting) en $K$ plis.
• Robustesse : Au lieu de la perte d'erreur quadratique standard, elle emploie CatBoost avec une perte de Huber paramétrée par $\delta$. La valeur de $\delta$ est mappée à partir d'un énumérateur défini par l'utilisateur contamination_severity (par ex. "severe" $\to$ $\delta=0.5$) sur la base de la théorie minimax de Huber.
• Standardisation : Pour les données à échelle extrême, une étape de pré-standardisation optionnelle ($Y \to Y/\text{MAD}(Y)$) garantit que le paramètre Huber $\delta$ opère sur une échelle unitaire, préservant ainsi son optimalité théorique.

Phase 2 : Pseudo-résultats Doubly Robust (DR)

• Objectif : Construire une variable cible qui est cohérente pour $\tau(x)$ même si les modèles de nuisance sont imparfaits.
• Mécanisme : Suivant Kennedy (2020), la méthode construit des pseudo-résultats DR ($D_i$) pour chaque unité :
  $$D_i = \hat{\mu}_1(X_i) - \hat{\mu}_0(X_i) + \frac{W_i(Y_i - \hat{\mu}_1(X_i))}{\hat{\pi}(X_i)} - \frac{(1-W_i)(Y_i - \hat{\mu}_0(X_i))}{1-\hat{\pi}(X_i)}$$
• Ces pseudo-résultats servent de cibles de régression pour la couche bayésienne finale.

Phase 3 : Mise à jour bayésienne avec pseudo-vraisemblance de Welsch

• Objectif : Inférer la distribution a posteriori des paramètres CATE $\beta$ (où $\tau(x) = \phi(x)^\top \beta$).
• Innovation : Remplace la vraisemblance gaussienne standard par une pseudo-vraisemblance redescendante de Welsch.
  • Fonction de perte : $\rho_W(r) = \frac{c^2}{2}(1 - \exp(-r^2/c^2))$.
  • Fonction d'influence : $\psi_W(r) = r \exp(-r^2/c^2)$.
  • Propriété clé : La fonction d'influence est bornée et redescend vers zéro pour de grands résidus. Cela signifie que les valeurs aberrantes extrêmes ont une influence décroissante sur la moyenne du posterior, contrairement aux vraisemblances gaussiennes ou de Student où l'influence reste élevée ou décroît lentement.
• Inférence : Utilise NUTS (No-U-Turn Sampler) via NumPyro pour échantillonner à partir du posterior généralisé (Gibbs).
• Calibration : Puisque la perte de Welsch n'est pas une vraie log-vraisemblance, le posterior est un "posterior généralisé". L'article introduit une calibration du taux d'apprentissage $\eta$ (via l'appariement de traces ou l'appariement spécifique à la fonction) pour garantir que les intervalles de crédibilité ont une couverture fréquentiste correcte.
• Bayes modulaire : Pour tenir compte de l'incertitude dans les estimations de nuisance, la méthode prend en charge une approche bayésienne modulaire où les paramètres de nuisance sont tirés via un bootstrap bayésien, et leur incertitude est propagée dans le posterior final.

3. Distinctions clés : Contamination vs Signal

Une contribution théorique cruciale est la distinction opérationnelle entre deux régimes à queues lourdes :

1. Queues comme contamination : Les valeurs aberrantes sont du bruit (par ex. erreurs de mesure, baleines de revenus). La solution est le sous-pondérage via la vraisemblance de Welsch + nuisance de Huber.
2. Queues comme signal : Un sous-groupe spécifique a véritablement un effet de traitement différent. La solution est la représentation via une fonction de base sensible aux queues (par ex. $\phi(x) = [1, \mathbb{I}(|x| > c)]$).

• Avertissement : L'article démontre que l'utilisation d'un redimensionnement au niveau des données (comme la normalisation par estimateur de Hill) pour gérer les "queues comme signal" est activement néfaste, car elle traite une hétérogénéité réelle comme du bruit.

4. Contributions clés

1. Algorithme : Un nouveau Bayesian X-Learner combinant des pseudo-résultats DR avec une vraisemblance redescendante de Welsch, fournissant le premier outil largement applicable pour l'estimation de CATE hétérogène, calibré et robuste.
2. Cadre théorique : Formalise la séparation du traitement de la contamination (couche de vraisemblance) par rapport au traitement du signal (couche de base) et fournit des résultats de calibration asymptotique (Proposition 1) pour le posterior généralisé.
3. Validation empirique :
   • Benchmark IHDP : Sur des données propres, la configuration par défaut atteint un $\sqrt{\epsilon_{PEHE}}$ moyen de $0.56$, surpassant ou égalant les S/T/X-learners, Causal BART et Forêts causales, avec la dispersion la plus faible.
   • DGP Baleine : Sur des données synthétiques avec jusqu'à 20–25 % de contamination, la configuration "severe" récupère un RMSE $\approx 0.13$ et maintient des intervalles de crédibilité à 95 % calibrés, tandis que les bases gaussiennes et de Student échouent de manière catastrophique.
   • Données réelles : Validé sur l'essai contrôré randomisé (RCT) de marketing par email Hillstrom ($N=42\,613$), démontrant que les estimateurs naïfs sont pilotés par des valeurs aberrantes (suggérant un gain de 0,77 $), tandis que le Bayesian X-Learner robuste identifie correctement un effet proche de zéro pour la majorité des clients, avec des intervalles étroits et calibrés.
4. Analyse des limites : Cartographie six limites empiriques (plafond de contamination, coût d'efficacité, sensibilité de la base, taille de l'échantillon, type de traitement, calcul) pour guider les praticiens sur le moment d'utiliser cet outil par rapport aux alternatives.

5. Résumé des résultats

• Robustesse : La méthode maintient une couverture valide (environ 83–100 % selon la configuration) sous une densité de contamination de 20 %, un régime où les méthodes bayésiennes et fréquentistes standard s'effondrent.
• Coût d'efficacité : Il existe un coût d'efficacité structurel sur des données parfaitement propres lors de l'utilisation de paramètres de robustesse agressifs (par ex. $\delta=0.5$), mais cela est atténué en passant à "none" (Gaussien) lorsque la contamination est absente.
• Calibration : L'utilisation du regroupement bayésien modulaire (propagation de l'incertitude de nuisance) s'avère cruciale pour restaurer la couverture nominale dans les scénarios à forte contamination où les posteriors à appariement croisé unique sous-couvrent.
• Qualité de décision : Dans les simulations de politique, le posterior calibré conduit à un regret nul dans les décisions de traitement sous contamination, tandis que les méthodes non robustes entraînent des erreurs de politique significatives.

6. Importance

Cet article comble une lacune critique dans l'apprentissage automatique causal. Bien que les statistiques robustes et l'inférence bayésienne existent séparément depuis longtemps, leur intersection dans le contexte des effets de traitement hétérogènes n'avait pas été explorée auparavant.

• Impact pratique : Il permet aux praticiens dans des domaines comme les essais cliniques et le marketing de prendre des décisions basées sur des effets de sous-groupe avec des bornes d'incertitude fiables, même lorsque les données sont criblées de valeurs aberrantes.
• Avancement théorique : Il va au-delà de la robustesse de l'estimation ponctuelle pour atteindre une robustesse du posterior, prouvant que le Bayes généralisé avec des pertes redescendantes peut produire une inférence calibrée.
• Orientation : Il fournit des directives claires et exploitables pour distinguer le "bruit" du "signal" dans les queues lourdes, évitant l'écueil courant de lisser des effets hétérogènes réels.

Le code et les benchmarks sont publiés en open-source, facilitant la reproductibilité et l'adoption dans des tâches d'inférence causale à queues lourdes dans le monde réel.