Résumé Technique : Robust X-Learner (RX-Learner)

1. Énoncé du Problème

L'article traite d'un double défi critique dans l'estimation des Effets de Traitement Hétérogènes (HTE) au sein d'applications industrielles telles que l'AdTech et la santé : le déséquilibre extrême des classes et les distributions de résultats à queues lourdes.

Bien que le cadre standard de l'X-Learner (Künzel et al., 2019) atténue efficacement le déséquilibre grâce à l'imputation croisée (emprunt d'informations auprès du groupe majoritaire pour estimer les effets du groupe minoritaire), il échoue de manière catastrophique lorsque les données contiennent des valeurs aberrantes à queues lourdes (« whales » ou baleines). Les auteurs identifient un mode de défaillance spécifique nommé « Outlier Smearing » (étalement des valeurs aberrantes).

Dans l'X-Learner standard, qui repose sur la minimisation de l'Erreur Quadratique Moyenne (MSE) :

1. Propagation du Biais : Si le groupe minoritaire (ex: groupe de traitement) contient ne serait-ce qu'une seule valeur aberrante extrême, l'estimateur de la fonction de réponse par MSE ($\hat{\mu}_1$) devient significativement biaisé.
2. Mécanisme d'Étalement : Lors de l'étape d'imputation croisée, ce $\hat{\mu}_1$ biaisé est utilisé pour générer des pseudo-résultats pour l'ensemble du groupe majoritaire (contrôle). Par conséquent, le biais provenant d'une seule « baleine » est mathématiquement « étalé » sur chaque valeur imputée dans le groupe de contrôle, qui est pourtant propre.
3. Résultat : L'estimateur final de CATE apprend une structure déformée, confondant le bruit de la valeur aberrante avec un véritable effet de traitement, même dans les régions où les données de contrôle sont denses et propres.

Les alternatives existantes comme le Robust Double Machine Learning (R-Learner) échouent dans ce contexte car elles reposent sur la pondération par l'inverse de la probabilité (IPW), laquelle souffre d'une explosion de la variance lorsque les scores de propension approchent de zéro ou de un (déséquilibre extrême).

2. Méthodologie : Le Robust X-Learner (RX-Learner)

Le RX-Learner préserve les avantages structurels de l'X-Learner (imputation croisée) mais modifie fondamentalement l'objectif d'apprentissage pour imposer une robustesse face aux queues lourdes. Le cadre est construit sur le concept de Causal Inference Core-Periphery (Inférence Causale Noyau-Périphérie), visant à estimer les effets sur la population stable du « Noyau » (Core) tout en ignorant la « Périphérie » (Periphery) volatile.

2.1 Apprenants de Base Robustes via la $\gamma$-Divergence

Au lieu de minimiser la MSE, le RX-Learner minimise un objectif de divergence de puissance de densité. Sous l'hypothologie que la distribution du « Noyau » est gaussienne, cet objectif est mathématiquement équivalent à la perte de Welsch (ou Leclerc) :
$$L_{Robust}(r_i) \propto 1 - \exp\left(-\frac{\gamma r_i^2}{2\hat{\sigma}^2}\right)$$

• Influence Redescendante : La fonction de perte possède une fonction d'influence redescendante. À mesure que l'amplitude du résidu $|r_i|$ augmente (indiquant une « baleine »), le poids attribué à cette observation décroît exponentiellement vers zéro.
• Raffinement Oracle : Ce mécanisme permet au modèle d'effectuer un « élagage doux » (soft-trimming) automatique des valeurs aberrantes pendant l'entraînement, s'ajustant uniquement à la population du Noyau.
• Estimation de l'Échelle : Pour éviter la singularité (implosion), le paramètre d'échelle $\hat{\sigma}$ est initialisé et fixé en utilisant la Déviation Absolue Médiane (MAD) des résidus issus d'un ajustement robuste préliminaire.

2.2 Optimisation basée sur le MM (Hessien Proxy)

Puisque la perte de Welsch est non convexe, les implémentations standard de gradient boosting (qui reposent sur des Hessiens convexes) peuvent devenir instables. Les auteurs introduisent une stratégie de Majorisation-Minimisation (MM) :

• Majorisation Quadratique : La perte de Welsch est traitée comme une fonction quasi-quadratique. À chaque itération, une borne supérieure quadratique (majoriseur) est construcie.
• Hessien Proxy : L'optimisation est réalisée en minimisant cette borne quadratique, ce qui équivaut à résoudre un problème de moindres carrés pondérés où les poids agissent comme un « Hessien Proxy ».
• Garantie : Cette approche garantit une diminution monotone de la fonction de perte, assurant la stabilité même sans surface de perte convexe.

2.3 Imputation Croisée et Agrégation Robustes

• Étape 2 (Imputation) : Parce que les apprenants de base ($\hat{\mu}_{1,\gamma}, \hat{\mu}_{0,\gamma}$) sont robustes, le terme de biais $\delta$ est effectivement nul. Les pseudo-résultats générés pour le groupe majoritaire sont donc « propres », empêchant l'effet d'étalement à sa source.
• Étape 3 (Agrégation) : Les modèles de CATE finaux sont également entraînés en utilisant la même procédure de $\gamma$-boosting sur les pseudo-résultats. L'estimation finale est une moyenne pondérée utilisant un schéma de pondération par l'inverse de la variance, privilégiant l'estimateur ayant la plus haute précision.

3. Contributions Clés

1. Intégration Théorique : L'article intègre la minimisation de la $\gamma$-divergence dans le cadre de méta-apprentissage, établissant un pont théorique entre les méthodes modernes de divergence de puissance de densité et la statistique robuste classique (perte de Welsch). Il identifie l'« Outlier Smearing » comme une vulnérabilité fondamentale des X-Learners standards dans des contextes de déséquilibre et de queues lourdes.
2. Stabilité Algorithmique : Il résout le défi de l'optimisation non convexe inhérent à l'estimation robuste en ancrant la stratégie du « Hessien Proxy » dans le cadre MM, permettant une implémentation efficace sur les mécanismes standards de Gradient Boosting.
3. Validation Empirique : La méthode est validée sur une dérivation semi-synthétique du jeu de données Criteo Uplift, démontrant qu'elle découple efficacement la population stable du Noyau de la Périphérie volatile.

4. Résultats Expérimentaux

Les auteurs ont évalué le RX-Learner par rapport aux bases standards (X-Learner basé sur la MSE, perte de Huber, Winsorisation et Robust DML) en utilisant des données synthétiques pures et un benchmark semi-synthétique Criteo.

• Données Synthétiques (Pathologie Extrême) : Dans un scénario avec 2 % de déséquilibre de traitement et un bruit de Pareto asymétrique, le RX-Learner a réduit la Précision de l'Estimation de l'Effet Hétérogène (PEHE) de plus de 50 % par rapport à la meilleure base de comparaison (perte de Huber). Crucialement, alors que les méthodes basées sur la MSE montraient une augmentation linéaire du décalage de prédiction proportionnelle à la magnitude de l'outlier, le RX-Learner présentait un décalage nul, confirmant le rejet des valeurs aberrantes.
• Benchmark Semi-Synthétique Criteo :
  • Configuration : $N=61\,200$ utilisateurs, taux de traitement de 2 %, avec des « baleines » (5 % des traités) ayant des valeurs 80 fois supérieures au signal.
  • Échec de la Base : L'X-Learner standard (MSE) a présenté une instabilité catastrophique, avec un écart-type (24,54) dépassant l'erreur moyenne (18,15).
  • Succès du RX-Learner : Le RX-Learner a obtenu une réduction de 98,6 % du Core-PEHE (0,263 contre 18,15) avec une variance négligeable (0,022).
  • Vérification du Mécanisme : Les résultats ont confirmé que le modèle de base souffrait d'« Outlier Smearing », où les prédictions du modèle s'effondraient globalement à cause d'une seule valeur aberrante, tandis que le RX-Learner a réussi à récupérer le signal causal subtil sous-jacent.

5. Signification et Revendications

L'article affirme que le RX-Learner fournit une solution mathématiquement fondée pour l'estimation de CATE à l'échelle industrielle, là où les données sont rarement gaussiennes ou équilibrées.

• Robustesse Structurelle : La méthode dépasse les « hypothèses statistiques de commodité » pour respecter la géométrie des données réelles (Noyau vs Périphérie).
• Impact Business : En évitant le « Whale Chasing » (enchérir sur des utilisateurs qui convertissent déjà organiquement), le RX-Learner offre un estimateur conservateur mais fiable pour l'allocation budgétaire, garantissant que les dépenses publicitaires ciblent les conversions incrémentales plutôt que de subventionner les valeurs aberrantes.
• Limites : Les auteurs notent que l'implémentation actuelle suppose une distribution du Noyau gaussienne pour la stabilité computationnelle. Des travaux futurs sont suggérés pour explorer des extensions non gaussiennes (ex: Student-t ou Cauchy) via le Natural Gradient Boosting et le réglage dynamique du paramètre de robustesse $\gamma$.

En résumé, le RX-Learner résout la tension entre la capacité de l'X-Learner à gérer le déséquilibre et la nécessité de robustesse face aux queues lourdes, transformant l'« emprunt d'information » d'un vecteur de « propagation de pollution » en un processus d'estimation stable.