Perturbed Double Machine Learning: Nonstandard Inference Beyond the Parametric Length

1. Problématique et Contexte

L'article s'attaque au problème de l'inférence statistique sur un paramètre fonctionnel de faible dimension $\beta$ (par exemple, un effet causal moyen) en présence de paramètres de nuisance de dimension infinie (ou très élevée).

• Limites des méthodes classiques : Les méthodes d'inférence standards, telles que les intervalles de confiance de type Wald basés sur l'apprentissage double (Double Machine Learning - DML), reposent sur l'hypothèse d'asymptoticité linéaire. Pour que l'estimateur DML soit asymptotiquement gaussien et que les intervalles de Wald soient valides, les estimateurs de nuisance doivent converger à une vitesse supérieure à $n^{-1/4}$.
• Le défi : Dans de nombreux scénarios réalistes (modèles non paramétriques complexes, données haute dimension, modèles peu lisses ou non parcimonieux), les estimateurs de nuisance convergent plus lentement que $n^{-1/4}$. Dans ces régimes "non réguliers", le biais de nuisance domine le terme stochastique, rendant les intervalles de Wald invalides (sous-coverage) et la distribution limite non gaussienne.
• Objectif : Développer une méthode d'inférence robuste qui reste valide même lorsque les estimateurs de nuisance convergent à des vitesses inférieures à $n^{-1/2}$, sans nécessiter de conditions de régularité fortes sur les modèles de nuisance.

2. Méthodologie : Perturbed DML

Les auteurs proposent une nouvelle approche appelée Perturbed DML (DML Perturbé), qui ajoute deux étapes clés au cadre DML standard : l'injection de bruit (perturbation) et le filtrage.

Étape 1 : Perturbation

Au lieu d'estimer les modèles de nuisance une seule fois, la méthode injecte du bruit simulé dans le processus d'estimation des nuisances.

• Principe : On génère $M$ copies indépendantes de bruit artificiel ($\xi^{[m]}, \kappa^{[m]}$) distribuées de manière à imiter la structure de covariance des erreurs réelles des modèles de nuisance.
• Application : Ce bruit est soustrait des variables de réponse ($Y$ et $D$) avant de ré-estimer les modèles de nuisance (par exemple, via Lasso ou d'autres algorithmes ML).
• Intuition : Parmi les $M$ perturbations, il existe avec une forte probabilité au moins une perturbation $m^*$ où le bruit injecté "annule" presque parfaitement le bruit réel des données. Cela conduit à un estimateur de nuisance $\hat{g}^{[m^*]}, \hat{f}^{[m^*]}$ très proche de la vérité, et donc à un estimateur de $\beta$ ($\hat{\beta}^{[m^*]}$) proche de l'estimateur "oracle" (qui connaîtrait les vraies nuisances).

Étape 2 : Filtrage et Agrégation

Puisque l'on ne peut pas identifier a priori quelle perturbation est la "meilleure", on construit un intervalle de confiance pour chaque perturbation et on les agrège.

• Construction : Pour chaque $m$, on calcule un intervalle de Wald $CI^{[m]}$ centré sur $\hat{\beta}^{[m]}$.
• Filtrage : Pour éviter que l'union de tous les intervalles ne soit excessivement large (conservatrice), on filtre les perturbations dont l'estimateur $\hat{\beta}^{[m]}$ s'écarte trop de l'estimateur DML non perturbé $\hat{\beta}$.
  • Le critère de filtrage repose sur une borne théorique de l'erreur de biais de nuisance ($\rho_n$). On ne retient que les $m$ tels que $|\hat{\beta}^{[m]} - \hat{\beta}| \leq \text{seuil}$.
  • En pratique, un seuil empirique (quantile) est utilisé pour être robuste.
• Résultat final : L'intervalle de confiance final est l'union des intervalles $CI^{[m]}$ retenus après filtrage.

3. Contributions Clés

1. Validité au-delà de $n^{-1/4}$ : La méthode garantit une couverture asymptotique correcte même lorsque les estimateurs de nuisance convergent plus lentement que $n^{-1/4}$, une condition souvent violée dans les applications modernes avec des modèles complexes (XGBoost, réseaux de neurones, etc.).
2. Longueur Minimax : Pour les modèles linéaires haute dimension (estimés par Lasso), les auteurs montrent que l'intervalle proposé atteint la longueur attendue minimax (optimalité), comparable à celle d'un intervalle construit avec une connaissance oracle du biais, mais sans nécessiter cette connaissance.
3. Généralité : Le cadre s'étend aux estimateurs de nuisance basés sur des méthodes d'apprentissage automatique générales (non linéaires), avec une justification théorique basée sur des inégalités isopérimétriques pour les distributions gaussiennes.
4. Robustesse aux modèles "boîte noire" : La méthode fonctionne bien avec des algorithmes complexes (Random Forests, XGBoost, DNN) où les conditions de régularité classiques pour l'inférence DML échouent.

4. Résultats Principaux

• Théorèmes de Convergence :

  • Théorème 1 (Modèles Linéaires) : Prouve que pour un nombre de perturbations $M$ suffisamment grand, il existe avec haute probabilité un estimateur perturbé $\hat{\beta}^{[m^*]}$ dont la distance à l'estimateur oracle est contrôlée par un terme qui tend vers zéro.
  • Théorème 2 (Couverture et Longueur) : Établit que l'intervalle union filtré a une couverture asymptotique de $1-\alpha$ et une longueur de l'ordre de $\rho_n + n^{-1/2}$, ce qui est optimal.
  • Théorème 3 (Cas Général) : Fournit une justification informelle pour les méthodes ML générales en utilisant l'inégalité isopérimétrique de Bobkov, montrant que la distribution conditionnelle des estimateurs perturbés couvre la zone de vérité avec une probabilité positive.

• Études de Simulation :

  • Les simulations montrent que le DML standard échoue (couverture < 95%) lorsque la complexité du modèle de nuisance augmente (densité élevée, non-linéarité).
  • La méthode Perturbed DML maintient une couverture proche de 95% dans ces mêmes scénarios.
  • La longueur des intervalles reste raisonnable : elle n'est pas excessivement conservatrice par rapport à un benchmark "oracle" (qui connaîtrait le biais exact), et est nettement plus courte que les intervalles basés sur une simple majoration du biais (bias-bound intervals).

• Analyse de Données Réelles :

  • Application à l'estimation de l'effet de la possession d'armes à feu sur les taux d'homicide.
  • La méthode produit des intervalles de confiance valides pour divers apprenants de nuisance (Lasso, XGBoost, DNN), là où le DML standard peut être instable ou invalide, notamment avec les réseaux de neurones profonds.

5. Signification et Impact

Cet article représente une avancée majeure dans la théorie de l'inférence semi-paramétrique et l'apprentissage automatique :

• Dépassement des limites actuelles : Il offre une solution pratique au problème fondamental de l'inférence lorsque les conditions de régularité (smoothness, parcimonie) nécessaires au DML standard ne sont pas remplies.
• Indépendance vis-à-vis du modèle (Model-Agnostic) : La méthode ne dépend pas de la structure spécifique du modèle de nuisance (linéaire, additif, arbre de décision), ce qui la rend applicable à une large gamme de problèmes en sciences sociales, épidémiologie et économie.
• Équilibre Performance/Validité : Elle résout le compromis classique entre la validité (couverture) et l'efficacité (longueur de l'intervalle). Elle évite la conservatisme excessif des méthodes de bornes de biais tout en garantissant la validité là où les méthodes gaussiennes échouent.

En résumé, Perturbed DML transforme l'incertitude liée à l'estimation des nuisances complexes en un outil d'inférence robuste, permettant de tirer des conclusions statistiques fiables même avec des modèles de nuisance très flexibles et des taux de convergence lents.