Résumé technique : Régularisation ciblée pour l'estimation d'effets causaux avec des résultats de la famille d'expansion exponentielle

1. Énoncé du problème

L'estimation d'effets causaux à partir de données observationnelles à l'aide de réseaux de neurones (RN) a démontré de fortes performances empiriques, mais l'obtention de propriétés semiparamétriques souhaitables — spécifiquement la double robustesse et des vitesses de convergence rapides — reste un défi. Les estimateurs existants basés sur les RN, tels que ceux utilisant l'estimation de vraisemblance maximale ciblée (TMLE) ou la régularisation ciblée (par exemple, Shi et al., 2019 ; Nie et al., 2021), sont largement limités aux résultats continus supposant une distribution gaussienne.

Cette limitation restreint l'applicabilité à des scénarios réels impliquant des résultats binaires (par exemple, les décisions d'achat), des résultats de comptage (par exemple, le nombre de clics) ou d'autres distributions asymétriques courantes en pratique. Bien que des travaux antérieurs (Gao et Hastie, 2022) aient traité des résultats de la famille exponentielle en utilisant la différence des paramètres naturels (DINA) dans un cadre d'apprentissage R partiellement linéaire, ils n'ont pas étendu le paradigme de la régularisation ciblée aux RN pour ces distributions. Par conséquent, il manque d'estimateurs basés sur les RN capables de corriger le biais du premier ordre au niveau distributionnel pour les résultats de la famille d'expansion exponentielle (EDF) tout en maintenant des garanties théoriques.

L'article vise à estimer la fonction canonique de dose moyenne (ADCF), définie par $\psi_a = \theta[\text{do}(A=a)]$, où $\theta$ est le paramètre canonique (naturel) de l'EDF. Ce choix s'aligne sur les pratiques standard pour comparer les effets à l'échelle canonique et évite les problèmes d'hétérogénéité souvent rencontrés dans les moyennes conditionnelles.

2. Méthodologie

Le cadre proposé unifie la régularisation ciblée pour les résultats EDF dans des contextes de traitement à la fois discrets (binaires) et continus. La méthodologie procède par trois étapes théoriques et algorithmiques principales :

A. Analyse semiparamétrique et caractérisation du biais

Les auteurs dérivent d'abord le développement de von Mises de l'estimateur par plug-in pour l'ADCF afin d'identifier la structure du biais du premier ordre.

• Traitements discrets : Pour les traitements binaires, ils dérivent le développement montrant que le biais consiste en un terme résiduel d'ordre deux impliquant le produit des erreurs d'estimation du modèle de résultat ($\mu$) et du score de propension ($\pi$). Cette structure de produit implique que si l'un des modèles est estimé de manière cohérente, le biais disparaît (propriété de double robustesse).
• Traitements continus : Pour les traitements continus, l'ADCF ponctuelle n'est pas différentiable par chemin, rendant les fonctions d'influence standard indéfinies. Pour surmonter cela, les auteurs introduisent une ADCF projetée sur un tamis. Ils projettent la courbe de réponse dose-infinie sur un espace de tamis B-spline de dimension finie. Cette projection restaure la différentiabilité par chemin, permettant une fonction d'influence bien définie et un développement de von Mises valide pour la courbe projetée.

B. Régularisation ciblée unifiée

S'appuyant sur la structure du biais révélée par le développement de von Mises, les auteurs construisent un objectif de régularisation ciblée unifié.

• Modèle de fluctuation : Au lieu d'ajouter un terme de correction a posteriori (ce qui pourrait pousser les estimations en dehors de l'espace des paramètres), la méthode introduit une fonction de perturbation scalaire $\epsilon(a)$ sur le paramètre canonique. Le paramètre fluctué est défini par :
  $$\hat{\theta}^*(x, a) = h(\hat{\mu}(x, a)) + \frac{\epsilon(a)}{\hat{\pi}(a|x)} h'(\hat{\mu}(x, a))$$
  où $h$ est la fonction de lien et $h'$ sa dérivée.
• Fonction de perte : La méthode intègre cette fluctuation dans l'entraînement du RN via une fonction de perte unifiée :
  $$L_{TR}(\mu, \pi, \epsilon) = L(\mu, \pi) + \beta R(\mu, \pi, \epsilon)$$
  Ici, $L(\mu, \pi)$ est la log-vraisemblance négative standard pour l'EDF, et $R$ est le terme de régularisation ciblée dérivé de la log-vraisemblance négative du modèle fluctué. Le terme $R$ est construit de telle sorte que sa dérivée par rapport à $\epsilon$ égale l'équation de score, annulant efficacement le terme de biais à la convergence.
• Implémentation : Le paramètre de fluctuation $\epsilon(a)$ est paramétré en utilisant la même base B-spline utilisée pour la projection sur le tamis dans les traitements continus, assurant la cohérence entre la cible théorique et l'optimisation.

C. Garanties théoriques

L'article démontre que l'estimateur basé sur les RN résultant atteint une vitesse de convergence doublement robuste dans la norme $L_2$. Plus précisément, l'erreur est bornée par :
$$O_p\left(n^{-1/3}\sqrt{\log n} + r_1(n)r_2(n) + r_2(n)^2\right)$$
où $r_1(n)$ et $r_2(n)$ sont les vitesses de convergence des estimateurs du score de propension et du résultat, respectivement. Cela étend les garanties théoriques de Nie et al. (2021) des résultats gaussiens à l'ensemble de la famille d'expansion exponentielle.

3. Contributions clés

1. Analyse semiparamétrique de l'ADCF : Les auteurs dérivent le développement de von Mises pour l'ADCF des résultats EDF. Pour les traitements continus, ils introduisent l'ADCF projetée sur un tamis pour gérer la non-différentiabilité par chemin du fonctionnel ponctuel, établissant une fonction d'influence bien définie.
2. Régularisation ciblée unifiée : Ils proposent un objectif de régularisation unifié qui corrige le biais au niveau distributionnel pour tout membre de l'EDF. Cela permet au RN d'apprendre conjointement le modèle de résultat, le score de propension et le paramètre de fluctuation de bout en bout tout en restant dans l'espace des paramètres.
3. Extension théorique : Le travail fournit une preuve de vitesse de convergence doublement robuste, généralisant les résultats précédents des distributions gaussiennes à la classe plus large des EDF (incluant Bernoulli et Poisson).
4. Validation empirique : La méthode est validée sur des ensembles de données synthétiques et semi-synthétiques (News, TCGA) avec des traitements binaires et continus, démontrant des performances de pointe dans les contextes de résultats Bernoulli et Poisson.

4. Résultats expérimentaux

Les auteurs ont évalué leur méthode par rapport à plusieurs bases de référence, notamment Causal Forest, Dragonnet (et sa version adaptée pour les résultats non gaussiens), VCNet, DINA-learner, et un estimateur de double robustesse (DR) standard.

• Traitement binaire : Sur des ensembles de données avec des résultats Bernoulli et Poisson, la méthode proposée (« Ours ») a obtenu l'erreur absolue moyenne (MAE) la plus faible pour l'effet moyen du traitement (ATE), surpassant Dragonnet, VCNet et l'estimateur DR standard. Il est à noter que l'estimateur DR s'est révélé moins stable dans les échantillons finis en raison de la division par le score de propension dans le terme de correction.
• Traitement continu : Pour les traitements continus, la méthode a obtenu l'erreur quadratique moyenne moyenne (AMSE) la plus faible pour l'ADCF. Les résultats ont confirmé que l'adaptation simple de la fonction de perte des modèles existants (par exemple, remplacer l'erreur quadratique moyenne par la log-vraisemblance négative) est insuffisante ; le mécanisme spécifique de régularisation ciblée est crucial pour la performance.
• Analyse de sensibilité : L'hyperparamètre $\beta$, contrôlant l'intensité de la régularisation, a montré un impact modéré ; des valeurs trop faibles échouent à corriger le biais, tandis que des valeurs trop grandes interfèrent avec l'estimation des fonctions de nuisance.

5. Importance et revendications

L'article revendique de combler une lacune critique dans l'inférence causale avec l'apprentissage profond : l'incapacité des cadres de régularisation ciblée existants à gérer des résultats non gaussiens et asymétriques courants dans les applications réelles (telles que les taux de conversion binaires ou les données de comptage).

En dérivant les développements semiparamétriques nécessaires et en construisant une fonction de perte unifiée, les auteurs démontrent que la régularisation ciblée peut être généralisée avec succès à la famille d'expansion exponentielle. L'importance de ce travail réside dans :

• Rigueur théorique : Fournir la première dérivation du développement de von Mises et de la fonction d'influence pour les résultats EDF sous des traitements discrets et continus, permettant la construction d'estimateurs doublement robustes.
• Applicabilité pratique : Offrir une architecture RN de bout en bout qui gère les résultats binaires et de comptage sans dépendre des hypothèses partiellement linéaires restrictives des méthodes précédentes (comme DINA-learner).
• Robustesse : Atteindre des vitesses de convergence plus rapides que les estimateurs de nuisance individuels lorsque les deux sont cohérents, tout en maintenant la stabilité au sein de l'espace des paramètres, contrairement aux méthodes de correction de biais additives.

Les auteurs concluent que leur cadre étend les garanties théoriques de la régularisation ciblée fonctionnelle à une classe beaucoup plus large de distributions de résultats, vérifiée par des résultats empiriques de pointe.