Semiparametrically Efficient Inference for Kernel Measures of Noise Heterogeneity

Résumé technique : Inférence semi-paramétriquement efficace pour les mesures à noyau de l'hétérogénéité du bruit

1. Configuration du problème et motivation

L'article aborde le défi de réaliser une inférence statistique valide sur l'hétérogénéité du bruit résiduel dans les modèles à bruit additif (ANM). Dans de nombreux flux de travail, une fonction de régression $m(X)$ est estimée à l'aide de méthodes d'apprentissage automatique flexibles pour produire des résidus $\hat{\epsilon} = Y - \hat{m}(X)$. Les chercheurs testent ensuite si ces résidus sont indépendants des covariables $X$ (adéquation du modèle) ou si la distribution des résidus est homogène entre différents groupes (par exemple, des groupes de traitement).

Les tests d'indépendance non paramétriques standards, tels que ceux basés sur le critère d'indépendance de Hilbert-Schmidt (HSIC), supposent que les variables testées sont directement observées. Cependant, dans les problèmes basés sur les résidus, le bruit n'est pas observé et est généré par un estimateur de première étape. Cela crée un problème d'inférence multi-étapes où l'erreur d'estimation de la fonction de nuisance $\hat{m}$ induit une dépendance spurieuse entre $X$ et $\hat{\epsilon}$, même si le modèle vrai est correct.

Les approches naïves, telles que le fractionnement de l'échantillon pour ajuster le modèle et tester l'indépendance, souffrent d'un compromis entre calibration et puissance : de petits ensembles d'entraînement entraînent un biais élevé (taux d'erreur de type I gonflé), tandis que de grands ensembles d'entraînement laissent des données insuffisantes pour le test (faible puissance). De plus, le débiaisage scalaire direct de la statistique HSIC échoue car la fonction d'influence efficace (EIF) de la norme hilbertienne au carré s'annule sous l'hypothèse nulle d'indépendance (en raison de la structure de norme au carré), rendant la linéarisation du premier ordre insuffisante pour éliminer le biais introduit par l'estimateur de première étape.

2. Méthodologie

Les auteurs proposent un estimateur en une étape à valeurs dans un espace de Hilbert qui effectue un débiaisage au niveau de l'opérateur avant de calculer la mesure de dépendance scalaire.

Innovation centrale : Débiaisage au niveau de l'opérateur
Au lieu de tenter de débiaiser directement le HSIC scalaire, la méthode cible l'opérateur de covariance croisée RKHS $\Psi(P)$ entre les covariables et les résidus.
$$\Psi(P) = \mathbb{E}_P [\tilde{\phi}_k(X) \otimes \tilde{\phi}_l(\xi_P(W, Y))]$$
où $\tilde{\phi}$ désigne les cartes de caractéristiques centrées dans les espaces de Hilbert à noyau reproduisant (RKHS) $\mathcal{H}_k$ et $\mathcal{H}_l$, et $\xi_P$ est le résidu vrai.

La fonction d'influence efficace (EIF)
Les auteurs dérivent l'EIF pour le paramètre à valeurs opérateurs $\Psi(P)$. Contrairement au HSIC scalaire, l'EIF pour $\Psi(P)$ n'est pas dégénérée. La dérivation implique un développement de Taylor du premier ordre de la carte de caractéristiques résiduelle $\phi_l(Y - \hat{m}(W))$. Le terme de correction soustrait le biais systématique induit par l'erreur de régression $\hat{m} - m_0$ :
$$\phi_0(o) = \tilde{\phi}_k(x) \otimes \left[ \tilde{\phi}_l(\xi_0) - \sum_{j=1}^{d_y} \xi_{0,j} v_{0,j}(W) \right] - \Psi_0$$
où $v_{0,j}(W) = \mathbb{E}[\partial_j \phi_l(\xi_0) \mid W]$ représente la sensibilité de la carte de caractéristiques au résidu, et $\xi_{0,j}$ sont les composantes du résidu vrai.

Procédure d'estimation

1. Estimation de nuisance : La méthode estime la fonction de régression $m_0$ (donnant $\hat{m}$) et les fonctions de sensibilité $v_{0,j}$ en utilisant la régression ridge à noyau à valeurs vectorielles (vvKRR).
2. Appariement croisé (Cross-fitting) : Pour éviter des conditions restrictives de type Donsker sur les classes de fonctions et assurer une linéarité asymptotique, les auteurs emploient un appariement croisé à $K$ plis. Les fonctions de nuisance sont entraînées sur les plis excluant le pli d'évaluation.
3. Estimateur en une étape : L'estimateur débiaisé $\hat{\Psi}_n$ est construit en moyennant les produits tensoriels corrigés sur les plis d'évaluation :
   $$\hat{\Psi}_n = \frac{1}{n} \sum_{i=1}^n (\hat{\phi}_k(X_i) - \hat{\mu}_X) \otimes \hat{M}_i$$
   où $\hat{M}_i$ inclut le terme de correction impliquant l'estimation de $v_{0,j}$.
4. Inférence :
   • Tests d'hypothèses : La norme au carré $\|\hat{\Psi}_n\|_{\mathcal{H}_{kl}}^2$ sert de statistique de test. Les auteurs utilisent une procédure de bootstrap pour calibrer le test sous l'hypothèse nulle, en approximan la distribution de la norme au carré du processus gaussien limite.
   • Intervalles de confiance : Deux types d'intervalles sont proposés :
     • Un intervalle conservateur basé sur l'inégalité triangulaire inversée, valable sous l'hypothèse nulle et les alternatives.
     • Un intervalle par la méthode delta asymptotiquement efficace pour $\|\Psi_0\|^2$ lorsque $\Psi_0 \neq 0$, qui atteint la borne d'efficacité semi-paramétrique.

3. Contributions clés

• Débiaisage au niveau de l'opérateur : L'article fait le pont entre la théorie de l'efficacité semi-paramétrique et les méthodes à noyau en construisant un estimateur en une étape à valeurs dans un espace de Hilbert. Cela contourne la dégénérescence de la fonction d'influence du HSIC scalaire sous l'hypothèse nulle.
• Garanties théoriques : Les auteurs prouvent la linéarité asymptotique et la convergence faible de l'estimateur vers un processus gaussien serré dans le RKHS produit tensoriel. Ces résultats tiennent sous une estimation de nuisance non paramétrique, à condition que les estimateurs de nuisance convergent à des taux suffisants (spécifiquement, le produit des erreurs doit être $o_p(n^{-1/2})$).
• Inférence calibrée : Le cadre fournit des tests calibrés par bootstrap pour l'indépendance des résidus et l'adéquation du modèle, ainsi que des intervalles de confiance asymptotiquement efficaces pour l'ampleur de la dépendance sous les alternatives.
• Extension à l'ajustement des covariables : La méthode est étendue aux contextes avec des covariables supplémentaires $T$, permettant une inférence sur l'hétérogénéité distributionnelle des résidus entre les groupes de traitement (par exemple, tester si les échelles de bruit résiduel diffèrent entre les groupes après ajustement pour $T$).

4. Résultats

L'article valide la méthode proposée par des expériences synthétiques :

• Calibration : Sous l'hypothèse nulle (bruit homogène), le test bootstrap débiaisé maintient le taux d'erreur de type I nominal (par exemple, 5 %), alors que les méthodes d'insertion naïves (même avec fractionnement de l'échantillon) présentent des taux d'erreur gonflés dus au biais d'estimation des résidus.
• Puissance : Le test débiaisé démontre une puissance supérieure par rapport aux références à échantillon fractionné. Il évite le problème de réglage du choix d'un ratio de fractionnement, utilisant l'échantillon complet à la fois pour l'ajustement et le test tout en maintenant la validité.
• Intervalles de confiance : Dans des contextes où l'hypothèse nulle est fausse (bruit hétérogène), les intervalles de confiance par la méthode delta pour la mesure de dépendance sont nettement plus étroits que les intervalles d'insertion conservateurs tout en maintenant une couverture quasi parfaite.
• Découverte causale : Dans les tests d'adéquation du modèle bidirectionnels pour la découverte causale (distinguer $X \to Y$ de $Y \to X$), la méthode débiaisée identifie correctement la direction causale en rejetant l'hypothèse nulle dans la direction inverse non additive tout en maintenant la calibration dans la direction avant.

5. Signification et affirmations

L'article affirme fournir un cadre semi-paramétriquement efficace pour l'inférence sur les mesures à noyau de l'hétérogénéité du bruit. Sa signification principale réside dans la résolution du problème d'« inférence multi-étapes » où les tests à noyau standards échouent en raison du biais d'estimation de première étape.

Les auteurs soulignent que leur approche :

• Élimine le besoin de fractionnement de l'échantillon : Contrairement aux méthodes précédentes qui nécessitent de diviser les données pour contrôler le biais, cette méthode utilise l'ensemble des données via l'appariement croisé et la correction EIF.
• Gère la non-régularité : En ciblant l'opérateur $\Psi$ plutôt que sa norme au carré, la méthode gère avec succès la non-régularité de la statistique HSIC sous l'hypothèse nulle d'indépendance.
• Offre de la flexibilité : Elle s'applique aux modèles généraux à bruit additif et aux contextes avec des covariables supplémentaires, la rendant adaptée aux flux de travail de test d'adéquation du modèle et de découverte causale.

L'article note modestement que, bien que la théorie asymptotique soit établie, la théorie non asymptotique pour les estimateurs et les ensembles de confiance reste un domaine ouvert pour de futures investigations. De plus, bien que l'implémentation actuelle utilise des méthodes à noyau standard, les auteurs reconnaissent que la mise à l'échelle vers de grands ensembles de données via des techniques d'approximation (par exemple, les caractéristiques de Fourier aléatoires) est une direction nécessaire pour les travaux futurs.