Nonparametric Goodness-of-fit Testing under Covariate Shift

Résumé technique : Test de conformité non paramétrique sous décalage de covariables

Formulation du problème
Cet article traite du problème du test de conformité (goodness-of-fit) non paramétrique en présence d'un décalage de covariables (covariate shift). Dans ce cadre, des données étiquetées $\mathcal{D} = \{(X_i, Y_i)\}_{i=1}^n$ sont tirées d'une distribution source $P$, mais l'objectif est d'évaluer la performance d'une fonction de régression $f^*$ sous une distribution cible $Q$. Les distributions marginales des covariables diffèrent ($P_X \neq Q_X$), tandis que la distribution conditionnelle de la réponse reste invariante ($P_{Y|X} = Q_{Y|X}$).

L'objectif inférentiel primaire est de tester l'hypothèse nulle :
$$H_0: \|f_0 - f^*\|_{L^2(Q)} = 0 \quad \text{vs.} \quad H_1: \|f_0 - f^*\|_{L^2(Q)} > 0,$$
où $f_0$ est une fonction candidate et la norme est définie par rapport à la mesure cible $Q_X$. Le défi réside dans la construction d'ensembles de confiance valides pour $f^*$ dans la géométrie $L^2(Q)$ en utilisant uniquement des échantillons du domaine source, particulièrement lorsque le rapport de densité cible-source $\rho(x) = dQ_X/dP_X$ est non borné ou présente des queues lourdes, ce qui peut déstabiliser les estimateurs classiques par pondération d'importance (importance-weighting).

Méthodologie
Le cadre proposé combine la régression à noyau de Ridge pondérée par importance tronquée (IWKRR) avec une procédure de bootstrap par multiplicateurs.

1. Estimateur IWKRR tronqué :
   La pondération par importance standard (IW) estime le risque cible en pondérant les échantillons sources par $\rho(x)$. Cependant, les valeurs élevées de $\rho(x)$ peuvent engendrer une variance élevée. Les auteurs emploient une fonction de poids tronquée $w_n(x) = \min\{\rho(x), \tau_n\}$, où $\tau_n$ est un niveau de troncature pré-spécifié. L'estimateur $\hat{f}$ minimise le risque empirique tronqué :
   $$\hat{f} = \arg\min_{f \in \mathcal{H}} \frac{1}{n} \sum_{i=1}^n w_n(X_i)(Y_i - f(X_i))^2 + \lambda_n \|f\|_{\mathcal{H}}^2,$$
   où $\mathcal{H}$ est un espace de Hilbert à noyau reproduisant (RKHS) et $\lambda_n$ est le paramètre de régularisation.

2. Bootstrap par multiplicateurs pour les ensembles de confiance :
   Pour construire une boule de confiance à $100(1-\alpha)\%$ $CS_\alpha(\hat{f}) = \{f \in \mathcal{H} : \|\hat{f} - f\|_{L^2(Q)} \leq \hat{c}_{\alpha,n}\}$, les auteurs utilisent un bootstrap par multiplicateurs.

   • Décomposition biais-variance : L'erreur $\sqrt{n}(\hat{f} - f^*)$ est décomposée en un terme de biais (négligeable sous l'hypothèse de sous-lissage) et un terme de fluctuation stochastique.
   • Représentation de Bahadur : Il est démontré que le terme stochastique admet une représentation de Bahadur impliquant des fonctions d'influence $U_i$.
   • Statistique de bootstrap : Une statistique de bootstrap calculable $B$ est construite à l'aide de multiplicateurs antisymétriques $h_{ij} \sim N(0,1)$ et de résidus empiriques. Le rayon $\hat{c}_{\alpha,n}$ est déterminé par les quantiles empiriques de $\|B\|_{L^2(Q)}$.
   • Efficacité computationnelle : La méthode exploite la structure matricielle du RKHS pour calculer $\|B\|_{L^2(Q)}$ efficacement via des formes quadratiques, évitant ainsi de ré-ajuster le modèle à chaque itération du bootstrap.

Cadre théorique et hypothèses
La validité de l'inférence repose sur plusieurs conditions clés :

• Conditions de compatibilité : L'article introduit la « couverture de transfert régularisée » (Hypothèse 4.4) et la « non-dégénérescence de la covariance » (Hypothèse 4.5). Ces conditions garantissent que la géométrie de la distribution source pondérée (contrôlée par les poids tronqués) est suffisamment compatible avec la géométrie $L^2(Q)$ cible pour permettre un transfert d'erreur valide et des propriétés de non-concentration.
• Conditions sur le rapport de densité : La théorie prend en compte trois régimes pour le rapport de densité $\rho(x)$ :
  1. Rapport de densité borné.
  2. Conditions de queue sub-exponentielle (conditions de moments de type Bernstein).
  3. Distributions à queues lourdes avec moments d'ordre supérieur bornés (nécessitant une troncature appropriée).
• Conditions spectrales : Les résultats dépendent de la décroissance spectrale de l'opérateur intégral du noyau $L_Q$, couvrant la décroissance polynomiale ($\mu_k \asymp k^{-\beta}$) et l'exponentielle.

Contributions clés et résultats

1. Validité non asymptotique : L'article établit des bornes non asymptotiques sur l'erreur de couverture des ensembles de confiance par bootstrap. Le taux d'erreur dépend du biais, de l'erreur d'approximation gaussienne et de l'erreur d'approximation du bootstrap.
2. Taux d'erreur explicites : Sous des conditions spécifiques sur le rapport de densité et la décroissance spectrale du noyau, les auteurs dérivent des taux de convergence explicites pour la probabilité de non-couverture $|P(f^* \notin CS_\alpha(\hat{f})) - \alpha|$. Par exemple, sous des rapports de densité bornés et une décroissance spectrale polynomiale, le taux d'erreur est montré être de l'ordre de $O(n^{-\gamma} \log^3 n)$ pour un exposant $\gamma$ spécifique déterminé par les paramètres de lissage et de dimension.
3. Traitement opérateur-théorique : Une contribution technique novatrice est l'utilisation d'isomorphismes unitaires générés par les racines carrées des opérateurs intégraux cible et de la source pondérée. Cela permet de comparer les fluctuations stochastiques dans différentes géométries ($L^2(Q)$ vs RKHS) au sein d'un calcul opérateur commun, capturant à la fois le biais de l'estimateur tronqué et sa structure de covariance.
4. Validation empirique :
   • Simulations : Les expériences numériques démontrent que le rayon du bootstrap est bien calibré et que les ensembles de confiance atteignent une couverture empirique proche du niveau nominal, même lorsque le rapport de densité est élevé.
   • Application sur données réelles : La méthode est appliquée à l'enquête sur les finances des consommateurs (SCF) pour tester des hypothèses concernant la valeur nette des ménages et la monotonicité des probabilités de détention d'actions en fonction du revenu. Les résultats montrent la capacité de rejeter des fonctions candidates spécifiques (ex: KRR source-only) et de tester des hypothèses composites (ex: monotonicité) dans un contexte de pondération d'enquête.

Signification et affirmations
L'article affirme fournir un cadre d'inférence général pour évaluer les fonctions de régression sous décalage de covariables, un problème moins compris que le problème d'estimation lui-même. En combinant la troncature pour stabiliser la variance avec un bootstrap par multiplicateurs pour quantifier l'incertitude, les auteurs proposent une procédure qui est :

• Robuste : Applicable même lorsque le rapport de densité présente des queues lourdes, à condition que le niveau de troncature soit choisi de manière appropriée.
• Théoriquement fondée : Prouvée pour avoir des garanties de couverture non asymptotiques sous des conditions de compatibilité et de spectre explicites.
• Pratiquement réalisable : Computationnellement efficace, ne nécessitant que des multiplications matrice-vecteur après le calcul de l'estimateur initial.

Les auteurs soulignent que leur approche permet la construction d'ensembles de confiance dans la géométrie de la distribution cible, répondant au problème critique selon lequel une fonction proche de la vérité dans la distribution source peut ne pas l'être dans la distribution cible. Ce travail comble le fossé entre l'estimation robuste sous décalage de covariables et l'inférence statistique valide.