High-Dimensional Single-Index Models: Link Estimation and Marginal Inference

Résumé Technique : Modèles à indice unique en haute dimension : Estimation du lien et inférence marginale

Énoncé du Problème
Cette étude traite des défis statistiques liés à l’estimation et aux tests d'hypothèses dans les modèles à indice unique (Single-Index Models ou SIM) en haute dimension, où la taille de l'échantillon $n$ et la dimension du vecteur de coefficients $p$ sont grandes et comparables ($p/n \to \kappa$). Le modèle est défini par $E[y_i | X_i = x] = g(\beta^\top x)$, où $X_i \sim N_p(0, \Sigma)$, $\beta$ est un vecteur de coefficients inconnu, et $g(\cdot)$ est une fonction de lien inconnue.

Bien que les modèles à indice unique offrent des avantages par rapport à la régression non paramétrique en atténuant le fléau de la dimensionnalité et en évitant une erreur de spécification concernant la forme fonctionnelle, la littérature existante sur la haute dimension fait face à deux lacunes principales dans ce régime :

1. Estimation de la fonction de lien : Les approches précédentes négligent souvent l'estimation cohérente de la fonction de lien $g(\cdot)$ inconnue, ou supposent qu'elle est connue (comme dans les modèles linéaires généralisés).
2. Inférence Marginale : Il existe un manque de méthodes rigoureuses pour établir la normalité asymptotique marginale des coordonnées individuelles de $\beta$ lorsque $g(\cdot)$ est inconnue, ce qui est nécessaire pour construire des intervalles de confiance valides et des p-valeurs pour la sélection de variables.

Méthodologie
Les auteurs proposent une nouvelle procédure d'estimation en trois étapes combinée à une quatrième étape pour l'estimation de paramètres inférentiels. Pour gérer les structures de dépendance complexes découlant de la réutilisation des données, l'ensemble de données est théoriquement divisé en deux sous-ensembles disjoints, $I_1$ et $I_2$, bien que les auteurs notent qu'en pratique, il est recommandé d'utiliser toutes les données à chaque étape.

1. Estimation de l'indice (étape pilote) : En utilisant le premier sous-ensemble $(X^{(1)}, y^{(1)})$, un estimateur pilote $\tilde{\beta}$ (par exemple, la régression Ridge, les moindres carrés ou le maximum de vraisemblance selon le type de réponse) est construit. Un estimateur d'indice $W_i$ pour l'indice réel $\beta^\top X_i$ est ensuite dérivé à l'aide de techniques d'ajustement observables (Bellec, 2022). Cet estimateur corrige le biais et la variance, produisant $W_i \approx \beta^\top X_i + \mathcal{N}(0, \tilde{\sigma}^2/\tilde{\mu}^2)$.
2. Estimation de la fonction de lien : En utilisant les couples $(y^{(1)}_i, W_i)$, les auteurs estiment $g(\cdot)$. Puisque $W_i$ contient un bruit gaussien par rapport à l'indice réel, cela constitue un problème « erreurs dans les variables » (errors-in-variables). Les auteurs emploient une technique de déconvolution par noyau (Stefanski et Carroll, 1990) combinée à un estimateur de Nadaraya-Watson pour éliminer asymptotiquement le biais d'atténuation. Un opérateur de monotonisation (par exemple, un opérateur de réarrangement) est appliqué pour garantir que la fonction de lien estimée $\hat{g}(\cdot)$ soit monotone, conformément aux hypothèses du modèle.
3. Estimation des coefficients : En utilisant le second sous-ensemble $(X^{(2)}, y^{(2)})$ et le lien estimé $\hat{g}(\cdot)$, les auteurs minimisent une fonction de perte de substitution $\ell(b; x, y, \bar{g}) = \bar{G}(x^\top b) - y x^\top b$ (où $\bar{G}' = \bar{g}$). Cela produit l'estimateur de coefficient final $\hat{\beta}(\hat{g})$.
4. Estimation des paramètres inférentiels : Pour faciliter l'inférence statistique, des estimateurs pour le biais asymptotique $\mu^*$ et la variance $\sigma^2_*$ sont construits en utilisant des ajustements observables basés sur la fonction de lien estimée, suivant le cadre de Bellec (2022).

Contributions Clés

• Estimation Cohérente du Lien : L'article fournit un estimateur cohérent pour la fonction de lien $g(\cdot)$ inconnue dans le régime proportionnel de haute dimension, traitant le problème des erreurs dans les variables via la déconvolution.
• Normalité Asymptotique Marginale : Les auteurs établissent rigoureusement la normalité asymptotique marginale pour toute sous-partie finie des coordonnées de l'estimateur de coefficient $\hat{\beta}(\hat{g})$. Ce résultat reste valable même lorsque le ratio $\kappa = p/n > 1$, un régime où les résultats précédents de normalité marginale pour les SIM étaient limités.
• Amélioration de l'Efficacité : En utilisant la fonction de lien estimée de manière cohérente, l'estimateur proposé s'avère plus efficace que les estimateurs reposant sur des fonctions de lien potentiellement mal spécifiées ou ceux ignorant totalement la structure du lien.
• Extension Technique : La stratégie de preuve étend les arguments de Zhao et al. (2022) de la régression logistique (MLE) à une classe plus large d'estimateurs M non régularisés et incorpore la fonction de lien estimée.

Résultats Théoriques et Empiriques

• Garanties Théoriques :
  • Théorème 1 : Établit la cohérence uniforme de l'estimateur de lien $\hat{g}(\cdot)$ avec un taux de convergence de $O_p((\log n)^{-m/2})$, qui est montré comme étant une borne inférieure.
  • Théorèmes 2 & 4 : Prouvent que pour toute coordonnée $j$, la statistique $T_j = \frac{\sqrt{p}(\hat{\beta}_j - \mu^*\beta_j)}{\sigma^*/\tau_j}$ converge en distribution vers une loi normale standard $N(0, 1)$. Ceci est vrai tant pour les contextes régularisés ($p > n$) que non régularisés ($p < n$).
  • Corollaire 3 : Démontre que les intervalles de confiance construits à l'aide de ces résultats asymptotiques atteignent la probabilité de couverture correcte asymptotiquement.
• Expérimentations Numériques :
  • Des simulations à travers divers modèles (Logit, Poisson, Cubique, Piecewise) confirment que l'estimateur d'indice suit la distribution gaussienne prédite.
  • L'estimateur de la fonction de lien montre une diminution de l'erreur quadratique moyenne à mesure que la taille de l'échantillon augmente.
  • La distribution marginale de l'estimateur de coefficient correspond étroitement à la densité normale standard, validant ainsi la normalité asymptotique théorique.
  • Les comparaisons d'efficacité indiquent que la méthode proposée surpasse les estimateurs standards (tels que les Moindres Carrés ou le Maximum de Vraisemblance avec liens fixes) dans la plupart des scénarios, particulièrement quand le lien réel est inconnu ou complexe.
• Application sur Données Réelles : La méthode a été appliquée à deux jeux de données UCI (DARWIN et données de parole) relatifs à la maladie d'Alzheimer. L'estimateur proposé a systématiquement démontré une variance asymptotique effective estimée plus faible que celle de la régression logistique standard.

Signification et Revendications
L'article affirme fournir le premier cadre rigoureux permettant simultanément l'estimation de la fonction de lien et l'inférence statistique marginale dans les modèles à indice unique en haute dimension où $n$ et $p$ sont comparables. En établissant la normalité asymptotique marginale, les auteurs permettent des tests d'hypothèse valides ($H_0: \beta_j = 0$) et la construction d'intervalles de confiance pour les caractéristiques individuelles, ce qui était auparavant non résolu pour les SIM avec des liens inconnus dans ce régime. La méthodologie tire parti des ajustements observables et des techniques de déconvolution pour traiter le biais introduit par l'estimation de l'indice et de la fonction de lien, offrant un outil robuste pour l'économétrie de haute dimension et l'apprentissage statistique. Les auteurs notent que des travaux futurs pourraient étendre ces résultats à des covariables non gaussiennes et à des modèles à indices multiples.