High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile

Résumé technique : Analyse en haute dimension de la régression ridge pour des données non indépendantes et non identiquement distribuées avec un profil de variance

Énoncé du problème
La régression linéaire en haute dimension a été largement analysée sous l'hypothèse que les prédicteurs sont indépendants et identiquement distribués (iid). Cependant, dans de nombreux scénarios pratiques, les données présentent une hétéroscédasticité où la variance des prédicteurs varie d'un échantillon à l'autre et d'une caractéristique à l'autre, violant ainsi l'hypothèse iid. Cet article traite des propriétés statistiques de la régression ridge dans un régime en haute dimension où le nombre de prédicteurs $p$ et le nombre d'observations $n$ tendent vers l'infini à un taux proportionnel ($p/n \to c > 0$), mais où les données sont indépendantes mais non identiquement distribuées (non-iid). Plus précisément, les auteurs modélisent la matrice de prédicteurs $X_n$ comme le produit de Hadamard d'une matrice à entrées iid et d'une matrice de profil de variance déterministe $\Upsilon_n$, telle que $X_n = \Upsilon_n \circ Z_n$. L'objectif est de dériver des équivalents déterministes pour le risque de prédiction, le risque d'entraînement et les degrés de liberté (DOF) de l'estimateur ridge sous ce profil de variance général, et d'étudier comment ces profils influencent des phénomènes tels que la courbe de « double descente ».

Méthodologie
L'analyse repose sur des outils de la théorie des matrices aléatoires (RMT), étendant spécifiquement les résultats concernant la distribution spectrale des grandes matrices aléatoires avec un profil de variance.

1. Configuration du modèle : Les auteurs considèrent un modèle à effets aléatoires où les coefficients de régression $\beta^*$ sont aléatoires, de moyenne nulle et de covariance $\alpha^2 I_p/n$. Les prédicteurs sont modélisés comme $X_n = \Upsilon_n \circ Z_n$, où $Z_n$ possède des entrées centrées iid de variance unitaire, et $\Upsilon_n$ contient les facteurs d'échelle de variance déterministes. Le profil de variance est régi par $\Gamma_n = (\gamma_{ij}^2)$.
2. Analyse de la résolvante : Le cœur de la méthodologie implique l'étude des matrices résolvantes $Q_p(z) = (\hat{\Sigma}_n - zI_p)^{-1}$ et $\tilde{Q}_n(z) = (\tilde{\Sigma}_n - zI_n)^{-1}$, où $\hat{\Sigma}_n$ et $\tilde{\Sigma}_n$ sont les matrices de covariance empiriques.
3. Équivalents déterministes : S'appuyant sur les travaux de Hachem, Loubaton et Najim [HLN07], les auteurs établissent que les termes diagonaux des matrices résolvantes convergent vers des contreparties déterministes. Ils prouvent que la matrice diagonale de la résolvante $\Delta[Q_p(z)]$ est équivalente à une matrice diagonale déterministe $T_p(z)$, qui est la solution d'un système d'équations de point fixe (équations de Dyson). Cela étend les résultats RMT précédents qui se concentraient généralement sur la trace normalisée (transformée de Stieltjes) plutôt que sur les termes diagonaux requis pour l'analyse du risque.
4. Décomposition du risque : En utilisant ces équivalents déterministes, les auteurs dérivent des expressions explicites pour le risque de prédiction asymptotique $\hat{r}^{test}_{\lambda}$ et le risque d'entraînement $\hat{r}^{train}_{\lambda}$, ainsi que pour le critère de validation croisée généralisée (GCV).

Contributions clés

1. Équivalents déterministes pour des données non-iid : L'article fournit les premiers équivalents déterministes pour les degrés de liberté et le risque de prédiction de la régression ridge en présence d'un profil de variance général. Contrairement au cas iid où ces quantités dépendent de la covariance de population, ici elles dépendent de la structure spécifique du profil de variance $\Gamma_n$ via la solution de l'équation de Dyson.
2. Paramètre de régularisation optimal : Les auteurs prouvent que le paramètre de régularisation optimal $\lambda^*$ qui minimise le risque de prédiction est universel pour tous les profils de variance et est donné par $\lambda^* = \sigma^2 p / (\alpha^2 n)$. Ce résultat correspond à l'échelle optimale trouvée dans le cadre iid standard [DW18], démontrant la robustesse de ce paramètre de rétrécissement face à l'hétéroscédasticité.
3. Généralisation de la double descente : L'étude examine le comportement de l'estimateur des moindres carrés à norme minimale (la limite lorsque $\lambda \to 0$).
   • Pour les profils de variance quasi doublement stochastiques (où les sommes des lignes et des colonnes du profil de variance sont constantes), le risque de prédiction retrouve le phénomène classique de double descente observé dans les données iid.
   • Pour les profils de variance généraux, l'article démontre que la forme du risque de prédiction peut s'écarter considérablement de la double descente. Des expériences numériques révèlent l'émergence de phénomènes de « triple descente » et même de « quadruple descente » pour des profils spécifiques (par exemple, profils par morceaux constants, blocs et polynomiaux).
4. Lien avec les modèles de mélange : Le cadre est appliqué à des données générées à partir de modèles de mélange (par exemple, variables de classe latente), montrant comment le profil de variance surgit naturellement lorsque les données proviennent de sous-populations ayant des structures de covariance différentes.

Résultats

• Formules de risque : Il est démontré que le risque de prédiction converge presque sûrement vers une limite déterministe $r^{test}_{\lambda}$, qui est une fonction de la force du signal $\alpha$, de la variance du bruit $\sigma^2$, du rapport de forme $c$, et du profil de variance $\Gamma_n$ à travers l'équivalent déterministe $T_p(z)$.
• Optimalité : Le corollaire 3.1 confirme que $\lambda^* = \sigma^2 p / (\alpha^2 n)$ minimise à la fois les risques de prédiction empiriques et déterministes, indépendamment du profil de variance.
• Paysage du risque : Bien que le $\lambda^*$ optimal soit universel, la forme de la courbe de risque en fonction du rapport de forme $c = p/n$ (lorsque $\lambda=0$) dépend du profil.
  • Dans le cas quasi doublement stochastique, le risque présente la double descente standard : il augmente pour $c < 1$, atteint un pic à $c=1$, et diminue pour $c > 1$.
  • Dans les cas non stochastiques (par exemple, profils en blocs ou par morceaux constants), le risque peut présenter plusieurs pics (triple ou quadruple descente). Les auteurs relient ce comportement aux propriétés spectrales de la matrice de covariance empirique, spécifiquement au comportement de la plus petite valeur propre non nulle près du seuil d'interpolation.
• Validation numérique : De nombreuses expériences numériques utilisant des distributions de Pareto et gaussiennes confirment la précision des équivalents déterministes dérivés. Les courbes théoriques correspondent étroitement aux risques empiriques et aux critères GCV à travers divers profils de variance.

Importance
L'article prétend étendre la compréhension théorique de la régression ridge en haute dimension au-delà de l'hypothèse restrictive iid. En fournissant des équivalents déterministes pour des données non-iid, il offre un « calcul » pour prédire les performances dans des contextes hétérogènes. Le travail met en évidence que, bien que l'échelle de régularisation optimale soit robuste (universelle), le paysage de généralisation (spécifiquement le phénomène de double descente) est sensible à la structure de variance sous-jacente. Cela remet en question l'universalité du phénomène de double descente, montrant qu'il ne s'agit pas d'une caractéristique garantie de la régression en haute dimension, mais plutôt d'une propriété qui dépend du profil de variance spécifique des données. Les résultats fournissent une base théorique pour analyser la régression dans des contextes complexes tels que les modèles de mélange et offrent des outils pour la sélection de modèles (via le GCV) en présence d'hétéroscédasticité.