High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile

Technische Samenvatting: Hoog-dimensionale analyse van ridge-regressie voor niet-identiek verdeelde data met een variantieprofiel

Probleemstelling
Hoog-dimensionale lineaire regressie is uitvoerig geanalyseerd onder de aanname dat voorspellers onafhankelijk en identiek verdeeld (iid) zijn. In veel praktische scenario's vertoont data echter heteroscedasticiteit, waarbij de variantie van voorspellers varieert over steekproeven en kenmerken, waardoor de iid-aanname wordt geschonden. Dit artikel behandelt de statistische eigenschappen van ridge-regressie in een hoog-dimensionaal regime waarin het aantal voorspellers $p$ en het aantal observaties $n$ evenredig naar oneindig groeien ($p/n \to c > 0$), maar de data onafhankelijk maar niet-identiek verdeeld (niet-iid) is. Specifiek modelleren de auteurs de voorspellermatrix $X_n$ als het Hadamard-product van een matrix met iid-elementen en een deterministische variantieprofielmatrix $\Upsilon_n$, zodanig dat $X_n = \Upsilon_n \circ Z_n$. Het doel is om deterministische equivalenten af te leiden voor de voorspellingsrisico, trainingsrisico en vrijheidsgraden (DOF) van de ridge-schatter onder dit algemene variantieprofiel, en te onderzoeken hoe deze profielen fenomenen zoals de "double descent"-curve beïnvloeden.

Methodologie
De analyse maakt gebruik van instrumenten uit de Random Matrix Theory (RMT), specifiek door resultaten betreffende de spectrale verdeling van grote willekeurige matrices met een variantieprofiel te uit te breiden.

1. Modelopzet: De auteurs beschouwen een model met willekeurige effecten waarbij de regressiecoëfficiënten $\beta^*$ willekeurig zijn met gemiddelde nul en covariantie $\alpha^2 I_p/n$. De voorspellers worden gemodelleerd als $X_n = \Upsilon_n \circ Z_n$, waarbij $Z_n$ iid gecentreerde elementen met eenheidsvariantie heeft, en $\Upsilon_n$ de deterministische variantieschaalfactoren bevat. Het variantieprofiel wordt beheerst door $\Gamma_n = (\gamma_{ij}^2)$.
2. Resolventanalyse: De kern van de methodologie betreft de studie van de resolventmatrices $Q_p(z) = (\hat{\Sigma}_n - zI_p)^{-1}$ en $\tilde{Q}_n(z) = (\tilde{\Sigma}_n - zI_n)^{-1}$, waarbij $\hat{\Sigma}_n$ en $\tilde{\Sigma}_n$ de empirische covariantiematrices zijn.
3. Deterministische Equivalenten: Op basis van het werk van Hachem, Loubaton en Najim [HLN07] stellen de auteurs vast dat de diagonaalelementen van de resolventmatrices convergeren naar deterministische tegenhangers. Ze bewijzen dat de diagonaalmatrix van de resolvent $\Delta[Q_p(z)]$ equivalent is aan een deterministische diagonaalmatrix $T_p(z)$, die de oplossing is voor een stelsel van vastpuntvergelijkingen (Dyson-vergelijkingen). Dit breidt eerdere RMT-resultaten uit, die doorgaans gericht waren op de genormaliseerde trace (Stieltjes-transformatie) in plaats van de diagonaalelementen die vereist zijn voor risicoanalyse.
4. Risicodecompositie: Met behulp van deze deterministische equivalenten leiden de auteurs expliciete uitdrukkingen af voor het asymptotische voorspellingsrisico $\hat{r}^{test}_{\lambda}$ en trainingsrisico $\hat{r}^{train}_{\lambda}$, evenals het Generalized Cross-Validation (GCV)-criterium.

Belangrijkste Bijdragen

1. Deterministische Equivalenten voor Niet-iid Data: Het artikel biedt de eerste deterministische equivalenten voor de vrijheidsgraden en het voorspellingsrisico van ridge-regressie in aanwezigheid van een algemeen variantieprofiel. In tegenstelling tot het iid-geval, waarbij deze grootheden afhankelijk zijn van de populatiecovariantie, hangen ze hier af van de specifieke structuur van het variantieprofiel $\Gamma_n$ via de oplossing van de Dyson-vergelijking.
2. Optimaal Regularisatieparameter: De auteurs bewijzen dat de optimale regularisatieparameter $\lambda^*$ die het voorspellingsrisico minimaliseert, universeel is voor alle variantieprofielen en wordt gegeven door $\lambda^* = \sigma^2 p / (\alpha^2 n)$. Dit resultaat komt overeen met de optimale schaling die in de standaard iid-situatie is gevonden [DW18], wat de robuustheid van deze shrinkage-parameter tegenover heteroscedasticiteit aantoont.
3. Generalisatie van Double Descent: De studie onderzoekt het gedrag van de schatter met de kleinste norm voor de kleinste kwadraten (de limiet wanneer $\lambda \to 0$).
   • Voor quasi dubbel-stochastische variantieprofielen (waarbij de rij- en kolomsums van het variantieprofiel constant zijn), herstelt het voorspellingsrisico het klassieke double descent-fenomeen dat bij iid-data wordt waargenomen.
   • Voor algemene variantieprofielen toont het artikel aan dat de vorm van het voorspellingsrisico aanzienlijk kan afwijken van double descent. Numerieke experimenten onthullen het ontstaan van "triple descent" en zelfs "quadruple descent"-fenomenen voor specifieke profielen (bijvoorbeeld stuksgewijs constant, blokken en polynoomprofielen).
4. Verbinding met Mengmodellen: Het kader wordt toegepast op data gegenereerd vanuit mengmodellen (bijvoorbeeld latente klasvariabelen), waarbij wordt aangetoond hoe het variantieprofiel natuurlijk ontstaat wanneer data afkomstig is van subpopulaties met verschillende covariantiestructuren.

Resultaten

• Risicovormules: Het voorspellingsrisico convergeert bijna zeker naar een deterministische limiet $r^{test}_{\lambda}$, die een functie is van de signaalsterkte $\alpha$, de ruisvariantie $\sigma^2$, de aspectratio $c$ en het variantieprofiel $\Gamma_n$ via het deterministische equivalent $T_p(z)$.
• Optimaliteit: Corollarium 3.1 bevestigt dat $\lambda^* = \sigma^2 p / (\alpha^2 n)$ zowel het empirische als het deterministische voorspellingsrisico minimaliseert, ongeacht het variantieprofiel.
• Risicolandschap: Hoewel de optimale $\lambda^*$ universeel is, is de vorm van de risicocurve als functie van de aspectratio $c = p/n$ (wanneer $\lambda=0$) afhankelijk van het profiel.
  • In het quasi dubbel-stochastische geval vertoont het risico de standaard double descent: toenemend voor $c < 1$, piekend bij $c=1$, en afnemend voor $c > 1$.
  • In niet-stochastische gevallen (bijvoorbeeld blokken of stuksgewijs constante profielen) kan het risico meerdere pieken vertonen (triple of quadruple descent). De auteurs koppelen dit gedrag aan de spectrale eigenschappen van de empirische covariantiematrix, specifiek het gedrag van de kleinste niet-nul eigenwaarde in de buurt van de interpolatiedrempel.
• Numerieke Validatie: Uitgebreide numerieke experimenten met Pareto- en Gauss-verdelingen bevestigen de nauwkeurigheid van de afgeleide deterministische equivalenten. De theoretische curves komen nauw overeen met de empirische risico's en GCV-criteria over verschillende variantieprofielen.

Betekenis
Het artikel claimt het theoretische begrip van hoog-dimensionale ridge-regressie uit te breiden buiten de restrictieve iid-aanname. Door deterministische equivalenten voor niet-iid data te bieden, biedt het een "rekenkunde" voor het voorspellen van prestaties in heterogene omgevingen. Het werk benadrukt dat hoewel de optimale regularisatieschaal robuust (universeel) is, het generalisatielandschap (specifiek het double descent-fenomeen) gevoelig is voor de onderliggende variantiestructuur. Dit daagt de universaliteit van het double descent-fenomeen uit, en toont aan dat het geen gegarandeerd kenmerk is van hoog-dimensionale regressie, maar eerder een eigenschap die afhangt van het specifieke variantieprofiel van de data. De resultaten bieden een theoretische basis voor het analyseren van regressie in complexe situaties zoals mengmodellen en bieden hulpmiddelen voor modelselectie (via GCV) in aanwezigheid van heteroscedasticiteit.