High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile

Sintesi Tecnica: Analisi in alta dimensione della regressione ridge per dati non identicamente distribuiti con un profilo di varianza

Enunciato del Problema
La regressione lineare in alta dimensione è stata analizzata estesamente sotto l'assunzione che i predittori siano indipendenti e identicamente distribuiti (iid). Tuttavia, in molti scenari pratici, i dati presentano eteroschedasticità, dove la varianza dei predittori varia tra campioni e caratteristiche, violando l'assunzione iid. Questo lavoro affronta le proprietà statistiche della regressione ridge in un regime ad alta dimensione in cui il numero di predittori $p$ e il numero di osservazioni $n$ tendono all'infinito a un tasso proporzionale ($p/n \to c > 0$), ma i dati sono indipendenti ma non identicamente distribuiti (non-iid). Nello specifico, gli autori modellano la matrice dei predittori $X_n$ come il prodotto di Hadamard di una matrice con entrate iid e una matrice deterministica del profilo di varianza $\Upsilon_n$, tale che $X_n = \Upsilon_n \circ Z_n$. L'obiettivo è derivare equivalenti deterministici per il rischio predittivo, il rischio di addestramento e i gradi di libertà (DOF) dello stimatore ridge sotto questo profilo di varianza generale, e investigare come questi profili influenzino fenomeni come la curva del "double descent".

Metodologia
L'analisi si basa su strumenti della Teoria delle Matrici Casuali (RMT), estendendo specificamente i risultati riguardanti la distribuzione spettrale di grandi matrici casuali con un profilo di varianza.

1. Impostazione del Modello: Gli autori considerano un modello ad effetto casuale in cui i coefficienti di regressione $\beta^*$ sono casuali con media zero e covarianza $\alpha^2 I_p/n$. I predittori sono modellati come $X_n = \Upsilon_n \circ Z_n$, dove $Z_n$ ha entrate centrate iid con varianza unitaria, e $\Upsilon_n$ contiene i fattori di scala deterministici della varianza. Il profilo di varianza è governato da $\Gamma_n = (\gamma_{ij}^2)$.
2. Analisi della Risolvente: Il nucleo della metodologia consiste nello studio delle matrici risolvente $Q_p(z) = (\hat{\Sigma}_n - zI_p)^{-1}$ e $\tilde{Q}_n(z) = (\tilde{\Sigma}_n - zI_n)^{-1}$, dove $\hat{\Sigma}_n$ e $\tilde{\Sigma}_n$ sono le matrici di covarianza empiriche.
3. Equivalenti Deterministici: Basandosi sul lavoro di Hachem, Loubaton e Najim [HLN07], gli autori stabiliscono che gli elementi diagonali delle matrici risolvente convergono a controparti deterministiche. Dimostrano che la matrice diagonale della risolvente $\Delta[Q_p(z)]$ è equivalente a una matrice diagonale deterministica $T_p(z)$, che è la soluzione di un sistema di equazioni a punto fisso (equazioni di Dyson). Questo estende i precedenti risultati RMT che si concentravano tipicamente sulla traccia normalizzata (trasformata di Stieltjes) piuttosto che sugli elementi diagonali richiesti per l'analisi del rischio.
4. Decomposizione del Rischio: Utilizzando questi equivalenti deterministici, gli autori derivano espressioni esplicite per il rischio predittivo asintotico $\hat{r}^{test}_{\lambda}$ e il rischio di addestramento $\hat{r}^{train}_{\lambda}$, nonché per il criterio di Validazione Incrociata Generalizzata (GCV).

Contributi Chiave

1. Equivalenti Deterministici per Dati Non-iid: Il lavoro fornisce i primi equivalenti deterministici per i gradi di libertà e il rischio predittivo della regressione ridge in presenza di un profilo di varianza generale. A differenza del caso iid, dove queste quantità dipendono dalla covarianza della popolazione, qui dipendono dalla struttura specifica del profilo di varianza $\Gamma_n$ attraverso la soluzione dell'equazione di Dyson.
2. Parametro di Regularizzazione Ottimale: Gli autori dimostrano che il parametro di regularizzazione ottimale $\lambda^*$ che minimizza il rischio predittivo è universale per tutti i profili di varianza ed è dato da $\lambda^* = \sigma^2 p / (\alpha^2 n)$. Questo risultato corrisponde alla scala ottimale trovata nel setting iid standard [DW18], dimostrando la robustezza di questo parametro di shrinkage contro l'eteroschedasticità.
3. Generalizzazione del Double Descent: Lo studio investiga il comportamento dello stimatore ai minimi quadrati a norma minima (il limite per $\lambda \to 0$).
   • Per profili di varianza quasi doppiamente stocastici (dove le somme di riga e colonna del profilo di varianza sono costanti), il rischio predittivo recupera il classico fenomeno del double descent osservato nei dati iid.
   • Per profili di varianza generali, il lavoro dimostra che la forma del rischio predittivo può discostarsi significativamente dal double descent. Esperimenti numerici rivelano l'emergere di fenomeni di "triple descent" e persino "quadruple descent" per profili specifici (ad esempio, profili a tratti costanti, a blocchi e polinomiali).
4. Connessione ai Modelli di Miscele: Il framework è applicato a dati generati da modelli di miscele (ad esempio, variabili di classe latente), mostrando come il profilo di varianza sorga naturalmente quando i dati provengono da sottopopolazioni con strutture di covarianza diverse.

Risultati

• Formule del Rischio: Il rischio predittivo è mostrato convergere quasi certamente a un limite deterministico $r^{test}_{\lambda}$, che è una funzione della forza del segnale $\alpha$, della varianza del rumore $\sigma^2$, del rapporto di aspetto $c$ e del profilo di varianza $\Gamma_n$ attraverso l'equivalente deterministico $T_p(z)$.
• Ottimalità: Il Corollario 3.1 conferma che $\lambda^* = \sigma^2 p / (\alpha^2 n)$ minimizza sia il rischio predittivo empirico che quello deterministico, indipendentemente dal profilo di varianza.
• Paesaggio del Rischio: Sebbene l'ottimo $\lambda^*$ sia universale, la forma della curva del rischio in funzione del rapporto di aspetto $c = p/n$ (quando $\lambda=0$) dipende dal profilo.
  • Nel caso quasi doppiamente stocastico, il rischio esibisce il double descent standard: aumenta per $c < 1$, raggiunge un picco a $c=1$ e diminuisce per $c > 1$.
  • Nei casi non stocastici (ad esempio, profili a blocchi o a tratti costanti), il rischio può esibire picchi multipli (triple o quadruple descent). Gli autori collegano questo comportamento alle proprietà spettrali della matrice di covarianza empirica, in particolare al comportamento del più piccolo autovalore non nullo vicino alla soglia di interpolazione.
• Validazione Numerica: Estesi esperimenti numerici utilizzando distribuzioni di Pareto e Gaussiane confermano l'accuratezza degli equivalenti deterministici derivati. Le curve teoriche corrispondono strettamente ai rischi empirici e ai criteri GCV attraverso vari profili di varianza.

Significato
Il lavoro afferma di estendere la comprensione teorica della regressione ridge in alta dimensione oltre l'assunzione restrittiva di iid. Fornendo equivalenti deterministici per dati non-iid, offre un "calcolo" per prevedere le prestazioni in contesti eterogenei. Il lavoro evidenzia che, sebbene la scala di regularizzazione ottimale sia robusta (universale), il paesaggio di generalizzazione (in particolare il fenomeno del double descent) è sensibile alla struttura di varianza sottostante. Questo sfida l'universalità del fenomeno del double descent, mostrando che non è una caratteristica garantita della regressione in alta dimensione, ma piuttosto una proprietà che dipende dal profilo di varianza specifico dei dati. I risultati forniscono una base teorica per l'analisi della regressione in contesti complessi come i modelli di miscele e offrono strumenti per la selezione del modello (tramite GCV) in presenza di eteroschedasticità.