The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

Sintesi Tecnica: Lo schema di zeri di una matrice di design guida la discesa multipla nella regressione sovra-parametrizzata

Enunciato del Problema
La regressione lineare sovra-parametrizzata è stata ampiamente studiata, tuttavia gli esistenti framework teorici si basano ampiamente su due ipotesi restrittive: che le covariate siano indipendenti e che le loro matrici di covarianza siano non degenere (definite positive). In queste condizioni, il rischio di predizione esibisce tipicamente una curva di "doppia discesa" con un singolo picco al livello di interpolazione ($\gamma = p/n = 1$), guidato da un singolo evento spettrale in cui la matrice di design perde rango.

Questo articolo affronta il vuoto nella comprensione di quando e perché la discesa multipla — l'emergere di molteplici picchi di rischio — possa sorgere esclusivamente dalla struttura dei dati, senza fare affidamento sulla sintonizzazione dell'architettura, blocchi di feature separati o scale di kernel distinte. Gli autori investigano la regressione ai minimi quadrati con penalità (ridge) evanescente ($\lambda_n \downarrow 0$) nel regime proporzionale ($p/n \to \gamma \in (0, \infty)$) sotto due specifiche rilassazioni:

1. Eterogeneità: Le osservazioni sono indipendenti ma possiedono matrici di covarianza distinte e potenzialmente a rango ridotto.
2. Dipendenza: Le osservazioni sono correlate attraverso componenti separabili a rango finito (es. data augmentation).

Metodologia
L'innovazione metodologica centrale è la riduzione di entrambi i design eterogenei e dipendenti a un modello di profilo di varianza. Ruotando i dati in una base propria condivisa (dove le covarianze sono simultaneamente diagonalizzabili), gli autori trasformano il problema nell'analisi di una matrice Gaussiana con voci indipendenti ma con varianze disuguali, definita da una matrice di profilo di varianza $S \in \mathbb{R}^{n \times p}$.

1. Riduzione al Profilo di Varianza:

   • Per il Modello 1 (Eterogeneo), dove $X_i = \Sigma_i^{1/2} Z_i$, il profilo $S$ è costruito a partire dagli autovalori delle singole covarianze $\Sigma_i$.
   • Per il Modello 2 (Dipendente), dove $X = \sum (\tilde{\Sigma}^{(m)})^{1/2} Z^{(m)} (\Sigma^{(m)})^{1/2}$, il profilo $S$ è derivato dal prodotto degli autovalori delle componenti di covarianza del campione e delle coordinate.
   • Crucialmente, lo schema di zeri di $S$ (dove $S_{ij} = 0$) codifica quali osservazioni non possono "vedere" quali direzioni di coordinate, rappresentando degenerazioni strutturali.

2. Equivalenti Deterministici tramite Leggi Locali:
   Gli autori derivano equivalenti deterministici per il rischio di predizione (bias e varianza) in un regime di ridge evanescente. Ciò richiede l'estensione della legge locale della teoria delle matrici casuali (specificamente da [4]) per tracciare esplicitamente il parametro spettrale mentre si avvicina a zero ($\lambda_n \downarrow 0$). Questo permette l'analisi del "bordo duro" (hard edge) dello spettro, dove gli autovalori piccoli si accumulano.

3. Caratterizzazione Combinatoria:
   Il comportamento del rischio è legato alla decomposizione di Dulmage–Mendelsohn (DM) del grafo bipartito associato al supporto di $S$ (il "grafo della varianza").

   • Supporto del Bias: È determinato dall'insieme delle colonne ($J_S$) che possono essere lasciate non accoppiate da un accoppiamento massimo nel grafo della varianza. Queste corrispondono a direzioni in cui l'estimatore mantiene il bias.
   • Picchi di Varianza: Sono determinati da una "condizione di commutazione" sul grafo residuo (dopo la rimozione delle colonne degenerate e dei loro vicini). Un picco si verifica quando il grafo residuo perde la "proprietà di Hall forte lato colonna", forzando i più piccoli autovalori non nulli verso l'hard edge.

Contributi Chiave e Risultati

1. Meccanismo per la Discesa Multipla:
   L'articolo dimostra che una singola matrice di design e un singolo stimatore possono produrre molteplici picchi di rischio. Questi picchi non sono artefatti di specifiche architetture, ma sono intrinseci alla degenerazione spettrale causata dallo schema di zeri della struttura di covarianza.

   • Bias: Persiste sulle coordinate che sono strutturalmente inosservabili (non accoppiate nella decomposizione DM).
   • Varianza: Diverge a specifici rapporti di aspetto dove il design residuo diventa "quadrato" (la condizione di commutazione), causando un picco nel rischio.

2. Regole Esatte per la Localizzazione dei Picchi:
   Gli autori forniscono una regola combinatoria esatta per predire il numero e la posizione dei picchi:

   • Il supporto del bias è fissato dal set di colonne degenerate $J_S$.
   • I picchi di varianza si verificano ai valori di $\gamma$ in cui il sub-design residuo (dopo la rimozione di $J_S$) transita dal possedere uno slack di Hall forte lato colonna al fallimento di esso.
   • Ciò è illustrato in esempi come la data augmentation (Modello 2) e i sottospazi eterogenei (Modello 1), dove emergono molteplici soglie man mano che diversi blocchi del design diventano "quadrati" rispetto alla dimensione del campione.

3. Contrasto con i Design Definiti Positive:
   L'articolo distingue tra design a rango ridotto e covarianze definite positive.

   • Se le covarianze sono definite positive (anche se eterogenee e non commutanti), lo schema di zeri è vuoto. Gli autori congetturano, supportati da simulazioni, che tali design mantengano solo il singolo picco classico a $\gamma = 1$.
   • La discesa multipla è guidata specificamente dagli zeri (riduzione del rango) nella covarianza, non semplicemente dall'eterogeneità o dalla rotazione.

4. Robustezza e Universalità:

   • I risultati teorici valgono per design con voci indipendenti e profili di varianza corrispondenti, non solo per quelli gaussiani (Nota 1). Le simulazioni con voci Student-$t_3$ (momento terzo infinito) confermano che la struttura dei picchi persiste.
   • Il meccanismo si applica a design degeneri del mondo reale, come gli embedding testuali da transformer pre-addestrati aumentati con rumore Gaussiano, che mostrano discesa multipla nei test empirici.

Significato
L'articolo sostiene che il fenomeno della discesa multipla non è limitato a modelli complessi a più componenti, ma può derivare dallo schema di zeri strutturale di un singolo design eterogeneo o dipendente. Caratterizzando i picchi di rischio attraverso la decomposizione di Dulmage–Mendelsohn del supporto del profilo di varianza, gli autori forniscono una regola deterministica per predire dove si verificano i picchi di rischio. Ciò sposta la comprensione della regressione sovra-parametrizzata da una prospettiva puramente spettrale (basata sui rapporti di aspetto) a una strutturale (basata sull'osservabilità delle coordinate), evidenziando che la degenerazione nella covarianza dei dati è il principale motore della discesa multipla.

Il lavoro introduce anche un'estensione tecnica delle leggi locali al regime di ridge evanescente, permettendo l'analisi dell'hard edge dello spettro in presenza di zeri strutturali, uno strumento di interesse indipendente per la teoria delle matrici casuali.