Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

Sintesi Tecnica: Equivalenza deterministica a due punti per le dinamiche del gradiente stocastico in modelli lineari

Enunciato del Problema
L'apprendimento profondo moderno esibisce leggi di scalatura prevedibili, in cui le prestazioni migliorano con l'aumento di dati, dimensioni del modello e potenza di calcolo. Sebbene lavori recenti abbiano analizzato il comportamento di scalatura dei metodi a kernel e dei modelli a caratteristiche casuali addestrati con la Discesa del Gradiente Stocastico (SGD), i quadri teorici esistenti spesso trattano effetti specifici — come la dimensione finita del dataset, la larghezza finita del modello e il rumore SGD — in isolamento o si basano su approcci complessi di teoria del campo medio dinamico (DMFT). Un quadro analitico unificato capace di catturare l'interazione tra dati limitati, caratteristiche limitate e rumore SGD in modelli lineari ad alta dimensionalità, in particolare per dinamiche dipendenti dal tempo e scenari fuori distribuzione (OOD), rimane una sfida. Nello specifico, le tecniche standard di matrici casuali spesso fanno affidamento su risolventi "a un punto", che sono insufficienti quando le matrici che governano le dinamiche (ad esempio, covarianza empirica, covarianza di popolazione e matrici di caratteristiche) non commutano.

Metodologia
Gli autori sviluppano un nuovo quadro analitico basato su equivalenze deterministiche a due punti per le risolventi di matrici casuali. Il cuore della metodologia comprende:

1. Impostazione del Modello: Il lavoro considera la regressione lineare e i modelli lineari a caratteristiche casuali ($f(x) = x^\top F v$) addestrati tramite SGD con dimensione del batch $B$ su un dataset di dimensione $P$. L'analisi opera nel limite ad alta dimensionalità in cui la dimensione di input $D$, la larghezza delle caratteristiche $N$ e la dimensione del dataset $P$ crescono congiuntamente all'infinito con rapporti fissi.
2. Dinamiche Ridotte: Seguendo lavori precedenti, gli autori derivano un modello ridotto per l'evoluzione degli errori di addestramento e di generalizzazione. Ciò comporta il tracciamento della covarianza della discrepanza dei pesi ($\Delta w_t \Delta w_t^\top$) e l'espressione delle dinamiche del rischio come un'equazione integrale di Volterra. Tale equazione consiste in un "termine forzante" (componente del flusso del gradiente) e un "termine di kernel" (componente del rumore SGD).
3. Analisi nello Spazio di Fourier: Gli autori trasformano le dinamiche nel dominio del tempo nello spazio di Fourier. Ciò rivela che i termini forzanti coinvolgono prodotti di due risolventi valutate in argomenti diversi (frequenze), ovvero $(\lambda + AB)^{-1} M (\lambda' + BA)^{-1}$.
4. Equivalenza Deterministica a Due Punti: L'innovazione tecnica primaria è la derivazione di un equivalente deterministico per questi prodotti di risolventi a due punti. Utilizzando la teoria della probabilità libera, in particolare le proprietà della trasformata S e un'espansione diagrammatica planare, gli autori valutano il comportamento asintotico di tali prodotti. Distinguono tra contributi "disconnessi" (che si fattorizzano in equivalenti a un punto) e contributi "connessi" che coinvolgono cumulanti misti, portando a un'equazione autoconsistente per la funzione a due punti.
5. Applicazione al Rischio: Queste equivalenze sono applicate per derivare espressioni asintotiche precise sia per il rischio di addestramento che per quello di test (generalizzazione), inclusi scenari con spostamento delle covariate (dove i dati di test seguono una distribuzione diversa rispetto ai dati di addestramento).

Contributi Chiave

• Nuova Equivalenza Deterministica: Il lavoro deriva una nuova classe di "equivalenze deterministiche a due punti" per le risolventi di matrici casuali valutate in coppie arbitrarie di argomenti. Ciò estende i precedenti risultati "a un punto" per gestire matrici non commutative, il che è essenziale per le dinamiche a tempo finito e le dimensioni finite dei dataset.
• Derivazione Unificata: Il quadro fornisce una derivazione unificata delle prestazioni per la regressione lineare ad alta dimensionalità, la regressione a kernel e i modelli lineari a caratteristiche casuali. Riprende le asintotiche precedentemente note (ad esempio, dagli approcci DMFT in [16] e dalle tecniche di equivalenza a un punto in [17]) fornendo al contempo risultati nuovi per le dinamiche dipendenti dal tempo.
• Caratterizzazione del Rumore SGD: Gli autori modellano esplicitamente l'interazione tra dati limitati, caratteristiche limitate e rumore SGD. Derivano asintotiche precise per il "termine di kernel SGD", mostrando come il rumore contribuisca alle dinamiche del rischio nel tempo.
• Analisi dello Spostamento delle Covariate: La metodologia è estesa agli scenari fuori distribuzione, fornendo formule asintotiche esatte per l'errore di generalizzazione quando le covariate di test seguono una distribuzione Gaussiana diversa rispetto al set di addestramento.
• Connessione con la DMFT: Il lavoro stabilisce un legame diretto tra le quantità derivate di matrici casuali e la Teoria del Campo Medio Dinamico. Interpreta la trasformata S della probabilità libera come una funzione di risposta e identifica gli equivalenti deterministici a due punti con le funzioni di correlazione utilizzate nella DMFT.

Risultati
Gli autori ottengono formule asintotiche esplicite e precise per:

• Perdita di Addestramento e di Test: Espressioni per l'evoluzione temporale dell'errore di addestramento e di generalizzazione nei modelli lineari a caratteristiche casuali, decomposte in contributi di flusso del gradiente (forzanti) e rumore SGD (kernel).
• Termini di Flusso del Gradiente: Nuovi equivalenti a due punti per i termini forzanti, che catturano la natura non commutativa delle covarianze empiriche e di popolazione a tempo finito.
• Termini di Kernel SGD: Espressioni asintotiche per i kernel che governano l'accumulo del rumore SGD, incluse correzioni per dimensioni finite del batch e delle caratteristiche.
• Limiti Statici: I risultati recuperano i noti limiti statici (a tempo infinito), come le prestazioni della regressione senza regolarizzazione (ridgeless), validando l'approccio dinamico.
• Prestazioni OOD: Asintotiche in forma chiusa per l'errore di generalizzazione sotto spostamento delle covariate, recuperando ed estendendo i precedenti risultati statici al contesto dinamico.

Significato
Il lavoro rivendica importanza nel fornire uno strumento analitico unificato e rigoroso per comprendere le leggi di scalatura e le dinamiche di apprendimento dei modelli lineari ad alta dimensionalità. Introducendo equivalenze deterministiche a due punti, gli autori colmano il divario tra la teoria delle matrici casuali statica e la natura dinamica e non commutativa dell'addestramento SGD. Ciò permette una caratterizzazione precisa di come dati limitati, larghezza finita del modello e rumore stocastico interagiscano per determinare le prestazioni. Il lavoro suggerisce che la trasformata S e i metodi diagrammatici planari offrono un'alternativa potente alla DMFT per derivare questi risultati, semplificando potenzialmente l'analisi di dinamiche di apprendimento complesse mantenendo il rigore matematico nel limite ad alta dimensionalità. Gli autori notano che, sebbene non dimostrino limiti quantitativi di errore per dimensioni finite, le formule asintotiche sono attese fornire buone approssimazioni basate su risultati noti in contesti statici e su evidenze numeriche dalla letteratura precedente.