Generalization in Nonlinear Least Squares via Learned Feature Geometry

Sintesi Tecnica: Generalizzazione nei Minimi Quadrati Non Lineari tramite la Geometria delle Caratteristiche Apprese

Enunciato del Problema
I moderni modelli di apprendimento automatico, in particolare le reti neurali profonde, operano spesso in regimi sovra-parametrizzati in cui possono interpolare perfettamente i dati di addestramento pur generalizzando bene. La teoria classica della generalizzazione, basata sulla convergenza uniforme (ad esempio, dimensione VC, complessità di Rademacher) o su analisi a kernel fissi (ad esempio, Neural Tangent Kernel, NTK), spesso non riesce a spiegare questo fenomeno. Queste misure tradizionali sono o troppo deboli per modelli sovra-parametrizzati o non riescono a tenere conto della specifica geometria della soluzione trovata durante l'addestramento, concentrandosi invece sulla complessità del caso peggiore o sulla geometria all'inizializzazione casuale.

Questo articolo affronta la domanda: Quali aspetti di un modello non lineare adattato determinano la sua capacità di generalizzare? Nello specifico, cerca di identificare quantità che dipendono dalla rappresentazione appresa e che riflettono la geometria indotta dai dati, piuttosto che la complessità globale della classe.

Metodologia
Gli autori studiano la regressione dei minimi quadrati non lineari con regolarizzazione ridge sotto un design fisso, dove gli input sono deterministici e la casualità deriva esclusivamente dal rumore della risposta (assunto come indipendente e fortemente log-concavo, ad esempio Gaussiano). L'obiettivo è analizzare la generalizzazione di un minimizzatore locale non degenere $\hat{\theta}$ del rischio empirico regolarizzato.

La metodologia principale si basa sulla stabilità algoritmica, specificamente sulla stabilità di predizione "in media". Gli autori analizzano la sensibilità del predittore adattato quando una singola risposta $Y_i$ viene sostituita da una copia indipendente $Y'_i$.

Componenti tecniche chiave:

1. Sensibilità della Funzione Implicita: Utilizzando il teorema della funzione implicita, gli autori derivano la derivata del minimizzatore locale $\hat{\theta}$ rispetto al vettore di risposta $Y$. Ciò rivela che la sensibilità è governata dall'inversa dell'Hessiana dell'obiettivo regolarizzato e dal Jacobiano del predittore.
2. Disuguaglianza di Brascamp–Lieb: Per limitare la varianza della predizione sotto rumore fortemente log-concavo, gli autori impiegano la disuguaglianza multivariata di Brascamp–Lieb. Questo generalizza la standard disuguaglianza di Poincaré Gaussiana utilizzata nei casi lineari.
3. Dimensione Effettiva Appresa: Il limite di stabilità è espresso in termini di una dimensione effettiva dipendente dai dati, $d_{\text{eff}}(\hat{\theta}; \lambda)$, definita al livello dei parametri addestrati:
   $$d_{\text{eff}}(\hat{\theta}; \lambda) := \text{tr}\left( (\hat{H}_\lambda^{-1} \hat{G})^2 \right)$$
   Qui, $\hat{G}$ è la covarianza empirica delle caratteristiche del Jacobiano addestrate ($\nabla_\theta f(x_i; \hat{\theta})$), e $\hat{H}_\lambda$ è l'Hessiana dell'obiettivo empirico regolarizzato in $\hat{\theta}$. A differenza della teoria NTK, che utilizza il Jacobiano all'inizializzazione, questa metrica cattura la geometria dopo l'apprendimento delle caratteristiche (feature learning). L'Hessiana include un termine di curvatura dei residui ($\hat{\Delta}$) che svanisce nei modelli lineari ma è presente in quelli non lineari.
4. Complessità di Copertura: Per limitare $d_{\text{eff}}$, gli autori collegano il numero di copertura delle caratteristiche del Jacobiano addestrate. Dimostrano che se le caratteristiche addestrate possono essere coperte da un piccolo numero di sfere (ovvero, sono comprimibili), la dimensione effettiva è piccola. Questo viene ulteriormente specializzato per dati che giacciono su varietà a bassa dimensione e per le reti ReLU, dove il numero di copertura è legato al numero di regioni di stabilità di attivazione occupate dai dati.

Contributi Chiave

1. Limite di Stabilità tramite la Dimensione Effettiva Addestrata: L'articolo dimostra che la stabilità di predizione media (e di conseguenza il gap di generalizzazione) è limitata dal valore atteso della dimensione effettiva valutata sul modello addestrato. Il Teorema 3 stabilisce che:
   $$\frac{1}{n} \sum_{i=1}^n \mathbb{E}[(f(x_i; \hat{\theta}) - f(x_i; \hat{\theta}^{(i)}))^2] \leq \frac{4 \mathbb{E}[d_{\text{eff}}(\hat{\theta}; \lambda)]}{\alpha n}$$
   dove $\alpha$ è il parametro di forte log-concavità del rumore. Il Corollario 4 traduce questo in un limite del gap di generalizzazione di ordine $\sqrt{\mathbb{E}[d_{\text{eff}}]/n}$.
2. Generalizzazione dei Limiti Lineari: Nel caso lineare (o quando i residui sono nulli), il termine di curvatura dei residui svanisce e $d_{\text{eff}}$ si riduce alla classica dimensione effettiva ridge della covarianza del Jacobiano. Pertanto, il risultato è una rigorosa generalizzazione della teoria lineare al regime non lineare.
3. Interpretazione Geometrica e Limiti di Copertura: Gli autori forniscono espliciti limiti su $d_{\text{eff}}$ basati sulla geometria dei dati e del modello:
   • Supporto su Varietà (Manifold): Se i dati giacciono su una varietà di dimensione $m$ e il Jacobiano è localmente Lipschitz, il limite scala con la dimensione intrinseca $m$ anziché con la dimensione ambiente.
   • Reti ReLU: Per le reti ReLU con uno strato nascosto, il limite è controllato dal numero di regioni di stabilità di attivazione occupate dai dati e dalla contrazione locale delle caratteristiche all'interno di tali regioni. Ciò collega il gap di generalizzazione alla complessità della partizione appresa dello spazio di input.
4. Validazione Empirica: L'articolo presenta esperimenti su varietà sintetiche, distribuzioni raggruppate e dataset di riferimento (California Housing, Wine Quality, Superconductivity). Questi esperimenti dimostrano:
   • Compressione del Jacobiano: La dimensione effettiva del Jacobiano addestrato è significativamente inferiore a quella dell'inizializzazione (regime NTK), anche in contesti sovra-parametrizzati.
   • Strettezza (Tightness): La linearizzazione della curvatura dei residui utilizzata nella teoria segue da vicino la dimensione effettiva non lineare stimata direttamente.
   • Accordo: I limiti di stabilità teorici sono stretti e seguono da vicino i gap di generalizzazione osservati.

Significatività e Rivendicazioni
L'articolo sostiene di fornire una derivazione semplice, basata sui primi principi, di limiti di generalizzazione per i minimi quadrati non lineari che dipendono dalla geometria appresa della soluzione piuttosto che dal numero di parametri o dall'inizializzazione.

• Passaggio dalla Geometria Fissa alla Geometria Appresa: A differenza delle analisi NTK che linearizzano attorno a un'inizializzazione casuale, questo lavoro analizza la geometria nel punto di adattamento (fitted point). Dimostra che l'apprendimento delle caratteristiche può "comprimere" le direzioni rilevanti, portando a una dimensione effettiva più bassa e a una migliore generalizzazione.
• Ruolo delle Regioni di Attivazione: Il lavoro stabilisce un collegamento teorico esplicito tra il numero di regioni di stabilità di attivazione nelle reti ReLU e i limiti di generalizzazione, supportando le evidenze empiriche secondo cui le reti profonde utilizzano spesso molte meno regioni attive di quanto suggeriscano i limiti combinatori del caso peggiore.
• Limitazioni: Gli autori sono modesti riguardo all'ambito, notando che l'analisi è attualmente limitata alla regressione a perdita quadratica con design fisso e rumore fortemente log-concavo, e a minimizzatori locali non degeneri. Estendere questi risultati a design casuali, altre funzioni di perdita o catturare la regolarizzazione implicita dell'intera traiettoria di ottimizzazione (anziché solo del minimizzatore locale) rimane una sfida aperta.

In sintesi, l'articolo sostiene che la capacità di generalizzazione dei modelli di minimi quadrati non lineari è governata dalla dimensione effettiva delle caratteristiche del Jacobiano addestrate, una quantità che riflette come il modello ha adattato la propria geometria ai dati, e che tale dimensione può essere significativamente inferiore al numero di parametri del modello o alla dimensione del campione.