Riepilogo Tecnico: Regularizzazione Canonica delle Reti Neurali ad Apprendimento di Caratteristiche Ampie

Enunciato del Problema

Le reti neurali ampie che operano nel regime di apprendimento delle caratteristiche—dove la rete apprende attivamente rappresentazioni invece di comportarsi come una macchina a kernel fisso—sono il motore del deep learning moderno. Tuttavia, la comprensione teorica di queste reti è significativamente in ritardo rispetto al regime del kernel (formalizzato dal Neural Tangent Kernel, NTK). Esiste un divario critico riguardo alla regularizzazione implicita e al prior nello spazio delle funzioni indotti dall'addestramento tramite flusso di gradiente.

Nel regime del kernel, è ben stabilito che il flusso di gradiente seleziona l'unica soluzione che minimizza la distanza quadrata nello spazio dei parametri dall'inizializzazione (ridge ancorato, $\|\theta - \theta_0\|^2$). Questa proprietà sostiene la corrispondenza Rete Neurale–Processo Gaussiano (NN-GP), permettendo una modellazione del rumore e una quantificazione dell'incertezza basate su principi. Tuttavia, i praticanti spesso applicano di default il decadimento standard dei pesi ($\|\theta\|^2$) o il ridge ancorato alle reti di apprendimento delle caratteristiche. Questo documento sostiene che questi regolarizzatori sono geometricamente disallineati nel regime di apprendimento delle caratteristiche, portando a un pregiudizio "silenzioso" che distorce il pregiudizio induttivo della rete, in particolare negli scenari di transfer learning dove le caratteristiche pre-addestrate sono informative.

Metodologia e Quadro Teorico

Gli autori sviluppano un quadro geometrico per caratterizzare la dinamica nello spazio dei parametri delle reti sovrapparametrizzate che soddisfano l'assunzione di Condizionamento Uniforme del Jacobiano (Assunzione 2.1). Questa assunzione postula che il Jacobiano $J(\theta)$ abbia valori singolari limitati lontano da zero e dall'infinito in un intorno delle soluzioni di interpolazione.

1. Decomposizione Geometrica

Gli autori decompongono lo spazio dei parametri $\Theta$ attorno a un interpolatore in tre oggetti chiave:

• Orbita del Flusso ($O_{flow}$): L'insieme di tutti i parametri raggiungibili dal flusso di gradiente da un'inizializzazione $\theta_0$. Nel regime di apprendimento delle caratteristiche, questo può essere un insieme sub-riemanniano ad alta dimensione.
• Varietà del Flusso a Fissa Gauge ($M_{flow}(\theta_0)$): Una specifica sottovarietà $n$-dimensionale all'interno dell'orbita del flusso che contiene la traiettoria realizzata dal flusso di gradiente. Serve come carta nello spazio dei parametri per lo spazio delle funzioni vicino all'interpolatore.
• Fibre di Uscita ($\Theta(c)$): Direzioni trasversali alla varietà del flusso dove le previsioni di addestramento $g(\theta)$ rimangono costanti, ma le previsioni su input non visti possono cambiare drasticamente.

2. La Patologia della Regularizzazione Ridge

Il documento dimostra che nel regime di apprendimento delle caratteristiche, la varietà del flusso $M_{flow}(\theta_0)$ è curva, a differenza del sottospazio affine del regime del kernel.

• Fallimento del Ridge Ancorato: Il gradiente del ridge ancorato, $-2(\theta - \theta_0)$, è una corda euclidea. Su una varietà curva, questo gradiente acquisisce una componente lungo le fibre di uscita (ortogonali alla direzione del flusso).
• Conseguenza: Man mano che la forza di regolarizzazione $\lambda \to 0$, la soluzione non converge al limite del flusso di gradiente non regolarizzato $\theta^*$. Invece, il gradiente di regolarizzazione trascina i parametri lungo le fibre, distorcendo il prior implicito e potenzialmente distruggendo pregiudizi induttivi utili appresi durante il pre-addestramento. Questo è formalizzato nel Teorema 3.1.

3. Derivazione Assiomatica del Regularizzatore Canonico

Per risolvere ciò, gli autori assiomatizzano l'energia canonica nello spazio delle funzioni come l'energia di controllo minima richiesta per trasportare le uscite della rete dall'inizializzazione a un target sotto la dinamica del flusso di gradiente.

• Unicità: Imponendo gli assiomi di invarianza isometrica e additività ortogonale, dimostrano che nel regime del kernel, questa energia corrisponde univocamente alla norma quadrata RKHS (recuperando il ridge ancorato).
• Generalizzazione: Sollevando questa energia nello spazio dei parametri tramite la Definizione 4.3 si ottiene il regolarizzatore Ridge Geodetico:
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  Questo misura la distanza geodetica quadrata lungo la varietà del flusso più la distanza geodetica lungo la fibra di uscita.
• Prior Implicito: Il corrispondente prior nello spazio delle funzioni è identificato come un Processo di Gibbs Riemanniano, che generalizza il Processo Gaussiano NTK a geometrie curve.

4. Arc Ridge: Un Surrogato Pratico

Poiché il calcolo delle distanze geodetiche è intrattabile su larga scala, gli autori propongono Arc Ridge come surrogato robusto minimax.

• Definizione: Arc ridge è la lunghezza totale quadrata della traiettoria di addestramento: $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$.
• Proprietà: Delimita superiormente il ridge geodetico, mantiene la proprietà "senza pregiudizio" lungo la direzione del flusso di gradiente realizzata ed è formalmente equivalente all'arresto anticipato sotto flusso di gradiente esatto. Non richiede informazioni del secondo ordine, accumulando solo uno scalare singolo (lunghezza del percorso) durante l'addestramento.

Risultati Chiave

1. Pregiudizio dei Regularizzatori Standard: Il documento dimostra che sia il ridge standard che il ridge ancorato introducono un pregiudizio nel limite del flusso di gradiente nel regime di apprendimento delle caratteristiche (Teorema 3.1). Questo pregiudizio persiste anche quando la forza di regolarizzazione svanisce, causando uno spostamento della soluzione lungo le fibre di uscita invisibili alla funzione di perdita di addestramento.
2. Ridge Geodetico come Soluzione Canonica: Gli autori derivano il ridge geodetico come l'unico regolarizzatore allineato con la geometria delle reti di apprendimento delle caratteristiche, garantendo che il limite di regolarizzazione che svanisce recuperi la soluzione del flusso di gradiente non regolarizzato (Teorema 4.2).
3. Equivalenza Arc Ridge: Si dimostra che arc ridge è un limite superiore stretto e trattabile al ridge geodetico. Crucialmente, si dimostra che è equivalente all'arresto anticipato nel limite del flusso di gradiente esatto (Proposizione F.4), fornendo una giustificazione teorica per l'arresto anticipato come tecnica di regolarizzazione consapevole della geometria.
4. Validazione Empirica: Gli esperimenti su compiti di transfer learning (regressione dell'età su UTKFace usando ResNet18; regressione del punteggio di recensione su Yelp usando DistilBERT) dimostrano che:
   • Ad alte forze di regolarizzazione, il ridge standard e il ridge ancorato causano un degrado significativo delle prestazioni di test a causa della distruzione del prior pre-addestrato.
   • Arc ridge degrada solo lievemente, coerente con un sottoaddestramento benigno.
   • A basse forze di regolarizzazione, tutti i metodi convergono, poiché l'arresto anticipato domina il pregiudizio.

Significato e Affermazioni

Il documento afferma di fornire il primo quadro principiato per comprendere e correggere il pregiudizio implicito del flusso di gradiente nelle reti ampie di apprendimento delle caratteristiche. I suoi contributi principali sono:

• Intuizione Geometrica: Identifica la curvatura della varietà del flusso come la causa radice del fallimento dei regolarizzatori basati su spazi euclidei (come il ridge ancorato) nei regimi di apprendimento delle caratteristiche.
• Unificazione Teorica: Generalizza la corrispondenza NN-GP al regime di apprendimento delle caratteristiche identificando il Processo di Gibbs Riemanniano come prior canonico e il ridge geodetico come regolarizzatore canonico.
• Risoluzione Pratica: Propone arc ridge (lunghezza del percorso quadrata) come alternativa scalabile e robusta minimax che si allinea con la geometria dell'addestramento. Questo rivela una relazione profonda, precedentemente non formalizzata, tra arresto anticipato e regularizzazione canonica, suggerendo che l'arresto anticipato non è meramente euristico ma una strategia di regolarizzazione che preserva la geometria.

Gli autori sottolineano che, sebbene la loro teoria assuma un condizionamento uniforme del Jacobiano (verificato empiricamente nell'Appendice H), l'intuizione geometrica spiega fenomeni come il degrado delle rappresentazioni pre-addestrate durante il fine-tuning e il fenomeno del "grokking", offrendo una strada verso strategie di regolarizzazione più robuste nel deep learning.