Sintesi Tecnica: Rivedere il Neural Tangent Kernel

Definizione del Problema

Il framework del Neural Tangent Kernel (NTK) descrive la dinamica di apprendimento delle reti neurali sovraparametrizzate addestrate con il gradiente discendente, postulando che nel limite di ampiezza infinita, la rete si comporti come un metodo kernel con un kernel fisso. Questo regime è spesso definito "lazy training" (addestramento pigro) perché le attivazioni dei singoli neuroni nascosti rimangono arbitrariamente vicine ai loro valori di inizializzazione. Tuttavia, questa caratterizzazione presenta due significative sfide teoriche:

1. L'Asse dell'Ampiezza (Width): Il regime "pigro" implica che le caratteristiche (attivazioni dei neuroni nascosti) siano statiche e casuali, fallendo nel spiegare l'apprendimento delle caratteristiche ("feature learning") osservato nelle reti deep pratiche. Studi precedenti suggeriscono che, sebbene l'NTK catturi dipendenze complesse, lo faccia senza estrarre caratteristiche significative, creando un paradosso tra il suo successo nella generalizzazione e la sua mancanza di evoluzione delle caratteristiche.
2. L'Asse della Profondità (Depth): Man mano che la profondità della rete aumenta nel limite di ampiezza infinita, l'NTK converge a un predittore indipendente dai dati (una matrice costante), rendendo il modello incapace di distinguere tra punti dati non presenti nell'insieme di addestramento. Ciò suggerisce un vicolo cieco teorico per le reti deep sotto la standard scalatura NTK, dove il modello perde espressività e capacità di generalizzazione.

Questo articolo contesta le conclusioni secondo cui l'NTK sia puramente "pigro" riguardo all'apprendimento delle caratteristiche e che i deep NTK degenerino inevitabilmente in predittori triviali.

Metodologia

Gli autori impiegano una combinazione di analisi asintotica teorica e validazione empirica su reti ReLU fully-connected con inizializzazione gaussiana standard e perdita MSE (Mean Squared Error).

Framework Teorico

• Notazione e Definizioni: Il documento utilizza le definizioni ricorsive dell'NTK ($\Theta^{(L)}_\infty$) e della covarianza dei neuroni ($\Sigma^{(L)}$) stabilite da Jacot et al. (2018a) e Arora et al. (2019b). Si concentra sul limite di ampiezza infinita in cui l'NTK converge a un kernel deterministico.
• Analisi delle Caratteristiche (Ampiezza): Gli autori analizzano il comportamento aggregato degli strati nascosti piuttosto che i singoli neuroni. Derivano una soluzione in forma chiusa per il prodotto interno delle attivazioni dello strato nascosto nel tempo, $\langle h_t(x), h_t(x') \rangle$, per dimostrare che mentre le deviazioni dei singoli neuroni svaniscono, la deviazione della norma aggregata non lo fa.
• Analisi della Profondità: Il documento investiga il limite per $L \to \infty$. Introduce un kernel normalizzato $\bar{\Theta}^{(L)}_\infty$ e ne analizza le proprietà di convergenza. Gli autori derivano limiti asintotici sugli autovalori della matrice del kernel e sulla funzione di predizione $f_t(x)$.
• Strategia di Scalatura: Per affrontare la degenerazione della profondità, il documento propone un regime di scalatura specifico in cui la profondità $L$, il tempo di arresto $t$ e la dimensione del dataset $n$ sono accoppiati. Nello specifico, evita l'assunzione che $t \to \infty$ o $L \to \infty$ isolatamente, richiedendo invece che $L$ venga scalato appropriatamente rispetto a $n$ e $t$ per rimanere all'interno della "fase ordinata" della dinamica del kernel.

Validazione Empirica

• Modelli Semplici e Dataset: Gli esperimenti sono condotti su dati sintetici, sul dataset text8 (utilizzando codifiche one-hot) e su MNIST.
• Metriche: Gli autori misurano la deviazione dell'ultimo strato nascosto dalla sua inizializzazione ($\|h_t - h_0\|_2$) e i tassi di convergenza dei valori e degli autovalori del kernel all'aumentare della profondità.

Contributi Chiave

1. Rivalutazione del "Regime Pigro" (Asse dell'Ampiezza)

Il documento confuta la distinzione binaria tra regimi "pigri" (caratteristiche statiche) e di "apprendimento delle caratteristiche" (caratteristiche dinamiche).

• Dinamiche Aggregate: Mentre le attivazioni dei singoli neuroni convergono ai loro valori di inizializzazione all'aumentare dell'ampiezza, la norma aggregata delle deviazioni nell'ultimo strato nascosto non svanisce.
• Dimostrazione Teorica (Proposizione 4): Gli autori dimostrano che per le reti ReLU con almeno due strati nascosti, il prodotto interno delle attivazioni dello strato nascosto per input distinti, $\langle h_t(x), h_t(x') \rangle$, è una funzione strettamente non costante del passo di addestramento $t$. Ciò dimostra che le correlazioni statistiche tra i punti dati evolvono durante l'addestramento, anche nel limite di ampiezza infinita.
• Implicazione: Il "regime pigro" non preclude l'apprendimento delle caratteristiche; piuttosto, le caratteristiche evolvono in un modo che è catturato dalle dinamiche aggregate dello strato, non dal tracciamento del singolo neurone.

2. Risolvere l'Espressività nelle Reti Deep (Asse della Profondità)

Il documento affronta il collasso dell'NTK in un predittore indipendente dai dati all'aumentare della profondità.

• Convergenza a una Costante: Gli autori confermano che il kernel normalizzato $\bar{\Theta}^{(L)}_\infty(x, x')$ converge a $1/4$ per $x \neq x'$ quando $L \to \infty$ (Teorema 2).
• Stabilizzazione tramite Scalatura (Teorema 3): Il documento dimostra che la funzione di predizione $f_t$ può rimanere stabile ed espressiva se la profondità $L$ viene scalata rispetto alla dimensione del dataset $n$ e se il tempo di arresto $t$ è scelto appropriatamente (early stopping).
  • Impostando $t \in o(1/\lambda_n)$ (dove $\lambda_n$ è il più piccolo autovalore) e scalando $L$ in modo che sia sufficientemente grande per stabilizzare il kernel ma non così grande da indurre l'indipendenza dai dati, il modello mantiene la capacità di distinguere i punti dati.
  • Gli autori forniscono un limite su $L$ dipendente dalla separazione dei punti dati: $L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$.
• Generalizzazione: Questi risultati valgono per dataset arbitrari sulla sfera senza assumere che i dati siano generati da una distribuzione di probabilità con una funzione di densità, allentando i vincoli presenti nella letteratura precedente (es. Xiao et al., 2020).

Risultati

• Evoluzione delle Caratteristiche: I risultati empirici su text8 mostrano che mentre le deviazioni dei singoli neuroni sono piccole (coerenti con il comportamento "pigro"), la deviazione aggregata dell'ultimo strato nascosto cresce con l'addestramento, confermando la previsione teorica di caratteristiche non statiche.
• Convergenza del Kernel: Gli esperimenti su dati sintetici e MNIST confermano che i valori del kernel convergono a $1/4$ con un tasso di $O(1/L)$.
• Stabilità: Applicando le leggi di scalatura derivate (Teorema 3), gli autori mostrano che la norma dell'operatore di proiezione nella soluzione in forma chiusa rimane limitata ($O(n)$) e il modello mantiene l'espressività anche per grandi profondità, a patto che la profondità non sia eccessivamente grande rispetto alla separazione dei dati.

Significato e Rivendicazioni

Il documento sostiene di fornire una comprensione teorica più sfumata della scalatura nelle reti neurali:

1. Sfumatura del "Regime Pigro": Argomenta che il descrittore "regime pigro" è incompleto. Sebbene i singoli neuroni siano statici, la dinamica collettiva dello strato permette l'apprendimento delle caratteristiche, riconciliando il successo della generalizzazione dell'NTK con il concetto di estrazione delle caratteristiche.
2. Viabilità dei Deep NTK: Contesta l'idea che gli NTK a profondità infinita siano vicoli ciechi teorici. Scalando correttamente profondità e tempo di arresto, l'NTK può produrre output ben comportati e non triviali per grandi dataset.
3. Allineamento Pratico: Le scoperte suggeriscono che la zona "Goldilocks" (di equilibrio) per l'analisi dell'NTK risiede nei regimi in cui la profondità è grande ma finita, e viene impiegato l'early stopping, rispecchiando le impostazioni sperimentali pratiche dove $L \ll n$.
4. Generalizzazione: Gli autori forniscono un insieme di proprietà chiave (dominanza diagonale, definitezza positiva a profondità sufficiente) che permettono di generalizzare questi risultati ad altri kernel e architetture, come le CNN, pur notando esplicitamente che la loro analisi non copre le fluttuazioni stocastiche presenti nei regimi in cui la profondità eccede vastamente l'ampiezza (Hanin e Nica, 2020).

Il documento conclude che l'NTK rimane uno strumento prezioso per analizzare le reti sovraparametrizzate, a condizione di andare oltre l'assunzione di caratteristiche statiche e di tempo/profondità di addestramento infinito senza scalatura.