Sintesi Tecnica: Inferenza Bayesiana con MLP Profondi Non Lineari e Formati (Shaped)

Definizione del Problema

La teoria del deep learning mira a caratterizzare come le reti neurali effettuano le predizioni quando i parametri del modello (larghezza $N$, profondità $L$) e la dimensione del dataset ($P$) sono simultaneamente grandi. Una sfida fondamentale sorge poiché i limiti $N, L, P \to \infty$ non necessariamente commutano. Gli esistenti framework si basano spesso sul limite di larghezza infinita a profondità fissa (producendo Neural Tangent Kernels o Processi Gaussiani di Reti Neurali) o su specifici regimi di reti lineari. Tuttavia, questi approcci spesso non riescono a catturare il ruolo della profondità nelle reti non lineari o l'interazione tra l'apprendimento delle caratteristiche (feature learning) e i metodi kernel nei regimi di scaling proporzionale dove $L \propto N$ e $P \propto N$.

Il problema specifico affrontato è la caratterizzazione rigorosa dell'inferenza bayesiana in Multi-Layer Perceptrons (MLP) profondi e non lineari sotto un limite di scaling congiunto in cui il numero di campioni di addestramento ($P$), la dimensione dell'input ($N_0$), la larghezza dello strato nascosto ($N$) e il numero di strati nascosti ($L$) divergono tutti. Gli autori cercano di determinare:

1. Come si comporta il posteriore predittivo in questo regime.
2. Sotto quali condizioni la profondità fornisce un beneficio (aumenta l'evidenza del modello bayesiano).
3. Se e come le reti non lineari possano essere approssimate da metodi kernel dipendenti dai dati.

Metodologia

1. Funzioni di Attivazione Formate (Shaped Activation Functions)

Per garantire un comportamento non degenere al crescere di $L, N \to \infty$, gli autori impiegano funzioni di attivazione formate $\phi_s$. Per una funzione di base $\phi_{base}$, l'attivazione è scalata come $\phi_s(x) = s \phi_{base}(x/s)$. Questo meccanismo assicura che l'effetto cumulativo delle non linearità attraverso molti strati rimanga controllabile e confrontabile con gli effetti lineari. Il fattore di forma $s$ è scelto in modo che il rapporto $t = L/N$ controlli univocamente la distribuzione di inizializzazione.

2. Neural Covariance SDE (NSDE)

Lo strumento tecnico centrale è la Neural Covariance Stochastic Differential Equation (NSDE). Gli autori analizzano l'evoluzione del kernel coniugato (matrice di Gram delle feature nascoste) $\Phi^{(\ell)}$ attraverso gli strati.

• Nel limite $N, L \to \infty$ con $L/N \to t$, l'evoluzione discreta del kernel converge a un processo di diffusione $\Phi_t$.
• Il processo è governato da:
  $$d\Phi_t = \alpha_{act} \cdot b(\Phi_t) dt + \Phi_t^{1/2} dB_t \Phi_t^{1/2}$$
  dove $b(\Phi_t)$ è un termine di drift dipendente dalla non linearità di base, e $B_t$ è una matrice di moto browniano.
• Per gestire un $P$ grande, viene introdotto un cambio di tempo $\tau = P t$, definendo un "tempo-profondità" $\tau^* = LP/N$. La dinamica è riscalata per bilanciare i termini di diffusione e di drift.

3. Partizione Bayesiana tramite SDE

Gli autori riformulano la funzione di partizione bayesiana $Z_\beta(x_0, \kappa)$ (che codifica il posteriore predittivo) come un'aspettativa sulla distribuzione del prior del kernel coniugato.

• Utilizzando un'identità integrale gaussiana, la funzione di partizione è espressa come:
  $$Z_\beta(x_0, \kappa) \propto \int_{\mathbb{R}^P} \exp\left(-\frac{1}{2\beta}\|p\|^2 + ip^\top Y\right) \mathbb{E}_{prior}\left[\exp\left(-\frac{1}{2}v^\top \Phi v\right)\right] dp$$
  dove $v = [p^\top, \kappa]^\top$ e $\Phi$ è il kernel coniugato all'ultimo strato utile (penultimate layer).
• Tramite il Teorema 1, nel limite congiunto, l'aspettativa sul prior dell'MLP converge all'aspettativa sulla soluzione della NSDE. Ciò riduce il problema dell'inferenza bayesiana nei deep MLP alla risoluzione della SDE per $\Phi_\tau$ e al calcolo della risultante aspettativa.

4. Analisi Perturbativa

Poiché risolvere la SDE per un arbitrario $\tau^*$ è intrattabile, gli autori eseguono un'espansione perturbativa per piccola profondità effettiva $\tau = LP/N$. Calcolano la derivata del primo ordine della log-partizione rispetto a $\tau$ al valore $\tau=0$. Ciò consente di separare i contributi della componente di rete lineare (solo diffusione) e della componente di kernel non lineare (solo drift).

Contributi Chiave e Risultati

1. Framework Unificante Rigoroso

Il paper fornisce il primo framework matematicamente rigoroso per analizzare l'inferenza bayesiana in deep MLP non lineari sotto il limite proporzionale $LP/N \in \Theta(1)$. Esso colma il divario tra i metodi kernel a larghezza infinita e le reti lineari profonde, coprendo sia funzioni di attivazione smooth che ReLU a qualsiasi temperatura ($\beta$).

2. Recupero e Generalizzazione di Risultati Esistenti

• Reti Lineari Profonde: Il framework recupera esattamente i risultati per le reti lineari profonde (dove la funzione di partizione coinvolge integrali Meijer-G) come un caso speciale in cui il termine di drift svanisce.
• Limite di Larghezza Infinita: Recupera il risultato secondo cui, nel limite $N \gg LP$, l'inferenza bayesiana si riduce a un metodo kernel agnostico rispetto ai dati con una mappa di feature deterministica derivata dalla Neural ODE.
• Reti Debolmente Non Lineari: I risultati generalizzano i risultati perturbativi della letteratura fisica (es. [HZ24]) riguardanti le reti debolmente non lineari, ma con pieno rigore matematico e senza fare affidamento su semplificazioni non dimostrate.

3. Espansione Perturbativa dell'Evidenza Bayesiana

Gli autori derivano un semplice criterio per determinare quando l'aumento della profondità (aumento di $\tau = LP/N$) migliora l'evidenza del modello bayesiano (verosimiglianza marginale).

• Takeaway 2.1: Il cambiamento del primo ordine nella log-evidenza è la somma di un termine di rete lineare e un termine di kernel non lineare.
• Takeaway 3.1 & 3.2: Per specifiche distribuzioni di dati (input normalizzati, approssimativamente ortogonali), gli autori derivano disuguaglianze esplicite che determinano quando la profondità è benefica.
  • Per attivazioni smooth, la profondità è benefica se le statistiche dei dati e le derivate delle attivazioni soddisfano una specifica disuguaglianza che coinvolge il rapporto segnale-rumore e la curvatura della funzione di attivazione.
  • Per le attivazioni ReLU, la profondità è benefica se e solo se la varianza delle etichette supera una soglia correlata all'asimmetria della ReLU ($c_+ - c_-$).
• Transizione di Fase: I risultati suggeriscono una transizione di fase in cui la profondità è benefica solo se la non linearità non è "troppo forte" rispetto alla struttura dei dati.

4. Equivalenza con Metodi Kernel Dipendenti dai Dati

• Takeaway 2.2: Al primo ordine in $\tau$, il posteriore predittivo bayesiano per i dati di test è equivalente a un metodo kernel, ma con una mappa di feature dipendente dai dati.
• A differenza del limite di larghezza infinita dove la mappa di feature è fissa, la mappa di feature effettiva qui include un termine di correzione proporzionale alle etichette dei dati di addestramento e alla componente ortogonale dell'input di test. Ciò fornisce una giustificazione teorica per il "feature learning" in senso bayesiano: la rete impara una mappa di feature che è leggermente adattata al set di addestramento, distinta dalla prior feature map.

Significato e Rivendicazioni

Gli autori affermano che il loro lavoro offre un'alternativa matematicamente rigorosa alle derivazioni ispirate alla fisica che spesso si basano su assunzioni euristiche. Utilizzando la NSDE e le espansioni perturbative, essi:

1. Chiariscono il ruolo della profondità: Dimostrano che la profondità non è universalmente benefica; la sua utilità dipende dall'interazione tra il processo generatore dei dati, la funzione di attivazione e la temperatura.
2. Unificano Kernel e Feature Learning: Mostrano che anche nel regime profondo e non lineare, il posteriore predittivo può essere visto come un metodo kernel, ma con una mappa di feature che viene dinamicamente aggiustata dai dati di addestramento (al primo ordine).
3. Forniscono Strumenti Analitici: Il framework permette il calcolo di statistiche bayesiane (evidenza, media del posteriore, varianza) in regimi precedentemente considerati intrattabili, specificamente per reti non lineari con larghezza e profondità finite ma grandi.

Il paper dichiara esplicitamente di non pretendere di risolvere il caso generale per un $\tau$ arbitrario o di fornire validazione sperimentale su dataset reali. Invece, stabilisce una base teorica per comprendere i meccanismi dell'inferenza bayesiana nelle reti profonde attraverso la lente delle equazioni differenziali stocastiche e dei limiti di scaling proporzionale.