Sintesi Tecnica: Augmented Lagrangian Predictive Coding (PC-ALM)

1. Definizione del Problema

Il deep learning moderno si basa sulla backpropagation (BP), un algoritmo globale che richiede la creazione simultanea di variabili di errore e un passaggio all'indietro (backward pass) precisamente orchestrato. Questo meccanismo è biologicamente implausibile, poiché i circuiti biologici non possono implementare tale sincronizzazione globale. Di conseguenza, la ricerca si è concentrata su alternative di apprendimento locale, specificamente il Predictive Coding (PC).

Nelle reti PC, l'apprendimento è inquadrato come la minimizzazione di una funzione di energia locale (la somma degli errori quadratici tra gli strati). Sebbene il PC offra un sistema dinamico locale per aggiornare attivazioni e pesi, esso soffre di un limite critico: nelle reti profonde o strette, i segnali di credito (gradienti) propagati attraverso la rete sono spesso disallineati rispetto ai veri gradienti della BP. Questo disallineamento porta a un significativo degrado delle prestazioni rispetto alla BP, in particolare nei regimi profondi e stretti. Inoltre, il PC standard si basa su una rilassazione della penalità quadratica dei vincoli di strato, il che significa che il suo stato di equilibrio non produce necessariamente gradienti BP esatti.

2. Metodologia: PC-ALM

Gli autori introducono il Augmented Lagrangian Predictive Coding (PC-ALM), un metodo che inquadra il PC nel contesto dell'Augmented Lagrangian (AL) e del Metodo dei Moltiplicatori (MM).

Formulazione Core

Invece di minimizzare l'energia standard del PC (una rilassazione della penalità quadratica), il PC-ALM ottimizza l'Augmented Lagrangian del problema di ottimizzazione vincolata originale:
$$\mathcal{L}_\rho(h, \theta, \lambda) = \frac{1}{2}\|y - W_L h_{L-1}\|^2 + \sum_{i=1}^{L-1} \lambda_i^\top (h_i - \sigma(W_i h_{i-1})) + \frac{\rho}{2} \sum_{i=1}^{L-1} \|h_i - \sigma(W_i h_{i-1})\|^2$$
Qui, $\lambda_i$ sono i moltiplicatori di Lagrange (variabili duali) associati ai vincoli di coerenza dello strato $h_i = \sigma(W_i h_{i-1})$.

Meccanica Algoritmica

PC-ALM opera con lo stesso budget di inferenza (numero di passi $T$) del PC a inferenza finita standard, ma introduce un ciclo di ascesa duale:

1. Passo Primale (Inferenza): Le attivazioni $h$ vengono aggiornate tramite discesa del gradiente su $\mathcal{L}_\rho$. Fondamentalmente, il gradiente allo strato $i$ include un termine derivante dalla variabile duale: $\nabla_{h_i} \mathcal{L}_\rho = (\rho r_i + \lambda_i) - W_{i+1}^\top \dots (\rho r_{i+1} + \lambda_{i+1})$, dove $r_i$ è l'errore di predizione. Questo sposta l'obiettivo di predizione di $-\lambda_i/\rho$.
2. Passo Duale: Immediatamente dopo l'aggiornamento primale, i moltiplicatori vengono aggiornati per accumulare la violazione del vincolo (residuo): $\lambda_i \leftarrow \lambda_i + \alpha r_i$.
3. Aggiornamento dei Pesi: Dopo $T$ passi, i pesi vengono aggiornati utilizzando il gradiente dell'augmented Lagrangian, che ora incorpora la storia integrata degli errori tramite $\lambda$.

Differenze Dinamiche Chiave

• Dinamiche Ricorrenti: A differenza delle dinamiche di flusso di calore diffusivo del PC, il PC-ALM introduce transitori oscillatori guidati dall'interazione primale-duale.
• Propagazione del Credito: La variabile duale $\lambda$ agisce come un "integratore ritardato" degli errori di predizione. Gli autori osservano che questo crea una propagazione del credito "balistica", dove i segnali viaggiano uniformemente e rapidamente attraverso le reti profonde, contrastando con la propagazione lenta e diffusiva del PC, dove i segnali decadono vicino all'output.

3. Contributi Chiave

1. Equivalenza Teorica in Regimi Lineari: Gli autori dimostrano che in reti PC lineari, PC-ALM converge a un equilibrio in cui le variabili duali $\lambda$ diventano esattamente gli aggiunti della backpropagation. Pertanto, gli aggiornamenti dei pesi all'equilibrio sono identici alla BP, distribuiti interamente tramite aggiornamenti locali dello strato.
2. Variante a Inferenza Finita: Riconoscendo che la convergenza esatta non è garantita nelle reti non lineari, gli autori sviluppano una variante a inferenza finita del Metodo dei Moltiplicatori che opera all'interno dello stesso budget computazionale del PC standard.
3. Chiusura del Gap PC-BP: Empiricamente, PC-ALM eguaglia le prestazioni della BP in tutti i regimi di larghezza-profondità (fino a profondità 128), inclusi i regimi profondi e stretti dove il PC standard fallisce significativamente.
4. Intuizioni Dinamiche: Il paper caratterizza le condizioni di stabilità per PC-ALM e identifica la natura "balistica" della propagazione del credito, mostrando come il segnale composito ($\lambda + \rho r$) si distribuisca uniformemente tra gli strati, a differenza del decadimento osservato nel PC.

4. Risultati Sperimentali

Gli autori hanno valutato PC-ALM su compiti di classificazione di immagini (Fashion-MNIST, MNIST) utilizzando MLP residui con diverse larghezze ($N$) e profondità ($L$) e funzioni di attivazione (Identità, Tanh, ReLU).

• Prestazioni: PC-ALM eguaglia l'accuratezza della BP in tutto l'intervallo di $N$ e $L$ quando il budget di inferenza è impostato su $T = 2L$. Al contrario, le prestazioni del PC standard degradano all'aumentare della profondità, specialmente nelle reti strette.
• Robustezza: PC-ALM rimane stabile e eguaglia le prestazioni della BP attraverso diversi regimi di parametrizzazione (da standard a mean-field e da lazy a rich), mentre il PC standard resta indietro nei regimi di parametrizzazione "rich".
• Allineamento del Credito: L'analisi della similarità del coseno tra i gradienti di PC-ALM e quelli della BP mostra che PC-ALM raggiunge un alto allineamento (es. >0.9) con significativamente meno passi di inferenza di quanti ne richiederebbe il PC standard per avvicinarsi alla BP.
• Punto di Inflessione: L'allineamento alla BP presenta un "snap" o punto di inflessione prevedibile a un passo di inferenza proporzionale a $L/\sqrt{\alpha}$, suggerendo un meccanismo per una rapida propagazione del credito.

5. Significato e Rivendicazioni

Il paper sostiene che PC-ALM offre una generalizzazione del Predictive Coding che colma il divario tra l'apprendimento locale biologicamente plausibile e l'ottimalità globale della backpropagation.

• Plausibilità Biologica: Mantenendo gli aggiornamenti locali dello strato ed evitando passaggi backward globali, PC-ALM rimane un candidato per l'apprendimento biologicamente plausibile, pur superando i limiti di prestazione delle precedenti formulazioni di PC.
• Meccanismo di Allineamento: Il lavoro suggerisce che l'accumulo degli errori di vincolo nelle variabili duali (moltiplicatori di Lagrange) è il meccanismo chiave per allineare le dinamiche locali con i gradienti globali. Ciò fornisce un quadro teorico su come sistemi distribuiti possano computare e propagare segnali di credito simili alla BP usando puramente dinamiche locali.
• Efficienza: PC-ALM è presentato come più efficiente in termini di inferenza rispetto all'allargamento delle reti PC per raggiungere l'allineamento con la BP; raggiunge un alto allineamento del gradiente a una larghezza fissa con un modesto costo computazionale aggiuntivo (aggiornamenti duali) rispetto al costo di memoria dell'allargamento.

Gli autori concludono che, sebbene PC-ALM non risolva le difficoltà di convergenza dell'ottimizzazione vincolata non lineare, fornisce un'alternativa pratica, stabile e ad alte prestazioni alla BP che conserva la natura locale del predictive coding.