🤖 machine learning

On the Infinite Width and Depth Limits of Predictive Coding Networks

Questo articolo investiga i limiti di ampiezza e profondità infinita delle Reti di Codifica Predittiva, derivando parametrizzazioni stabili che prevengono esplosioni dell'addestramento e dimostrando che i gradienti della Codifica Predittiva convergono ai gradienti della Backpropagation nelle reti larghe, offrendo così un meccanismo di apprendimento locale biologicamente plausibile per architetture profonde.

Autori originali: Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un team di robot giganti e multistrato come risolvere un puzzle. Nel mondo dell'intelligenza artificiale, il modo standard per farlo è chiamato "backpropagation" (retropropagazione). È come un manager severo che si trova proprio alla fine della catena di montaggio, osserva l'errore finale e poi corre all'indietro fino all'inizio, urlando istruzioni specifiche a ogni singolo robot su come ha sbagliato esattamente. Funziona incredibilmente bene per i computer, ma è un metodo che differisce da come opera la natura. I cervelli reali non hanno un manager centrale che urla istruzioni a ritroso nel tempo; invece, ogni neurone conosce solo ciò che fanno i suoi vicini immediati.

Entra in gioco il "Predictive Coding" (codifica predittiva), una teoria che suggerisce che i cervelli imparino più come un gruppo di amici che cercano di indovinare il tempo. Ogni persona (neurone) fa una previsione basata su ciò che dicono i suoi vicini, avverte un piccolo "errore" se la sua ipotesi è errata e regola la propria attività per adattarsi meglio. Una volta che tutti smettono di discutere e raggiungono un accordo calmo (equilibrio), tutti modificano leggermente le proprie connessioni per fare meglio la prossima volta. Questo metodo è biologicamente realistico perché ognuno parla solo con i propri vicini, ma per molto tempo gli scienziati non erano sicuri se potesse gestire le reti massicce e profonde necessarie per l'IA moderna. Questo metodo locale e comunicativo potrebbe effettivamente scalare fino alle dimensioni di un supercomputer, o finirebbe per crollare?

Questo articolo approfondisce proprio questa domanda, esaminando cosa accade quando si rendono queste reti infinitamente larghe (aggiungendo tonnellate di neuroni fianco a fianco) e infinitamente profonde (aggiungendo tonnellate di strati l'uno sopra l'altro). I ricercatori, Francesco Innocenti, El Mehdi Achour e Rafal Bogacz, volevano sapere: possiamo regolare le "manopole" di queste reti di codifica predittiva affinché rimangano stabili e imparino efficacemente, proprio come le reti standard di backpropagation che usiamo oggi?

La loro indagine rivela una svolta sorprendente. Hanno scoperto che, affinché la codifica predittiva funzioni su una scala massiccia, deve utilizzare esattamente le stesse impostazioni e regole di scala del metodo standard di backpropagation. Se si provano a usare le "impostazioni standard" che la maggior parte delle persone usa in software come PyTorch, l'output della rete di codifica predittiva esploderà nel caos man mano che diventa più larga, proprio come un microfono lasciato troppo vicino a una cassa. Tuttavia, se si passa a un insieme specifico e matematicamente preciso di regole (conosciute come parametrizzazioni "mean-field" o "maximal update"), la rete si stabilizza.

Sotto queste condizioni stabili, l'articolo mostra che, man mano che la rete diventa incredibilmente larga, il modo in cui la codifica predittiva impara diventa quasi indistinguibile dalla backpropagation. Infatti, per reti che sono molto più larghe che profonde (pensa a un pancake largo e basso piuttosto che a una torre alta e sottile), gli aggiornamenti "locali" della codifica predittiva si allineano perfettamente con quelli "globali" della backpropagation. Gli autori lo hanno dimostrato matematicamente per reti lineari semplici e lo hanno confermato con esperimenti su modelli non lineari complessi come le Reti Neurali Convoluzionali (CNN) e i Transformer.

Lo studio esclude anche alcune possibilità entusiasmanti. Suggerisce che la velocità di apprendimento "rapida" che alcuni ricercatori hanno osservato in reti più profonde che larghe usando vecchie impostazioni era in realtà un'illusione causata dall'instabilità; quelle impostazioni si rompono man mano che la rete cresce. Inoltre, sebbene l'articolo suggerisca che il cervello possa usare una regola di apprendimento locale simile alla codifica predittiva per raggiungere la potenza della backpropagation, nota che questo funziona efficientemente solo se il cervello è "molto più largo che profondo" — un'ipotesi che si allinea con l'attuale comprensione biologica della corteccia.

In definitiva, questo lavoro non dice solo che "la codifica predittiva funziona"; traccia un confine rigoroso attorno a come può funzionare. Ci dice che, per scalare questo metodo biologicamente plausibile alle dimensioni della moderna IA, non possiamo semplicemente modificarlo casualmente; dobbiamo adottare la stessa rigorosa scalabilità matematica che rende possibile l'IA standard. Questo è un passo avanti cruciale, che suggerisce che il cervello potrebbe effettivamente utilizzare una danza locale di minimizzazione dell'energia per risolvere gli stessi problemi complessi che i nostri computer, addestrati con la backpropagation globale, risolvono oggi.

Sintesi Tecnica: Sui Limiti di Ampiezza e Profondità Infinita delle Reti di Codifica Predittiva

Definizione del Problema

La Codifica Predittiva (PC) è un'alternativa biologicamente plausibile alla standard backpropagation (BP), dove i neuroni minimizzano gli errori di predizione locali (una funzione di energia) prima di aggiornare i pesi. Sebbene recenti riparametrizzazioni abbiano migliorato la stabilità dell'addestramento delle reti PC profonde (PCN), la base teorica per scalare questi metodi a larghezze e profondità elevate rimane incerta. Nello specifico, non è noto se la PC possa essere scalata per eguagliare la stabilità e le capacità di apprendimento delle caratteristiche della BP nei limiti di ampiezza infinita e profondità infinita, o se le PCN standard soffrano di instabilità (ad esempio, output esplosivi) all'aumentare delle dimensioni del modello. Inoltre, le condizioni in cui i gradienti della PC convergono ai gradienti della BP in questi limiti richiedono una caratterizzazione rigorosa.

Metodologia

Gli autori conducono un'analisi teorica ed empirica delle PCN nei limiti congiunti di ampiezza infinita ( $N \to \infty$ ) e profondità infinita ( $L \to \infty$ ).

Framework Teorico:
- Parametrizzazione Generale: Lo studio adotta uno schema di parametrizzazione "abcd" generale per i Perceptron Multistrato (MLP) lineari e le Reti Residue, definendo esponenti di scala per le preattivazioni ( $a_\ell$ ), la varianza dell'inizializzazione dei pesi ( $b_\ell$ ), il tasso di apprendimento ( $c$ ) e l'output della rete ( $d$ ).
- Energia Equilibrata: Per le reti lineari, gli autori utilizzano l' "energia equilibrata" ( $F^*$ ), ovvero l'energia PC minimizzata rispetto alle attività. Dimostrano che per le reti lineari, $F^*$ è una versione riscalata dell'errore quadratico medio (MSE) standard: $F^*(\theta) = L(\theta) / s(\theta)$ , dove $s(\theta)$ è un fattore di riscalamento dipendente dai pesi.
- Desiderata: L'analisi cerca parametrizzazioni che soddisfino tre criteri principali (adattati dalla letteratura BP):
  1. Stabilità: Le preattivazioni degli strati e le predizioni della rete devono rimanere limitate (né svanire né esplodere) quando $N \to \infty$ .
  2. Apprendimento delle Caratteristiche: Le caratteristiche devono evolvere in modo non banale (non-lazy learning) durante l'addestramento.
  3. Stabilità della Profondità (per le ResNet): Le attivazioni nascoste devono rimanere stabili quando $L \to \infty$ , e ogni blocco residuo deve contribuire con $\Theta(1/L)$ all'evoluzione delle caratteristiche.
Deduzione:
- Gli autori derivano gli esponenti di scala specifici richiesti per soddisfare i suddetti desiderata per le PCN.
- Analizzano il comportamento asintotico del fattore di riscalamento $s(\theta)$ e dei gradienti dell'energia equilibrata.
- Dimostrano che, sotto queste parametrizzazioni stabili, i gradienti della PC convergono ai gradienti della BP man mano che la larghezza cresce, con il termine di errore che dipende dal rapporto profondità-larghezza ( $L/N$ ).
Validazione Empirica:
- Sono stati condotti esperimenti su architetture lineari e non lineari, inclusi MLP, Reti Neurali Convoluzionali (CNN) e Transformer.
- I modelli sono stati addestrati su dataset che spaziano da compiti di base a CIFAR-10, Fashion-MNIST e ImageNet-1k.
- Lo studio ha misurato la similarità del coseno tra i gradienti PC (calcolati all'equilibrio di attività) e i gradienti BP attraverso diverse larghezze e profondità.

Contributi Chiave

Equivalenza delle Parametrizzazioni Stabili:
Il paper dimostra che l'insieme di parametrizzazioni che garantisce sia la stabilità che l'apprendimento non banale delle caratteristiche per le PCN è identico a quello della BP. Nello specifico, per gli MLP lineari e le Reti Residue, la parametrizzazione "Mean-Field" o "Maximal Update" ( $\mu$ P) è l'unica soluzione che soddisfa i desiderata di stabilità e apprendimento delle caratteristiche per la PC. Ciò implica che le PCN standard (che utilizzano parametrizzazioni standard come i default di PyTorch) sono intrinsecamente instabili ad ampiezze elevate, causando l'esplosione degli output.
Convergenza alla Backpropagation:
Gli autori dimostrano che, sotto queste parametrizzazioni stabili, i gradienti calcolati dalla PC convergono ai gradienti della BP quando la larghezza della rete diventa molto più grande della sua profondità ( $L/N \to 0$ ).
- Per gli MLP lineari a profondità fissa, l'errore relativo tra i gradienti PC e BP scala come $O(N^{-1})$ .
- Per le Reti Residue lineari nel limite congiunto, l'errore relativo scala come $O(L/N)$ .
- Questa convergenza si applica sia alle funzioni obiettivo che ai gradienti, implicando che, nel limite di ampia larghezza, la PC implementa efficacementmente la BP.
Instabilità del Regime "Fast Saddle-to-Saddle":
Il paper identifica che un regime precedentemente osservato in cui la PC mostra una dinamica "saddle-to-saddle" più veloce della BP (in reti profonde e strette) si basa sulla Parametrizzazione Standard (SP). Gli autori mostrano che questo regime è instabile rispetto sia alla larghezza che alla profondità, violando i desiderata di stabilità. Pertoc, l'accelerazione avviene a scapito della stabilità numerica nei modelli su larga scala.
Generalizzazione Empirica:
Nonostante l'analisi teorica sia derivata per reti lineari, gli esperimenti mostrano che l'alto allineamento dei gradienti tra PC e BP persiste in architetture non lineari (CNN, Transformer) addestrate con diversi ottimizzatori (Adam) e funzioni di perdita, a condizione che le reti siano molto più larghe che profonde e che venga raggiunto l'equilibrio di attività.

Risultati

Teorici: La derivazione conferma che l'esponente di scala dell'output $d=1/2$ è critico per l'apprendimento non-lazy delle caratteristiche nella PC, esattamente come nella BP. Il fattore di riscalamento $s(\theta)$ si avvicina a 1 quando $N \to \infty$ (per gli MLP) o quando $L/N \to 0$ (per le ResNet), causando la convergenza dell'obiettivo PC verso la perdita MSE.
Sperimentali:
- Allineamento dei Gradienti: La similarità del coseno tra i gradienti PC e BP si avvicina a 1.0 all'aumentare della larghezza, particolarmente per ResNet e Transformer dove $L/N$ è piccolo.
- Modelli Non Lineari: È stato osservato un alto allineamento in MLP residui a 32 strati, CNN a 10 strati e Transformer a 12 blocchi.
- Fallimento della Parametrizzazione Standard: I modelli che utilizzano le parametrizzazioni standard (SP) hanno mostrato output esplosivi e un scarso allineamento dei gradienti all'aumentare della larghezza, confermando l'instabilità teorica.

Significato e Rivendicazioni

Il paper sostiene di fornire i primi vincoli fondati sulle parametrizzazioni scalabili con la PC. Il suo significato primario risiede in due aree:

Vincolare la Scalabilità: Stabilisce che, affinché la PC sia scalabile a modelli di grandi dimensioni, deve adottare le stesse regole di parametrizzazione della BP (specificamente $\mu$ P). Ciò suggerisce che le riparametrizzazioni "euristiche" utilizzate nelle recenti ricerche sulle PC profonde devono allinearsi a questi limiti teorici per essere valide.
Plausibilità Biologica della BP: I risultati suggeriscono un meccanismo attraverso il quale il cervello (un network che è decisamente molto più largo che profondo) potrebbe implementare l'assegnazione globale del credito della backpropagation utilizzando solo regole di apprendimento locali. Se il cervello opera in un regime in cui $L/N \to 0$ , la PC potrebbe teoricamente convergere alla BP, permettendo un apprendimento efficiente senza la necessità di propagazione di informazioni non locali.

Gli autori rimangono modesti riguardo ai limiti, notando che le prove teoriche si basano su reti lineari e sulla convergenza esatta dell'attività. Riconoscono che il costo computazionale per raggiungere l'equilibrio di attività nelle reti non lineari rimane un collo di bottiglia pratico, sebbene suggeriscano che implementazioni su hardware analogico potrebbero eventualmente affrontare questo problema. Non pretendono che la PC sia superiore alla BP in tutti i regimi, ma piuttosto che, nel limite scalabile e ampio, i due algoritmi diventano matematicamente equivalenti sotto la corretta parametrizzazione.