Sintesi Tecnica: Diffusione della Colpa in Reti Dual-Stream Biologicamente Plausibili

Definizione del Problema

I circuiti neurali biologici aderiscono al principio di Dale, secondo cui ogni neurone è puramente eccitatorio o puramente inibitorio, rilasciando lo stesso neurotrasmettitore in tutte le sinapsi. Al contrario, le reti neurali artificiali (ANN) standard utilizzano pesi con segni arbitrari, una semplificazione che facilita l'assegnazione efficiente del credito tramite backpropagation ma manca di fedeltà biologica. Inoltre, la backpropagation richiede il "problema del trasporto dei pesi" (weight transport problem): il passaggio all'indietro deve utilizzare le trasposte esatte delle matrici di peso del passaggio in avanti, un meccanismo che non ha supporto biologico noto.

Sebbene esistano diverse alternative biologicamente plausibili (ad esempio, Feedback Alignment, Direct Feedback Alignment, Predictive Coding), la maggior parte fallisce nel far rispettare il principio di Dale, permettendo segni di peso arbitrari. L'Error Diffusion (ED), una regola di apprendimento locale in cui gli aggiornamenti dipendono dall'attività presinaptica, dalle derivate postsinaptiche e da un segno di errore globale, è naturalmente compatibile con il principio di Dale. Tuttavia, le implementazioni precedenti di ED erano limitate alla classificazione binaria o a compiti semplici come MNIST. La sfida centrale affrontata da questo lavoro è se un'architettura conforme a Dale possa ottenere prestazioni competitive sia nella classificazione supervisionata (inclusi compiti complessi come CIFAR-10) che nell'apprendimento per rinforzo (RL), e come i fattori dipendenti dal compito influenzino l'assegnazione del credito sotto tali vincoli.

Metodologia

Architettura Dual-Stream

Gli autori adottano un'architettura dual-stream per imporre strutturalmente il principio di Dale. Ogni strato è diviso in uno stream eccitatorio ($p$) e uno inibitorio ($n$).

• Forward Pass: Il pre-attivazione per ogni stream è calcolata utilizzando quattro matrici di peso non negative ($W_{pp}, W_{np}, W_{nn}, W_{pn}$). Le connessioni cross-stream ($W_{np}, W_{pn}$) sono strutturalmente inibitorie (sottratte), mentre tutti i parametri apprendibili rimangono non negativi.
• Overhead dei Parametri: Questo design richiede circa $4\times$ più parametri rispetto a una rete a singolo stream di equivalente ampiezza.

Regola di Aggiornamento Error Diffusion (ED)

Invece di propagare all'indietro gli errori, l'ED instrada un segnale di errore globale direttamente alle unità nascoste.

• Modulo Error Routing: Per estendere l'ED oltre la classificazione binaria, gli autori introducono il modulo error routing. A ogni unità nascosta $i$ viene assegnato un canale di uscita fisso $r(i) = i \mod C$ (dove $C$ è la dimensione dell'output). Il segnale di apprendimento per l'unità $i$ è la componente di errore corrispondente al canale assegnato.
• Meccanismo di Aggiornamento: Gli aggiornamenti dei pesi sono proporzionali al prodotto dell'attività presinaptica e della spinta postsinaptica instradata (errore modulato dalla derivata dell'attivazione). Ciò evita il trasporto dei pesi e le matrici di feedback casuali, facendo affidamento su una corrispondenza strutturata tra unità nascoste e dimensioni di output.

Innovazioni Specifiche del Dominio

Il documento introduce tre innovazioni specifiche per l'impostazione di classificazione (MNIST, CIFAR-10) per affrontare i modi di fallimento unici dell'apprendimento multi-classe sotto i vincoli di Dale:

1. Sigmoid Widths Layer-Specific: Per contrastare il problema del gradiente svanente inerente alla diffusione dell'errore con gate sigmoideo (che ha mostrato un decadimento di $25\times$ dallo strato di output al primo strato nascosto), gli autori utilizzano attivazioni sigmoidali più larghe ($\alpha_i$) negli strati più profondi.
2. Batch-Centered Class Error Signals: Per la classificazione a 10 vie, gli errori "one-vs-all" grezzi possono soffrire di forti offset per classe. Gli autori sottraggono la media del mini-batch per ogni classe per garantire segnali di errore a media nulla, prevenendo la soppressione o l'eccitazione uniforme dei canali di classe.
3. Asymmetric Initialization: I pesi eccitatori nascosti sono inizializzati con una scala di $1.5\times$ e i pesi inibitori con una scala di $0.5\times$ (un rapporto atteso di 3:1), mentre lo strato di output utilizza un'inizializzazione simmetrica per evitare la saturazione.

Estensione Reinforcement Learning (ED-PPO)

Per i compiti di RL, l'architettura dual-stream è integrata con l'Ottimizzazione della Politica Prossimale (PPO).

• Le reti della policy e del valore utilizzano la struttura MLP dual-stream.
• A differenza del setting di classificazione, l'estensione RL utilizza attivazioni ReLU e normalizzazione RMS, omettendo le innovazioni specifiche della classificazione (ampiezze sigmoidali, centraggio del batch).
• I segnali di errore vengono instradati alle unità nascoste in base ai canali di output (per la policy) o tramite broadcast (per la rete del valore scalare).

Contributi Chiave

1. Architettura Scalabile Conforme a Dale: Un'architettura ED dual-stream che mantiene pesi non negativi e raggiunge prestazioni competitive sia nella classificazione supervisionata (MNIST, CIFAR-10) che nel controllo continuo (Brax, Craftax).
2. Assegnazione del Credito Dipendente dal Compito: Uno studio di ablazione rivela che l'importanza relativa dei componenti architettonici si inverte tra i compiti. Su MNIST, le ampiezze sigmoidali per strato sono critiche; su CIFAR-10, i segnali di errore centrati sul batch sono il fattore dominante. Ciò espone come i colli di bottiglia dell'assegnazione del credito cambino qualitativamente con la difficoltà del compito.
3. Valutazione Cross-Domain: Dimostrazione che ED-PPO ottiene rendimenti comparabili alla PPO basata su backpropagation e al Direct Feedback Alignment (DFA) nei compiti di locomozione (Ant, Humanoid, HalfCheetah), pur superando DFA nel complesso compito di esplorazione open-ended Craftax.

Risultati

Prestazioni di Classificazione

• MNIST: L'ED proposto raggiunge il 96,7% di accuratezza, comparabile al baseline DFA (97,6%).
• CIFAR-10: L'ED proposto raggiunge il 61,7% di accuratezza. Sebbene sia inferiore al DFA (69,1%), rappresenta un miglioramento significativo rispetto all'ED "seed" (11,6%) e ai precedenti tentativi di ED puramente feedforward.
• Inversione dell'Ablazione: Rimuovere le ampiezze sigmoidali per strato su MNIST causa un crollo catastrofico al 25,3%, mentre rimuovere l'errore centrato sul batch ha un effetto trascurabile (-0,3%). Viceversa, su CIFAR-10, rimuovere l'errore centrato sul batch causa un calo massiccio al 13,8%, mentre rimuovere le ampiezze causa un calo minore (-15,1%) ma significativo.

Prestazioni di Reinforcement Learning

• Locomozione (Brax): ED-PPO performa in modo competitivo. Su HalfCheetah, supera significativamente la BP-PPO (5494 contro 3520) e eguaglia la DFA-PPO. Su Ant, eguaglia entrambe le varianti PPO. Su Humanoid, resta dietro alla BP-PPO ma rimane competitiva.
• Esplorazione Open-Ended (Craftax): ED-PPO raggiunge un punteggio di 20,9, superando significativamente la DFA-PPO (19,8) e avvicinandosi alla BP-PPO (27,0). Ciò suggerisce che l'instradamento strutturato di ED possa essere più robusto del feedback casuale (DFA) in ambienti complessi e open-ended.
• Varianza: ED-PPO mostra una varianza più alta rispetto a BP-PPO in alcuni ambienti, suggerendo che l'instradamento grossolano dell'errore introduca stochasticità.

Analisi Post-Hoc

• Attenuazione del Gradiente: È stato osservato un'attenuazione del gradiente di $25\times$ per i gradienti surrogati dallo strato di output al primo strato nascosto, motivando l'uso di ampiezze sigmoidali più larghe.
• E/I Balance Emergente: Nonostante un'inizializzazione asimmetrica 3:1, l'addestramento spinge gli strati nascosti verso un rapporto E/I quasi bilanciato ($\sim1:1$), con gli strati più profondi che diventano leggermente dominanti in modo inibitorio. Ciò riflette le osservazioni biologiche di meccanismi omeostatici.
• Sparsità Implicita: Il pavimento di peso non negativo induce una sostanziale sparsità, con fino al 68,8% delle connessioni inibitorie potate verso il pavimento, suggerendo un collo di bottiglia strutturale della capacità.

Significato e Rivendicazioni

Il documento sostiene che le regole di apprendimento biologicamente plausibili non devono essere monolitiche; un nucleo architettonico condiviso (dual-stream ED) può supportare diverse richieste di compito quando aumentato con appropriati componenti specifici del dominio.

• Plausibilità Biologica vs. Performance: Il lavoro dimostra che imporre il principio di Dale non preclude l'apprendimento su compiti complessi, sebbene comporti un costo in termini di performance (ad esempio, il gap di accuratezza su CIFAR-10 e la varianza in RL).
• Colli di Bottiglia Dipendenti dal Compito: L'inversione dell'importanza dell'ablazione tra MNIST e CIFAR-10 evidenzia come le valutazioni su singoli benchmark possano oscurare critici trade-off di progettazione. Ciò che stabilizza l'apprendimento su compiti semplici può essere insufficiente per compiti più complessi.
• Auto-organizzazione Emergente: L'osservazione che la rete si auto-organizza verso rapporti E/I bilanciati senza meccanismi omeostatici espliciti suggerisce che l'apprendimento guidato dal gradiente sotto i vincoli di Dale possa replicare l'auto-organizzazione biologica.
• Implicazioni Hardware: Il vincolo di pesi non negativi si allinea bene con i nascenti substrati neuromorfici (ad esempio, hardware fotonico o analogico) dove gli elementi fisici codificano naturalmente quantità non negative, con il segno determinato dall'identità della popolazione.

Gli autori concludono che, sebbene l'attuale gap di accuratezza rispetto alla backpropagation non vincolata rimanga, il framework dual-stream ED fornisce una via percorribile verso un apprendimento biologicamente fedele che scala oltre i semplici benchmark, offrendo nuove intuizioni su come funzioni l'assegnazione del credito sotto vincoli biologici.