Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

1. Il Problema

L'algoritmo di backpropagation (BP) ha rivoluzionato l'addestramento delle reti neurali artificiali su larga scala, ma la sua plausibilità biologica è fortemente criticata. I principali ostacoli sono:

• Problema del Trasporto dei Pesi (Weight Symmetry): Il BP richiede che i pesi sinaptici nel percorso di retropropagazione dell'errore siano la trasposta esatta di quelli usati nel percorso di inferenza in avanti. In sistemi biologici, dove i percorsi feedforward e feedback sono fisicamente distinti, questa simmetria è considerata altamente improbabile.
• Semplicità dei Neuroni Artificiali: I modelli standard non tengono conto della complessità dei neuroni biologici, come la struttura a compartimenti multipli (soma, dendriti basali e apicali) e l'elaborazione dendritica.
• Mancanza di Meccanismi Normativi: Spesso le proposte biologicamente plausibili mancano di un principio normativo chiaro che spieghi come la rete dovrebbe apprendere per massimizzare l'efficienza informativa.

2. Metodologia: Correlative Information Maximization (CorInfoMax)

Gli autori propongono un nuovo quadro normativo basato sulla massimizzazione dell'informazione correlativa (CorInfoMax) tra gli strati consecutivi di una rete neurale.

Principi Fondamentali

• Ottimizzazione dell'Obiettivo: L'obiettivo è massimizzare l'informazione mutua correlativa (CMI) tra le attivazioni di due strati adiacenti, $r^{(k)}$ e $r^{(k+1)}$. La CMI è definita come la differenza tra l'entropia correlativa di uno strato e l'entropia correlativa dell'errore di predizione lineare regolarizzato.
• Dualità delle Espressioni: La chiave innovativa è l'uso di due forme alternative ed equivalenti della CMI:
  1. Una forma basata sulla predizione in avanti (da $r^{(k)}$ a $r^{(k+1)}$).
  2. Una forma basata sulla predizione all'indietro (da $r^{(k+1)}$ a $r^{(k)}$).
• Codifica Predittiva Bidirezionale: La massimizzazione congiunta di queste due forme porta naturalmente alla formazione di due percorsi distinti:
  • Un percorso feedforward che minimizza l'errore di predizione verso l'alto.
  • Un percorso feedback (top-down) che minimizza l'errore di predizione verso il basso.
• Asimmetria dei Pesi: Poiché le due forme di CMI sono ottimizzate indipendentemente per i percorsi in avanti e indietro, i pesi sinaptici risultanti ($W_{ff}$ e $W_{fb}$) non sono vincolati a essere simmetrici (trasposti l'uno dell'altro). Questo risolve il problema del trasporto dei pesi.

Modello Neurale Biologicamente Plausibile

L'ottimizzazione tramite discesa del gradiente (coordinate descent) su questo obiettivo genera dinamicamente una rete strutturata su neuroni piramidali a tre compartimenti:

• Soma ($u^{(k)}$): Rappresenta il potenziale di membrana del corpo cellulare.
• Dendriti Basali ($v^{(k)}_B$): Ricevono input feedforward dallo strato precedente.
• Dendriti Apicali Distali ($v^{(k)}_A$): Ricevono input top-down dallo strato successivo e segnali laterali.
• Interneuroni: Vengono introdotti neuroni inibitori (es. interneuroni SST) per generare connessioni laterali e autapsi (sinapsi su se stessi), necessarie per massimizzare l'entropia dello strato e promuovere rappresentazioni sparse.

L'aggiornamento dei pesi segue una dinamica di Equilibrium Propagation (EP):

1. Fase Libera: La rete evolve con $\beta=0$ (nessun segnale di insegnamento esterno).
2. Fase di "Nudge" (Spinta): Viene applicato un piccolo segnale di insegnamento ($\beta > 0$) per perturbare l'equilibrio.
3. Aggiornamento: I pesi vengono aggiornati basandosi sulla differenza tra le attività neuronali nelle due fasi, utilizzando regole di apprendimento locali (Hebbiane e anti-Hebbiane).

3. Contributi Chiave

1. Risoluzione del Problema della Simmetria dei Pesi: Fornisce una soluzione normativa e naturale al problema del trasporto dei pesi, dimostrando che la massimizzazione dell'informazione correlativa porta intrinsecamente a connessioni feedforward e feedback asimmetriche.
2. Derivazione Normativa di Neuroni a Compartimenti Multipli: Mostra come la struttura complessa dei neuroni piramidali (con dendriti basali e apicali) e le connessioni laterali emergano naturalmente dall'ottimizzazione di un obiettivo informativo, senza essere imposte a priori.
3. Apprendimento Supervisionato Biologicamente Plausibile: Offre un framework completo per l'apprendimento supervisionato che non richiede la retropropagazione globale degli errori, ma utilizza solo segnali locali e dinamiche di equilibrio.
4. Compressione e Sparsità: L'introduzione di vincoli poliedrici (es. ipercubo non negativo o palla $\ell_1$) sulle attivazioni, combinata con l'inibizione laterale, favorisce rappresentazioni sparse e disaccoppiate, migliorando l'efficienza dell'informazione.

4. Risultati Sperimentali

Gli autori hanno valutato il framework su tre dataset di classificazione di immagini: MNIST, Fashion-MNIST e CIFAR10.

• Prestazioni: Le reti CorInfoMax hanno ottenuto prestazioni comparabili o superiori rispetto ad altri metodi biologicamente plausibili come Equilibrium Propagation (EP), Contrastive Similarity Matching (CSM) e Predictive Coding (PC).
  • Su MNIST: ~97.6% - 97.7% di accuratezza.
  • Su Fashion-MNIST: ~88.1% - 88.7%.
  • Su CIFAR10: ~51.8% (confrontato con ~49.3% di EP e ~52.7% di Backpropagation standard).
• Asimmetria dei Pesi: Le misurazioni dell'angolo tra i pesi feedforward e la trasposta dei pesi feedback hanno confermato che i pesi rimangono asimmetrici (l'angolo si stabilizza ben lontano da 0 gradi, spesso intorno a 70-80 gradi), validando la risoluzione del problema del trasporto dei pesi.
• Robustezza: I risultati sono stati ottenuti con diverse configurazioni di vincoli sulle attivazioni (non-negatività pura o vincoli di sparsità $\ell_1$) e architetture a due o tre strati nascosti.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso la comprensione di come il cervello possa eseguire l'apprendimento supervisionato profondo.

• Ponte tra Neuroscienza e IA: Dimostra che principi informativi fondamentali (massimizzazione dell'informazione correlativa) possono spiegare sia la struttura anatomica dei neuroni corticali (compartimenti multipli) sia i meccanismi di apprendimento (regole locali, asimmetria dei pesi).
• Alternativa al Backpropagation: Offre una valida alternativa al backpropagation che non soffre delle critiche biologiche principali, rendendo possibile l'implementazione su hardware neuromorfico futuro, dove il trasporto di pesi simmetrici è fisicamente difficile da realizzare.
• Flessibilità: Il framework è estendibile anche a contesti di apprendimento non supervisionato e self-supervised, suggerendo un principio unificante per l'elaborazione delle informazioni nel cervello.

In sintesi, il paper propone che la massimizzazione dell'informazione correlativa tra strati non solo risolve il problema teorico della simmetria dei pesi, ma genera anche un'architettura neurale che rispecchia fedelmente la complessità biologica osservata nei neuroni piramidali corticali.