A Synthesizable RTL Implementation of Predictive Coding Networks

1. Il Problema: I Limiti della Backpropagation nell'Hardware

Il documento identifica le sfide fondamentali nell'implementazione hardware dei moderni sistemi di apprendimento profondo basati sulla backpropagation. Sebbene efficace nel software, la backpropagation presenta ostacoli critici per l'hardware distribuito e online:

• Propagazione globale degli errori: Richiede la trasmissione di informazioni di errore attraverso l'intera rete, creando dipendenze non locali.
• Fasi separate: L'addestramento è diviso in fasi distinte (forward, backward, aggiornamento), che richiedono sincronizzazione rigorosa e memorizzazione di attivazioni intermedie.
• Dipendenza dalla memoria centrale: Il movimento massiccio di dati tra memoria e interconnessioni limita l'efficienza energetica e la scalabilità.
• Plausibilità biologica: Il meccanismo di backpropagation è considerato biologicamente implausibile a causa della sua natura globale e della necessità di grafi computazionali differenziabili, in contrasto con i segnali stocastici e discontinui dei sistemi biologici.

L'obiettivo è trovare un'alternativa che permetta l'apprendimento online e distribuito, dove ogni unità neurale aggiorna il proprio stato e le proprie sinapsi utilizzando solo informazioni locali.

2. Metodologia: Predizione e Codifica (Predictive Coding) in Hardware

La proposta si basa sulla Predizione e Codifica (Predictive Coding - PC), un quadro teorico in cui l'inferenza e l'apprendimento emergono dalla minimizzazione degli errori di previsione tra livelli adiacenti di una gerarchia.

Architettura Proposta

L'autore presenta un'architettura digitale RTL (Register Transfer Level) sintetizzabile che implementa direttamente le equazioni di aggiornamento del PC a livello di singolo neurone.

• Nucleo Neurale (Neural Core): Ogni core corrisponde a una singola unità scalare. Non esiste memoria condivisa per i parametri; ogni core mantiene i propri pesi sinaptici, il proprio stato di attività e l'errore di previsione.
• Comunicazione Locale: I core comunicano esclusivamente con i livelli adiacenti (sopra e sotto) tramite connessioni cablate (hardwired). Non sono necessari controllori globali di fase di apprendimento.
• Dinamica Discreta: L'implementazione utilizza un aggiornamento a "tick" (tempo discreto) basato su un ciclo di stato finito (FSM) deterministico.
• Unità di Calcolo: Ogni core utilizza un'unica unità MAC (Multiply-Accumulate) sequenziale che riutilizza la stessa risorsa per iterare sugli indici presinaptici, riducendo l'area a scapito di una latenza per tick che scala linearmente con il fan-in.
• Aritmetica: Tutti i calcoli sono eseguiti in precisione singola IEEE-754 (formato HardFloat recFN).

Meccanismo di Aggiornamento

In ogni "tick", il nucleo neurale esegue una sequenza fissa di stati FSM:

1. PRED: Calcola la previsione top-down ($\mu$) basata sugli stati del livello superiore.
2. ERR: Calcola l'errore di previsione ($\varepsilon$) come differenza tra lo stato osservato/clampato e la previsione.
3. BACKSUM: Accumula i prodotti di errore dal livello inferiore.
4. BACKVEC: Genera i prodotti necessari per il livello superiore.
5. WUP: Aggiorna i pesi sinaptici ($\Delta \Theta$) usando una regola Hebbiana locale basata sull'errore postsinaptico e l'attività presinaptica.
6. STATE: Aggiorna lo stato del neurone ($\Delta x$) usando la discesa del gradiente sull'errore di previsione.

Apprendimento Supervisionato e Inferenza

Il sistema utilizza un'interfaccia di clamping uniforme per neurone.

• Durante l'inferenza o l'apprendimento supervisionato, gli strati di input e output possono essere "clamped" (bloccati) a valori osservati esterni.
• Questo vincolo di boundary condition guida l'intera rete senza modificare lo schedule interno dell'hardware. La distinzione tra inferenza e apprendimento è gestita semplicemente impostando a zero il tasso di apprendimento ($\alpha$) o il passo di attività ($\gamma$), senza cambiare la logica interna del FSM.

3. Contributi Chiave

1. Architettura Componibile: Un'architettura di nucleo neurale che implementa l'aggiornamento di codifica predittiva a tempo discreto utilizzando un datapath MAC sequenziale.
2. Interfaccia di Clamping Unificata: Un'interfaccia che supporta sia l'addestramento supervisionato che l'inferenza attraverso condizioni al contorno, mantenendo invariato lo schedule interno.
3. Substrato RTL Deterministico: Un'organizzazione hardware completamente sintetizzabile basata su aritmetica IEEE-754, che mappa direttamente le equazioni di calcolo del PC agli stadi della macchina a stati finiti.
4. Assenza di Software di Controllo: Il sistema evolve sotto regole di aggiornamento locali fisse; la struttura del compito è imposta esclusivamente attraverso la connettività, i parametri e le condizioni al contorno, non attraverso sequenze di istruzioni eseguite.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando simulazioni Verilator su un'implementazione RTL di riferimento open-source.

• Regressione Teacher-Student: Una rete 2→4→3 con attivazione ReLU è stata addestrata per imitare una funzione target. L'errore quadratico medio (MSE) è sceso rapidamente da ~0.34 a ~0.006 in 25 epoche, mostrando un profilo a due fasi (discesa rapida seguita da un plateau lento), coerente con il regime incrementale.
• Regressione Non Lineare (Tanh): Una rete più piccola (2→2→1) con strato nascosto Tanh ha mostrato una riduzione dell'MSE di oltre due ordini di grandezza in sole 3 epoche.
• Scalabilità Architettonica: Sono state testate tre architetture di dimensioni crescenti (2→4→3, 4→8→4, 8→16→8).
  • Risultato Critico: Non sono state necessarie modifiche all'RTL o alla logica FSM per adattarsi a dimensioni diverse. La scalabilità è stata ottenuta semplicemente istanziando più core neurali.
  • Le reti più grandi hanno mostrato un "pavimento residuo" (residual floor) leggermente più alto, coerente con la necessità di più tick per raggiungere l'equilibrio dell'inferenza in un regime incrementale.
• Robustezza: In tutti i casi, l'apprendimento end-to-end è avvenuto utilizzando solo variabili di stato locali, errori di previsione locali e comunicazione tra livelli adiacenti.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso l'elaborazione adattiva incorporata (embedded adaptive computation):

• Separazione Hardware/Software: L'autore introduce il concetto di "mortal computation" (calcolo mortale), dove l'algoritmo e l'hardware sono inseparabili. Le regole di aggiornamento non sono software eseguiti su un substrato generico, ma sono il datapath hardware stesso.
• Efficienza e Località: Dimostra che è possibile costruire un substrato di apprendimento completamente distribuito che elimina la necessità di propagazione globale degli errori e di memoria centrale condivisa, avvicinandosi ai principi di funzionamento dei sistemi biologici.
• Flessibilità: La capacità di gestire sia l'inferenza che l'apprendimento attraverso lo stesso schedule hardware, modificando solo i parametri di confine, offre un nuovo paradigma per l'adattamento online in ambienti rumorosi o dinamici.
• Limiti e Futuro: L'attuale implementazione sacrifica la latenza per ridurre l'area (datapath sequenziale) e non garantisce teoricamente la stabilità per la discretizzazione a tempo finito e precisione finita, richiedendo ulteriori studi empirici sui parametri di stabilità.

In sintesi, il paper non propone una nuova regola di apprendimento teorica, ma fornisce la prima implementazione hardware completa e sintetizzabile che esegue direttamente la dinamica di apprendimento della codifica predittiva, validando la fattibilità di sistemi di apprendimento distribuiti e locali in logica digitale standard.