Neural Langevin Machine: a local asymmetric learning rule can be creative

Sintesi Tecnica: Neural Langevin Machine

Definizione del Problema
Gli attuali modelli generativi basati su reti neurali artificiali, come i Variational Autoencoders, le Generative Adversarial Networks e i Diffusion Models, affrontano sfide significative riguardanti la plausibilità biologica e la complessità dell'addestramento. Nello specifico, essi mancano spesso di:

1. Ricorrenza Asimmetrica: Le reti neurali biologiche possiedono accoppiamenti sinaptici asimmetrici, mentre molti modelli popolari si affidano a strutture simmetriche o richiedono segnali di errore globali.
2. Apprendimento Locale: I circuiti biologici apprendono tramite segnali locali, mentre la maggior parte dei modelli generativi dipende dalla backpropagation globale dell'errore.
3. Utilizzo della Dinamica Neurale: Sebbene la variabilità della risposta neurale e i punti fissi (o attrattori caotici) possano memorizzare e generare esempi, il potenziale della variabilità della risposta neurale nel campionamento generativo è ancora poco esplorato.
4. Reversibilità Termodinamica: I precedenti tentativi di utilizzare la dinamica di Langevin impongono spesso la reversibilità termodinamica, il che viola i vincoli biologici e non riesce a modellare efficacemente i processi di percezione e immaginazione del cervello.

Metodologia
Gli autori propongono la Neural Langevin Machine (NLM), un modello generativo che sfrutta i punti fissi di reti neurali ricorrenti (RNN) con accoppiamenti asimmetrici casuali.

• Dinamica: Il modello è definito da un'equazione differenziale stocastica (dinamica di Langevin):
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  dove $x$ è il vettore della corrente sinaptica, $T$ è un parametro di temperatura e $\epsilon(t)$ è rumore bianco gaussiano.
• Funzione di Energia: Il potenziale energetico $E(x)$ è costruito per stabilizzare gli innumerevoli punti fissi instabili intrinseci nelle RNN caotiche. Include un termine di feedback di Onsager derivato dal gradiente dell'energia, che stabilizza le fluttuazioni caotiche. La funzione di energia assume la forma:
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  dove $\phi(x) = \tanh(x)$ è la funzione di tasso di attivazione (firing rate), $b_i$ è il bias e $J_{ij}$ rappresenta l'accoppiamento neurale asimmetrico.
• Regola di Apprendimento: Il modello ottimizza i parametri di accoppiamento $\{J_{kl}\}$ per minimizzare la divergenza di Kullback-Leibler (KL) tra la distribuzione del modello e la distribuzione dei dati. Questa minimizzazione segue un principio di entropia minima, portando a una regola di apprendimento locale e asimmetrica:
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{model}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{data}} \right]$$
  Qui, $h_k$ è la corrente sinaptica integrata. Il termine $(x_k - h_k)$ rappresenta un contributo post-sinaptico interpretato come errore di predizione (riducendo la velocità dell'attività post-sinaptica). Questa regola è locale, richiede solo segnali neurali, ed è asimmetrica rispetto agli indici neuronali.
• Protocolli di Addestramento: Gli autori implementano diverse strategie di addestramento per esplorare regimi fuori dall'equilibrio (OOE):
  • PCD-k (Persistent Contrastive Divergence): Utilizza catene persistenti aggiornate per $k$ passi tra gli aggiornamenti dei parametri.
  • Rdm-k: Ri-inizializza le catene di Langevin da configurazioni casuali ad ogni passo di stima del gradiente.
  • AE-NLM: Addestra un autoencoder per comprimere i dati in uno spazio latente, dove viene addestrata la NLM, riducendo significativamente la complessità computazionale.

Contributi Chiave

1. Modello Generativo Biologicamente Plausibile: La NLM soddisfa tre criteri: apprendimento locale, campionamento basato sulla dinamica neurale e ricorrenza asimmetrica. Deriva una regola di apprendimento interpretabile come apprendimento predittivo regolato dalla velocità.
2. Stabilizzazione dei Punti Fissi Instabili: Il lavoro dimostra che il termine di feedback di Onsager nella funzione di energia stabilizza i punti fissi instabili delle RNN caotiche, rendendoli utilizzabili per la memoria e la generazione.
3. Regola di Apprendimento Locale Asimmetrica: La regola di apprendimento derivata collega il modellamento generativo ai principi fisici fondamentali (entropia minima) e si allinea con l'ipotesi del "cervello bayesiano senza probabilità" e la via dell'IA basata sull'energia di Yann LeCun.
4. Regime Fuori dall'Equilibrio (OOE): Il documento identifica un regime OOE in cui si ottiene la migliore performance generativa senza attendere che il sistema raggiunga l'equilibrio termodinamico, imitando la dinamica cerebrale continua guidata dal rumore stocastico.

Risultati

• Performance Generativa: Applicata a MNIST (cifre scritte a mano) e Fashion MNIST, la NLM genera con successo campioni. Le visualizzazioni mostrano transizioni di stato continue tra diverse classi di cifre (ad esempio, da '6' a '1'), guidate dal rumore stocastico.
• Transizione da Memorizzazione a Generalizzazione: All'aumentare della dimensione dei dati di addestramento, il modello transita dalla pura memorizzazione (overfitting) alla generalizzazione. Questa transizione è quantificata utilizzando un Indicatore di Accuratezza Avversaria (AAI).
  • Nei regimi con carenza di dati, il modello memorizza i campioni di addestramento.
  • Oltre una specifica soglia di dati, il modello genera campioni statisticamente indistinguibili dai dati reali.
  • Un eccessivo volume di dati può eventualmente degradare la qualità, suggerendo un punto di saturazione.
• Spettro degli Autovalori: Durante l'apprendimento, lo spettro della matrice di accoppiamento $J$ evolve da isotropo a una forma "ancora", con gli autovalori distribuiti attorno all'asse reale positivo che giocano un ruolo chiave nella generalizzazione.
• Denoisaggio e Memoria Associativa: La NLM funziona come una rete di memoria associativa. Quando presentata con immagini corrotte (rumore del 25% sui pixel), la dinamica converge a rappresentazioni pulite delle cifre, dimostrando un nuovo tipo di memoria associativa con accoppiamento asimmetrico.
• Potenziamento dello Spazio Latente: L'uso del protocollo AE-NLM su Fashion MNIST (10 categorie) migliora la qualità della generazione e permette il campionamento in uno spazio latente a bassa dimensionalità.

Significatività e Rivendicazioni
Gli autori affermano che la NLM fornisce una via promettente per modelli generativi ispirati alle neuroscienze che permettono l'esplorazione dinamica dello "spazio creativo dell'attività dell'immaginazione". Utilizzando punti fissi instabili e apprendimento asimmetrico locale, il modello colma il divario tra i meccanismi neurali biologici e gli obiettivi ingegneristici. Il lavoro suggerisce che il cervello possa utilizzare meccanismi simili per la percezione, la memoria e l'immaginazione, dove l'esplorazione continua dello spazio delle fasi facilita le transizioni dalla memoria alla generalizzazione. Questo framework si posiziona come un passo verso la comprensione della percezione soggettiva e dell'immaginazione nel cervello, offrendo al contempo un'alternativa computazionalmente efficiente ai dominanti modelli generativi attuali attraverso l'addestramento nello spazio latente.