Neural Langevin Machine: a local asymmetric learning rule can be creative

Technische Samenvatting: Neural Langevin Machine

Probleemstelling
Huidige op kunstmatige neurale netwerken gebaseerde generatieve modellen, zoals Variational Autoencoders, Generative Adversarial Networks en Diffusion Models, kampen met aanzienlijke uitdagingen wat betreft biologische plausibiliteit en trainingscomplexiteit. Specifiek missen zij vaak:

1. Asymmetrische Recurrentie: Biologische neurale netwerken bezitten asymmetrische synaptische koppelingen, terwijl veel populaire modellen vertrouwen op symmetrische structuren of globale foutsignalen vereisen.
2. Lokaal Leren: Biologische circuits leren via lokale signalen, terwijl de meeste generatieve modellen afhankelijk zijn van globale fout-backpropagation.
3. Benutting van Neurale Dynamiek: Hoewel neurale responsvariabiliteit en vaste punten (of chaotische attractoren) voorbeelden kunnen opslaan en genereren, is het potentieel van neurale responsvariabiliteit bij generatieve sampling onderbelicht.
4. Thermodynamische Omkeerbaarheid: Eerdere pogingen om Langevin-dynamica te gebruiken, dwingen vaak thermodynamische omkeerbaarheid af, wat biologische beperkingen schendt en er niet in slaagt de perceptie- en imaginatieprocessen van de hersenen effectief te modelleren.

Methodologie
De auteurs stellen de Neural Langevin Machine (NLM) voor, een generatief model dat gebruikmaakt van de vaste punten van recurrente neurale netwerken (RNN's) met willekeurige asymmetrische koppelingen.

• Dynamica: Het model wordt gedefinieerd door een stochastische differentiaalvergelijking (Langevin-dynamica):
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  waarbij $x$ de synaptische stroomvector is, $T$ een temperatuurparameter is en $\epsilon(t)$ Gaussische witte ruis is.
• Energiefunctie: De potentiële energie $E(x)$ is geconstrueerd om de exponentieel talrijke instabiele vaste punten die inherent zijn aan chaotische RNN's te stabiliseren. Het bevat een Onsager-feedbackterm afgeleid van de gradiënt van de energie, die chaotische fluctuaties stabiliseert. De energiefunctie heeft de vorm:
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  waarbij $\phi(x) = \tanh(x)$ de vuurratiofunctie is, $b_i$ de bias is en $J_{ij}$ de asymmetrische neurale koppeling vertegenwoordigt.
• Leerregel: Het model optimaliseert de koppelingsparameters $\{J_{kl}\}$ om de Kullback-Leibler (KL) divergentie tussen de modeldistributie en de datadistributie te minimaliseren. Deze minimalisatie volgt een minimum entropie principe, wat leidt tot een lokale, asymmetrische leerregel:
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{model}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{data}} \right]$$
  Hierbij is $h_k$ de geïntegreerde synaptische stroom. De term $(x_k - h_k)$ vertegenwoordigt een postsynaptische bijdrage die kan worden geïnterpreteerd als een voorspellingsfout (die de snelheid van de postsynaptische activiteit vermindert). Deze regel is lokaal, vereist alleen neurale signalen en is asymmetrisch met betrekking tot de neuronindices.
• Trainingsprotocollen: De auteurs implementeren verschillende trainingsstrategieën om out-of-equilibrium (OOE) regimes te verkennen:
  • PCD-k (Persistent Contrastive Divergence): Gebruikt persistente ketens die gedurende $k$ stappen worden bijgewerkt tussen parameterupdates door.
  • Rdm-k: Herinitialiseert Langevin-ketens vanuit willekeurige configuraties bij elke gradiëntschattingsstap.
  • AE-NLM: Traint een autoencoder om data te comprimeren naar een latente ruimte, waar de NLM op getraind wordt, wat de computationele complexiteit aanzienlijk vermindert.

Belangrijkste Bijdragen

1. Biologisch Plausibel Generatief Model: De NLM voldoet aan drie criteria: lokaal leren, op neurale dynamiek gebaseerde sampling en asymmetrische recurrentie. Het leidt een leerregel af die interpreteerbaar is als snelheid-gecorrigeerd predictief leren.
2. Stabilisatie van Instabiele Vaste Punten: Het werk demonstreert dat de Onsager-feedbackterm in de energiefunctie de instabiele vaste punten van chaotische RNN's stabiliseert, waardoor ze bruikbaar worden voor geheugen en generatie.
3. Lokale Asymmetrische Leerregel: De afgeleide leerregel verbindt generatieve modellering met fundamentele fysische principes (minimale entropie) en sluit aan bij de "Bayesiaanse brein zonder waarschijnlijkheid" hypothese en de energie-gebaseerde AI-route van Yann LeCun.
4. Out-of-Equilibrium (OOE) Regime: Het paper identificeert een OOE-regime waarin de beste generatieve prestaties worden behaald zonder te wachten tot het systeem het thermodynamisch evenwicht bereikt, wat de continue hersendynamica nabootst die wordt aangedreven door stochastische ruis.

Resultaten

• Generatieve Prestaties: Toegepast op MNIST (handgeschreven cijfers) en Fashion MNIST, genereert de NLM succesvol samples. Visualisaties tonen continue staatsovergangen tussen verschillende cijferklassen (bijv. van '6' naar '1'), gedreven door stochastische ruis.
• Transitie van Memorisatie naar Generalisatie: Naarmate de hoeveelheid trainingsdata toeneemt, transformeert het model van pure memorisatie (overfitting) naar generalisatie. Deze transitie wordt gekwantificeerd met een Adversarial Accuracy Indicator (AAI).
  • In data-arme regimes memoriseert het model trainingssamples.
  • Voorbij een specifieke datadrempel genereert het model samples die statistisch ononderscheidbaar zijn van echte data.
  • Overmatige hoeveelheden data kunnen de kwaliteit uiteindelijk weer verslechteren, wat wijst op een verzadigingspunt.
• Eigenwaarde-spectrum: Tijdens het leren evolueert het spectrum van de koppelingsmatrix $J$ van isotroop naar een "anker"-vorm, waarbij eigenwaarden verdeeld rond de positieve reële as een cruciale rol spelen bij generalisatie.
• Denoising en Associatief Geheugen: De NLM fungeert als een associatief geheugenetwerk. Wanneer het wordt gepresenteerd met gecorrumpeerde afbeeldingen (25% pixelruis), convergeren de dynamieken naar schone cijferrepresentaties, wat een nieuw type associatief geheugen met asymmetrische koppeling demonstreert.
• Latente Ruimte Verbetering: Het gebruik van het AE-NLM-protocol op Fashion MNIST (10 categorieën) verbetert de kwaliteit van de generatie en maakt sampling mogelijk in een lager-dimensionale latente ruimte.

Betekenis en Claims
De auteurs beweren dat de NLM een veelbelovende weg biedt voor neuro-geïnspireerde generatieve modellen die de dynamische exploratie van de "creatieve activiteitsruimte van de verbeelding" mogelijk maken. Door gebruik te maken van instabiele vaste punten en lokaal asymmetrisch leren, overbrugt het model de kloof tussen biologische neurale mechanismen en engineeringdoelstellingen. Het werk suggereert dat de hersenen vergelijkbare mechanismen kunnen gebruiken voor perceptie, geheugen en verbeelding, waarbij de continue exploratie van de faseruimte de transities van geheugen naar generalisatie faciliteert. Het paper positioneert dit framework als een stap naar het begrijpen van subjectieve perceptie en verbeelding in de hersenen, terwijl het tegelijkertijd een computationeel efficiënt alternatief biedt voor huidige dominante generatieve modellen via training in de latente ruimte.