Equilibrium Propagation for Non-Conservative Systems

Dit artikel stelt een raamwerk voor dat Equilibrium Propagation uitbreidt naar willekeurige niet-conservatieve systemen door de dynamica tijdens de leerfase aan te passen om rekening te houden met niet-reciproque interacties, waardoor de exacte berekening van gradiënten van de kostenfunctie mogelijk wordt en een superieure prestatie wordt behaald vergeleken met eerdere methoden.

De kern

De Grote Visie: Een Machine Onderwijzen Zonder een "Backward Pass"

Stel je voor dat je een robot probeert te leren om een kat op een foto te herkennen. Op de standaard manier waarop we dit tegenwoordig doen (genaamd "Backpropagation"), kijkt de robot naar de foto, doet een gok, beseft dat hij het fout heeft, en stuurt vervolgens een "correctiesignaal" helemaal terug door zijn brein, laag voor laag, om zijn fouten te herstellen.

Het probleem is dat deze "backward pass" erg moeilijk te bouwen is in echte fysieke machines (zoals biologische hersenen of siliconen chips), omdat het vereist dat informatie terug in de tijd wordt gestuurd of direct over lange afstanden wordt verzonden.

Equilibrium Propagation (EP) is een slimmere, meer fysieke manier van leren. In plaats van een backward pass, laat de robot zichzelf simpelweg ontspannen tot een "rusttoestand" (evenwicht). De robot probeert twee licht verschillende scenario's:

1. Free State (Vrije Toestand): De robot kijkt naar de foto en doet op natuurlijke wijze een gok.
2. Nudged State (Geduwde Toestand): Iemand duwt de uiteindelijke gok van de robot zachtjes in de richting van het juiste antwoord.

Door te vergelijken hoe het brein van de robot veranderde tussen deze twee rusttoestanden, kan hij uitzoeken hoe hij zijn interne instellingen precies moet aanpassen om het de volgende keer beter te doen. Het is als leren door het verschil te voelen tussen "wat ik dacht" en "waar ik naartoe geduwd werd om te denken."

Het Probleen: De "Symmetrie"-regel

De oorspronkelijke versie van deze leermethode (EP) werkte alleen voor systemen die een strikte regel volgen: Symmetrie.

Denk aan een conservatief systeem zoals een bal die over een gladde heuvel rolt. Als de bal van punt A naar punt B rolt, wordt het pad bepaald door de vorm van de heuvel. Als je het pad omdraait, is de fysica hetzelfde. In een computerbrein betekent dit dat als Neuron A met Neuron B communiceert, Neuron B ook met exact dezelfde sterkte terug moet communiceren met Neuron A.

Echter, veel real-world systemen (en moderne AI-modellen) zijn niet zoals een gladde heuvel. Ze zijn als een rivier met een stroming of een eenrichtingsweg.

• Non-Conservative Systems (Niet-conservatieve systemen): Informatie stroomt één kant op (zoals in een feedforward netwerk waar data gaat van Input → Hidden → Output, maar nooit terugwaarts).
• Het Probleet: De oude EP-methode werkt niet in deze systemen. Het probeert de "heuvel"-wiskunde toe te passen op een "rivier", waardoor de leerberekeningen foutief worden. De robot leert de verkeerde lessen.

De Oplossing: Twee Nieuwe Methoden

De auteurs stellen twee nieuwe manieren voor om dit op te lossen, waardoor de "Equilibrium Propagation"-methode kan werken op deze eenrichtings-, niet-symmetrische systemen.

1. Asymmetric EP (AsymEP): De "Lokale Fix"

Stel je voor dat je een weegschaal probeert te balanceren, maar iemand voegt stiekem steeds gewicht toe aan één kant (het niet-symmetrische deel). De oude methode negeert dit gewoon en probeert het toch te balanceren, wat mislukt.

AsymEP voegt een klein, lokaal "tegengewicht" toe aan de weegschaal.

• Hoe het werkt: Tijdens de "Nudged"-fase (wanneer de robot naar het juiste antwoord wordt geduwd), voegt het algoritme een speciale correctieterm toe. Deze term wordt berekend op basis van precies hoe "scheef" of "niet-symmetrisch" de verbindingen zijn.
• De Analogie: Het is als een fietser die rijdt op een fiets met een lekke band. De oude methode vertelt de fietser alleen om harder te trappen. AsymEP voegt een kleine, lokale aanpassing toe aan het stuur om de lekke band te compensen, waardoor de fietser rechtuit kan rijden en correct kan leren.
• Resultaat: Dit stelt het systeem in staat om de exact juiste gradiënt (de juiste les) te berekenen, zelfs wanneer de verbindingen eenrichtingsverkeer zijn.

2. Dyadic EP: De "Dubbel-Brein" Aanpak

Als AsymEP een lokale fix is, dan is Dyadic EP een grotere architecturale verandering.

• De Analogie: Stel je voor dat je een complex machine hebt die alleen werkt als je twee identieke kopieën ervan hebt die zij aan zij draaien. Eén kopie vertegenwoordigt de "voorwaartse" stroom, en de andere een "achterwaartse" stroom.
• Hoe het werkt: Het algoritme verdubbelt het aantal variabelen in het systeem. Het creëert een nieuwe, grotere "energie-landschap" waar de twee kopieën met elkaar interageren. In deze verdubbelde ruimte transformeert de rommelige, eenrichtingsrivier van het oorspronkelijke systeem weer in een gladde, symmetrische heuvel.
• Het Resultaat: Omdat de wiskunde nu werkt op dit "verdubbelde" systeem, is het leren perfect. Het is een beetje alsof je een spiegel gebruikt om een eenrichtingsweg eruit te laten zien als een tweerichtingsweg, zodat je de standaard verkeersregels kunt toepassen.

Wat Ze Hebben Getest (De Experimenten)

De auteurs hebben niet alleen wiskunde bedreven; ze hebben deze ideeën getest op echte beeldherkenningstaken (zoals het identificeren van handgeschreven cijfers of kleding).

1. Symmetric Start (Symmetrische Start): Ze begonnen met netwerken die symmetrisch waren (zoals de oude EP). AsymEP leerde sneller en behaalde betere resultaten dan de oude methoden.
2. Forced Asymmetry (Geforceerde Asymmetrie): Ze dwongen de netwerken om zeer "eenrichtingsverkeer" te zijn (hoogst asymmetrisch).
   • De oude methode (Vector Field) faalde jammerlijk en behaalde resultaten die niet beter waren dan willekeurig raden.
   • AsymEP bleef perfect werken, zelfs wanneer het netwerk volledig eenrichtingsverkeer was.
3. Feedforward Netwerken: Dit is de grote overwinning. Moderne AI (zoals de AI in je telefoon) is meestal "feedforward" (strikt eenrichtingsverkeer). De oude EP kon deze helemaal niet trainen. AsymEP slaagde erin deze netwerken te trainen, wat bewijst dat het de architectuur kan aan kunnen die wordt gebruikt in de meeste moderne AI.
4. Deep Learning: Ze testten op een complexe dataset (CIFAR-10) met een diep netwerk. AsymEP en Dyadic EP presteerden bijna exact even goed als de standaard "Backpropagation"-methode, wat de gouden standaard is.

Samenvatting

• Het Probleem: De coole "Equilibrium Propagation" leermethode werkte alleen op symmetrische systemen, maar echte AI en fysieke systemen zijn vaak asymmetrisch (eenrichtingsverkeer).
• De Fix: De auteurs hebben AsymEP gecreëerd (dat een lokale correctie toevoegt aan de leerregel) en Dyadic EP (dat de systeemgrootte verdubbelt om de wiskunde te laten kloppen).
• De Uitkomst: Deze nieuwe methoden maken het mogelijk om deze fysieke, hersen-vriendelijke leermethode toe te passen op dezelfde soorten netwerken als moderne AI, waarbij resultaten worden behaald die net zo goed zijn als de standaard, moeilijk te implementeren methoden.

Kortom, ze hebben ontdekt hoe je een fysieke machine kunt onderwijzen met behulp van "ontspanning" en "lokale duwtjes", zelfs wanneer de interne bedrading van de machine strikt eenrichtingsverkeer is.

Technische samenvatting

Technische Samenvatting: Equilibrium Propagation voor Niet-Conserve Systeme

1. Probleemstelling

Standaard neurale netwerkoptimalisatie vertrouwt op fout-backpropagatie, wat een afzonderlijke backward pass, niet-lokale foutsignaaloverdracht en expliciete gradiëntopslag vereist. Deze beperkingen zijn moeilijk te verzoenen met biologische plausibiliteit en fysieke implementaties (bijv. neuromorfische of analoge hardware), die doorgaans opereren via lokale interacties en continue relaxatie.

Equilibrium Propagation (EP) biedt een veelbelovend alternatief door leren te formuleren als een contrast tussen twee stationaire toestanden van een dynamisch systeem: een "vrije" fase en een "genudgede" fase. Echter, de oorspronkelijke formulering van EP is beperkt tot conserve systemen, waarbij de dynamica voortkomt uit een energiefunctie, wat symmetrische interacties afdwingt (bijv. $J_{ij} = J_{ji}$). Deze beperking staat de toepassing van EP op een brede klasse van modellen die worden gekenmerkt door niet-conserve krachten en niet-reciproque interacties, waaronder:

• Moderne feedforward-architecturen (dominant in AI).
• Biologische circuits.
• Fysieke systemen ver van thermodynamisch evenwicht (bijv. niet-lineaire optische systemen, actieve materie, exciton-polariton condensaten).

Eerdere pogingen om EP naar niet-conserve systemen te generaliseren, zoals het Vector Field (VF) algoritme, falen in het berekenen van de exacte gradiënt van de kostenfunctie. Ze leveren een onbevooroordeelde gradiënt op alleen in het conserve limiet; naarmate het antisymmetrische deel van de Jacobiaan toeneemt, groeit de fout in de gradiëntschatting, wat potentieel leidt tot optimalisatieproblemen (bijv. het maximaliseren van de kosten in plaats van het minimaliseren ervan).

2. Methodologie

De auteurs stellen twee mathematisch equivalente kaders voor om EP uit te breiden naar willekeurige niet-conserve systemen: Asymmetric EP (AsymEP) en Dyadic EP. Beide methoden behouden het kernprincipe van EP door gebruik te maken van stationaire toestanden voor inferentie en leren, maar modificeren de dynamica om de exacte gradiënt te herstellen.

2.1 Asymmetric EP (AsymEP)

AsymEP behoudt de oorspronkelijke inferentiedynamica maar introduceert een lokale correctieve term tijdens de "genudgede" fase.

• Mechanisme: In de genudgede fase evolueert het systeem onder een uitgebreid krachtveld. Dit veld bevat de oorspronkelijke kracht $F$, de standaard nudging-term $-\beta \frac{\partial C}{\partial x}$, en een nieuwe correctieterm proportioneel aan het antisymmetrische deel van de Jacobiaan ($A_J$) bij het vrije evenwicht:
  $$\frac{dx}{dt} = F(x, \theta) - \beta \frac{\partial C}{\partial x} - 2A_J(x_0, \theta)(x - x_0)$$
• Gradiëntherstel: Deze correctie transponeert effectief de Jacobiaan in de leerregel, waardoor het verschil tussen de genudgede en de vrije stationaire toestanden exact de vereiste post-synaptische term oplevert voor de ware gradiënt.
• Localiteit: De correctieterm is ruimtelijk lokaal omdat $A_J$ verdwijnt voor niet-verbonden neuronen, en het toestandsverschil $(x - x_0)$ beschikbaar is bij de synaps.

2.2 Dyadic EP

Dyadic EP is een variationele benadering die de niet-conserve dynamica mapt naar een conserve systeem door de toestandsruimte te verdubbelen.

• Mechanisme: Het oorspronkelijke $n$-variabele systeem wordt gemapt naar een $2n$-variabel systeem $(z, z')$ gedefinieerd door een energiefunctie $H(z, z', \theta)$ en een kostenfunctie $D(z, z')$. De energiefunctie wordt geconstrueerd zodanig dat de oorspronkelijke dynamica wordt hersteld op de diagonaal ($z=z'$), terwijl de off-diagonaal richting de niet-reciproque krachten codeert.
  $$H(z, z', \theta) = -(z - z')^\top F\left(\frac{z + z'}{2}, \theta\right)$$
• Leren: Het systeem evolueert naar een zadelpunt van de uitgebreide energie $H_T = H + \beta D$. Het verschil $z_\beta - z'_\beta$ dient als het foutsignaal.
• Relatie tot AsymEP: AsymEP kan worden beschouwd als de eerste-orde projectie van Dyadic EP op de oorspronkelijke $n$-dimensionale ruimte. Dyadic EP maakt parallelle uitvoering van positieve en negatieve nudging-fasen mogelijk, maar vereist een verdubbeling van de fysieke vrijheidsgraden.

3. Belangrijkste Bijdragen

1. Exacte Gradiëntberekening: Het artikel biedt het eerste kader om de exacte gradiënt van de kostenfunctie van willekeurige niet-conserve dynamische systemen te berekenen met behulp van equilibrium propagation, waarmee de beperkingen van het Vector Field algoritme worden overwonnen.
2. Twee Generalisaties: Het introduceert AsymEP (een directe modificatie van de dynamica met een lokale correctie) en Dyadic EP (een variationele verdubbeling van de toestandsruimte), en bewijst hun equivalentie in de limiet van infinitesimale nudging.
3. Feedforward Capaciteit: De methoden maken het trainen van puur feedforward netwerken mogelijk, een scenario waarin eerdere EP-gebaseerde methoden (zoals VF) falen omdat ze geen foutsignalen backward kunnen propageren zonder expliciete backward verbindingen.
4. Theoretische Unificatie: Het werk demonstreert dat het variationele principe achter EP universeel is en kan worden toegepast op niet-reciproque krachten door de toestandsruimte uit te breiden of de dynamica te modificeren, wat de kloof overbrugt tussen energie-gebaseerde modellen en algemene dynamische systemen.

4. Experimentele Resultaten

De auteurs valideren hun framework op MNIST, Fashion-MNIST en CIFAR-10 met behulp van continue Hopfield-netwerken en convolutionele architecturen.

• Symmetrische Initialisatie: Op MNIST met symmetrische initialisatie bereikt AsymEP een hogere nauwkeurigheid en leert het sneller dan zowel standaard EP als het Vector Field (VF) algoritme.
• Structurele Asymmetrie: Wanneer het netwerk beperkt is tot een hoge graad van structurele asymmetrie (waarbij EP niet toepasbaar is en VF degradeert):
  • VF Prestaties: De prestaties van VF storten in naarmate de asymmetrie toeneemt, waarbij het daalt naar kansniveau (bijv. ~10% nauwkeurigheid op MNIST bij hoge asymmetrie).
  • AsymEP Prestaties: AsymEP behoudt robuuste prestaties over alle asymmetrie-niveaus, inclus�rend de volledig antisymmetrische connectiematrices.
• Feedforward Architecturen:
  • In een puur feedforward setting traint VF effectief alleen de laatste laag (als een Extreme Learning Machine), wat resulteert in slechte prestaties (~64% op MNIST).
  • AsymEP traint succesvol alle lagen en bereikt ~92,7% nauwkeurigheid op MNIST.
• Diepe Netwerken (CIFAR-10): Op een diep convolutioneel netwerk getraind op CIFAR-10 volgen zowel AsymEP als Dyadic EP nauwlettend de prestaties van standaard Backpropagation (BP), waarbij ze respectievelijk ~89,7% en ~90,7% nauwkeurigheid bereiken, vergeleken met de 90,7% van BP. In contrast hiermee stort VF in naar kansniveau.
• Stabiliteit: Experimenten suggereren dat niet-conserve dynamica getraind met AsymEP oscillaties kunnen onderdrukken en stabiel blijven, zelfs onder sterke asymmetrie en beperkte input-projecties.

5. Betekenis en Claims

De auteurs claimen dat dit werk nieuwe wegen opent voor leren in neuromorfische hardware, dissipatieve fysieke systemen en neurale architecturen waar asymmetrie intrinsiek is in plaats van incidenteel.

• Fysieke Implementeerbaarheid: Door de vereiste van gewichtsymmetrie en expliciete backward passes te verwijderen, zijn de voorgestelde algoritmen compatibeler met fysieke substraten (bijv. memristors, optische systemen, actieve materie) die van nature niet-conserve dynamica vertonen.
• Biologische Plausibiliteit: De methoden vertrouwen op lokale interacties en continue relaxatie, wat een biologisch plausibeler mechanisme voor credit assignment biedt vergeleken met backpropagation.
• Universaliteit: De Dyadic EP formulering suggereert dat de variationele principes van equilibrium propagation universeel zijn, toepasbaar op elk netwerk dat opereert in een stationaire toestand, ongeacht of de onderliggende krachten conserve of niet-conserve zijn.

Het artikel concludeert dat hoewel AsymEP een lokale correctieve kracht introduceert die specifieke fysieke mechanismen voor implementatie kan vereisen, en Dyadic EP een verdubbeling van de toestandsruimte vereist, beide een rigoureus theoretisch en praktisch pad bieden voor het trainen van niet-conserve systemen met exacte gradiënten.