Near-Equilibrium Propagation training in nonlinear wave systems

De auteurs breiden het Equilibrium Propagation-algoritme uit naar niet-lineaire golfsystemen met complexe waarden, waaronder exciton-polariton-condensaten, en demonstreren dat deze methode stabiel convergeert voor in-situ training in fysische systemen met beperkte lokale controle.

De kern

Stel je voor dat je een enorme, levende oceaan hebt. In deze oceaan zijn golven die heen en weer bewegen, botsen en vormen aannemen. Normaal gesproken gebruiken computers om te leren (zoals bij kunstmatige intelligentie) een heel strakke, digitale manier: ze kijken naar elke stap, berekenen precies wat er misging, en sturen de hele keten terug om het te verbeteren. Dit heet "backpropagation".

Het probleem is: in de echte wereld, met licht en materie, werkt dat niet zo makkelijk. Je kunt niet zomaar "terugrekenen" in een fysiek systeem zonder het te verstoren. Het is alsof je probeert te raden waarom een golvenpatroon op het strand zo is, terwijl je niet mag kijken naar de wind of de stroming die het veroorzaakte.

De nieuwe oplossing: "Dichtbij-evenwicht Propagatie" (NEP)

De auteurs van dit artikel, Karol Sajnok en Michał Matuszewski, hebben een slimme nieuwe manier bedacht om deze fysieke golven (zoals lichtdeeltjes in een speciale kamer) te laten leren. Ze noemen het Near-Equilibrium Propagation (NEP).

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De Twee-Acten Show

Stel je voor dat je een muzikant bent die een liedje moet leren spelen op een instrument dat een beetje "moe" is (het verliest energie, net als echte golven).

• Acte 1: De Vrije Oefening (De "Free" fase)
  De muzikant speelt het liedje gewoon, zonder hulp. Het instrument klinkt, maar misschien niet perfect. De golven in het systeem vinden hun eigen rustpunt. Dit is de "vrije" toestand.
• Acte 2: De Lichte Duw (De "Nudged" fase)
  Nu geeft de leraar een heel zachte, specifieke duw aan het instrument. Stel, het liedje klonk te zacht op het einde. De leraar duwt dan heel voorzichtig in de richting van een luider geluid, maar alleen op dat specifieke moment.
  • Het slimme trucje: De leraar kijkt niet naar de hele keten van noten. Hij kijkt alleen naar het verschil tussen hoe het klonk in Acte 1 en hoe het klonk in Acte 2 na die lichte duw.

2. Het Geheim: Het Verschil is de Antwoord

In de digitale wereld moet je de hele route terugrekenen. In deze nieuwe methode is het eenvoudiger:

• Als je de lichte duw geeft en het geluid verandert, weet je precies welke knop je moet draaien om het liedje de volgende keer beter te laten klinken.
• Je hebt geen ingewikkelde berekeningen nodig. Je vergelijkt simpelweg: "Hoe klonk het zonder duw?" versus "Hoe klonk het met duw?". Het verschil vertelt je direct wat je moet aanpassen.

3. Waar wordt dit voor gebruikt? (De Polariton-Computer)

De auteurs testen dit idee met een heel speciek soort "licht-materie" systeem, genaamd exciton-polariton condensaten.

• De Analogie: Stel je een zwembad voor waar je lichtstralen en deeltjes in mengt. Deze deeltjes gedragen zich als golven.
• De Taak: Ze laten dit systeem twee dingen doen:
  1. XOR: Een logisch puzzeltje (als A en B verschillend zijn, dan ja, anders nee).
  2. MNIST: Het herkennen van handgeschreven cijfers (zoals 0 tot 9).

Het resultaat? Het systeem leerde deze taken! Het kon handgeschreven cijfers herkennen met ongeveer 90% nauwkeurigheid.

Waarom is dit zo cool?

1. Het is lokaal: Je hoeft niet de hele machine uit te schakelen om te leren. Je kunt lokale knoppen (zoals de vorm van de "zwembadmuur" of de sterkte van de lichtstraal) aanpassen terwijl het systeem draait.
2. Het is snel: Omdat het systeem fysiek is (licht en deeltjes), gebeurt het leren in microseconden. Een computer die dit simuleert, heeft minuten nodig. Een fysieke machine doet het in een flits.
3. Het is robuust: Zelfs als het systeem niet perfect is (bijvoorbeeld als de muur van het zwembad een beetje scheef staat), kan het nog steeds leren. Het is niet zo'n fragiel systeem dat bij de minste storing crasht.

Samenvattend

Stel je voor dat je een dansschool hebt. In plaats van dat elke danser een computer in zijn hoofd heeft die elke beweging terugrekent, laten ze gewoon twee keer dansen:

1. Eerst gewoon dansen.
2. Dan met een heel lichte duw van de leraar in de goede richting.
   Door te kijken naar het kleine verschil in hun bewegingen, weten ze precies hoe ze hun spieren moeten aansturen om de volgende keer perfect te dansen.

Deze paper laat zien dat we dit principe kunnen toepassen op licht en golven, waardoor we in de toekomst misschien computers hebben die leren met de snelheid van licht en het energieverbruik van een gloeilamp, in plaats van die van een hele datacenter.

Technische samenvatting

Titel: Near-Equilibrium Propagation training in niet-lineaire golfsystemen

Auteurs: Karol Sajnok en Michał Matuszewski
Datum: 17 maart 2026

---

1. Het Probleem

Het trainen van fysische neurale netwerken (PNN's) met behulp van de standaard Backpropagation-algoritme is extreem moeilijk in analoge hardware. Backpropagation vereist een expliciete berekening van het computationele graf en nauwkeurige adjoint-dynamica, wat kwetsbaar is in fysieke systemen door verborgen koppelingen, latentie en dissipatie.

Hoewel Equilibrium Propagation (EP) een veelbelovend alternatief is dat lokale updates mogelijk maakt, zijn bestaande EP-implementaties beperkt tot systemen die gebaseerd zijn op energie-minimalisatie (relaxatie) en vaak realwaardige vectoren. Dit sluit complexe, golfachtige systemen uit die worden gekenmerkt door:

• Niet-hamiltoniaanse dynamica: Systemen met aandrijving en dissipatie (driven-dissipative).
• Complexe velden: Waar amplitude en fase gekoppeld zijn aan winst en verlies.
• Gebrek aan goed gedefinieerde knooppunten: Veel fysieke systemen (zoals continue golven) hebben geen discrete knooppunten, maar continue potentiaalvelden.

Er is dus behoefte aan een trainingsmethode die werkt in niet-evenwichtstoestanden, geschikt is voor complexe golven, en lokale parameters kan optimaliseren zonder een strikte energie-functie.

2. Methodologie: Near-Equilibrium Propagation (NEP)

De auteurs introduceren Near-Equilibrium Propagation (NEP), een generalisatie van EP die specifiek is ontworpen voor gedreven-dissipatieve complexe golfsystemen.

Het NEP-protocol bestaat uit twee fasen:

1. Vrije evolutie (Free phase): Het systeem evolueert onder invloed van de input $X$ tot het een stabiele oscillatoire toestand bereikt ($\Psi_0$). De dynamica wordt beschreven door een vergelijking (zoals de Gross-Pitaevskii-vergelijking) die niet noodzakelijk uit een variatieprincipe met een energie-functie moet voortvloeien.
2. Gestuwde fase (Nudged phase): Een kleine verstoring wordt toegevoegd die evenredig is met de gradiënt van de kostenfunctie $C$. Dit wordt gedaan door een term toe te voegen aan de dynamische vergelijking:
   $$\partial_t \Psi = \kappa - i\beta \frac{\partial C}{\partial \Psi^*}$$
   Hierbij is $\beta$ een kleine reële parameter en wordt gebruikgemaakt van Wirtinger-derivaten voor complexe variabelen. Het systeem relaxeert naar een nieuwe, licht verschoven stationaire toestand.

De Update-regel:
De gradiënt voor de trainbare parameters $\theta$ (zoals lokale potentialen of input-gewichten) wordt geschat door het verschil tussen de stationaire toestanden van de twee fasen:
$$\Delta \theta \propto -\frac{\partial C}{\partial \theta} \bigg|_{\beta=0} \approx i \left\langle \frac{\partial \Psi}{\partial \beta}, \frac{\partial \kappa}{\partial \theta} \right\rangle - i \left\langle \frac{\partial \Psi}{\partial \beta}, \frac{\partial \kappa}{\partial \theta} \right\rangle$$
Deze regel vereist slechts lokale metingen van het veld en is geldig onder de "near-equilibrium" conditie, waarbij de systemen zwak gedissipeerd zijn en de afgeleiden van de dynamica aan bepaalde symmetrie-condities voldoen.

Implementatie in Exciton-Polariton Condensaten:
De methode wordt getest op een platform van exciton-polariton condensaten (licht-materie koppeling).

• Trainbare parameters: Een ruimtelijk modulerend potentiaalveld (gecontroleerd via een Spatial Light Modulator, SLM) en input-pump-gewichten.
• Nudging: Experimenteel gerealiseerd door een resonante laser ("top-hat pump") in het output-gebied toe te passen met een amplitude evenredig aan de fout en een faseverschuiving van $\pi/2$.

3. Belangrijkste Bijdragen

• Generalisatie naar Complexe Golven: NEP werkt voor complexe, oscillatoire systemen, in tegenstelling tot eerdere EP-methoden die alleen voor realwaardige relaxatiesystemen gelden.
• Lokale Parameters: Het systeem kan trainen op lokale potentialen in plaats van alleen op inter-knooppunt-gewichten. Dit maakt het toepasbaar op continue systemen zonder discrete knooppunten.
• Robuustheid in Niet-Hamiltoniaanse Systemen: De methode werkt zelfs als het systeem niet strikt hamiltoniaans is (door dissipatie en aandrijving), zolang het in het "near-equilibrium" regime blijft.
• Fysische Realisatie: Het biedt een praktisch pad voor in-situ training in fysieke systemen waar controle beperkt is tot lokale parameters.

4. Resultaten

De auteurs hebben NEP numeriek getest op twee benchmarks:

1. XOR Taak (Logische operatie):

   • Een 1D netwerk van 9 knooppunten werd getraind om de XOR-functie te leren.
   • Het systeem convergeerde stabiel na ongeveer 10 epochs.
   • Zowel het potentiaalveld $V$ als de input-gewichten $w$ werden succesvol geoptimaliseerd.
   • De methode bleek robuust tegen willekeurige verstoringen in het potentiaalveld (simulatie van structurele onhomogeniteiten).

2. MNIST Handgeschreven Cijfers:

   • Een 2D netwerk (15x150 grid) werd getraind om 10 klassen (cijfers 0-9) te classificeren.
   • Prestatie: Het bereikte een testnauwkeurigheid van ≈90,3% na 20 epochs.
   • Vergelijking: Dit presteert beter dan een volledig verbonden lineair netwerk zonder verborgen lagen dat met backpropagation is getraind (≈89,9%), wat suggereert dat de niet-evenwichtsgolf-dynamica de beperkingen van lokale koppelingen overwint.
   • Interessant detail: De getrainde pump-gewichten vormden patronen die op de handgeschreven cijfers leken, wat aantoont dat het systeem de input-structuur leert te benutten.
   • De optimale prestaties werden gevonden bij een gematigde niet-lineariteit ($g=0.04$), wat correspondeert met een specifieke verhouding tussen niet-lineariteit en dissipatie.

5. Betekenis en Toekomstperspectief

• Snelheid en Efficiëntie: De fysieke trainingsduur wordt geschat op 0,1 ms tot 10 ms (afhankelijk van de dissipatie $\gamma$), wat ongeveer zes ordes van grootte sneller is dan GPU-gebaseerde simulaties. Dit benadrukt het enorme potentieel voor energie-efficiëntie en doorvoer.
• Experimentele Haalbaarheid: De benodigde parameters (potentiaalsterktes, pompamplitudes) liggen binnen het bereik van huidige GaAs-microcaviteit-experimenten.
• Schaalbaarheid: Het protocol ondersteunt het "tegelen" (tiling) van zwak gekoppelde cellen, wat schaalbaarheid naar grotere taken mogelijk maakt.
• Conclusie: NEP biedt een realistisch kader voor laboratoriumimplementatie van neuromorfe learning in fysische systemen, waarbij training plaatsvindt in-situ (ter plaatse) met gebruikmaking van de inherente dynamica van het systeem, zonder de noodzaak van complexe digitale backpropagation.

Dit werk opent de deur naar ultra-snelle, energie-efficiënte neurale netwerken die direct in optische of polaritonische hardware worden getraind en uitgevoerd.