A Conservation Law for Equilibrium Propagation and Coupled Learning

Technische Samenvatting: Een Behwaringswet voor Equilibrium Propagation en Coupled Learning

Probleemstelling
Fysieke leermethoden, specifiek Equilibrium Propagation (EP) en Coupled Learning (CL), bieden een veelbelovende weg voor energiezuinig machine learning door gebruik te maken van fysieke systemen (zoals resistieve circuits) om inferentie en training uit te voeren. Deze methoden vertrouwen op contrastief lokaal leren, waarbij updates worden gedreven door het verschil tussen twee systeemtoestanden: een "vrije" toestand en een "genudgede" of "geclamped" toestand. De theoretische analyse van deze methoden staat echter voor aanzienlijke uitdagingen. De leerdynamiek betreft een bilevel-optimalisatieprobleem waarbij de evenwichtstoestand impliciet wordt bepaald door de trainbare parameters, wat vaak leidt tot niet-convexe verlieslandschappen. Bovendien ontbreekt in de continu-tijdlimiet van deze dynamiek, met name in het regime van kleine nudging ($\eta \to 0$), een verenigd theoretisch kader om convergentie te garanderen of de stabiliteit van het trainingsproces te verklaren. Er is een specifieke behoefte aan begrip van de vraag of deze dynamieken beschikken over inherente structurele eigenschappen die betrouwbare convergentie waarborgen, met name voor lineaire circuits, en hoe praktische implementatiekeuzes (zoals de grootte van de nudge) de stabiliteit van de trainbare parameters beïnvloeden.

Methodologie
De auteurs vestigen een algemeen wiskundig kader voor EP en CL, waarbij het systeem wordt gedefinieerd via een energiefunctie $G(x; k)$, waarbij $x$ de toestandsvariabelen vertegenwoordigt (bijv. knoopspanningen) en $k$ de trainbare parameters (bijv. conductances of weerstanden) vertegenwoordigt. De leerdynamiek wordt geanalyseerd in de continu-tijdlimiet met een kleine nudging-parameter $\eta$.

De kernmethodologie bestaat uit het afleiden en bewijzen van de existentie van een beharingswet voor de trainbare parameters. De auteurs benaderen dit via drie verschillende bewijzen:

1. Directe berekening voor CL: Door een "massa"-functie $K$ te definiëren en de tijdsafgeleide van de energie te analyseren onder de specifieke beperkingen van Coupled Learning.
2. Gradient Flow Argument voor EP: Het aantonen dat EP een gradient flow uitvoert op een schaal-invariante verliesfunctie, wat impliceert dat de gekwadrateerde straal van de parametervector constant blijft.
3. Verenigd KKT-gebaseerd Bewijs: Het gebruik van Karush-Kuhn-Tucker (KKT)-condities om een enkel bewijs te leveren dat zowel voor EP als CL geldt, rustend op een specifieke scheidbaarheid-identiteit van de energiefunctie.

Het artikel beperkt vervolgens de analyse tot lineaire circuits (specifiek resistieve netwerken) om deze beharingswetten toe te passen op concrete convergentiebewijzen. Ze onderzoeken de dynamica van crossbar-arrays en algemene bipartiete circuits, evenals de effecten van gebatchte updates en verschillende clamping-strategieën (asymmetrisch versus symmetrisch).

Belangrijkste Bijdragen en Resultaten

• Ontdekking van een Behwaringswet: De primaire theoretische bijdrage is het bewijs dat zowel EP als CL een massa-achtige grootheid $K = \frac{1}{2} \sum f_i(k_i)$ behouden in de continu-tijd, kleine-nudging-limiet, mits de energiefunctie een scheidbare structuur heeft $G(x; k) = \sum g_i(k_i) \tilde{G}_i(x)$.

  • Voor lineaire circuits getraind op conductances ($\kappa$), is de behouden grootheid de gekwadrateerde norm: $K = \frac{1}{2} \sum \kappa_i^2$.
  • Voor circuits getraind op weerstanden ($\rho$), is de behouden grootheid eveneens $K = \frac{1}{2} \sum \rho_i^2$.
  • Deze beharing houdt stand voor een breed scala aan fysiek relevante instellingen, inclusief gevallen waarin verschillende randen verschillende parametrisaties gebruiken (bijv. sommige conductances, sommige weerstanden), zolang aan de scheidbaarheidsvoorwaarde wordt voldaan.

• Convergentiebewijzen voor Lineaire Circuits:

  • Enkele Input/Output: De auteurs bewijzen dat voor een circuit met een enkele input en output, de leerdynamiek ofwel moet convergeren naar een oplossing die aan de doelstelling voldoet, ofwel ten minste één conductance naar nul drijft (waardoor de verbinding effectief wordt verwijderd).
  • Crossbar-arrays: Voor bipartiete crossbar-arrays (waarbij inputs en outputs volledig verbonden zijn), bewijzen de auteurs een exponentiële convergentie van de verliesfunctie naar nul. Dit resultaat blijft van kracht, zelfs als sommige conductances nul bereiken en tijdens de training worden verwijderd, mits de input en output verbonden blijven.

• Analyse van Nudging en Drift:

  • Het artikel toont aan dat de keuze van de nudging-parameter $\eta$ cruciaal is. In de limiet $\eta \to 0$ (of bij gebruik van symmetrische clamping) houdt de beharingswet stand, wat voorkomt dat de algehele schaal van de parameters gaat driften.
  • Daarentegen leidt het gebruik van niet-nul asymmetrische nudging ($\eta \neq 0$) in gebatchte updates tot een drift in de totale "massa" van de parameters. Specifiek zorgt een positieve $\eta$ ervoor dat de totale conductance naar nul afneemt, terwijl een negatieve $\eta$ ervoor zorgt dat deze onbegrensd groeit.
  • Deze drift kan leiden tot falen van de training door parameters naar fysieke grenzen te duwen (bijv. nul conductance) voordat een oplossing is bereikt, of door het netwerk te laten ontkoppelen.

• Inzicht in Fysieke Implementatie: De auteurs merken op dat voor lineaire circuits, symmetrische clamping (het vergelijken van een positief genudgede toestand $x_\eta$ met een negatief genudgede toestand $x_{-\eta}$) de exacte $\eta \to 0$ dynamica reproduceert bij elke eindige $\eta$. Dit suggereert dat de beharingswet kan worden bereikt in fysieke hardware zonder de experimenteel moeilijke taak te hoeven stellen van het opleggen van infinitesimaal kleine perturbaties.

Betekenis en Claims
Het artikel beweert dat de identificatie van deze beharingswet een rigoureuze theoretische basis biedt voor de betrouwbaarheid van fysieke leeralgoritmen. Door aan te tonen dat EP en CL een specifieke grootheid behouden, verklaren de auteurs waarom deze methoden een betrouwbare convergentie kunnen bereiken in belangrijke settings zoals lineaire crossbar-arrays, ondanks de niet-convexe aard van het algemene optimalisatieprobleem.

Het werk benadrukt een praktische afweging: terwijl niet-beharende nudging (standaard asymmetrische clamping met $\eta \neq 0$) voordelen zoals regularisatie kan bieden, introduceert het een risico op drift in de parameterschaal die kan leiden tot "pathologieën" zoals netwerkontkoppeling of het niet convergeren. De auteurs suggeren dat symmetrische clamping een robuust alternatief biedt voor hardware-implementatie, wat stabiliteit garandeert zonder de noodzaak van infinitesimaal kleine perturbaties.

Het artikel blijft bescheiden over de reikwijdte en merkt op dat de beharingswet bewezen is voor de kleine-nudge-limiet en lineaire circuits. Het erkent dat voor niet-lineaire circuits, symmetrische clamping de grootheid slechts behoudt tot $O(\eta^2)$, en dat de voorwaarden voor beharing in complexere, algemene topologieën (voorbij de scheidbare energie-structuur) een open vraag blijven. Bovendien, hoewel de auteurs convergentie voor crossbars bewijzen, laat de algemene casus van single-input/single-output circuits de mogelijkheid open van "edge death" (ontkoppeling) in complexe topologieën, wat verder onderzoek vereist.