Boundary-damped wave dynamics enables local equilibrium propagation with finite-time gradient guarantees

Stel je een wereld voor waarin computers niet rekenen door het omschakelen van kleine elektronische schakelaars, maar door fysieke golven door een materiaal te laten rimpelen, net zoals geluid door een kamer reist of water over een vijver beweegt. Dit is de belofte van fysieke neurale netwerken, een vakgebied waar de natuurwetten zelf — hoe energie beweegt en verandert — onderdeel worden van het leerproces zelf. Om een machine te laten leren, moet deze zijn interne instellingen aanpassen op basis van fouten, een proces dat normaal gesproken vereist dat er een signaal terug door het systeem wordt gestuurd om elk onderdeel te vertellen hoe het moet veranderen. In deze fysieke systemen zoeken onderzoekers al lang naar een manier om dit te doen zonder complexe, energieverslindende circuits voor elke enkele verbinding te bouwen. Ze wilden een methode waarbij het systeem vanzelf in een staat van rust, of evenwicht, kon komen, en waarbij het verschil tussen een "vrije" staat en een "doelgerichte" staat precies kon onthullen hoe er verbeterd kon worden. De uitdaging was dat golven in een perfecte, wrijvingsloze omgeving nooit stoppen met bewegen; ze blijven gewoon eeuwig rondstuiteren. Om ze te laten stoppen en tot rust te laten komen, moet je hun energie verwijderen, maar het is moeilijk om dat overal tegelijk te doen, en het alleen bij de randen doen leek historisch gezien de delicate wiskunde die nodig is voor het leren te breken.

Een team onderzoekers van de Universiteit van Zagreb en VERN University in Kroatië heeft nu een manier gedemonstreerd om dit werkend te krijgen door zorgvuldig te controleren waar de energie het systeem verlaat. Ze ontwikkelden een methode genaamd boundary-damped wave equilibrium propagation (door de rand gedempte golf-evenwichtspropagatie). In plaats van te proberen de hele golf door het materiaal te vertragen terwijl deze erdoorheen reist, hielden ze de binnenkant van het systeem perfect conservatief, waardoor golven vrij kunnen reizen zonder energie te verliezen. Ze plaatsten vervolgens een specifiek "dempingsmechanisme" alleen aan de uiterste rand, of grens, van het systeem. Deze grens werkt als een spons die de energie absorbeert zodra de golf het einde bereikt, waardoor het systeem eindelijk tot rust kan komen. De onderzoekers ontdekten dat deze opstelling het systeem snel genoeg een stabiele staat laat bereiken om bruikbaar te zijn, terwijl de precieze wiskundige relatie behouden blijft die nodig is om te berekenen hoe de machine moet leren. Ze bewezen dat door de energie die uit deze enkele grens stroomt te meten, zij precies konden bepalen welke aanpassingen nodig zijn voor het hele systeem, ook al vond de energieafname alleen aan de rand plaats.

Om dit idee te testen, bouwden de onderzoekers een reeks digitale simulaties die fungeerden als hun fysieke laboratorium. Ze creëerden virtuele ketens van verbonden knooppunten, variërend van kleine groepen tot grote netwerken, en simuleerden golven die door hen heen bewogen. In deze simulaties introduceerden ze een kleine "duw" in het systeem, waardoor het iets richting een gewenst antwoord werd geduwd, en keken vervolgens hoe het tot rust kwam. Ze vergeleken hun boundary-damped methode met drie andere standaardmanieren om deze systemen te trainen: één waarbij energie overal uniform wordt verwijderd, één die een andere wiskundige benadering gebruikt genaamd standaard equilibrium propagation, en een perfecte numerieke methode bekend als implicit differentiation. Over vierhonderd afzonderlijke runs met verschillende vormen van data en netwerkgroottes, produceerde de boundary-damped methode resultaten die statistisch niet te onderscheiden waren van de andere methoden. Het bereikte hetzelfde nauwkeurigheidsniveau bij het oplossen van problemen, zoals het onderscheiden van verschillende vormen of patronen, met een verschil in prestatie van minder dan twee procentpunten vergeleken met de beste alternatieven. Sterker nog, bij een directe vergelijking met de standaardmethode was het verschil effectief nul, wat bevestigde dat de nieuwe aanpak het leervermogen niet opofferde voor een eenvoudiger ontwerp.

De onderzoekers keken ook nauwgezet naar hoe het systeem zich in de loop van de tijd gedroeg om te garanderen dat het werkelijk stabiel was. Ze leidden een wiskundige regel af die de energie die het systeem verlaat volgt, waarmee ze bevestigden dat de totale energie zoals verwacht afnam, zonder ooit toe te nemen of vast te lopen. Ze ontdekten dat voor het functioneren van het systeem elke mogelijke trillingsmodus binnen het netwerk in staat moest zijn om de grens te bereiken; als een modus "onzichtbaar" was voor de rand, zou deze nooit tot rust komen. Hun tests toonden aan dat in de netwerken die zij bouwden, elke modus zichtbaar was en dat het systeem consistent een stabiele staat bereikte. Ze maten ook hoe snel het systeem tot rust kon komen en vonden een voorspelbare afruil: als ze het systeem harder duwden om het doel te bereiken, kwam het sneller tot rust maar introduceerden ze een kleine fout in het leersignaal; als ze het voorzichtig duwden, duurde het langer maar was het nauwkeuriger. Ze ontdekten een specifiek "sweet spot" voor deze duw die de totale fout minimaliseerde, een relatie die in al hun tests standhield.

Voorbij eenvoudige ketens testten het team hun methode op complexere vormen, inclusief vierkante rasters en ijle, onregelmatige netwerken die er niet uitzien als een rechte lijn. In elk geval genereerde de boundary-damped aanpak succesvol de juiste leersignalen. Ze onderzochten ook hoe het systeem om zou gaan met echte imperfecties, zoals ruis in de sensoren die de staat van het systeem uitlezen. Ze vonden dat de methode opmerkelijk robuust is tegen fouten die zowel de "voor"- als de "na"-toestanden op dezelfde manier beïnvloeden, zoals een lichte drift in de baselinemeting van een sensor. Het is echter gevoeliger voor willekeurige, onafhankelijke ruis die elke meting anders beïnvloedt. Dit suggereert dat hoewel de methode goed geschikt is voor fysieke hardware waarbij veelvoorkomende fouten vaak gecorreleerd zijn, het zorgvuldige engineering vereist om willekeurige elektrische ruis te hanteren.

De laatste test hield in dat de methode werd gebruikt om een systeem te trainen om handgeschreven cijfers en afbeeldingen van kleding te herkennen, een taak die bekend staat als beeldclassificatie. De onderzoekers trainden een model met behulp van de volledige fysieke dynamica van het golfsysteem, waarbij ze het systeem de opdracht gaven om elke staat te genereren die nodig is voor het leren, zonder gebruik te maken van shortcuts. Het resulterende model bereikte een nauwkeurigheid van ongeveer 85 procent voor handgeschreven cijfers en 77 procent voor afbeeldingen van kleding. Hoewel deze cijfers lager zijn dan wat moderne digitale computers bereiken, merkten de onderzoekers op dat hun model bewust klein en eenvoudig werd gehouden om het concept te bewijzen. De belangrijkste bevinding was niet dat het model het beste was in het herkennen van afbeeldingen, maar dat het überhaupt leerde met behulp van de fysieke golfdynamica. De gradiënt, of het instructiesignaal dat het systeem vertelt hoe het moet veranderen, bleef accuraat tot binnen een fractie van een procent vergeleken met het theoretische ideaal.

Dit werk demonstreert dat het mogelijk is om het transport van informatie te scheiden van de dissipatie van energie in een fysiek leersysteem. Door de binnenkant van het systeem conservatief te houden en het energieverlies te beperken tot een enkele, toegankelijke grens, hebben de onderzoekers een systeem gecreëerd dat zowel fysiek realiseerbaar als wiskundig solide is. De resultaten suggereren dat toekomstige fysieke computers gebouwd kunnen worden met minder dempingscomponenten, wat de complexiteit en de kosten van de hardware vermindert terwijl het vermogen behouden blijft om complexe taken te leren. De studie bevestigt dat de uitgaande energiestroom uit een systeem kan dienen als een betrouwbare gids voor leren, mits het systeem zo is ontworpen dat geen interne trillingen verborgen blijven voor die grens. Hoewel de huidige simulaties een proof of concept zijn, bieden de vastgestelde principes een duidelijk pad naar het bouwen van fysieke machines die leren door simpelweg golven te laten bezinken.