🤖 machine learning

Generative Models on Analog Hardware with Dynamics

Dit artikel introduceert Analog Interaction Systems (AIS), een verenigd kader dat de kloof overbrugt tussen vaste, door fysica bepaalde analoge hardware en flexibele generatieve modellering door gebruik te maken van tijdvariërende parameters en verborgen toestanden, waarbij een energievermindering van twee ordes van grootte en significant verbeterde FID-scores op MNIST-datasets wordt bereikt in vergelijking met eerdere hardwaregebaseerde benaderingen.

Oorspronkelijke auteurs: Yu-Neng Wang, Sara Achour

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yu-Neng Wang, Sara Achour

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om plaatjes te tekenen.

De Oude Manier (Digitale Computers):
Momenteel gebruiken we krachtige digitale computers (zoals de GPU's in je gaming PC of datacenters) om dit te doen. Deze computers zijn als zeer snelle, zeer nauwkeurige boekhouders. Om een plaatje te tekenen, breken ze de taak af in miljoenen kleine, discrete wiskundige stappen. Ze berekenen, stoppen, berekenen opnieuw en stoppen weer. Dit proces is ongelooflijk nauwkeurig, maar verbruikt een enorme hoeveelheid elektriciteit, alsof je een hoogwaardige airconditioner laat draaien om slechts een schets te maken.

Het Nieuwe Idee (Analoge Hardware):
De auteurs van dit artikel stellen voor om in plaats daarvan "analoge hardware" te gebruiken. Denk hierbij niet aan een boekhouder, maar aan een reusachtige, onderling verbonden speeltuin van schommels en veren.

In deze speeltuin gebeurt de "berekening" op natuurlijke wijze. Als je één schommel een duwtje geeft, trekt de fysica van de touwen en kettingen automatisch aan de naburige schommel.
Het systeem telt geen stappen; het stroomt gewoon. Het lost problemen op door de natuurkundige wetten (zoals zwaartekracht of magnetisme) het werk te laten doen. Dit is ongelooflijk energiezuinig, zoals het gebruik van de wind om een zeilboot voort te bewegen in plaats van brandstof te verbranden.

Het Grote Probleem:
Er is een mismatch. Moderne AI-modellen zijn als flexibele software die elke vorm of patroon kan leren. Maar onze analoge speeltuin is rigide. De schommelverbindingen zijn op een specifieke manier vastgelegd door de fysica, en ze kunnen alleen in specifieke patronen bewegen. Het is alsof je een schommelstel probeert te leren om een perfecte cirkel te tekenen, terwijl het alleen is ontworft om heen en weer te schommelen. De "speeltuin" is van zichzelf niet flexibel genoeg om complexe afbeeldingen zelfstandig te leren.

De Oplossing: "Analog Interaction Systems" (AIS)
De auteurs creëerden een nieuw framework genaamd Analog Interaction Systems (AIS) om deze kloof te overbruggen. Ze probeerden de schommel niet te dwingen om zich als een digitale computer te gedragen; in plaats daarvan vonden ze slimme manieren om de speeltuin expressiever te maken zonder de wetten van de fysica te breken.

Ze introduceerden drie belangrijke "trucs" om de rigide schommel in staat te stellen complexe plaatjes te tekenen:

Tijd-gechunkte controles (De "Dirigent"):
In plaats van dat de verbindingen tussen de schommel voor altijd vaststaan, stel je je een dirigent voor die elke paar seconden de regels verandert. Voor de eerste seconde zijn de schommel strak met elkaar verbonden; voor de volgende seconde zijn ze losser verbonden. Door de "spelregels" in de loop van de tijd te veranderen, kan het systeem veel complexere bewegingen creëren dan wanneer de regels hetzelfde zouden blijven.
Verborgen Schommelen (De "Geestdansers"):
De auteurs voegden "verborgen" schommel toe die je niet kunt zien in het uiteindelijke plaatje, maar die wel verbonden zijn met de zichtbare schommel. Deze verborgen schommel fungeren als een geheim ondersteuningsteam. Ze dansen rond en helpen de zichtbare schommelen om het juiste pad te vinden om een plaatje te vormen, ook al zie je de verborgen schommelen nooit in het eindresultaat. Dit geeft het systeem veel meer "hersencapaciteit" zonder dat er meer zichtbare onderdelen nodig zijn.
Het Pad Loslaten (Het "Bestemmingsgerichte" Doel):
Normaal gesproken, wanneer we AI trainen, vertellen we het precies hoe het bij elke stap moet bewegen (zoals een GPS die routebeschrijvingen stap voor stap geeft). Maar omdat de analoge hardware rigide is, is het onmogelijk om het een specifiek pad te laten volgen.
In plaats daarvan gebruikten de auteurs een GAN (Generative Adversarial Network) benadering. Ze zeiden tegen het systeem: "Ik geeft niet om hoe je er komt, zorg er alleen voor dat je op de juiste bestemming aankomt."

De Generator: De analoge speeltuin probeert willekeurige ruis om te zetten in een afbeelding.
De Criticus: Een digitale computer kijkt naar de uiteindelijke afbeelding en zegt: "Dat lijkt op een kat," of "Dat is rommel."
De speeltuin leert door vallen en opstaan, waarbij het zijn eigen unieke, kronkelende pad vindt van ruis naar afbeelding, in plaats van te worden gedwongen een rechte lijn te volgen.

De Resultaten:
Het team testte dit op eenvoudige beelddatasets (zoals handgeschreven cijfers en mode-items).

Prestaties: Hun analoge systeem produceerde afbeeldingen die 3 tot 4 keer beter waren dan eerdere pogingen tot analoge beeldgeneratie.
Efficiëntie: Dit is de grote winst. Ze schatten dat hun systeem ongeveer 23 microjoules aan energie gebruikt om één afbeelding te genereren.
- Om dit in perspectief te plaatsen: Een standaard digitale computer zou voor dezelfde taak ongeveer 7 tot 79 millijoules gebruiken.
- Dat betekent dat het analoge systeem 100 keer energie-efficiënter is (twee grootheden) dan de digitale baseline.

Samenvattend:
Het artikel laat zien dat we een nieuw soort AI kunnen bouwen die draait op fysieke hardware (zoals oscillatoren en veren) in plaats van alleen op digitale chips. Door de beperkingen van de hardware te accepteren en slimme trainingsmethoden te gebruiken (de regels in de loop van de tijd veranderen, verborgen helpers toevoegen en alleen focussen op het eindresultaat), hebben ze een systeem gecreëerd dat afbeeldingen tekent met een fractie van de energie die nodig is voor de computers van vandaag. Het is een bewijs dat de natuurkunde van de natuur kan worden ingezet om complexe AI-taken efficiënt uit te voeren.

Technische Samenvatting: Generatieve Modellen op Analoge Hardware met Dynamiek

Probleemstelling
Moderne generatieve modellen, met name die gebaseerd op diffusie en flow matching, vertrouwen op flexibele, door software gedefinieerde dynamiek die wordt geïmplementeerd via neurale netwerken. Deze modellen brengen aanzienlijke energiekosten met zich mee door iteratieve numerieke integratie op digitale hardware. Daarentegen bieden analoge hardwareplatforms (bijv. gekoppelde oscillatoren, Analog Ising Machines) van nature de mogelijkheid om differentiaalvergelijkingen met een hoge energie-efficiëntie op te lossen door gebruik te maken van natuurkundige wetten. Er bestaat echter een fundamentele mismatch: analoge hardware legt vaste, door de fysica bepaalde differentiaalvergelijkingen op met een beperkt benaderingsvermogen, terwijl moderne generatieve modellen flexibele vectorenvelden vereisen. Dit artikel adresseert de uitdaging van het ontwerpen van een generatieve modelarchitectuur die geschikt is voor implementatie op analoge hardware, terwijl de beperkingen van vaste dynamiek, niet-standaard interactiekernels en hardwarebeperkingen zoals ruis en beperkte precisie worden overwonnen.

Methodologie
De auteurs introduceren Analog Interaction Systems (AIS), een verenigd kader voor hardware-implementeerbare dynamische systemen. De kernaanpak omvat drie belangrijke methodologische pijlers:

Architectuur en Dynamiek:
- AIS-modellen worden gedefinieerd door gewone differentiaalvergelijkingen (ODE's) waarbij de staatsevolutie wordt beheerst door fysieke interacties (bijv. sinusvormige koppeling in oscillatoren, polynomiale of sigmoïdale niet-lineariteiten in Ising-machines).
- Om de kloof in expressiviteit tussen vaste fysica en flexibele neurale netwerken te overbruggen, stellen de auteurs twee hardware-compatibele mechanismen voor:
  - Tijdstuksgewijze parameters (Time-piecewise parameters): Het verdelen van het integratie-interval in segmenten met onafhankelijke parametersets om de complexiteit van het vectorveld te vergroten.
  - Verborgen fysieke staten (Hidden physical states): Het uitbreiden van de zichtbare staatruimte met verborgen fysieke elementen die interageren met de zichtbare knopen, waardoor de effectieve parameterruimte wordt vergroot zonder dat directe observatie van de verborgen trajectorie vereist is.
- De hardwarearchitectuur is ontworpen als een ijle (sparse) grid van fysieke elementen (PE's) met lokale en beperkte langeafstandsverbindingen om de routing-overhead te minimaliseren. Parameters worden gekwantiseerd naar lage bit-breedtes om de DAC-oppervlakte en het vermogen te verminderen.
Trainingsparadigma:
- De auteurs stellen dat exacte traject-supervisie (bijv. Optimal Transport Conditional Flow Matching), die het model dwingt om op elk tijdstip een specifiek pad te volgen, onhaalbaar is voor AIS vanwege structurele beperkingen.
- In plaats daarvan gebruiken de auteurs een Wasserstein Generative Adversarial Network (WGAN) trainingsprocedure. Deze methode maakt gebruik van eindpunt-supervisie, waarbij alleen de terminale zichtbare staat ( $v(T)$ ) wordt bestraft in plaats van tussenliggende trajecten. Dit stelt het fysieke systeem in staat om zichzelf te organiseren en zijn eigen pad van ruis naar data te ontdekken, waarbij geoptimaliseerd wordt over verborgen staten die geen grondwaarheid-trajecten bezitten.
Hardware Implementatiestrategie:
- De voorgestelde architectuur ondersteunt tijdvariërende gewichten via drie strategieën: "Save-and-reprogram" (digitalisering van tussenliggende staten), "Weight stationary" (ruimtelijke unrolling over meerdere cores) en "State stationary" (dynamische gewichtsupdates binnen een enkele core).
- Vermogensschattingen worden geëxtrapoleerd uit bestaande 28-nm gekoppelde oscillator Ising machine siliciummetingen, geschaald voor aantal knopen, koppelingsdichtheid en gewichtsprecisie.

Belangrijkste Bijdragen

Verenigd Kader: Definitie van Analog Interaction Systems (AIS) als een klasse van dynamische systemen waarbij berekening voortkomt uit apparaatfysica, onderscheidend van digitale emulaties van neurale ODE's.
Expressiviteitsmechanismen: Empirische identificatie en validatie van tijdstuksgewijze parameters en verborgen fysieke staten als effectieve methoden om de kloof in expressiviteit tussen fysica-beperkte systemen en neurale netwerk-baselines te verkleinen.
Innovatie in Training: Ontwikkeling van een WGAN-trainingsprocedure die specifiek is afgestemd op analoge hardware, die de vorm van de trajectorie ontkoppelt van de doelkwaliteit, waardoor optimalisatie van systemen met vaste interactiekernels mogelijk wordt.
Hardware-bewuste Ontwerp: Voorstel voor een ijle (sparse), laag-bit-breedte architectuur met schaalwetten die aantonen dat ijle connectiviteit en kwantisatie noodzakelijk zijn voor praktische energie-efficiëntie.

Resultaten

Expressiviteitsstudie: Op laag-dimensionale synthetische distributietaken (bijv. het transformeren van Gaussische distributies naar multi-modale mengsels), zorgde de combinatie van SWD (Sliced Wasserstein Distance) eindpunt-supervisie, tijdstuksgewijze gewichten en verborgen staten voor een significante vermindering van de Wasserstein-afstand ( $W_2^2$ ) vergeleken met fixed-parameter of traject-gesuperviseerde baselines. KuraSHIL (Kuramoto met injectielocking) bleek de sterkste presteerder.
Generatieve Kwaliteit: Op de MNIST en Fashion-MNIST datasets bereikte de oscillator-gebaseerde AIS Fréchet Inception Distance (FID) scores van respectievelijk 27,6 en 80,8. Dit presteert 3–4× beter dan de beste eerdere hardware-implementeerbare analoge generatieve modellen (DTM en NLM).
Robuustheid: Het model behield een hoge prestatie met 4-bit gekwantiseerde gewichten (FID 27,2/81,9) en toonde veerkracht tegen transiënte ruisniveaus ( $\delta=0,025$ ).
Energie-efficiëntie: De auteurs schatten een energiekost van 23 $\mu$ J per gegenereerde afbeelding voor een 56×56 AIS-core werkend op 100 MHz. Dit vertegenwoordigt een verbetering van twee grootheden ten opzichte van digitale baselines (geschat op 7–79 mJ per afbeelding). De schaalanalyse geeft aan dat het overstappen naar all-to-all connectiviteit of hogere bit-breedtes het energieverbruik drastisch zou verhogen, wat de noodzaak van ijle, lage-precisie ontwerpen valideert.

Significantie
Het artikel beweert dat de beperkingen opgelegd door analoge hardware — specifiek vaste dynamiek en fysieke beperkingen — kunnen worden overwonnen om expressieve, energie-efficiënte generatieve modellen te leveren. Door de trainingsdoelstelling te verschuiven van traject-matching naar eindpunt-distributie-matching via WGAN's, en door gebruik te maken van verborgen staten en tijdvariërende parameters, tonen de auteurs aan dat analoge hardware van nature differentiaalvergelijking-gebaseerde generatieve modellering kan implementeren. Dit werk suggereert een levensvatbaar pad naar laag-vermogen, laag-latentie generatieve AI die de intrinsieke fysica van het substraat benut in plaats van digitale algoritmen te emuleren. De resultaten wijzen erop dat analoge systemen, met passende architecturale en training-aanpassingen, een concurrerende generatieve kwaliteit kunnen bereiken terwijl ze aanzienlijke energiebesparingen bieden ten opzichte van digitale GPU-gebaseerde alternatieven.

Meer zoals dit