🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

Dit artikel toont aan dat hoewel quasi-statische inferentie in fysieke neurale netwerken geen thermodynamische kosten met zich meebrengt, het leren van parameters een onherleidbare energie-uitgave met zich meebrengt, waarmee wordt vastgesteld dat de fundamentele thermodynamische prijs van neurale computatie wordt bepaald door geheugenslagering in plaats van door rekenkundige verwerking.

Oorspronkelijke auteurs: Alexei Tkachenko

Gepubliceerd 2026-08-18

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexei Tkachenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elke keer dat een computer een probleem oplost of een nieuw patroon leert, verbruikt het energie. Dit zien we in de enorme elektriciteitscentrales die onze datacenters voeden en in de warmte die van onze laptops afstraalt. Decennialang hebben wetenschappers zich afgevraagd hoeveel van deze energiekosten simpelweg een gebrek zijn aan onze huidige technologie, en hoeveel een fundamentele natuurwet is waar geen enkele machine ooit aan kan ontsnappen. Het standaardantwoord voor digitale computers komt van een regel genaamd de Landauer-regel. Deze stelt dat als een machine een stuk informatie wist, het een piepkleine, onvermijdelijke hoeveelheid warmte moet afgeven. Deze regel is van toepassing op de binaire schakelaars in onze processors, waar informatie wordt opgeslagen als onderscheidende, stabiele toestanden zoals "aan" of "uit". Veel onderzoekers bouwen echter nu een ander soort computer. Dit zijn fysieke neurale netwerken, apparaten gemaakt van licht, mechanische onderdelen of elektronische circuits die rekenen door te ontspannen naar een staat van evenwicht, net zoals een bal die een heuvel afrolt om het laagste punt te vinden. Omdat deze machines niet vertrouwen op het omschakelen van rigide schakelaars, zijn de oude regels over het wissen van bits misschien niet op dezelfde manier van toepassing op hen. De vraag is of deze nieuwe machines kunnen rekenen en leren met bijna nul energie, of dat ook zij gebonden zijn aan een harde fysieke limiet.

Een onderzoeker bij Brookhaven National Laboratory heeft nu nauwkeurig in kaart gebracht hoeveel energie deze fysieke netwerken precies vereisen. Hij heeft geen fysiek apparaat in een laboratorium gebouwd; in plaats daarvan creëerde hij een gedetailleerd wiskundig model dat een neuraal netwerk behandelt als een systeem van veren en gewichten. In zijn model zijn de verbindingen tussen de lagen van het netwerk geen rigide instructies, maar elastische beperkingen, zoals veren die het systeem naar een specifieke vorm trekken. Wanneer het netwerk een input krijgt, ontspant het simpelweg naar de vorm die aan alle veren tegelijkertijd voldoet. Deze aanpak stelde de wetenschapper in staat om de energiekosten van twee verschillende processen te berekenen: inferentie, wat de handeling is van het oplossen van een probleem, en leren, wat de handeling is van het trainen van de machine om beter te worden in het oplossen van problemen. Hun bevindingen onthullen een verrassende splitsing in de fysica van deze machines. Ze ontdekten dat de handeling van het denken, oftewel inferentie, theoretisch met nul energie kan worden gedaan als de machine traag genoeg beweegt. De kosten treden alleen op wanneer de machine wordt gedwongen snel te bewegen. In contrast hiermee draagt de handeling van het leren een permanente energiekostenpost met zich mee die niet vermeden kan worden, ongeacht hoe langzaam de machine opereert.

De onderzoeker vond dat voor inferentie de energiekosten niet worden bepaald door het aantal verbindingen of "gewichten" binnen het netwerk, zoals bij digitale computers het geval is. In plaats daarvan hangt de kost af van de breedte van het netwerk, of hoeveel neuronen er tegelijkertijd actief zijn. Als de machine wordt toegestaan om traag te ontspannen, waarbij de beweging van de ene input naar de volgende plaatsvindt op een rustig tempo, vereist het helemaal geen arbeid. Dit komt omdat de machine zich altijd in een staat van evenwicht bevindt, glijdend langs een glad dal van energie zonder ooit een heuvel te hoeven beklimmen of een geheugen te hoeven wissen. De enige tijd dat energie wordt verbruikt, is wanneer de machine wordt gedwongen sneller te bewegen dan zijn natuurlijke snelheid van ontspanning. In dit snelle regime is de benodigde energie evenredig aan de afstand die de machine door zijn toestandsruimte moet afleggen, gedeeld door de tijd die het kost. De simulaties toonden aan dat zelfs bij de snelste nuttige snelheid, de energiekosten opmerkelijk laag zijn, ongeveer gelijk aan de thermische energie van de omgeving voor elke dimensie in de breedste laag van het netwerk. Dit betekent dat de kosten schalen met de breedte van het netwerk, niet met de totale complexiteit. Voor een netwerk met een miljoen actieve neuronen is de energiekost ongeveer een miljoen keer de piepkleine thermische energie van een enkel deeltje, een getal dat miljarden malen kleiner is dan wat de huidige digitale hardware verbruikt.

Leren vertelt echter een ander verhaal. Wanneer de machine wordt getraind, worden zowel de input als de gewenste output tegelijkertijd op het systeem afgedwongen. Dit creëert een conflict, of spanning, binnen de veren van het netwerk, omdat de huidige instellingen niet zowel de input als de doelstelling simultaan kunnen bevredigen. Om te leren, moet de machine zijn interne gewichten aanpassen om deze spanning te verlichten. De onderzoeker vond dat dit proces van het aanpassen van de gewichten een onvermijdelijke energiekosten met zich meebrengt. In tegen tegenstelling tot inferentie, verdwijnt deze kost niet, zelfs niet als de training oneindig langzaam wordt uitgevoerd. Elke keer dat een gewicht wordt aangepast, wordt er een kleine hoeveelheid energie als warmte afgegeven, ongeveer enkele malen de thermische energie van de omgeving per parameter. Deze kost wordt eenmalig in rekening gebracht voor de gehele set parameters die de kennis van de machine definiëren. Het hangt niet af van hoeveel voorbeelden de machine ziet tijdens de training, maar eerder van het aantal gewichten dat hij moet opslaan. Dit staat in scherp contrast met digitale training, waarbij de machine informatie moet wissen en herschrijven voor elk voorbeeld dat hij ziet, wat leidt tot een enorme energierekening die schaalt met de omvang van de dataset.

De onderzoeker testte deze ideeën door een klein netwerk te simuleren dat getraind is om handgeschreven cijfers te herkennen, een standaardtaak in machine learning. Hij observeerde hoe de machine zich gedroeg terwijl ze schakelden tussen verschillende cijfers en terwijl de machine zijn gewichten aanpaste om de nauwkeurigheid te verbeteren. De resultaten kwamen exact overeen met hun theoretische voorspellingen. Wanneer de machine werd gevraagd om een cijfer snel te infereren, steeg de geconsumeerde energie scherp, en daalde de nauwkeurigheid naarmate de geleverde arbeid vergelijkbaar werd met het willekeurige trillen van de warmte in het systeem. Maar wanneer de machine werd toegestaan om langzaam te bewegen, loste hij het probleem op met bijna nul energie, en bleef de nauwkeurigheid hoog. Tijdens de training werd geobserveerd dat de energie die werd besteed aan het aanpassen van de gewichten een precies patroon volgde, wat bevestigde dat een kleine, vaste hoeveelheid warmte wordt vrijgegeven voor elke bit aan geleerde informatie. De simulaties toonden aan dat zodra de machine de taak had geleerd, de energie die nodig was om die kennis te behouden verwaarloosbaar was, maar de energie die nodig was om die kennis in de eerste plaats te schrijven een fundamentele, onvermijdelijke kost was.

Deze bevindingen suggereren dat de thermodynamische prijs van een neuraal netwerk wordt bepaald door zijn geheugen in plaats van zijn rekenkracht. De handeling van het berekenen van een resultaat is bijna gratis, beperkt door hoe snel de machine wordt gedwongen te bewegen. De handeling van het leren vereist echter het betalen van een kleine maar permanente vergoeding om de parameters in de fysieke structuur van de machine te schrijven. Dit onderscheid biedt een nieuw perspectief op de toekomst van computing. Terwijl digitale machines gebonden zijn aan de kosten van het wissen van bits voor elke operatie, zouden fysieke machines potentieel complexe berekeningen kunnen uitvoeren met een energie-efficiëntie die orden van grootte beter is. De resterende kloof tussen de huidige hardware en deze theoretische limieten komt niet door een fout in de natuurwetten, maar door de inefficiënties van onze huidige materialen en ontwerpen. De studie biedt een duidelijk stappenplan voor wat mogelijk is, en laat zien dat als we machines kunnen bouwen die werkelijk ontspannen in hun oplossingen, de energiekosten van intelligentie tot het absolute minimum kan worden teruggebracht dat het universum toestaat.

Technische Samenvatting: Thermodynamische Kosten van Inferentie en Leren in Fysieke Neurale Netwerken

Probleemstelling
De snelle expansie van diepe neurale netwerken heeft geleid tot escalerende energiebehoeften voor zowel training als inferentie. Hoewel huidige hardware-inefficiënties goed gedocumenteerd zijn, blijft een fundamentele vraag over: wat zijn de energetische kosten die intrinsiek zijn aan neurale computatie zelf, onafhankelijk van specifieke apparaatimplementaties? Voor digitale hardware is de standaard thermodynamische benchmark het principe van Landauer, dat een minimale dissipatie van $k_B T \ln 2$ per gewiste bit toekent voor logisch irreversibele operaties. Deze grens geldt echter voor metastabiele, multistabiele informatiehoudende toestanden en beperkt de continue analoge computatie of fysieke systemen die via relaxatie en evenwicht werken niet direct. Dit artikel beoogt de thermodynamische limieten van energiegebaseerde fysieke neurale netwerken te bepalen, waarbij specifiek wordt gekeken naar hoeveel energie vereist is voor inferentie en leren wanneer het netwerk wordt gemodelleerd als een fysiek systeem dat wordt beheerst door een Hamiltoniaan.

Methodologie
De auteur stelt een theoretisch kader voor waarin een generiek feedforward neuraal netwerk wordt ingebed in een fysieke Hamiltoniaan.

Hamiltoniaanse Inbedding: Een standaard feedforward netwerk met lagen $x_n$ , gewichten $W_n$ en biases $b_n$ wordt in kaart gebracht naar een elastische energiefunctie:
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
Hier wordt elke laagrelatie behandeld als een elastische compatibiliteitsrestrictie met stijfheid $\kappa$ . De "feedforward-toestand" komt overeen met de nul-energie-manifold ( $H=0$ ). In tegen tegenstelling tot Hopfield-netwerken waar toestanden attractoren zijn, creëert deze constructie een hoog gedegenereerde grondtoestand-manifold waar elke input een unieke, nul-energie compatibele toestand selecteert.
Dynamica: Het systeem evolueert via overdempte Langevin-dynamica ( $\dot{x}_n = -\mu \nabla_{x_n} H + \text{ruis}$ ).
Inferentie versus Training:
- Inferentie: Gemodelleerd als de relaxatie van verborgen en output variabelen naar de nul-energie-manifold onder een vaste input.
- Training: Gemodelleerd als een overgeconstreerd proces waarbij zowel de input als de doeloutput worden vastgezet (clamping), wat spanning (loss) creëert die parameterupdates aanstuurt via mechanische krachtbalans (backpropagation).
Thermodynamische Grenzen: Het artikel leidt exacte grenzen af voor de arbeid die vereist is om het systeem tussen thermische toestanden te drijven. Het maakt gebruik van de Wasserstein-2 afstand ( $W_2$ ) voor optimaal transport en relaxeert dit naar een informatie-geometrische grens die de Kullback-Leibler (KL) divergentie en de Fisher-Rao afstand betreft.
Numerieke Validatie: Simulaties werden uitgevoerd op een minimaal fysiek netwerk (architectuur 64 $\to$ 20 $\to$ 10) getraind op de handgeschreven cijfers dataset (MNIST). De simulaties testten de dissipatie van arbeid, relaxatietijden en nauwkeurigheid onder variërende protocol-snelheden en temperaturen.

Belangrijkste Bijdragen en Resultaten

Reversibele Inferentie in de Quasi-Statische Limiet:
Het artikel bewijst dat de evenwichtsvrije energie van het ingebedde netwerk onafhankelijk is van de input en alle parameters (gewichten en biases) bij alle temperaturen. Bijgevolg is de verandering in vrije energie ( $\Delta F$ ) voor elke input-transitie exact nul. In de quasi-statische limiet (oneindig langzame operatie) vereist inferentie nul arbeid. Dit staat in contrast met digitale systemen waar computatie vaak het wissen van bits omvat; hier is de computatie een monostabiele, isostatische respons langs een nul-energie-manifold, waardoor de Landauer-kosten volledig worden vermeden.
Eindige-Snelheid Inferentiekosten:
Voor operaties met een eindige snelheid wordt de benodigde arbeid onderaan begrensd door de gekwadrateerde Wasserstein-2 afstand tussen de initiële en finale thermische toestanden, gedeeld door de protocolduur $\tau$ .
- De grens is gerelateerd aan een entropische maat: $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , waarbij $d$ de breedte is van de breedste laag, $\tau_L$ de diffusieve tijdschaal is, en $\Gamma_{inf}$ een fidelity-factor is gerelateerd aan de signaal-ruisverhouding.
- Bij de snelste bruikbare snelheid (waar $\tau \approx \tau_{inf}$ ), annuleren de fidelity en de relaxatietijd elkaar, wat resulteert in een kostenpost van ongeveer $k_B T$ per dimensie van de breedste laag.
- Cruciaal is dat deze kosten schalen met de breedte van het netwerk (aantal neuronen), en niet met het aantal parameters (synapsen). Simulaties bevestigden dat de gemeten arbeid de transportgrens binnen 4% verzadigt.
- De nauwkeurigheid stort in wanneer de gedissipeerde arbeid onder de thermische schaal ( $k_B T$ ) valt, wat bevestigt dat betrouwbaarheid wordt bepaald door de ratio tussen arbeid en thermische onderscheidbaarheid.
Onherleidbare Kosten van Leren:
Leren is fundamenteel anders dan inferentie. Omdat training vereist dat de parameters (gewichten en biases) worden gewijzigd, brengt het een onherleidbare kostenpost met zich mee die standhoudt in de quasi-statische limiet.
- De totale trainingskosten bestaan uit een data-presentatie term (die verdwijnt bij langzame presentatie) en een parameter-annealing term.
- De parameter-annealing kosten zijn ongeveer enkele $k_B T$ per parameter voor de gehele trainingsrun. Deze kosten worden eenmalig in rekening gebracht om de parameterconfiguratie te vestigen, in tegen tegenstelling tot digitale training die voor elke datapresentatie een erosiekost betaalt.
- De kosten schalen met het aantal parameters ( $N_\theta$ ) maar zijn onafhankelijk van de grootte van de dataset in de quasi-statische limiet (in tegenstelling tot digitale benchmarks die schalen met $N_\theta \times \text{Dataset Grootte}$ ).
Vergelijking met Digitale Benchmarks:
Het artikel vergelijkt deze fysieke grenzen met de Landauer-limiet voor irreversibele digitale hardware (16-bit rekenkunde).
- Inferentie: De fysieke kosten ( $\sim d k_B T$ ) zijn ordes van grootte lager dan de digitale Landauer-benchmark ( $\sim N_\theta k_B T$ ) omdat fysieke netwerken vermenigvuldigingen uitvoeren via geometrie in plaats van discrete operaties.
- Training: De fysieke kosten zijn een eenmalige parameter-update kosten, terwijl digitale training bij elke token in de dataset erosiekosten met zich meebrengt.
- Tabel 1 in het artikel schat dat fysieke inferentie $\sim 10^5$ keer efficiënter zou kunnen zijn dan de Landauer-benchmark en $\sim 10^{13}$ keer efficiënter dan huidige hardware-schattingen, terwijl fysieke training een vergelijkbaar voordeel biedt ten opzichte van digitale training vanwege de afwezigheid van per-token erosiekosten.

Betekenis en Claims
Het artikel beweert de fundamentele thermodynamische prijs van neurale computatie vastgesteld te hebben, waarbij onderscheid wordt gemaakt tussen de kosten van rekenkunde (inferentie) en geheugen (leren).

Inferentie: De thermodynamische kosten worden bepaald door de breedte van het netwerk en de snelheid van de operatie, niet door het aantal parameters. In de ideale limiet is computatie zelf gratis; de kosten ontstaan alleen door de eindige snelheid die nodig is om het signaal van de thermische ruis te scheiden.
Leren: De kosten worden gedomineerd door het geheugenaspect—het schrijven van de parameters. Deze kosten zijn onherleidbaar zelfs in de trage limiet, maar worden geamortiseerd over de gehele dataset, wat het potentieel veel goedkoper maakt dan digitale training die per voorbeeld betaalt.
Fysiek versus Digitaal: Het werk suggereert dat fysieke neurale netwerken theoretisch digitale implementaties kunnen ondermijnen, niet enkel door engineeringverbeteringen, maar omdat ze de fundamentele Landauer-kosten vermijden die geassocieerd zijn met het wissen van informatie tijdens de computatie. De "thermodynamische prijs" van een neuraal netwerk is daarmee meer geassocieerd met zijn geheugen (leren) dan met zijn rekenkunde (inferentie).

De auteur merkt op dat deze grenzen gelden voor ideale substraten; werkelijke kosten (datacontractie, controle, niet-ideale materialen) domineren momenteel. Bovendien gaat het model uit van een affine-plus-activatie structuur en adresseert het nog geen aandacht-mechanismen (attention mechanisms) of de kosten van het opslaan van gewichten na training. Desalniettemin bieden de resultaten een rigoureuze thermodynamische baseline voor het evalueren van toekomstige neuromorfische en fysieke computerarchitecturen.

Technische Samenvatting: Thermodynamische Kosten van Inferentie en Leren in Fysieke Neurale Netwerken

Meer zoals dit