🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

Diese Arbeit zeigt auf, dass die quasi-statische Inferenz in physikalischen neuronalen Netzen keine thermodynamischen Kosten verursacht, während das Lernen von Parametern einen irreversiblen Energieaufwand mit sich bringt, wodurch etabliert wird, dass der fundamentale thermodynamische Preis neuronaler Komputation durch die Speicherung von Gedächtnis und nicht durch arithmetische Verarbeitung bestimmt wird.

Ursprüngliche Autoren: Alexei Tkachenko

Veröffentlicht 2026-08-18

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexei Tkachenko

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Jedes Mal, wenn ein Computer ein Problem löst oder ein neues Muster lernt, verbraucht er Energie. Wir sehen dies in den massiven Kraftwerken, die unsere Rechenzentren speisen, und in der Wärme, die von unseren Laptops abstrahlt. Seit Jahrzehnten fragen sich Wissenschaftler, wie viel dieser Energiekosten einfach ein Fehler unserer aktuellen Technologie ist und wie viel ein grundlegendes Naturgesetz, dem keine Maschine jemals entkommen kann. Die Standardantwort für digitale Computer stammt aus einer Regel namens Landauer-Prinzip. Sie besagt, dass eine Maschine eine winzige, unvermeidliche Menge an Wärme freisetzen muss, wenn sie ein Stück Information löscht. Diese Regel gilt für die binären Schalter in unseren Prozessoren, in denen Informationen als unterscheidbare, stabile Zustände wie „an“ oder „aus“ gespeichert sind. Viele Forscher bauen jedoch nun eine andere Art von Computer. Dies sind physikalische neuronale Netze, Geräte aus Licht, mechanischen Teilen oder elektronischen Schaltkreisen, die durch das Entspannen in einen Zustand des Gleichgewichts rechnen – ganz ähnlich wie ein Ball, der einen Hügel hinunterrollt, um den tiefsten Punkt zu finden. Da diese Maschinen nicht auf das Umschalten starrer Schalter angewiesen sind, gelten die alten Regeln über das Löschen von Bits für sie möglicherweise nicht in gleicher Weise. Die Frage ist, ob diese neuen Maschinen mit fast gar keiner Energie berechnen und lernen können oder ob auch sie an eine harte physikalische Grenze gebunden sind.

Ein Forscher am Brookhaven National Laboratory hat nun genau kartiert, wie viel Energie diese physikalischen Netzwerke benötigen. Er hat kein physisches Gerät im Labor gebaut; stattdessen erstellte er ein detailliertes mathematisches Modell, das ein neuronales Netz als ein System aus Federn und Gewichten behandelt. In seinem Modell sind die Verbindungen zwischen den Schichten des Netzwerks keine starren Anweisungen, sondern elastische Zwänge, vergleichbar mit Federn, die das System in eine bestimmte Form ziehen. Wenn das Netzwerk einen Input erhält, entspannt es sich einfach in die Form, die alle Federn gleichzeitig erfüllt. Dieser Ansatz ermöglichte es dem Wissenschaftler, die Energiekosten zweier unterschiedlicher Prozesse zu berechnen: der Inferenz, also dem Akt des Lösens eines Problems, und des Lernens, also dem Akt des Trainierens der Maschine, um besser darin zu werden, Probleme zu lösen. Ihre Ergebnisse zeigen eine überraschende Spaltung in der Physik dieser Maschinen. Sie entdeckten, dass der Akt des Denkens, oder der Inferenz, theoretisch mit null Energie durchgeführt werden kann, wenn die Maschine sich langsam genug bewegt. Die Kosten treten nur auf, wenn die Maschine gezwungen wird, sich schnell zu bewegen. Im Gegensatz dazu trägt der Akt des Lernens einen permanenten Energiepreis, der nicht vermieden werden kann, egal wie langsam die Maschine arbeitet.

Der Forscher fand heraus, dass bei der Inferenz die Energiekosten nicht durch die Anzahl der Verbindungen oder „Gewichte“ innerhalb des Netzwerks bestimmt werden, wie es bei digitalen Computern der Fall ist. Stattdessen hängen die Kosten von der Breite des Netzwerks ab, also davon, wie viele Neuronen gleichzeitig aktiv sind. Wenn die Maschine sich erlaubt, langsam zu entspannen und von einem Input zum nächsten in einem gemächlichen Tempo überzugehen, benötigt sie überhaupt keine Arbeit. Dies liegt daran, dass sich die Maschine immer in einem Zustand des Gleichgewichts befindet und entlang eines glatten Energietals gleitet, ohne jemals einen Hügel erklimmen oder ein Gedächtnis löschen zu müssen. Der einzige Zeitpunkt, an dem Energie aufgewendet wird, ist, wenn die Maschine gezwungen wird, schneller zu bewegen, als ihre natürliche Relaxationsgeschwindigkeit. In diesem schnellen Regime ist die benötigte Energie proportional zur Distanz, die die Maschine durch ihren Zustandsraum zurücklegen muss, dividiert durch die Zeit, die sie dafür benötigt. Die Simulationen zeigten, dass selbst bei der schnellsten nützlichen Geschwindigkeit die Energiekosten bemerkenswert niedrig sind, etwa vergleichbar mit der thermischen Energie der Umgebung für jede Dimension der breitesten Schicht des Netzwerks. Das bedeutet, dass die Kosten mit der Größe der Breite des Netzwerks skalieren, nicht mit seiner gesamten Komplexität. Für ein Netzwerk mit einer Million aktiver Neuronen beträgt der Energiekostensatz etwa eine Million mal die winzige thermische Energie eines einzelnen Teilchens – ein Wert, der um Milliarden kleiner ist als das, was aktuelle digitale Hardware verbraucht.

Das Lernen hingegen erzählt eine andere Geschichte. Wenn die Maschine trainiert wird, werden sowohl der Input als auch der gewünschte Output gleichzeitig auf das System aufgedrängt. Dies erzeugt einen Konflikt oder eine Spannung innerhalb der Federn des Netzwerks, da die aktuellen Einstellungen nicht sowohl den Input als auch das Ziel gleichzeitig erfüllen können. Um zu lernen, muss die Maschine ihre internen Gewichte anpassen, um diese Spannung zu lösen. Der Forscher fand heraus, dass dieser Prozess der Anpassung der Gewichte einen irreversiblen Energiekostenpunkt mit sich bringt. Im Gegensatz zur Inferenz verschwindet dieser Preis nicht, selbst wenn das Training unendlich langsam durchgeführt wird. Jedes Mal, wenn ein Gewicht geändert wird, wird eine kleine Menge Energie als Wärme abgegeben, etwa das Vielfache der thermischen Energie der Umgebung pro Parameter. Diese Kosten fallen einmal für den gesamten Satz an Parametern an, die das Wissen der Maschine definieren. Es hängt nicht davon ab, wie viele Beispiele die Maschine während des Trainings sieht, sondern vielmehr auf der Anzahl der Gewichte, die sie speichern muss. Dies steht in scharfem Kontrast zum digitalen Training, bei dem die Maschine die Information für jedes einzelne Beispiel löschen und neu schreiben muss, was zu einer massiven Energierechnung führt, die mit der Größe des Datensatzes skaliert.

Der Forscher testete diese Ideen durch die Simulation eines kleinen Netzwerks, das darauf trainiert wurde, handgeschriebene Ziffern zu erkennen, eine Standardaufgabe im maschinellen Lernen. Er beobachtete, wie sich die Maschine verhielt, wenn sie zwischen verschiedenen Zahlen wechselte und wie sie ihre Gewichte anpasste, um ihre Genauigkeit zu verbessern. Die Ergebnisse stimmten perfekt mit seinen theoretischen Vorhersagen überein. Wenn die Maschine aufgefordert wurde, eine Ziffer schnell zu inferieren, stieg der von ihr verbrauchte Energiebedarf steil an, und ihre Genauigkeit sank, als die geleistete Arbeit mit dem zufälligen Zittern der Wärme im System vergleichbar wurde. Aber wenn der Maschine erlaubt wurde, sich langsam zu bewegen, löste sie das Problem mit fast keiner Energie, und ihre Genauigkeit blieb hoch. Während des Trainings beobachteten sie, dass die aufgewendete Energie für die Anpassung der Gewichte einem präzisen Muster folgte, was bestätigte, dass bei jedem Akt des Lernens eine kleine, feste Menge an Wärme freigesetzt wird. Die Simulationen zeigten, dass, sobald die Maschine die Aufgabe gelernt hatte, die Energie, die erforderlich war, um dieses Wissen aufrechtzuerhalten, vernachlässigbar war, aber die Energie, die erforderlich war, um dieses Wissen ursprünglich zu schreiben, ein grundlegender, unvermeidlicher Preis war.

Diese Erkenntnisse legen nahe, dass der thermodynamische Preis eines neuronalen Netzes durch sein Gedächtnis und nicht durch seine Arithmetik bestimmt wird. Der Akt der Berechnung eines Ergebnisses ist nahezu kostenlos, begrenzt nur durch die Geschwindigkeit, mit der die Maschine gezwungen wird, sich zu bewegen. Der Akt des Lernens hingegen erfordert die Zahlung einer kleinen, aber permanenten Gebühr, um die Parameter in die physische Struktur der Maschine zu schreiben. Diese Unterscheidung bietet eine neue Perspekt Perspektive auf die Zukunft des Computings. Während digitale Maschinen durch die Kosten des Löschens von Bits für jede Operation gebunden sind, könnten physische Maschinen potenziell komplexe Berechnungen mit einer Energieeffizienz durchführen, die um Größenordnungen besser ist. Die verbleibende Lücke zwischen aktueller Hardware und diesen theoretischen Grenzen ist nicht auf einen Fehler in den Gesetzen der Physik zurückzuführen, sondern auf die Ineffizienzen unserer aktuellen Materialien und Designs. Die Studie liefert eine klare Roadmap für das Mögliche und zeigt, dass, wenn wir Maschinen bauen können, die sich wahrhaftig in ihre Lösungen entspannen, die Energiekosten der Intelligenz auf das absolute Minimum reduziert werden können, das das Universum zulässt.

Technisches Resümee: Thermodynamische Kosten von Inferenz und Lernen in physikalischen neuronalen Netzen

Problemstellung
Die rasante Expansion tiefer neuronaler Netze hat zu einem eskalierenden Energiebedarf sowohl für das Training als auch für die Inferenz geführt. Während die Ineffizienzen aktueller Hardware gut dokumentiert sind, bleibt eine fundamentale Frage offen: Welche energetischen Kosten sind intrinsisch mit der neuronalen Berechnung selbst verbunden, unabhängig von spezifischen Geräteimplementierungen? Für digitale Hardware ist der Standard-Thermodynamik-Benchmark das Landauer-Prinzip, das eine minimale Dissipation von $k_B T \ln 2$ pro gelöschtem Bit für logisch irreversible Operationen zuordnet. Dieser Grenzwert bezieht sich jedoch auf metastabile, multistabile informationstragende Zustände und beschränkt nicht direkt kontinuierliche analoge Berechnungen oder physikalische Systeme, die über Relaxation und Äquilibrierung statt über getaktete digitale Gatter operieren. Die Arbeit zielt darauf ab, die thermodynamischen Grenzen energiebasierter physikalischer neuronaler Netze zu bestimmen, wobei insbesondere untersucht wird, wie viel Energie für Inferenz und Lernen erforderlich ist, wenn das Netzwerk als ein physikalisches System modelliert wird, das durch einen Hamiltonian bestimmt wird.

Methodik
Der Autor schlägt ein theoretisches Framework vor, das ein generisches Feedforward-Netzwerk in einen physikalischen Hamiltonian einbettet.

Hamiltonian-Einbettung: Ein Standard-Feedforward-Netzwerk mit Schichten $x_n$ , Gewichten $W_n$ und Biases $b_n$ wird auf eine elastische Energiefunktion abgebildet:
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
Hierbei wird jede Schichtbeziehung als elastische Kompatibilitätsbedingung mit einer Steifigkeit $\kappa$ behandelt. Der „Feedforward-Zustand“ entspricht dem Null-Energie-Mannigfaltigkeit ( $H=0$ ). Im Gegensatz zu Hopfield-Netzwerken, bei denen Zustände Attraktoren sind, erzeugt diese Konstruktion eine hochgradig entartete Grundzustands-Mannigfaltigkeit, in der jeder Input einen eindeutigen, null-energie-kompatiblen Zustand auswählt.
Dynamik: Das System entwickelt sich über überdämpfte Langevin-Dynamik ( $\dot{x}_n = -\mu \nabla_{x_n} H + \text{Rauschen}$ ).
Inferenz vs. Training:
- Inferenz: Modelliert als Relaxation der verborgenen und Ausgangsvariablen zum Null-Energie-Mannigfaltigkeit unter einem festen Input.
- Training: Modelliert als ein überbestimmter Prozess, bei dem sowohl der Input als auch der Ziel-Output fixiert sind, was eine Spannung (Loss) erzeugt, die Parameter-Updates über mechanische Kraftbilanz (Backpropagation) antreibt.
Thermodynamische Grenzen: Die Arbeit leitet exakte Schranken für die Arbeit ab, die erforderlich ist, um das System zwischen thermischen Zuständen zu treiben. Sie nutzt den Wasserstein-2-Abstand ( $W_2$ ) für optimalen Transport und relaxiert diesen zu einer informationstheoretischen Schranke unter Verwendung der Kullback-Leibler-Divergenz (KL) und der Fisher-Rao-Metrik.
Numerische Validierung: Simulationen wurden an einem minimalen physikalischen Netzwerk (Architektur 64 $\to$ 20 $\to$ 10) durchgeführt, das auf dem MNIST-Datensatz trainiert wurde. Die Simulationen testeten die Arbeitsdissipation, die Relaxationszeiten und die Genauigkeit unter variierenden Protokollgeschwindigkeiten und Temperaturen.

Wesentliche Beiträge und Ergebnisse

Reversible Inferenz im quasi-statischen Limit:
Die Arbeit beweist, dass die Gleichgewichts-Freie-Energie des eingebetteten Netzwerks bei allen Temperaturen unabhängig vom Input und allen Parametern (Gewichte und Biases) ist. Folglich ist die Änderung der Freien Energie ( $\Delta F$ ) für jeden Input-Übergang exakt Null. Im quasi-statischen Limit (unendlich langsamer Betrieb) erfordert die Inferenz Null Arbeit. Dies steht im Gegensatz zu digitalen Systemen, in denen die Berechnung oft das Löschen von Bits beinhaltet; hier ist die Berechnung eine monostabile, isostatische Reaktion entlang einer Null-Energie-Mannigfaltigkeit, wodurch die Landauer-Kosten vollständig vermieden werden.
Inferenzkosten bei endlicher Geschwindigkeit:
Für den Betrieb bei endlicher Geschwindigkeit ist die erforderliche Arbeit nach unten durch den quadrierten Wasserstein-2-Abstand zwischen den initialen und finalen thermischen Zuständen begrenzt, dividiert durch die Protokolldauer $\tau$ .
- Die Schranke wird zu einem entropischen Maß relaxiert: $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ , wobei $d$ die Breite der breitesten Schicht ist, $\tau_L$ die diffusive Zeitskala und $\Gamma_{inf}$ ein Fidelity-Faktor im Zusammenhang mit dem Signal-Rausch-Verhältnis.
- Bei der schnellstmöglichen nutzbaren Geschwindigkeit (wo $\tau \approx \tau_{inf}$ ), heben sich die Fidelity und die Relaxationszeit auf, was zu einem Kostenwert von etwa $k_B T$ pro Dimension der breitesten Schicht führt.
- Entscheidend ist, dass diese Kosten mit der Breite des Netzwerks (Anzahl der Neuronen) skalieren, nicht mit der Anzahl der Parameter (Synapsen). Simulationen bestätigten, dass die gemessene Arbeit die Transport-Schranke innerhalb von 4 % sättigt.
- Die Genauigkeit bricht zusammen, wenn die dissipierte Arbeit unter die thermische Skala ( $k_B T$ ) fällt, was bestätigt, dass die Zuverlässigkeit durch das Verhältnis von Arbeit zu thermischer Unterscheidbarkeit bestimmt wird.
Irreduzible Kosten des Lernens:
Lernen ist grundlegend anders als Inferenz. Da das Training erfordert, die Parameter (Gewichte und Biases) zu ändern, trägt es eine irreduzible Kostenkomponente, die auch im quasi-statischen Limit bestehen bleibt.
- Die Gesamtkosten des Trainings bestehen aus einem Datenpräsentations-Term (der bei langsamer Präsentation verschwindet) und einem Parameter-Annealing-Term.
- Die Parameter-Annealing-Kosten betragen etwa einige wenige $k_B T$ pro Parameter für den gesamten Trainingslauf. Diese Kosten fallen einmalig an, um die Parameterkonfiguration zu etablieren, im Gegensatz zum digitalen Training, das bei jeder Datenpräsentation eine Löschkosten-Gebühr zahlt.
- Die Kosten skalieren mit der Anzahl der Parameter ( $N_\theta$ ), sind aber im quasi-statischen Limit unabhängig von der Größe des Datensatzes (im Gegensatz zu digitalen Benchmarks, die mit $N_\theta \times \text{Datensatzgröße}$ skalieren).
Vergleich mit digitalen Benchmarks:
Die Arbeit vergleicht diese physikalischen Schranken mit dem Landauer-Limit für irreversible digitale Hardware (16-Bit-Arithmetik).
- Inferenz: Die physikalische Kosten ( $\sim d k_B T$ ) liegen um Größenordnungen unter dem digitalen Landauer-Benchmark ( $\sim N_\theta k_B T$ ), da physikalische Netzwerke Multiplikationen mittels Geometrie statt diskreter Operationen durchführen.
- Training: Die physikalischen Kosten sind ein einmaliger Parameter-Update-Aufwand, während digitales Training bei jedem Token im Datensatz Löschkosten verursacht.
- Tabelle 1 der Arbeit schätzt, dass die physikalische Inferenz etwa $\sim 10^5$ mal effizienter als der Landauer-Benchmark und $\sim 10^{13}$ mal effizienter als aktuelle Hardware-Schätzungen sein könnte, während das physikalische Training einen ähnlichen Vorteil gegenüber digitalem Training bietet, da die Kosten pro Token entfallen.

Bedeutung und Ansprüche
Die Arbeit behauptet, den fundamentalen thermodynamischen Preis der neuronalen Berechnung etabliert zu haben, indem sie zwischen den Kosten der Arithmetik (Inferenz) und des Speicherns (Lernen) unterscheidet.

Inferenz: Die thermodynamische Kosten werden durch die Breite des Netzwerks und die Betriebsgeschwindigkeit bestimmt, nicht durch seine Parameteranzahl. Im idealen Limit ist die Berechnung selbst kostenlos; die Kosten entstehen nur durch die endliche Geschwindigkeit, die erforderlich ist, um das Signal vom thermischen Rauschen zu trennen.
Lernen: Die Kosten werden durch den Speicheraspekt dominiert – das Schreiben der Parameter. Diese Kosten sind selbst im langsamen Limit irreduzibel, werden aber über den gesamten Datensatz amortisiert, was sie potenziell viel günstiger macht als digitales Training, das pro Beispiel bezahlt.
Physikalisch vs. Digital: Die Arbeit legt nahe, dass physikalische neuronale Netze theoretisch digitale Implementierungen nicht nur durch technische Verbesserungen, sondern weil sie die fundamentale Landauer-Kosten vermeiden können, die mit dem Löschen von Informationen während der Berechnung verbunden sind. Der „thermodynamische Preis“ eines neuronalen Netzwerks ist somit eher mit seinem Gedächtnis (Lernen) als mit seiner Arithmetik (Inferenz) verknüpft.

Der Autor merkt an, dass diese Schranken für ideale Substrate gelten; reale Welt-Kosten (Datentransformation, Steuerung, nicht-ideale Materialien) dominieren derzeit. Zudem nimmt das Modell eine Affine-plus-Activation-Struktur an und adresset noch nicht Attention-Mechanismen oder die Kosten der Gewichtsspeicherung nach dem Training. Dennoch liefern die Ergebnisse eine rigorose thermodynamische Baseline zur Bewertung zukünftiger neuromorpher und physikalischer Computing-Architekturen.

Technisches Resümee: Thermodynamische Kosten von Inferenz und Lernen in physikalischen neuronalen Netzen

Mehr davon