⚛️ lattice

Weight-Space Physics: Interpretable Hypernetworks for Lattice Quantum Field Theories

Dieses Paper führt JEPAWG ein, einen auf einer Joint-Embedding Predictive Architecture basierenden Gewichtegenerator, der Kopplungskonstanten direkt auf Normalizing-Flow-Gewichte abbildet und zeigt, dass der latente Raum des Netzwerks kritische physikalische Phänomene wie Phasenübergänge und Finite-Size-Scaling wiederherstellen kann, wodurch die Netzwerkgewichte selbst als interpretierbare physikalische Observablen für Gitterfeldtheorien etabliert werden.

Ursprüngliche Autoren: Tobias Göbel, Julian R. Ebelt, Zier Mensch, Mathis Gerdes, Miranda C. N. Cheng

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tobias Göbel, Julian R. Ebelt, Zier Mensch, Mathis Gerdes, Miranda C. N. Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Maschine zu verstehen, wie etwa eine High-End-Espressomaschine. Normalerweise müssen Sie, um eine perfekte Tasse Kaffee zu bekommen, an den Reglern drehen (Temperatur, Druck, Mahlgrad) und tausende Testläufe durchführen, wobei Sie das Ergebnis jedes Mal verkosten müssen, um zu sehen, ob Sie es richtig hinbekommen haben. So untersuchen Physiker derzeit die „starke Kernkraft“ (den Kleber, der Atome zusammenhält). Sie haben einen Satz von Regeln (Kopplungskonstanten), aber die Vorhersage des Ergebnisses erfordert massive, langsame Computersimulationen.

Dieses Paper schlägt einen neuen Weg vor, die Maschine selbst zu betrachten. Anstatt nur den Kaffee zu verkosten, wollen sie den internen Schaltplan der Maschine lesen, um genau zu verstehen, wie sie funktioniert und was sie als Nächstes tun wird.

Hier ist die Aufschlüsselung ihrer Arbeit unter Verwendung alltäglicher Analogien:

1. Das Problem: Die „Black Box“ der Physik

Physiker nutzen eine Methode namens Gitterfeldtheorie (Lattice Field Theory), um die Natur zu simulieren. Stellen Sie sich dies als ein riesiges Gitter aus Pixeln vor, die den Raum repräsentieren. Um die Realität zu simulieren, stellen sie auf diesem Gitter „Regler“ (Kopplungskonstanten) ein.

Der alte Weg: Sie führen eine Simulation aus, erhalten ein Ergebnis, und wenn sie wissen wollen, was bei leicht veränderten Reglereinstellungen passiert, müssen sie die gesamte Simulation von vorne beginnen. Das ist langsam und teuer.
Das neue Werkzeug (Normalizing Flows): Vor kurzem haben Wissenschaftler KI-„Sampler“ gebaut (wie einen smarten Roboterarm), die diese Ergebnisse schnell generieren können. Aber es gibt einen Haken: Wir wissen nicht, was der Roboter gelernt hat. Es ist eine „Black Box“. Wir wissen, dass es funktioniert, aber wir können sein Gehirn nicht lesen.

2. Die große Idee: Den „Schaltplan lesen“

Die Autoren stellen eine einfache Frage: Kann man die Physik direkt aus den internen Einstellungen der KI (ihren Gewichten) ablesen?

Stellen Sie sich die internen Einstellungen der KI wie eine massive, komplizierte Karte vor. Die Autoren glauben, dass diese Karte nicht nur aus zufälligem Rauschen besteht; sie enthält tatsächlich ein verborgenes Bild der physikalischen Gesetze, auf denen sie trainiert wurde. Wenn man sich die Form dieser Karte ansieht, sollte man die „Phasenübergänge“ (wie Wasser zu Eis wird) erkennen können, ohne jemals eine einzige Simulation durchzuführen.

3. Die Lösung: JEPAWG (Der „Universelle Übersetzer“)

Um dies zu testen, haben sie ein neues KI-Werkzeug namens JEPAWG entwickelt.

Die Analogie: Stellen Sie sich vor, Sie haben eine Bibliothek von Büchern, die in einer fremden Sprache geschrieben sind (die internen Gewichte der KI). Sie wollen wissen, worum es in den Büchern geht, aber Sie können die Sprache nicht lesen.
Wie JEPAWG funktioniert: Es fungiert wie ein Übersetzer, der lernt, die „Reglereinstellungen“ (die physikalischen Inputs) direkt mit dem „Buchtext“ (den KI-Gewichten) zu verbinden.
Der Clou: Im Gegensatz zu anderen Übersetzern, die nur versuchen, den Text auswendig zu lernen, lernt JEPAWG die Struktur der Sprache. Es erstellt einen „latenten Raum“ – eine vereinfachte, 2D-Karte der komplexen 3D-Welt im Gehirn der KI.

4. Was sie entdeckt haben

Als sie die Karte betrachteten, die JEPAWG erstellte, fanden sie etwas Erstaunliches. Die Karte war kein zufälliger Klumpen; sie spiegelte perfekt die Gesetze der Physik wider.

Die Dimensionen finden: Die Physik, die sie untersuchten, hat nur zwei Hauptregler (Temperatur und Druck). Andere KI-Methoden versuchten, dies in einen 3D- oder 4D-Raum abzubilden, was unordentlich und verwirrend machte. JEPAWG fand korrekt heraus, dass die Welt nur 2 Dimensionen benötigt. Es „wusste“, dass die Physik einfach war, obwohl das Gehirn der KI riesig und komplex war.
Den Phasenübergang erkennen: In der Physik gibt es eine „kritische Linie“, an der sich Dinge drastisch ändern (wie Wasser, das kocht). Die Autoren fanden einen „Grat“ oder einen Hügel in der Karte der KI, der perfekt mit dieser kritischen Linie übereinstimmte. Die KI hatte gelernt, den wichtigsten Teil der Physik hervorzuheben, indem sie einfach ihre eigenen internen Gewichte organisierte.
Der „Größen“-Trick (Renormierungsgruppe): Dies ist der magischste Teil. Die Autoren testeten die KI auf Gittern unterschiedlicher Größen (klein vs. groß). In der Physik können ein kleines und ein großes Gitter dieselbe Realität repräsentieren, wenn man sie korrekt skaliert.
- JEPAWG lernte diese Skalierungsregel automatisch. Es erkannte, dass eine „kleine“ Theorie und eine „große“ Theorie tatsächlich Nachbarn auf seiner Karte sind, wenn sie dieselbe Physik repräsentieren.
- Es berechnete sogar den korrekten „Skalierungsexponenten“ (eine Zahl, die beschreibt, wie Dinge wachsen), der dem berühmten Wert des 2D-Ising-Modells (ein Standard-Benchmark der Physik) entspricht. Es tat dies, ohne die Antwort vorgegeben zu bekommen; es hat es einfach durch das Betrachten der Form der Karte herausgefunden.

5. Warum das wichtig ist

Es ist ein Generator: Da JEPAWG die Beziehung zwischen den Reglern und dem Gehirn der KI versteht, kann es vorhersagen, wie das Gehirn der KI für eine neue Reglereinstellung aussehen sollte, die es noch nie gesehen hat. Es ist, als würde man einen Bauplan betrachten und sofort wissen, wie man eine neue Version der Maschine baut, ohne sie vorher bauen zu müssen.
Es ist robust: Selbst als die Trainingsdaten unordentlich waren oder aus verschiedenen Quellen stammten (wie zwei verschiedene Roboter, die dieselbe Sache bauen), gelang es JEPAWG dennoch, eine glatte, kontinuierliche Karte zu erstellen. Andere Methoden (wie Standard-Autoencoder) wurden verwirrt und erzeugten fragmentierte, unterbrochene Karten.

Zusammenfassung

Das Paper behauptet, dass neuronale Netzwerkgewichte nicht nur Zahlen sind, sondern eine neue Art von physikalischen Observablen. Durch die Verwendung einer speziellen Architektur namens JEPAWG zeigten sie, dass man die Gesetze der Physik direkt aus der Geometrie des Gehirns einer KI „lesen“ kann. Die KI hat die Physik nicht nur simuliert; sie hat gelernt, sich selbst so zu organisieren, dass sie die zugrunde liegende Realität perfekt widerspiegelt, was es ermöglicht, Ergebnisse und Phasenübergänge allein durch die Betrachtung der Netzwerkstruktur vorherzusagen.

Technische Zusammenfassung: Physik im Gewichtsraum: Interpretierbare Hypernetzwerke für Gitter-Quantenfeldtheorien

Problemstellung
Die Gitterfeldtheorie (Lattice Field Theory, LFT) ist das primäre Werkzeug zur Simulation nicht-perturbativer Phänomene in der Hochenergie- und Kondensierten Materiephysik. Während die zugrunde liegende Physik analytisch durch nackte Kopplungskonstanten ( $g$ ) parametrisiert wird, erfordert die Extraktion physikalischer Observablen typischerweise umfangreiche numerische Simulationen, da diese nackten Parameter schwache Prädiktoren für die resultierenden Boltzmann-Verteilungen sind. Kürzlich sind auf Flüssen basierende generative Modelle (Normalizing Flows) als effektive Sampler für diese Verteilungen hervorgetreten, die eine invertierbare Abbildung von einer Basisverteilung zur Ziel-Boltzmann-Maß nehmen lernen. Es besteht jedoch eine kritische Lücke: Während diese Netzwerke lernen zu sampeln, ist es schwierig zu interpretieren, welche physikalische Struktur sie in ihren Gewichten ( $\theta_g$ ) kodiert haben. Insbesondere ist unklar, ob die Geometrie des Gewichtsraums die physikalische Struktur wiederherstellt, die durch nackte Kopplungen verschleiert wird, und ob Gewichte für ungesehene Theorien ohne erneutes Training generiert werden können.

Methodik: JEPAWG
Die Autoren führen JEPAWG (Joint-Embedding Predictive Architecture-based Weight Generator) ein, ein Framework, das darauf ausgelegt ist, Kopplungskonstanten direkt auf Flow-Netzwerk-Gewichte über einen gelernten latenten Raum abzubilden. Im Gegensatz zu Standard-Hypernetzwerken, die Kopplungen mittels Rekonstruktionsverlust auf Gewichte regredieren, nutzt JEPAWG eine JEPA-Architektur (LeCun, 2022; Assran et al., 2023), um Repräsentationen durch Vorhersage statt durch Rekonstruktion zu lernen.

Die Architektur besteht aus vier Komponenten:

Gewichtsenkoder ( $E_\theta$ ): Bildet kanonisierte Flow-Parameter $\theta$ auf ein latentes Embedding $z_\theta$ ab.
Kopplungsenkoder ( $E_g$ ): Bildet nackte Kopplungen $g = (m^2, \lambda)$ auf ein latentes Embedding $z_g$ ab.
Prädiktor ( $P$ ): Bildet das Kopplungs-Embedding $z_g$ auf das vorhergesagte Gewichts-Embedding $\hat{z}_\theta$ ab.
Dekoder ( $D_\theta$ ): Bildet das vorhergesagte Embedding zurück auf die Flow-Parameter $\hat{\theta}$ .

Das Modell wird unter Verwendung eines modifizierten VICReg-Objektivs (Bardes et al., 2022) trainiert, welches Invarianz (Ausrichtung zwischen vorhergesagten und Ziel-Embeddings), Varianz (Verhinderung von Repräsentationskollaps) erzwingt und explizit den Kovarianzterm entfernt, um den latenten Raum auf die niedrigdimensionale Struktur des Problems zu konzentrieren. Ein entscheidender Vorverarbeitungsschritt ist die Gewichtskanonisierung, welche Symmetrien (Basisänderungen, Permutationen, Vorzeichenumkehrungen) im Gewichtsraum auflöst, um einen eindeutigen Repräsentanten für jede Symmetrieordnung zu gewährleisten und so eine unambügelte Merkmalsextraktion zu ermöglichen.

Das System wird auf der zweidimensionalen reellen $\phi^4$ -Theorie auf periodischen quadratischen Gittern ( $L \in \{6, \dots, 11\}$ ) angewendet. Die Trainingsdaten werden aus zwei unabhängig trainierten bedingten Flows (Multi-Seed-Setting) konstruiert, die disjunkte Regionen des Kopplungsraums abdecken, um sicherzustellen, dass die gelernten Repräsentationen robust gegenüber strukturellen Diskontinuitäten im Gewichtsmanigfaltigkeit sind.

Zentrale Beiträge und Ergebnisse
Das Paper präsentiert vier primäre Beiträge und zeigt auf, dass die Geometrie von Netzwerkgewichten als eine neue Art von physikalischer Observablen dienen kann:

Wiederherstellung der physikalischen Dimensionalität:
Der JEPAWG-latente Raum stellt die intrinsische Dimension der zugrunde liegenden 2D-Kopplungsmannigfaltigkeit erfolgreich wieder her. Mittels Maximum-Likelihood-Schätzung (MLE) wird die latente Dimension auf $2,01 \pm 0,06$ geschätzt, wobei 98,5 % der Varianz durch zwei Hauptachsen erfasst werden. Im Gegensatz dazu blähen Baseline-Methoden (Autoencoder, VAEs und PCA) diese Dimension signifikant auf (z. B. VAE MLE $\approx 4,88$ ) und versagen dabei, die niedrigdimensionale physikalische Struktur zu erfassen.
Detektion von Phasenübergängen aus Gewichten:
Durch die Berechnung der Pullback-Metrik auf der Parameterabbildung $\theta(g)$ identifizieren die Autoren einen „Grat“ (Ridge) im Gewichtsraum, der die kritische Linie der $\phi^4$ -Theorie verfolgt. Entscheidend ist, dass dieses Signal ausschließlich aus nicht-lokalen Komponenten des Netzwerks (Zero-Mode-Skalierung und Fourier-Skalierungsparameter) stammt, während lokale „Bulk“-Gruppen keine Korrelation mit der Kritikalität zeigen. Dies ermöglicht die Lokalisierung der Phasengrenze, ohne physische Samples ziehen zu müssen.
Renormierungsgruppen-Struktur (RG) und Finite-Size-Scaling:
Die latente Geometrie organisiert Theorien gemäß der Finite-Size-Scaling-Variable (FSS). Beim Vergleich von Gewichten über verschiedene Gittergrößen ( $L$ ) hinweg wird der latente Abstand minimiert, wenn der Skalierungsexponent $\nu$ mit dem theoretischen 2D-Ising-Wert ( $\nu = 1$ ) übereinstimmt. Der gelernte Exponent $\nu^*$ umschließt den exakten Wert (z. B. $1,00^{+0,08}_{-0,06}$ für das $6 \to 11$ Pairing), was darauf hindeutet, dass das Netzwerk implizit RG-invariante Kombinationen gelernt hat, anstatt nur die nackten Kopplungen.
Robuste Generierung:
Als Generator interpoliert und extrapoliert JEPAWG effektiv zu ungesehenen Kopplungen. Im anspruchsvollen Multi-Seed-Setting erreicht JEPAWG eine effektive Stichprobengröße (Effective Sample Size, ESS) von 0,88 für Interpolation und behält eine robuste Leistung an den Rändern (0,56) und Ecken (0,39) bei. Baselines (PCA, AE, VAE) kollabieren in diesem Setting signifikant (ESS $\approx 0,30\text{--}0,40$ ), primär weil sie nicht in der Lage sind, die durch Multi-Seed-Trainingsdaten und Gewichtskanonisierung eingeführten Diskontinuitäten zu handhaben.

Bedeutung und Behauptungen
Das Paper behauptet, dass Physik als Lieferant natürlicher synthetischer Daten fungiert, die reich genug sind, um nicht trivial zu sein, aber strukturiert genug, um interpretierbar zu sein, und somit einen Ground Truth bieten, der in der allgemeinen KI-Interpretabilitätsforschung oft fehlt.

Die zentrale Erkenntnis ist, dass die Geometrie der trainierten Gewichte die Geometrie der physikalischen Theorie widerspiegelt und sich spezifisch auf die Netzwerkkomponenten konzentriert, die für nicht-lokale Transformationen verantwortlich sind, in denen die Physik „lebt“. Die Autoren argumentieren, dass die Behandlung von Netzwerkgewichten als physikalische Observablen das direkte Lesen physikalischer Strukturen (Dimensionalität, Phasenübergänge und Skalierungsexponenten) ermöglicht, ohne dass eine Überwachung durch physikalische Labels erforderlich ist. Dies validiert das JEPAWG-Framework und stützt die breitere Behauptung, dass physikbasierte synthetische Daten effektiv für die Entwicklung interpretierbarer KI sind.

Limitierungen
Die Autoren merken an, dass ihre Experimente aufgrund der Rechenkosten auf eine einzige 2D-Theorie auf kleinen Gittern ( $L \le 11$ ) beschränkt sind. Folglich stützen sich ihre Interpretationsansprüche auf die Übereinstimmung mit einer einzigen Universalitätsklasse (2D Ising). Sie behaupten nicht, dass die Methode für alle Quantenfeldtheorien funktioniert oder hochpräzise Messungen kritischer Exponenten liefert, sondern stellen einen qualitativen Test der RG-Bewusstheit im latenten Raum dar. Zukünftige Arbeiten schlagen vor, dies auf größere Gitter und diverse physikalische Systeme auszuweiten.