Weight-Space Physics: Interpretable Hypernetworks for Lattice Quantum Field Theories

Technische Samenvatting: Gewichtruimte-fysica: Interpreteerbare Hypernetwerken voor Rooster Kwantumveldentheorieën

Probleemstelling
Roosterveldentheorie (Lattice Field Theory, LFT) is het primaire instrument voor het simuleren van niet-perturbatieve fenomenen in de hoge-energiefysica en gecondenseerde materie. Hoewel de onderliggende fysica analytisch wordt geparametriseerd door kale koppelingsconstanten ($g$), vereist het extraheren van fysieke observabelen doorgaans uitgebreide numerieke simulaties, omdat deze kale parameters zwakke voorspellers zijn van de resulterende Boltzmann-verdelingen. Recentelijk zijn flow-gebaseerde generatieve modellen (normalizing flows) opgekomen als effectieve samplers voor deze verdelingen, die een omkeerbare kaart leren van een basisverdeling naar de doel-Boltzmann-maat. Echter, er blijft een kritische kloof bestaan: hoewel deze netwerken leren te samplen, is het moeilijk om te interpreteren welke fysieke structuur ze in hun gewichten ($\theta_g$) hebben gecodeerd. Specifiek is het onduidelijk of de geometrie van de gewichtsruimte de fysieke structuur herstelt die door kale koppelingen wordt verborgen, en of gewichten voor ongeziene theorieën kunnen worden gegenereerd zonder hertraining.

Methodologie: JEPAWG
De auteurs introduceren JEPAWG (Joint-Embedding Predictive Architecture-based Weight Generator), een raamwerk ontworpen om koppelingsconstanten direct naar flow-netwerkgewichten te mappen via een geleerde latente ruimte. In tegenstelling tot standaard hypernetwerken die koppelingen naar gewichten regresseren met behulp van een reconstructieverlies, gebruikt JEPAWG een JEPA-architectuur (LeCun, 2022; Assran et al., 2023) om representaties te leren door middel van predictie in plaats van reconstructie.

De architectuur bestaat uit vier componenten:

1. Gewicht-encoder ($E_\theta$): Mapt gecanoniseerde flow-parameters $\theta$ naar een latente embedding $z_\theta$.
2. Koppelings-encoder ($E_g$): Mapt kale koppelingen $g = (m^2, \lambda)$ naar een latente embedding $z_g$.
3. Predictor ($P$): Mapt de koppelings-embedding $z_g$ naar de voorspelde gewichts-embedding $\hat{z}_\theta$.
4. Decoder ($D_\theta$): Mapt de voorspelde embedding terug naar de flow-parameters $\hat{\theta}$.

Het model wordt getraind met een aangepaste VICReg-objectief (Bardes et al., 2022), die invariantie (uitlijning tussen voorspelde en doel-embeddings), variantie (voorkomen van representatie-instorting) afdwingt en expliciet de covariantie-term verwijdert om de latente ruimte te laten concentreren op de laagdimensionale structuur van het probleem. Een cruciale voorverwerkingsstap is gewicht-canonicalisering, die symmetrieën (basisveranderingen, permutaties, tekenomkeringen) in de gewichtsruimte oplost om een unieke vertegenwoordiger voor elke symmetrie-orbiet te waarborgen, wat de extractie van niet-ambigue kenmerken vergemakkelijkt.

Het systeem wordt toegepast op de tweedimensionale reële scalaire $\phi^4$-theorie op periodieke vierkante roosters ($L \in \{6, \dots, 11\}$). De trainingsdata is geconstrueerd uit twee onafhankelijk getrainde conditionele flows (multi-seed setting) die disjuncte regio's van de koppelingsruimte beslaan om te garanderen dat de geleerde representaties robuust zijn tegen structurele discontinuïteiten in de gewichtsmanifold.

Belangrijkste Bijdragen en Resultaten
Het artikel presenteert vier primaire bijdragen, waarmee wordt aangetoond dat de geometrie van netwerkgewichten kan dienen als een nieuw type fysieke observabele:

1. Herstel van Fysieke Dimensionaliteit:
   De JEPAWG latente ruimte slaagt erin de intrinsieke dimensie van de onderliggende 2D koppelingsmanifold te herstellen. Met behulp van Maximum Likelihood Estimation (MLE) wordt de latente dimensie geschat op $2.01 \pm 0.06$, waarbij 98,5% van de variantie wordt gevangen door twee hoofdassen. In contrast hiermee blazen baseline-methoden (Autoencoders, VAE's en PCA) deze dimensie significant op (bijv. VAE MLE $\approx 4.88$), waardoor ze er niet in slagen de laagdimensionale fysieke structuur te vangen.

2. Detectie van Faseovergangen vanuit Gewichten:
   Door de pullback-metriek op de parametermap $\theta(g)$ te berekenen, identificeren de auteurs een "rug" in de gewichtsruimte die de kritische lijn van de $\phi^4$-theorie volgt. Cruciaal is dat dit signaal uitsluitend voortkomt uit niet-lokale componenten van het netwerk (zero-mode scaling en Fourier scaling parameters), terwijl lokale "bulk"-groepen geen correlatie met kritikaliteit vertonen. Dit maakt het mogelijk de fasegrens te lokaliseren zonder fysieke samples te trekken.

3. Renormalisatiegroep (RG)-structuur en Finite-Size Scaling:
   De latente geometrie organiseert theorieën volgens de finite-size scaling (FSS) variabele. Wanneer gewichten over verschillende roosterformaten ($L$) worden vergeleken, wordt de latente afstand geminimaliseerd wanneer de schalingsexponent $\nu$ overeenkomt met de theoretische 2D Ising-waarde ($\nu = 1$). De geleerde exponent $\nu^*$ benadert de exacte waarde (bijv. $1.00^{+0.08}_{-0.06}$ voor de $6 \to 11$ pairing), wat aangeeft dat het netwerk impliciet RG-invariante combinaties heeft geleerd in plaats van enkel de kale koppelingen.

4. Robuuste Generatie:
   Als generator interpoleert en extrapoleert JEPAWG effectief naar ongeziene koppelingen. In de uitdagende multi-seed setting bereikt JEPAWG een Effective Sample Size (ESS) van 0.88 voor interpolatie en behoudt het robuuste prestaties op randen (0.56) en hoeken (0.39). Baselines (PCA, AE, VAE) storten in deze setting aanzienlijk in (ESS $\approx 0.30\text{--}0.40$), grotendeels omdat ze er niet in slagen de discontinuïteiten te hanteren die worden geïntroduceerd door de multi-seed trainingsdata en gewicht-canonicalisering.

Betekenis en Claims
Het artikel claimt dat fysica fungeert als een leverancier van natuurlijke synthetische data die rijk genoeg is om niet-trivial te zijn, maar gestructureerd genoeg om interpreteerbaar te zijn, wat een grondwaarheid biedt die vaak ontbreekt in algemeen onderzoek naar machine learning-interpreteerbaarheid.

De centrale bevinding is dat de geometrie van getrainde gewichten de geometrie van de fysieke theorie reflecteert, waarbij de concentratie specifiek ligt op de netwerkcomponenten die verantwoordelijk zijn voor niet-lokale transformaties waar de fysica "leeft". De auteurs stellen dat het behandelen van netwerkgewichten als fysieke observabelen directe toegang geeft tot de fysieke structuur (dimensionaliteit, faseovergangen en schalingsexponenten) zonder supervisie van fysieke labels. Dit valideert het JEPAWG-raamwerk en ondersteunt de bredere claim dat fysica-gebaseerde synthetische data effectief is voor de ontwikkeling van interpreteerbare AI.

Beperkingen
De auteurs merken op dat hun experimenten beperkt zijn tot een enkele 2D-theorie op kleine roosters ($L \le 11$) vanwege computationele kosten. Bijgevolg rusten hun interpretatieclaims op de overeenstemming met een enkele universaliteitsklasse (2D Ising). Zij beweren niet dat de methode werkt voor alle kwantumveldentheorieën of dat zij hoog-precieze metingen van kritische exponenten levert, maar eerder een kwalitatieve test van RG-bewustzijn in de latente ruimte. Toekomstig werk wordt voorgesteld om dit uit te breiden naar grotere roosters en diverse fysische systemen.