Weight-Space Physics: Interpretable Hypernetworks for Lattice Quantum Field Theories

Sintesi Tecnica: Fisica nello Spazio dei Pesi: Hypernetwork Interpretabili per Teorie di Campo Quantistico su Reticolo

Definizione del Problema
La Teoria di Campo su Reticolo (LFT) è lo strumento primario per simulare fenomeni non perturbativi in fisica delle alte energie e della materia condensata. Sebbene la fisica sottostante sia parametrizzata analiticamente da costanti di accoppiamento nudi ($g$), l'estrazione degli osservabili fisici richiede tipicamente estese simulazioni numeriche poiché tali parametri nudi sono deboli predittori delle distribuzioni di Boltzmann risultanti. Recentemente, i modelli generativi basati sul flusso (normalizing flows) sono emersi come campionatori efficaci per queste distribuzioni, apprendendo una mappa invertibile da una distribuzione di base alla misura di Boltzmann target. Tuttavia, rimane una lacuna critica: sebbene queste reti imparino a campionare, è difficile interpretare quale struttura fisica abbiano codificato nei loro pesi ($\theta_g$). In particolare, non è chiaro se la geometria dello spazio dei pesi recuperi la struttura fisica celata dagli accoppiamenti nudi, e se i pesi per teorie non viste possano essere generati senza un nuovo addestramento.

Metodologia: JEPAWG
Gli autori introducono JEPAWG (Joint-Embedding Predictive Architecture-based Weight Generator), un framework progettato per mappare direttamente le costanti di accoppiamento ai pesi della rete di flusso attraverso uno spazio latente appreso. A differenza delle hypernetwork standard che regrediscono gli accoppiamenti verso i pesi utilizzando una perdita di ricostruzione, JEPAWG utilizza un'architettura JEPA (LeCun, 2022; Assran et et al., 2023) per apprendere rappresentazioni tramite predizione piuttosto che ricostruzione.

L'architettura è composta da quattro componenti:

1. Encoder dei Pesi ($E_\theta$): Mappa i parametri del flusso canonicalizzati $\theta$ in un embedding latente $z_\theta$.
2. Encoder dell'Accoppiamento ($E_g$): Mappa gli accoppiamenti nudi $g = (m^2, \lambda)$ in un embedding latente $z_g$.
3. Predittore ($P$): Mappa l'embedding dell'accoppiamento $z_g$ nell'embedding dei pesi predetto $\hat{z}_\theta$.
4. Decoder ($D_\theta$): Mappa l'embedding predetto nuovamente verso i parametri del flusso $\hat{\theta}$.

Il modello è addestrato utilizzando un obiettivo VICReg modificato (Bardes et al., 2022), che impone invarianza (allineamento tra embedding predetto e target), varianza (per prevenire il collasso della rappresentazione) e rimuove esplicitamente il termine di covarianza per consentire allo spazio latente di concentrarsi sulla struttura a bassa dimensionalità del problema. Un passaggio cruciale di pre-elaborazione riguarda la canonicalizzazione dei pesi, che risolve le simmetrie (cambi di base, permutazioni, inversioni di segno) nello spazio dei pesi per garantire un rappresentante unico per ogni orbita di simmetria, facilitando così un'estrazione di feature non ambigua.

Il sistema è applicato alla teoria scalare reale $\phi^4$ bidimensionale su reticoli quadrati periodici ($L \in \{6, \dots, 11\}$). I dati di addestramento sono costruiti da due flussi condizionali addestrati indipendentemente (impostazione multi-seed) che coprono regioni disgiunte dello spazio di accoppiamento, per garantire che le rappresentazioni apprese siano robuste rispetto alle discontinuità strutturali nel manifold dei pesi.

Contributi Chiave e Risultati
Il documento presenta quattro contributi primari, dimostrando che la geometria dei pesi della rete può servire come un nuovo tipo di osservabile fisico:

1. Recupero della Dimensionalità Fisica:
   Lo spazio latente di JEPAWG recupera con successo la dimensione intrinseca del sottostante manifold di accoppiamento 2D. Utilizzando la stima di massima verosimiglianza (MLE), la dimensione latente è stimata in $2.01 \pm 0.06$, con il 98,5% della varianza catturato da due assi principali. Al contrario, i metodi baseline (Autoencoder, VAE e PCA) gonfiano significativamente questa dimensione (ad esempio, MLE di VAE $\approx 4.88$), fallendo nel catturare la struttura fisica a bassa dimensionalità.

2. Rilevamento della Transizione di Fase dai Pesi:
   Calcolando la metrica di pullback sulla mappa dei parametri $\theta(g)$, gli autori identificano una "cresta" nello spazio dei pesi che traccia la linea critica della teoria $\phi^4$. Fondamentalmente, questo segnale origina esclusivamente dalle componenti non locali della rete (scaling dello zero-mode e scaling di Fourier), mentre i gruppi "bulk" locali non mostrano alcuna correlazione con la criticità. Ciò consente di localizzare il confine di fase senza dover disegnare alcun campione fisico.

3. Struttura del Gruppo di Rinormalizzazione (RG) e Scaling di Dimensione Finita (FSS):
   La geometria latente organizza le teorie secondo la variabile di scaling di dimensione finita (FSS). Confrontando i pesi tra diverse dimensioni di reticolo ($L$), la distanza latente è minimizzata quando l'esponente di scaling $\nu$ si allinea con il valore teorico Ising 2D ($\nu = 1$). L'esponente $\nu^*$ appreso racchiude il valore esatto (ad esempio, $1.00^{+0.08}_{-0.06}$ per l'accoppiamento $6 \to 11$), indicando che la rete ha implicitamente appreso combinazioni invarianti rispetto al RG piuttosto che i semplici accoppiamenti nudi.

4. Generazione Robusta:
   Come generatore, JEPAWG interpola ed estrapola efficacemente verso accoppiamenti non visti. Nell'impegnativa impostazione multi-seed, JEPAWG raggiunge un Effective Sample Size (ESS) di 0.88 per l'interpolazione e mantiene prestazioni robuste sui bordi (0.56) e sugli angoli (0.39). Le baseline (PCA, AE, VAE) collassano significativamente in questa impostazione (ESS $\approx 0.30\text{--}0.40$), principalmente perché non riescono a gestire le discontinuità introdotte dai dati di addestramento multi-seed e dalla canonicalizzazione dei pesi.

Significatività e Rivendicazioni
Il documento sostiene che la fisica agisce come un fornitore di dati sintetici naturali che sono abbastanza ricchi da essere non banali, ma sufficientemente strutturati da essere interpretabili, fornendo una verità fondamentale (ground truth) spesso carente nella ricerca generale sull'interpretabilità del machine learning.

Il risultato centrale è che la geometria dei pesi addestrati riflette la geometria della teoria fisica, concentrandosi specificamente sulle componenti della rete responsabili delle trasformazioni non locali dove la fisica "vive". Gli autori sostengono che trattare i pesi della rete come osservabili fisici permette la lettura diretta della struttura fisica (dimensionalità, transizioni di fase ed esponenti di scaling) senza supervisione da etichette fisiche. Ciò valida il framework JEPAWG e supporta la tesi più ampia secondo cui i dati sintetici basati sulla fisica sono efficaci per lo sviluppo di un'IA interpretabile.

Limitazioni
Gli autori osservano che i loro esperimenti sono limitati a una singola teoria 2D su piccoli reticoli ($L \le 11$) a causa dei costi computazionali. Di conseguenza, le loro rivendicazioni di interpretabilità si basano sull'accordo con una singola classe di universalità (Ising 2D). Non affermano che il metodo funzioni per tutte le teorie di campo quantistico o che fornisca misurazioni ad alta precisione degli esponenti critici, ma piuttosto un test qualitativo della consapevolezza del RG nello spazio latente. Il lavoro futuro proposto prevede l'estensione a reticoli più grandi e sistemi fisici diversificati.