Weight-Space Physics: Interpretable Hypernetworks for Lattice Quantum Field Theories

Resumo Técnico: Física do Espaço de Pesos: Hiperredes Interpretáveis para Teorias de Campo Quântico em Rede

Enunciado do Problema
A Teoria de Campo em Rede (Lattice Field Theory - LFT) é a principal ferramenta para simular fenômenos não perturbativos em física de altas energias e matéria condensada. Embora a física subjacente seja parametrizada analiticamente por constantes de acoplamento brutas ($g$), a extração de observáveis físicos tipicamente requer simulações numéricas extensas porque esses parâmetros brutos são preditores fracos das distribuições de Boltzmann resultantes. Recentemente, modelos generativos baseados em fluxo (fluxos normalizantes) emergiram como amostradores eficazes para essas distribuições, aprendendo um mapa invertível de uma distribuição base para a medida de Boltzmann alvo. No entanto, uma lacuna crítica permanece: embora essas redes aprendam a amostrar, é difícil interpretar qual estrutura física elas codificaram em seus pesos ($\theta_g$). Especificamente, não está claro se a geometria do espaço de pesos recupera a estrutura física obscurecida pelos acoplamentos brutos, e se pesos para teorias não vistas podem ser gerados sem retreinamento.

Metodologia: JEPAWG
Os autores introduzem o JEPAWG (Arquitetura de Gerador de Pesos baseada em Arquitetura Preditiva de Embedding Conjunto), um framework projetado para mapear constantes de acoplamento diretamente para pesos de redes de fluxo via um espaço latente aprendido. Diferente das hiperredes padrão que regridem acoplamentos para pesos usando perda de reconstrução, o JEPAWG utiliza uma arquitetura JEPA (LeCun, 2022; Assran et al., 2023) para aprender representações por predição em vez de reconstrução.

A arquitetura consiste em quatro componentes:

1. Codificador de Pesos ($E_\theta$): Mapeia parâmetros de fluxo canonicalizados $\theta$ para um embedding latente $z_\theta$.
2. Codificador de Acoplamento ($E_g$): Mapeia acoplamentos brutos $g = (m^2, \lambda)$ para um embedding latente $z_g$.
3. Preditor ($P$): Mapeia o embedding de acoplamento $z_g$ para o embedding de peso predito $\hat{z}_\theta$.
4. Decodificador ($D_\theta$): Mapeia o embedding predito de volta para os parâmetros de fluxo $\hat{\theta}$.

O modelo é treinado usando um objetivo VICReg modificado (Bardes et al., 2022), que impõe invariância (alinhamento entre embeddings preditos e alvo), variância (para prevenir o colapso da representação) e remove explicitamente o termo de covariância para permitir que o espaço latente se concentre na estrutura de baixa dimensão do problema. Uma etapa crucial de pré-processamento envolve a canonicalização de pesos, que resolve simetrias (mudanças de base, permutações, inversões de sinal) no espaço de pesos para garantir um representante único para cada órbita de simetria, facilitando a extração de características não ambíguas.

O sistema é aplicado à teoria escalar real $\phi^4$ bidimensional em redes quadradas periódicas ($L \in \{6, \dots, 11\}$). Os dados de treinamento são construídos a partir de dois fluxos condicionais treinados independentemente (configuração multi-seed) cobrindo regiões disjuntas do espaço de acoplamento para garantir que as representações aprendidas sejam robustas a descontinuidades estruturais no manifold de pesos.

Principais Contribuições e Resultados
O artigo apresenta quatro contribuições primárias, demonstrando que a geometria dos pesos da rede pode servir como um novo tipo de observável físico:

1. Recuperação da Dimensionalidade Física:
   O espaço latente JEPAWG recupera com sucesso a dimensão intrínseca do manifold de acoplamento 2D subjacente. Usando Estimativa de Máxima Verossimilhança (MLE), a dimensão latente foi estimada em $2.01 \pm 0.06$, com 98,5% da variância capturada por dois eixos principais. Em contraste, métodos de linha de base (Autoencoders, VAEs e PCA) inflam essa dimensão significativamente (ex: MLE do VAE $\approx 4.88$), falhando em capturar a estrutura física de baixa dimensão.

2. Detecção de Transição de Fase a partir de Pesos:
   Ao computar a métrica de pullback no mapa de parâmetros $\theta(g)$, os autores identificam uma "crista" no espaço de pesos que rastreia a linha crítica da teoria $\phi^4$. Crucialmente, esse sinal origina-se exclusivamente de componentes não locais da rede (escalonamento de zero-mode e parâmetros de escalonamento de Fourier), enquanto grupos "bulk" locais não mostram correlação com a criticidade. Isso permite localizar a fronteira de fase sem desenhar nenhuma amostra física.

3. Estrutura de Grupo de Renormalização (RG) e Escalonamento de Tamanho Finito (FSS):
   A geometria latente organiza as teorias de acordo com a variável de escalonamento de tamanho finito (FSS). Ao comparar pesos em diferentes tamanhos de rede ($L$), a distância latente é minimizada quando o expoente de escalonamento $\nu$ se alinha com o valor teórico do Ising 2D ($\nu = 1$). O expoente $\nu^*$ aprendido circunda o valor exato (ex: $1.00^{+0.08}_{-0.06}$ para o emparelhamento $6 \to 11$), indicando que a rede aprendeu implicitamente combinações invariantes de RG em vez de apenas os acoplamentos brutos.

4. Geração Robusta:
   Como gerador, o JEPAWG interpola e extrapola efetivamente para acoplamentos não vistos. Na desafiadora configuração multi-seed, o JEPAWG atinge um Tamanho de Amostra Efetivo (ESS) de 0,88 para interpolação e mantém desempenho robusto em bordas (0,56) e cantos (0,39). As linhas de base (PCA, AE, VAE) colapsam significativamente nesta configuração (ESS $\approx 0,30\text{--}0,40$), em grande parte porque falham em lidar com as descontinuidades introduzidas pelos dados de treinamento multi-seed e pela canonicalização de pesos.

Significância e Alegações
O artigo afirma que a física atua como um fornecedor de dados sintéticos naturais que é rico o suficiente para ser não trivial, mas estruturado o suficiente para ser interpretável, fornecendo uma verdade fundamental (ground truth) frequentemente ausente em pesquisas de interpretabilidade de IA geral.

O achado central é que a geometria dos pesos treinados reflete a geometria da teoria física, concentrando-se especificamente nos componentes da rede responsáveis por transformações não locais onde a física "vive". Os autores argumentam que tratar os pesos da rede como observáveis físicos permite a leitura direta da estrutura física (dimensionalidade, transições de fase e expoentes de escalonamento) sem supervisão de rótulos físicos. Isso valida o framework JEPAWG e apoia a afirmação mais ampla de que dados sintéticos baseados em física são eficazes para o desenvolvimento de IA interpretável.

Limitações
Os autores observam que seus experimentos estão limitados a uma única teoria 2D em redes pequenas ($L \le 11$) devido aos custos computacionais. Consequentemente, suas alegações de interpretabilidade baseiam-se no acordo com uma única classe de universalidade (Ising 2D). Eles não afirmam que o método funciona para todas as teorias de campo quântico ou que fornece medições de alta precisão de expoentes críticos, mas sim um teste qualitativo de consciência de RG no espaço latente. Trabalhos futuros são propostos para estender isso a redes maiores e diversos sistemas físicos.