Weight-Space Physics: Interpretable Hypernetworks for Lattice Quantum Field Theories

Resumen Técnico: Física en el Espacio de Pesos: Hiperredes Interpretables para Teorías de Campos en Redes

Planteamiento del Problema
La Teoría de Campos en Redes (LFT, por sus siglas en inglés) es la herramienta principal para simular fenómenos no perturbativos en física de altas energías y materia condensada. Aunque la física subyacente está parametrizada analíticamente por constantes de acoplamiento bare ($g$), la extracción de observables físicos requiere típicamente simulaciones numéricas extensas debido a que estos parámetros bare son predictores débiles de las distribuciones de Boltzmann resultantes. Recientemente, los modelos generativos basados en flujos (flujos de normalización) han emergido como muestreadores efectivos para estas distribuciones, aprendiendo un mapa invertible de una distribución base hacia la medida de Boltzmann objetivo. Sin embargo, persiste una brecha crítica: aunque estas redes aprenden a muestrear, es difícil interpretar qué estructura física han codificado en sus pesos ($\theta_g$). Específicamente, no está claro si la geometría del espacio de pesos recupera la estructura física oscurecida por los acoplamientos bare, y si es posible generar pesos para teorías no vistas sin reentrenamiento.

Metodología: JEPAWG
Los autores introducen JEPAWG (Joint-Embedding Predictive Architecture-based Weight Generator), un marco diseñado para mapear directamente las constantes de acoplamiento hacia los pesos de la red de flujo a través de un espacio latente aprendido. A diferencia de las hiperredes estándar que regresan los acoplamientos a los pesos mediante una pérdida de reconstrucción, JEPAWG utiliza una arquitectura JEPA (LeCun, 2022; Assran et al., 2023) para aprender representaciones mediante predicción en lugar de reconstrucción.

La arquitectura consta de cuatro componentes:

1. Codificador de Pesos ($E_\theta$): Mapea los parámetros de flujo canonicalizados $\theta$ a una incrustación latente $z_\theta$.
2. Codificador de Acoplamiento ($E_g$): Mapea los acoplamientos bare $g = (m^2, \lambda)$ a una incrustación latente $z_g$.
3. Predictor ($P$): Mapea la incrustación de acoplamiento $z_g$ a la incrustación de peso predicha $\hat{z}_\theta$.
4. Decodificador ($D_\theta$): Mapea la incrustación predicha de vuelta a los parámetros de flujo $\hat{\theta}$.

El modelo se entrena utilizando un objetivo VICReg modificado (Bardes et al., 2022), que impone invariancia (alineación entre las incrustaciones predichas y el objetivo), varianza (para prevenir el colapso de la representación) y elimina explícitamente el término de covarianza para permitir que el espacio latente se concentre en la estructura de baja dimensión del problema. Un paso de preprocesamiento crucial es la canonicalización de pesos, que resuelve las simetrías (cambios de base, permutaciones, cambios de signo) en el espacio de pesos para asegurar un representante único para cada órbita de simetría, facilitando así una extracción de características no ambigua.

El sistema se aplica a la teoría escalar real $\phi^4$ en dos dimensiones sobre redes cuadradas periódicas ($L \in \{6, \dots, 11\}$). Los datos de entrenamiento se construyen a partir de dos flujos condicionales entrenados independientemente (configuración de múltiples semillas) que cubren regiones disjuntas del espacio de acoplamiento para asegurar que las representaciones aprendidas sean robustas a las discontinuidades estructurales en la variedad de pesos.

Contribuciones Clave y Resultados
El artículo presenta cuatro contribuciones primarias, demostrando que la geometría de los pesos de la red puede servir como un nuevo tipo de observable físico:

1. Recuperación de la Dimensionalidad Física:
   El espacio latente de JEPAWG recupera con éxito la dimensión intrínseca de la variedad de acoplamiento 2D subyacente. Utilizando la Estimación de Máxima Verosimilitud (MLE), la dimensión latente se estima en $2.01 \pm 0.06$, con un 98.5% de la varianza capturada por dos ejes principales. En contraste, los métodos de referencia (Autoencoders, VAEs y PCA) inflan esta dimensión significativamente (por ejemplo, MLE de VAE $\approx 4.88$), fallando en capturar la estructura física de baja dimensión.

2. Detección de Transiciones de Fase desde los Pesos:
   Al computar la métrica de pullback en el mapa de parámetros $\theta(g)$, los autores identifican una "cresta" en el espacio de pesos que sigue la línea crítica de la teoría $\phi^4$. Crucialmente, esta señal se origina exclusivamente de los componentes no locales de la red (parámetros de escalado de modo cero y escalado de Fourier), mientras que los grupos "bulk" locales no muestran correlación con la criticidad. Esto permite localizar el límite de fase sin necesidad de dibujar muestras físicas.

3. Estructura de Grupo de Renormalización (RG) y Escalamiento de Tamaño Finito:
   La geometría latente organiza las teorías de acuerdo con la variable de escalamiento de tamaño finito (FSS). Al comparar pesos a través de diferentes tamaños de red ($L$), la distancia latente se minimiza cuando el exponente de escalamiento $\nu$ se alinea con el valor teórico de Ising 2D ($\nu = 1$). El exponente $\nu^*$ aprendido encuadra el valor exacto (por ejemplo, $1.00^{+0.08}_{-0.06}$ para el emparejamiento $6 \to 11$), indicando que la red ha aprendido implícitamente combinaciones invariantes de RG en lugar de solo los acoplamientos bare.

4. Generación Robusta:
   Como generador, JEPAWG interpola y extrapola eficazmente a acoplamientos no vistos. En la desafiante configuración de múltiples semillas, JEPAWG logra un Tamaño de Muestra Efectivo (ESS) de 0.88 para la interpolación y mantiene un rendimiento robusto en los bordes (0.56) y esquinas (0.39). Los modelos de referencia (PCA, AE, VAE) colapsan significativamente en este escenario (ESS $\approx 0.30\text{--}0.40$), debido principalmente a que no logran manejar las discontinuidades introducidas por los datos de entrenamiento de múltiples semillas y la canonicalización de pesos.

Significancia y Reivindicaciones
El artículo sostiene que la física actúa como un proveedor de datos sintéticos naturales que es lo suficientemente rico para ser no trivial pero lo suficientemente estructurado para ser interpretable, proporcionando una verdad fundamental que suele faltar en la investigación de interpretabilidad de aprendizaje automático general.

El hallazgo central es que la geometría de los pesos entrenados refleja la geometría de la teoría física, concentrándose específicamente en los componentes de la red responsables de las transformaciones no locales donde "vive" la física. Los autores argumentan que tratar los pesos de la red como observables físicos permite la lectura directa de la estructura física (dimensionalidad, transiciones de fase y exponentes de escalamiento) sin supervisión de etiquetas físicas. Esto valida el marco JEPAWG y respalda la afirmación más amplia de que los datos sintéticos basados en la física son efectivos para desarrollar una IA interpretable.

Limitaciones
Los autores señalan que sus experimentos se limitan a una única teoría 2D en redes pequeñas ($L \le 11$) debido a los costos computacionales. Por consiguiente, sus afirmaciones de interpretabilidad descansan en el acuerdo con una única clase de universalidad (Ising 2D). No pretenden que el método funcione para todas las teorías de campos cuánticos o que proporcione mediciones de alta precisión de los exponentes críticos, sino que es una prueba cualitativa de la conciencia de RG en el espacio latente. Se propone como trabajo futuro extender esto a redes más grandes y diversos sistemas físicos.