Resumen Técnico: Phys-JEPA

Planteamiento del Problema

El pronóstico de series temporales multivariantes en sistemas físicos (por ejemplo, redes de energía, transporte, meteorología) requiere modelos que predigan variables temporales acopladas preservando al mismo tiempo una evolución de estado significativa. Aunque los modelos de pronóstico profundo sobresalen en la captura de correlaciones estadísticas complejas, sus estados predictivos ocultos suelen optimizarse únicamente para la precisión, lo que resulta en una dinámica latente difícil de interpretar y débilmente constreñida por las leyes físicas.

Los enfoques informados por la física existentes suelen imponer restricciones solo al nivel de la salida decodificada (por ejemplo, penalizando las predicciones que violan las leyes de conservación). Los autores argumentan que esto es insuficiente para el pronóstico de largo horizonte porque deja el estado predictivo latente —la fuente a partir de la cual se generan las trayectorias futuras— físicamente desestructurado. En consecuencia, un modelo puede producir pronósticos a corto plazo plausibles, mientras aprende transiciones internas inestables o no físicas que acumulan error con el tiempo.

Metodología: Phys-JEPA

El artículo propone Phys-JEPA (Arquitectura Predictiva de Embebido Conjunto Informada por la Física), un marco que traslada la regularización física del espacio de salida al espacio del estado predictivo latente.

Arqucción Central

Phys-JEPA extiende el paradigma de la Arquitectura de Embebido Conjunto Predictivo (JEPA), que aprende a predecir representaciones futuras en lugar de reconstruir observaciones puras. El modelo consta de:

1. Codificador de Contexto ($E_c$): Mapea una ventana temporal histórica a un estado latente actual $z_t$.
2. Predictor Latente ($P$): Pronostica el estado latente futuro $\hat{z}_{t+H}$ directamente en el espacio de representación.
3. Decodificador ($D$): Mapea el estado latente predicho a la trayectoria futura $\hat{x}_{t+1:t+H}$.
4. Codificador de Objetivo ($E_y$): Mapea la ventana futura real a una representación objetivo $z^*_{t+H}$ (utilizada con stop-gradient para la alineación JEPA).

Descomposición de la Física en el Latente

La innovación central es la descomposición del estado latente $z_t$ en dos componentes distintos:

• Componente Físico ($z^{phy}_t$): Codifica variables con significado físico directo.
• Componente Residual ($z^{res}_t$): Captura factores no resueltos y variaciones estadísticas no cubiertas explícitamente por la proyección física.

Un Proyector Físico ($G$) ligero mapea el componente latente físico al espacio de las variables físicas observadas ($q_t$).

Funciones de Pérdida

El objetivo de entrenamiento combina las pérdidas de pronóstico estándar con restricciones específicas sobre la rama física latente:

1. Objetivo JEPA ($L_{JEPA}$): Alinea el estado latente predicho con la representación latente objetivo para aprender características predictivas sin reconstrucción a nivel de píxel.
2. Pérdida de Pronóstico ($L_{forecast}$): MSE estándar entre las predicciones decodificadas y la verdad de campo.
3. Pérdida de Estado Físico Latente Estático ($L_{state}$): Asegura que el estado físico latente corresponda a las variables físicas observadas tanto en el tiempo actual como en el futuro:
   $$L_{state} = \|G(z^{phy}_t) - q_t\|^2_2 + \|G(\hat{z}^{phy}_{t+H}) - q_{t+H}\|^2_2$$
4. Pérdida de Transición Física Latente Dinámica ($L_{dyn}$): Asegura que el cambio en el estado físico latente coincida con el cambio físico observado:
   $$L_{dyn} = \|[G(\hat{z}^{phy}_{t+H}) - G(z^{phy}_t)] - [q_{t+H} - q_t]\|^2_2$$
5. Regularización de Residuales ($L_{SIGReg}$): Aplicada solo al componente residual para prevenir el colapso de la representación (asegurando la estructura de varianza y covarianza) sin imponer priors isotrópicos sobre el componente físico estructurado.

La pérdida total es una suma ponderada: $L = L_{forecast} + \alpha L_{JEPA} + \beta L_{SIGReg} + \lambda_s L_{state} + \lambda_d L_{dyn}$.

Contribuciones Clave

1. Modelo de Mundo Latente para el Pronóstico Físico: El artículo introduce un método donde la consistencia física se impone en el estado predictivo latente y sus transiciones, en lugar de únicamente en las salidas decodificadas. Esto organiza el modelo de mundo interno para que sea físicamente interpretable.
2. Descomposición Físico-Residual: Una arquitectura novedosa que separa los estados latentes en componentes físicos y residuales, permitiendo una supervisión física explícita mientras se preserva la flexibilidad para la dinámica no explícita.
3. Restricciones de Consistencia Dual: La formulación utiliza tanto la alineación de estado estático (anclaje de estados a variables) como la alineación de transición dinámica (anclaje de cambios de estado a leyes físicas), abordando las limitaciones de usar cualquiera de estas restricciones de forma aislada.

Resultados Experimentales

Los autores evaluaron Phys-JEPA en tres referentes: Jena Climate (meteorológico), Electricity (carga de red) y Traffic (ocupación de carreteras).

• Jena Climate (Descriptores Físicos Fuertes):
  • Phys-JEPA redujo el MSE agregado de 0.12482 a 0.12273 y el MSE de temperatura de 0.01892 a 0.01831 en el horizonte $H=24$.
  • Se observaron mejoras en la mayoría de las variables termodinámicas y de presión de vapor, validando el enfoque cuando las variables tienen un significado meteorológico directo.
• Traffic (Descriptores de Dominio Débil):
  • El Phys-JEPA completo (Estático + Dinámico) superó consistentemente a la línea base supervisada en todos los horizontes ($H=24$ a $H=192$).
  • En $H=192$, el MSE agregado mejoró de 0.800784 a 0.773873.
• Electricity (Descriptores de Dominio Débil):
  • Los resultados dependieron del horizonte. La consistencia de solo el estado estático funcionó mejor en horizontes cortos ($H=24, 48$), mientras que el Phys-JEPA completo logró mejores resultados en el horizonte más largo ($H=192$).
  • Esto sugiere que la consistencia de la transición dinámica es beneficiosa para la evolución de largo alcance, pero puede ser restrictiva si el descriptor físico es demasiado grueso para la dinámica de corto plazo.
• Perspectivas de Ablación:
  • Se encontró que la física a nivel de salida (penalizar los pronósticos decodificados) era más débil que la regularización latente en estos entornos.
  • Los diagnósticos latentes (rango efectivo y rango de covarianza) confirmaron que las pérdidas físicas remodelan la geometría de la representación latente en lugar de actuar meramente como penalizaciones de salida.

Significado y Reivindicaciones

El artículo afirma que mover el aprendizaje informado por la física del espacio de salida al espacio del estado predictivo latente es una ruta prometedora hacia modelos de mundo temporales interpretables y físicamente consistentes.

• Interpretabilidad: Al descomponer los estados latentes, el modelo aprende representaciones donde las variables físicas y sus transiciones están explícitamente estructuradas.
• Estabilidad: Restringir la transición latente ayuda a prevenir la acumulación de errores en el pronóstico de largo horizonte, abordando una debilidad clave de los pronosticadores profundos puramente estadísticos.
• Limitaciones y Trabajo Futuro: Los autores señalan modestamente que los resultados actuales dependen de experimentos de semilla única y descriptores de "dominio débil" para Electricity y Traffic (que no son ecuaciones gobernantes exactas). Enfatizan que el pleno potencial del método debe evaluarse en sistemas con restricciones físicas explícitas más fuertes donde las leyes de transición puedan verificarse directamente. El trabajo se presenta como una validación inicial de la formulación de física latente más que como un benchmark final contra todas las arquitecturas de pronóstico modernas.