Resumo Técnico: Phys-JEPA

Definição do Problema

A previsão de séries temporais multivariadas em sistemas físicos (ex: redes de energia, transporte, meteorologia) requer modelos que prevejam variáveis temporais acopladas enquanto preservam uma evolução de estado significativa. Embora modelos de previsão profundos se destaquem na captura de correlações estatísticas complexas, seus estados preditivos ocultos são frequentemente otimizados apenas para precisão, resultando em dinâmicas latentes difíceis de interpretar e fracamente constrained por leis físicas.

Abordagens de física informada existentes tipicamente impõem restrições apenas ao nível do output decodificado (ex: penalizando previsões que violam leis de conservação). Os autores argumentam que isso é insuficiente para previsões de longo horizonte porque deixa o estado preditivo latente interno — a fonte da qual as trajetórias futuras são geradas — fisicamente não estruturado. Consequentemente, um modelo pode produzir previsões de curto prazo plausíveis, enquanto aprende transições internas instáveis ou não físicas que acumulam erro ao longo do tempo.

Metodologia: Phys-JEPA

O artigo propõe o Phys-JEPA (Arquitetura Preditiva de Embedding Conjunto com Informação de Física), um framework que move a regularização física do espaço de saída para o espaço de estado preditivo latente.

Arquitetura Central

O Phys-JEPA estende o paradigma da Arquitetura de Embedding Conjunto (JEPA), que aprende a prever representações futuras em vez de reconstruir observações brutas. O modelo consiste em:

1. Codificador de Contexto ($E_c$): Mapeia uma janela temporal histórica para um estado latente atual $z_t$.
2. Preditor Latente ($P$): Prevê o estado latente futuro $\hat{z}_{t+H}$ diretamente no espaço de representação.
3. Decodificador ($D$): Mapeia o estado latente previsto para a trajetória futura $\hat{x}_{t+1:t+H}$.
4. Codificador de Alvo ($E_y$): Mapeia a janela futura real para uma representação alvo $z^*_{t+H}$ (usada com stop-gradient para alinhamento JEPA).

Decomposição de Latente Físico-Informada

A inovação central é a decomposição do estado latente $z_t$ em dois componentes distintos:

• Componente Físico ($z^{phy}_t$): Codifica variáveis com significado físico direto.
• Componente Residual ($z^{res}_t$): Captura fatores não resolvidos e variações estatísticas não cobertas explicitamente pela projeção física.

Um Projetor Físico ($G$) leve mapeia o componente latente físico para o espaço das variáveis físicas observadas ($q_t$).

Funções de Perda

O objetivo de treinamento combina perdas de previsão padrão com restrições específicas no ramo físico latente:

1. Objetivo JEPA ($L_{JEPA}$): Alinha o estado latente previsto com a representação latente alvo para aprender características preditivas sem reconstrução ao nível de pixel.
2. Perda de Previsão ($L_{forecast}$): MSE padrão entre as previsões decodificadas e a verdade fundamental (ground truth).
3. Perda de Estado Físico Latente Estático ($L_{state}$): Garante que o estado físico latente corresponda às variáveis físicas observadas tanto no tempo atual quanto nos tempos futuros:
   $$L_{state} = \|G(z^{phy}_t) - q_t\|^2_2 + \|G(\hat{z}^{phy}_{t+H}) - q_{t+H}\|^2_2$$
4. Perda de Transição de Estado Físico Latente Dinâmica ($L_{dyn}$): Garante que a mudança no estado físico latente corresponda à mudança física observada:
   $$L_{dyn} = \|[G(\hat{z}^{phy}_{t+H}) - G(z^{phy}_t)] - [q_{t+H} - q_t]\|^2_2$$
5. Regularização Residual ($L_{SIGReg}$): Aplicada apenas ao componente residual para evitar o colapso da representação (garantindo a estrutura de variância e covariância) sem impor priors isotrópicos ao componente físico estruturado.

A perda total é uma soma ponderada: $L = L_{forecast} + \alpha L_{JEPA} + \beta L_{SIGReg} + \lambda_s L_{state} + \lambda_d L_{dyn}$.

Principais Contribuições

1. Modelo de Mundo Latente para Previsão Física: O artigo introduz um método onde a consistência física é imposta no estado preditivo latente e em suas transições, em vez de apenas nos outputs decodificados. Isso organiza o modelo de mundo interno para ser fisicamente interpretável.
2. Decomposição Físico-Residual: Uma arquitetura inovadora que separa estados latentes em componentes físicos e residuais, permitindo supervisão física explícita enquanto preserva a flexibilidade para dinâmicas não explícitas.
3. Restrições de Dupla Consistência: A formulação utiliza tanto o alinhamento de estado estático (ancorando estados a variáveis) quanto o alinhamento de transição dinâmica (ancorando mudanças de estado a leis físicas), abordando as limitações de usar apenas uma dessas restrições isoladamente.

Resultados Experimentais

Os autores avaliaram o Phys-JEPA em três benchmarks: Jena Climate (meteorológico), Electricity (carga de rede) e Traffic (ocupação de vias).

• Jena Climate (Descritores Físicos Fortes):
  • O Phys-JEPA reduziu o MSE agregado de 0.12482 para 0.12273 e o MSE de temperatura de 0.01892 para 0.01831 no horizonte $H=24$.
  • Melhorias foram observadas na maioria das variáveis termodinâmicas e de pressão de vapor, validando a abordagem quando as variáveis possuem significado meteorológico direto.
• Traffic (Descritores de Domínio Fracos):
  • O Phys-JEPA completo (Estático + Dinâmico) superou consistentemente o baseline supervisionado em todos os horizontes ($H=24$ a $H=192$).
  • Em $H=192$, o MSE agregado melhorou de 0.800784 para 0.773873.
• Electricity (Descritores de Domínio Fracos):
  • Os resultados dependeram do horizonte. A consistência apenas estática teve melhor desempenho em horizontes curtos ($H=24, 48$), enquanto o Phys-JEPA completo obteve os melhores resultados no horizonte mais longo ($H=192$).
  • Isso sugere que a consistência de transição dinâmica é benéfica para a evolução de longo alcance, mas pode ser restritiva se o descritor físico for muito grosseiro para a dinâmica de curto prazo.
• Insights de Ablação:
  • A física ao nível de output (penalizando previsões decodificadas) mostrou-se mais fraca do que a regularização latente nestes cenários.
  • Diagnósticos latentes (rank efetivo e rank de covariância) confirmaram que as perdas físicas remodelam a geometria da representação latente, em vez de atuarem meramente como penalidades de saída.

Significância e Alegações

O artigo afirma que mover o aprendizado informado por física do espaço de saída para o espaço de estado preditivo latente é um caminho promissor para modelos de mundo temporais interpretáveis e fisicamente consistentes.

• Interpretabilidade: Ao decompor os estados latentes, o modelo aprende representações onde as variáveis físicas e suas transições são explicitamente estruturadas.
• Estabilidade: Restringir a transição latente ajuda a prevenir o acúmulo de erro em previsões de longo horizonte, abordando uma fraqueza chave dos previsores estatísticos profundos puramente baseados em dados.
• Limitações e Trabalho Futuro: Os autores notam modestamente que os resultados atuais dependem de experimentos de semente única e de descritores de "domínio fraco" para Electricity e Traffic (que não são equações governantes exatas). Eles enfatizam que o potencial total do método deve ser avaliado em sistemas com restrições físicas explícitas mais fortes, onde as leis de transição possam ser diretamente verificadas. O trabalho é apresentado como uma validação inicial da formulação de física latente, e não como um benchmark final contra todas as arquiteturas modernas de previsão.