Resumo Técnico: Desbloqueando a Generalização Temporal em Modelos de Dinâmica de Vídeo Hamiltonianos

Declaração do Problema

Os modelos de mundo atuais operam predominantemente em grades de tempo discreto com um passo de tempo fixo incorporado em sua arquitetura. Embora eficazes em sua resolução de treinamento, esses modelos carecem de mecanismos para generalizar através de resoluções temporais variáveis. Essa limitação dificulta aplicações que exigem planejamento hierárquico (escalas de tempo grossas e finas), transferência sim-to-real (onde as taxas de simulação e controle diferem) e motores científicos que devem consultar dinâmicas em múltiplas escalas de tempo.

Embora as Neural ODEs ofereçam uma alternativa de tempo contínuo ao parametrizar a dinâmica como um campo vetorial, elas frequentemente carecem de vieses indutivos físicos, levando à instabilidade em rollouts de longo horizonte devido a violações de leis de conservação. As Redes Generativas Hamiltonianas (HGN) abordam isso fundamentando as previsões em uma função de energia de tempo contínuo, teoricamente permitindo a independência de taxa de quadros. No entanto, na prática, as HGNs falham em manter a generalização temporal em ambientes não conservativos (forçados externamente, dissipativos) quando avaliadas em passos de tempo maiores do que os vistos durante o treinamento. Os modos de falha específicos e seus remédios nesses cenários não foram sistematicamente caracterizados.

Metodologia

Os autores estendem a arquitetura da Rede Generativa Hamiltonian (HGN) para lidar com ambientes dissipativos e forçados externamente usando uma estrutura Port-Hamiltoniana. O modelo consiste em:

1. Encoder/Decoder: Um codificador convolucional mapeia quadros de pixels para um estado de espaço de fase latente $(q, p)$ (posição e momento). Um decodificador reconstrói imagens a partir das coordenadas de posição $q$.
2. Preditor Port-Hamiltoniano: A dinâmica é governada pelas equações:
   $$\dot{q} = \frac{\partial H}{\partial p}, \quad \dot{p} = -\frac{\partial H}{\partial q} - \gamma \frac{\partial H}{\partial p} + G(a)$$
   Onde $H(q, p)$ é um Hamiltonian separável aprendido, $\gamma$ é um coeficiente de amortecimento aprendido, e $G(a)$ é um mapa de força-ação aprendido.
3. Integrador: Um integrador leapfrog simplético modificado é usado, que dobra o amortecimento e o forçamento simetricamente em meios-passos de momento.

Para diagnosticar por que a generalização falha em passos de tempo maiores (extrapolação), os autores introduzem um protocolo de sub-passos em tempo de inferência. Isso envolve dividir um único passo de avaliação $\Delta t$ em $N$ sub-passos de integração menores ($\Delta t/N$) enquanto preserva o impulso de ação total. Isso permite que os autores distingam entre falhas de representação (aprendizado de um campo vetorial contínuo ruim) e falhas numéricas (erro de truncamento de uma integração sub-resolvida).

Contribuições Principais e Análise de Falha

O artigo identifica dois modos distintos de falha que ocorrem quando as HGNs são executadas em passos de tempo que excedem o regime de treinamento, juntamente com correções direcionadas para cada um:

1. Crescimento de Magnitude Latente (Explosão de Energia)

• Causa: Em configurações não restritas, o mapa de força-ação $G(a)$ não é limitado. Em passos de tempo grandes, o solver numérico ultrapassa o alvo, e o mapa de força não restrito injeta energia ao longo de direções instáveis do espaço de fase. Isso leva ao crescimento exponencial da magnitude latente e artefatos de alta frequência na decodificação do vídeo.
• Correção: Os autores aplicam normalização espectral ao mapa de força-ação $G(a)$, limitando sua norma a 1. Isso limita a injeção de energia por passo, prevenindo a explosão de amplitude através da gama testada de passos de tempo.

2. Acúmulo de Deriva de Fase (Desalinhamento Temporal)

• Causa: Mesmo com a explosão de energia contida, as previsões em passos de tempo grandes derivam do tempo de fase em relação à verdade fundamental (ground truth). Isso se manifesta como erro de truncamento global acumulado de um integrador sub-resolvido, em vez de uma falha da própria representação do Hamiltonian aprendida.
• Correção: Os autores empregam sub-passos em tempo de inferência. Ao aumentar o número de passos de integração $N$ dentro de um único intervalo de observação, o passo de integração efetivo é reduzido. Quando o passo de integração efetivo se aproxima da escala de treinamento, a deriva de fase é eliminada e o alinhamento temporal é recuperado.

Resultados

Os autores avaliam seu "bounded port-HGN" em um oscilador massa-mola forçado e amortecido renderizado como um vídeo RGB de 64x64. O modelo é treinado em um passo de tempo de $\Delta t = 0.4$ e avaliado em vários passos de tempo variando de 0.05 a 1.5.

• Interpolação: O modelo generaliza com sucesso para passos de tempo menores que o treinamento ($\Delta t < 0.4$) devido às propriedades inerentes do integrador simplético, que refina qualquer passo alvo sem necessidade de retreinamento.
• Extrapolação:
  • Sem as correções, o modelo base falha em $\Delta t > 0.4$ devido tanto à explosão de amplitude quanto à deriva de fase.
  • Aplicar a normalização espectral elimina a explosão de amplitude, mas deixa a deriva de fase.
  • Aplicar sub-passos (ex: $N=4$) ao modelo com normalização espectral recupera previsões de alta qualidade (medidas por MAE, PSNR, SSIM e LPIPS) mesmo em passos de tempo significativamente maiores que o treinamento (ex: $\Delta t = 1.5$).
  • Os resultados demonstram que o campo vetorial aprendido é válido; a falha foi puramente numérica, surgindo do descompasso entre o passo de integração e os requisitos de estabilidade do solver.

Significância e Alegações

O artigo afirma que a incapacidade dos modelos de vídeo Hamiltonianos de generalizar para resoluções temporais variáveis não é uma limitação fundamental da representação de tempo contínuo aprendida, mas sim uma consequência de instabilidades numéricas específicas em configurações não conservativas.

Ao combinar a normalização espectral do termo de forçamento com sub-passos em tempo de inferência, os autores demonstram que um único modelo treinado em uma taxa de quadros pode prever de forma estável dinâmicas em escalas de tempo tanto mais finas quanto mais grossas. Isso fornece uma receita prática para permitir a generalização temporal em geração de vídeo de tempo contínuo, permitindo que esses modelos sejam consultados em quaisquer taxas de quadros sem necessidade de retreinamento. O trabalho destaca que, para um deploy bem-sucedido em planejamento hierárquico ou transferência sim-to-real, deve-se abordar tanto as restrições de injeção de energia quanto a resolução numérica do integrador.