Resumo Técnico: MOSH-WM

Definição do Problema

Modelos de mundo centrados em objetos visam prever vídeos futuros evoluindo um conjunto de slots de entidades. No entanto, as abordagens existentes frequentemente dependem de características visuais não restringidas para supervisão de dinâmica. Nesses modelos, os slots tendem a emaranhar geometria, aparência, identidade e semântica específica do decodificador. Consequentemente, embora um preditor de slots possa corresponder ao quadro futuro imediato, o layout e a aparência dos objetos frequentemente derivam significancialmente durante execuções de ciclo fechado de longo horizonte. O desafio central é manter um estado físico que esteja explicitamente fundamentado em onde os objetos são suportados (geometria), preservando simultaneamente a informação visual separada (aparência/identidade) necessária para uma decodificação de alta fidelidade.

Metodologia

O MOSH-WM (Modelo de Mundo Hamiltoniano Suave com Base em Máscara) aborda isso fatorizando a representação em um estado de fase geométrica e um contexto visual causal. A arquitetura opera através de três estágios primários:

1. Fatoração do Estado de Fase Baseada em Máscara

Em vez de usar vetores de slots brutos para a dinâmica, o MOSH-WM extrai um estado canônico $(Q, P)$ fundamentado no suporte espacial dos objetos:

• Entrada: Uma interface SAVi congelada fornece slots visuais e máscaras suaves.
• Posição ($Q$): Para cada slot $n$, o modelo identifica o suporte da máscara "propriedade" ($M^{own}$) via atribuição winner-take-all. Ele agrupa funções de base espacial fixas sobre este suporte para computar uma coordenada do tipo posição $Q_{t,n}$. Isso separa explicitamente a geometria da aparência.
• Momento ($P$): A variável do tipo momento é derivada diretamente da diferença finita temporal dos estados de posição ($P_t = (Q_t - Q_{t-1})/\Delta t$).
• Contexto Visual ($C_t$): Em paralelo, um codificador espaço-temporal causal retém o histórico das características dos slots para preservar a aparência e a identidade, que são excluídas do extrator de estado de fase.

2. Dinâmica de Ciclo Fechado Hamiltoniana Suave

O modelo propaga o estado de fase $(Q, P)$ usando um viés físico "suave" em vez de um solver Hamiltoniano estrito:

• Função de Energia: Um cabeçote de energia aprendido $H_\vartheta(Q_t, P_t)$ fornece um prior estrutural.
• Atualização Híbrida: A transição mistura um campo residual aprendido (prevendo incrementos $DQ_t, DP_t$) com o gradiente da função de energia. As regras de atualização são:
  $$Q_{t+1} = Q_t + (1-\alpha)DQ_t + \alpha \cdot \text{clip}_\gamma(\nabla_{P_t} H_t)$$
  $$P_{t+1} = P_t + (1-\alpha)DP_t - \alpha \cdot \text{clip}_\gamma(\nabla_{Q_t} H_t)$$
  Aqui, $\alpha$ controla a mistura, e o clipping evita instabilidade. Isso permite que o modelo capture dinâmicas residuais enquanto é guiado pela estrutura física.

3. Reconciliação Física–Aparência

Após a atualização física, o modelo deve reconstruir slots compatíveis com o decodificador:

• Compositor Portado (Gated Composer): Um módulo combina o deslocamento de fase normalizado com o contexto visual causal $C_t$ para produzir uma proposta de slot físico.
• Resíduo Limitado: Um módulo de raciocínio causal aplica uma correção pequena e limitada no espaço do decodificador para refinar a proposta.
• Saída: Os slots finais são decodificados no próximo quadro e anexados ao histórico de contexto para o próximo passo.

Principais Contribuições

O artigo descreve três contribuições específicas:

1. Extrator de Estado de Fase Baseado em Máscara: Um mecanismo que computa coordenadas geométricas ($Q$) a partir de momentos espaciais de máscaras por slot e bases espaciais fixas, e momento ($P$) a partir de diferenças temporais brutas, excluindo explicitamente as características de aparência do input da dinâmica.
2. Módulo de Dinâmica Hamiltoniana Suave: Uma transição de ciclo fechado que mistura direções de gradiente de energia com um campo aprendido limitado para propagar o estado de fase, atuando como um prior estrutural sem reivindicar a identificação exata do sistema.
3. Interface de Reconciliação do Decodificador: Um método que utiliza contexto causal, composição portada e compensação de resíduo limitado para recuperar slots compatíveis com o decodificador a partir do estado de fase propagado.

Resultados Experimentais

O modelo foi avaliado nos benchmarks OBJ3D, CLEVRER e Physion, comparando-se com baselines como SlotFormer, SAVi-dyn e PredRNN.

• OBJ3D (6 observados $\to$ 30 previstos):

  • O MOSH-WM reduziu o LPIPS em 25,0% e o MSE espacial em 33,7% em relação ao baseline de objeto mais forte (SlotFormer).
  • Melhorou o PSNR em 2,43 dB e o SSIM para 0,8916.
  • Métricas de estado de objeto mostraram ganhos significativos: o Centroide ADE reduziu 15,4%, o FDE em 9,5% e o erro de distância par a par em 14,9%.
  • Estabilidade de Longo Horizonte: A acumulação de erro ao longo de 30 quadros foi significativamente mais lenta que os baselines, com a lacuna aumentando conforme o horizonte de execução aumentava.

• CLEVRER (6 observados $\to$ 10 previstos):

  • Demonstrou transferibilidade para cenas com colisões e oclusões, melhorando todas as cinco métricas visuais (LPIPS, PSNR, SSIM, MSE, FG-MSE) sobre o SlotFormer e SAVi-dyn.

• Physion (Teste de Transferência):

  • Avaliado usando um observador congelado diferente (STEVE) com diferentes dimensões de slot e resoluções.
  • O modelo completo manteve o menor Slot MSE durante toda a execução de 35 passos em comparação com as variantes "apenas-física" e "apenas-resíduo", confirmando a robustez da fatoração fase/contexto entre diferentes observadores.

• Estudos de Ablação:

  • Remover o componente de física quase dobrou o LPIPS.
  • Remover o contexto causal causou grande degradação visual.
  • A combinação de física e contexto superou qualquer um dos componentes isoladamente.
  • Varreduras de capacidade indicaram que a arquitetura específica (2 blocos de atenção, razão de MLP 2) forneceu o melhor equilíbrio entre expressividade e estabilidade, em vez de apenas aumentar a capacidade.

Significância e Alegações

O artigo afirma que o MOSH-WM consegue desacoplar a evolução geométrica dos objetos de sua aparência visual. Ao fundamentar o estado de fase em momentos espaciais suportados por máscara, o modelo alcança previsões de longo horizonte mais estruturalmente interpretáveis e estáveis. A abordagem "Hamiltoniana suave" fornece um viés direcional que evita a deriva comum em preditores de slots puramente baseados em dados, enquanto o caminho causal separado garante que o decodificador receba a informação de aparência e identidade necessária.

Os autores enfatizam que o modelo não reivindica a identificação da energia mecânica real, mas sim usa o campo Hamiltoniano como um prior estrutural para organizar a evolução da fase. Os resultados sugerem que essa fatoração torna a predição de objetos em ciclo fechado mais robusta, particularmente em cenários que exigem consistência de longo prazo no layout e na identidade dos objetos. O trabalho é apresentado como um passo em direção a modelos de mundo mais interpretáveis que respeitam regularidades físicas sem sacrificar a fidelidade visual.