Resumen Técnico: MOSH-WM

Planteamiento del Problema

Los modelos de mundo centrados en objetos buscan pronosticar videos futuros mediante la evolución de un conjunto de ranuras (slots) de entidades. Sin embargo, los enfoques existentes suelen depender de características visuales no restringidas para la supervisión de la dinámica. En estos modelos, las ranuras tienden a entrelazar la geometría, la apariencia, la identidad y la semántica específica del decodificador. En consecuencia, aunque un predictor de ranuras pueda coincidir con el cuadro futuro inmediato, la disposición de los objetos y su apariencia suelen derivar significablemente durante los despliegues de ciclo cerrado de largo horizonte. El desafío central es mantener un estado físico que esté explícitamente fundamentado en dónde se apoyan los objetos (geometría), preservando al mismo tiempo la información visual separada (apariencia/identidad) necesaria para una decodificación de alta fidelidad.

Metodología

MOSH-WM (Modelo de Mundo de Hamiltoniano Suave con Máscara Fundamentada) aborda esto factorizando la representación en un estado de fase geométrica y un contexto visual causal. La arquitectura opera a través de tres etapas primarias:

1. Factorización del Estado de Fase Fundamentado en Máscaras

En lugar de utilizar vectores de ranura brutos para la dinámica, MOSH-WM extrae un estado canónico $(Q, P)$ fundamentado en el soporte espacial de los objetos:

• Entrada: Una interfaz SAVi congelada proporciona ranuras visuales y máscaras suaves.
• Posición ($Q$): Para cada ranura $n$, el modelo identifica el soporte de la máscara "poseída" ($M^{own}$) mediante una asignación de ganador se lleva todo (winner-take-all). Agrupa funciones de base espacial fijas sobre este soporte para computar una coordenada de tipo posición $Q_{t,n}$. Esto separa explícitamente la geometría de la apariencia.
• Momento ($P$): La variable de tipo momento se deriva directamente de la diferencia finita temporal de los estados de posición ($P_t = (Q_t - Q_{t-1})/\Delta t$).
• Contexto Visual ($C_t$): En paralelo, un codificador espaciotemporal causal retiene la historia de las características de las ranuras para preservar la apariencia e identidad, las cuales son excluidas del extractor del estado de fase.

2. Dinámica de Ciclo Cerrado de Hamiltoniano Suave

El modelo propaga el estado de fase $(Q, P)$ utilizando un sesgo físico "suave" en lugar de un resolvedor hamiltoniano estricto:

• Función de Energía: Una cabeza de energía aprendida $H_\vartheta(Q_t, P_t)$ proporciona un prior estructural.
• Actualización Híbrida: La transición mezcla un campo residual aprendido (que predice incrementos $DQ_t, DP_t$) con el gradiente de la función de energía. Las reglas de actualización son:
  $$Q_{t+1} = Q_t + (1-\alpha)DQ_t + \alpha \cdot \text{clip}_\gamma(\nabla_{P_t} H_t)$$
  $$P_{t+1} = P_t + (1-\alpha)DP_t - \alpha \cdot \text{clip}_\gamma(\nabla_{Q_t} H_t)$$
  Aquí, $\alpha$ controla la mezcla, y el recorte (clipping) evita la inestabilidad. Esto permite que el modelo capture la dinámica residual mientras es guiado por la estructura física.

3. Reconciliación Física–Apariencia

Después de la actualización física, el modelo debe reconstruir las ranuras compatibles con el decodificador:

• Compuesto con Compuerta (Gated Composer): Un módulo combina el desplazamiento de fase normalizado con el contexto visual causal $C_t$ para producir una propuesta de ranura física.
• Residual Acotado: Un módulo de razonamiento causal aplica una corrección pequeña y acotada en el espacio del decodificador para refinar la propuesta.
• Salida: Las ranuras finales se decodifican en el siguiente cuadro y se anexan al historial de contexto para el siguiente paso.

Contribuciones Clave

El artículo describe tres contribuciones específicas:

1. Extractor de Estado de Fase Fundamentado en Máscaras: Un mecanismo que computa coordenadas geométricas ($Q$) a partir de las máscaras poseídas por cada ranura y bases espaciales fijas, y el momento ($P$) a partir de diferencias temporales brutas, excluyendo explícitamente las características de la ranura que portan apariencia de la entrada de la dinámica.
2. Módulo de Dinámica de Hamiltoniano Suave: Una transición de ciclo cerrado que mezcla direcciones de gradiente de energía con un campo aprendido acotado para propagar el estado de fase, actuando como un prior estructural sin pretender una identificación exacta del sistema.
3. Interfaz de Reconciliación del Decodificador: Un método que utiliza contexto causal, composición con compuerta y compensación de residuo acotado para recuperar ranuras compatibles con el decodificador a partir del estado de fase propagado.

Resultados Experimentales

El modelo fue evaluado en los entornos de comparación OBJ3D, CLEVRER y Physion, comparándose contra líneas base como SlotFormer, SAVi-dyn y PredRNN.

• OBJ3D (6 observados $\to$ 30 predichos):

  • MOSH-WM redujo el LPIPS en un 25.0% y el MSE espacial en un 33.7% en relación con la línea base más fuerte centrada en objetos (SlotFormer).
  • Mejoró el PSNR en 2.43 dB y el SSIM a 0.8916.
  • Las métricas de estado de objeto mostraron ganancias significativas: el ADE del centroide se redujo un 15.4%, el FDE un 9.5% y el error de distancia de pares un 14.9%.
  • Estabilidad de Largo Horizonte: La acumulación de error sobre 30 cuadros fue significativamente más lenta que en las líneas base, con la brecha ampliándose a medida que aumentaba el horizonte de despliegue.

• CLEVRER (6 observados $\to$ 10 predichos):

  • Demostró transferibilidad a escenas con colisiones y oclusiones, mejorando todas las cinco métricas visuales (LPIPS, PSNR, SSIM, MSE, FG-MSE) sobre SlotFormer y SAVi-dyn.

• Physion (Prueba de Transferencia):

  • Evaluado con un observador congelado diferente (STEVE) con diferentes dimensiones de ranura y resoluciones.
  • El modelo completo mantuvo el MSE de ranura más bajo durante todo el despliegue de 35 pasos en comparación con las variantes de "solo física" y "solo residuo", confirmando la robustez de la factorización de fase/contexto a través de diferentes observadores.

• Estudios de Ablación:

  • Eliminar el componente de física casi duplicó el LPIPS.
  • Eliminar el contexto causal causó una gran degradación visual.
  • La combinación de física y contexto superó a cualquiera de los componentes por sí solo.
  • Los barridos de capacidad indicaron que la arquitectura específica (2 bloques de atención, relación de MLP 2) proporcionó el mejor equilibrio entre expresividad y estabilidad, en lugar de simplemente aumentar la capacidad.

Significancia y Reivindicaciones

El artículo afirma que MOSH-WM logra desacoplar la evolución geométrica de los objetos de su apariencia visual. Al fundamentar el estado de fase en momentos espaciales soportados por la máscara, el modelo logra predicciones de largo horizonte más estructuralmente interpretables y estables. El enfoque de "Hamiltoniano suave" proporciona un sesgo direccional que evita la deriva común en los predictores de ranuras puramente basados en datos, mientras que la vía causal separada asegura que el decodificador reciba la información de apariencia e identidad necesaria.

Los autores enfatizan que el modelo no pretende identificar la energía mecánica real, sino que utiliza el campo hamiltoniano como un prior estructural para organizar la evolución de la fase. Los resultados sugieren que esta factorización hace que la predicción de objetos en ciclo cerrado sea más robusta, particularmente en escenarios que requieren consistencia a largo plazo en la disposición e identidad de los objetos. El trabajo se presenta como un paso hacia modelos de mundo más interpretables que respetan las regularidades físicas sin sacrificar la fidelidad visual.