Resumen Técnico: FlowMo-WM

Planteamiento del Problema

Los modelos de mundo visual condicionados por acciones estándar suelen asumir que el movimiento futuro está determinado principalmente por las entradas de control inmediatas. Sin embargo, en escenarios del mundo real que involucran vehículos de superficie acuáticos y objetos flotantes, los estados futuros están influenciados significativamente por el momento del objeto (inercia) y la deriva ambiental oculta (por ejemplo, corrientes de agua, viento) que no son directamente observables desde un único fotograma visual.

Los enfoques actuales tienen dificultades en estos entornos debido a:

1. Observabilidad Parcial: Una sola imagen revela la pose, pero no el estado completo (velocidad, momento o flujo de la corriente) requerido para predecir la evolución futura.
2. Dinámicas Ocultas: La deriva y el momento son variables latentes que deben inferirse a partir de la historia de acciones y observaciones; sin embargo, muchos modelos existentes no separan explícitamente la dinámica controlable de las variaciones ambientales exógenas.
3. Error de Largo Horizonte: Los pequeños errores en la estimación del momento oculto o la deriva se acumulan con el tiempo, lo que conduce a inexactitudes significativas en la planificación y predicción de largo horizonte, incluso si las predicciones a corto plazo parecen precisas.

Metodología: FlowMo-WM

Los autores proponen FlowMo-WM, un modelo de mundo latente visual entrenable de extremo a extremo diseñado para inferir el movimiento centrado en el objeto y la deriva ambiental oculta sin la supervisión directa de campos de flujo o sensores de velocidad.

Arquitectura

El modelo factoriza la historia de imagen-acción en dos ramas temporales distintas:

1. Estado de Historia Corta ($z_t$): Un estado latente derivado de los $K_z=8$ pares de imagen-acción más recientes. Esta rama captura el movimiento centrado en el objeto, incluyendo la pose, el movimiento tipo velocidad, el retardo del actuador y la respuesta de control reciente.
2. Contexto de Historia Larga ($c_t$): Un contexto latente derivado de una historia más larga y con saltos (32 pasos con un salto de 4). Esta rama resume las influencias exógenas que varían lentamente, específicamente la deriva ambiental oculta inferida de las discrepancias acumuladas entre el movimiento comandado y el observado.

Transición Latente y Diseño de Residuo

La innovación central reside en la función de transición latente, que utiliza una transición de residuo de contexto cero para separar las dinámicas base de los efectos de la deriva:
$$z_{t+1} = z_t + F_\theta(z_t, a_t) + R_\theta(z_t, a_t, c_t) - R_\theta(z_t, a_t, 0)$$

• $F_\theta$: Modela la dinámica base condicionada a la acción.
• $R_\theta$: Modela los efectos de la deriva dependientes del contexto.
• Sustracción de Contexto Cero: Al restar $R_\theta(z_t, a_t, 0)$, el modelo asegura que cuando el contexto $c_t$ se anula, la contribución de la deriva se elimina exactamente. Esto permite realizar estudios de ablación limpios donde el componente de la deriva puede aislarse sin alterar la lógica de la transición base.

Entrenamiento y Entradas

• Entradas: El modelo recibe únicamente imágenes RGB cenitales limpias (concatenadas con mapas de coordenadas) e historias de acciones. No recibe vectores de flujo, objetivos de velocidad, sensores de corriente ni estados privilegiados del simulador.
• Objetivos: El modelo predice poses normalizadas futuras ($x, y, \cos\theta, \sin\theta$) en lugar de reconstruir imágenes futuras.
• Función de Pérdida: El entrenamiento minimiza una pérdida de despliegue de pose de 60 pasos, combinada con la reconstrucción de la pose actual y las pérdidas de delta de movimiento.

Principales Contribuciones

1. Formulación: Una formulación de modelado de mundo visual donde el momento del objeto y el transporte ambiental son inferidos únicamente a partir de la historia de imagen-acción, sin etiquetas de flujo explícitas.
2. Factorización: Una novedosa arquitectura de factorización temporal corto/largo acoplada con una transición de residuo de contexto cero, que separa eficazmente la dinámica controlable de la deriva ambiental que varía lentamente.
3. Evaluación: Evaluación exhaustiva en tareas de vehículos de superficie acuática afectados por el flujo, incluyendo predicción de bucle abierto, planificación basada en muestreo, ablaciones de contexto en tiempo de predicción y análisis de representación mediante sondas lineales congeladas.

Resultados Experimentales

El modelo fue evaluado en un simulador 2D acuático con morfologías de vehículo aleatorizadas (barcos de doble propulsor y triangulares), parámetros físicos y diez familias diversas de campos de flujo (por ejemplo, uniforme, vórtice, cizalladura, turbulento).

Precisión de Predicción

• Desempeño de Largo Horizonte: FlowMo-WM supera significativamente a las líneas base con parámetros emparejados (LeWorldModel, PlaNet/RSSM, TD-MPC2) en la predicción de largo horizonte.
  • En el horizonte 20: FlowMo-WM logró un error de posición de 0.151 frente al 0.223 de la línea base más cercana (TD-MPC2).
  • En el horizonte 60: FlowMo-WM logró 0.344 frente al 0.426 de la línea base más cercana (PlaNet/RSSM).
  • Esto representa aproximadamente un 32% y 19% menos de error de posición, respectivamente.
• Ablaciones de Contexto:
  • Anulación de Contexto: Eliminar el contexto inferido ($c_t=0$) aumentó drásticamente los errores (la posición@60 subió a 0.840), confirmando que el contexto es crítico para la estabilidad bajo la deriva.
  • Mezcla de Contexto: El uso de contexto de una muestra diferente degradó aún más el desempeño (la posición@60 subió a 1.100), demostrando que el modelo depende del contexto específico inferido en lugar de una capacidad latente genérica.

Desempeño de Planificación

• Tasa de Éxito: En tareas de planificación descendentes (alcanzar objetivos, mantenimiento de posición, puntos de paso), FlowMo-WM logró una tasa de éxito del 98.5% en todos los episodios, superando a otros modelos de mundo aprendidos (91.0%–93.1%).
• Eficiencia: Los planificadores de FlowMo-WM requirieron menos energía y menos pasos para alcanzar metas en comparación con las líneas base, particularmente en condiciones de flujo desafiantes.
• Robustez: El bote triangular (más actuado) fue menos sensible a las variaciones de flujo que el bote de doble propulsor subactuado, pero FlowMo-WM mantuvo un alto desempeño en ambos morfologías.

Análisis de Representación

• Decodificación de Momento: Las sondas lineales congeladas mostraron que el momento es linealmente decodificable del estado latente combinado ($R^2 = 0.667$), a pesar de que la velocidad nunca fue un objetivo de entrenamiento.
• Codificación de Deriva: El flujo local y la deriva no fueron trivialmente decodificables de forma lineal, lo que sugiere que la rama de contexto codifica un código latente útil para la tarea de predicción en lugar de almacenar un vector físico directo de la corriente.

Significado y Reivindicaciones

El artículo afirma que FlowMo-WM aborda un modo de falla específico en los modelos de mundo visual condicionados por acciones: la incapacidad de dar cuenta del momento oculto y la deriva ambiental.

• Alcance Modesto: Los autores declaran explícitamente que sus experimentos actuales están limitados a observaciones renderizadas cenitales limpias en un simulador 2D. Reconocen que extender esto al video del mundo real requeriría manejar cambios de punto de vista, desorden, incertidumbre de segmentación y perturbaciones 3D.
• Límites de Generalización: No se espera que el modelo tenga éxito si la corriente ambiental excede la autoridad de control del vehículo o si las características del flujo caen fuera de la distribución de entrenamiento.
• Perspectiva Central: Los resultados sugieren que, para entornos físicos abiertos, los modelos de mundo visual deben representar no solo el control comandado, sino también cómo los objetos continúan moviéndose debido a la inercia y cómo el entorno no observado los transporta. El contexto ambiental inferido es funcionalmente necesario para una predicción estable de largo horizonte en tales entornos.