Resumen Técnico: RepWAM – Modelado de Acción Mundial con Representación

1. Planteamiento del Problema

Los Modelos de Acción Mundial (WAMs, por sus siglas en inglés) buscan cerrar la brecha entre la predicción pasiva del futuro y el control robótico incorporado mediante el aprendizaje de un espacio latente único que pronostica la dinámica visual e infiere las acciones robóticas necesarias para realizarlas. Sin embargo, los WAMs actuales enfrentan dos limitaciones críticas en su diseño de representación:

1. Deficiencias en la Representación Visual: Los WAMs existentes suelen heredar tokenizadores de video de modelos de generación de video preentrenados (p. ej., WAN, VQ-VAE). Estos tokenizadores están optimizados para la reconstrucción de píxeles, dedicando capacidad latente a la apariencia de bajo nivel (texturas de fondo) en lugar de a la semántica relevante para la tarea (identidad de objetos, relaciones espaciales, claves de interacción). En consecuencia, el modelado de mundo condicionado por instrucciones está pobremente fundamentado, ya que los objetivos lingüísticos deben inferirse de un espacio latente dominado por la variación de la apariencia.
2. Desacoplamiento Acción-Visual: Los latentes visuales y los comandos motores residen en espacios disjuntos. Esto obliga a un Modelo de Dinámica Inversa (IDM) a cerrar una brecha de modalidad significativa en cada paso, impidiendo que el experto en acciones fundamente eficazmente los comandos motores en el contenido de la escena.

Los autores postulan que la fidelidad de los WAMs está limitada por estos espacios latentes y plantean la pregunta: ¿Qué tipo de representación necesita realmente un modelo de acción mundial?

2. Metodología: RepWAM

El artículo propone RepWAM, un WAM centrado en la representación construido sobre un Tokenizador de Acción Visual de Representación (RepViTok). El marco consta de tres componentes principales:

A. Tokenizador de Acción Visual de Representación (RepViTok)

RepViTok alinea los latentes visuales con un modelo de base visual congelado e induce tokens de acción latentes como transiciones dentro de este espacio semántico compartido.

• Tokenización Visual: Un Autoencoder de Vision Transformer (ViT) procesa las observaciones visuales. A diferencia de los tokenizadores estándar, está supervisado por un objetivo dual:
  1. Pérdida de Reconstrucción: Combina pérdidas $L_1$, perceptuales y adversarias para asegurar la fidelidad de los píxeles.
  2. Pérdida de Alineación de Características: Atrae los latentes de video hacia un modelo de base visual congelado (p. ej., Codificador de Percepción) mediante una proyección lineal. Esto asegura que el espacio latente capture la semántica de alto nivel (identidad de objetos, interacciones) en lugar de solo la apariencia de bajo nivel.
• Tokenización de Acción Latente: Basándose en los tokens visuales alineados, un Tokenizador de Acción Latente (LAT) aprende tokens de acción que representan las transiciones entre estados visuales. Este acopla un Modelo de Dinámica Inversa (IDM) y un Modelo de Dinámica Directa (FDM):
  • El IDM comprime la transición entre fotogramas latentes consecutivos ($z_t, z_{t+1}$) en una acción latente compacta $\ell_t$.
  • El FDM realiza $\ell_t$ como un mapa de transporte (enrutamiento de contenido visual) y un residuo, reconstruyendo el siguiente latente visual.
  • Este diseño asegura que las acciones latentes se definan como transformaciones entre estados visuales semánticos, lo que las hace transferibles entre diferentes morfologías (embodiments).

B. Modelo de Acción Mundial Causal

RepWAM preentrena un transformador de difusión causal para modelar conjuntamente los estados visuales futuros y las acciones latentes bajo condicionamiento de lenguaje.

• Arquitectura: El modelo utiliza una máscara de causalidad por bloques donde los tokens visuales y de acción comparten pesos de atención pero utilizan redes de alimentación hacia adelante (FFN) específicas para cada modalidad.
• Objetivo de Entrenamiento: El modelo se entrena utilizando un objetivo de ajuste de flujo condicional (conditional flow-matching). Se toma una muestra de un bloque de latentes visuales y acciones latentes emparejadas, interpolándolos con ruido gaussiano. La red regresa la velocidad objetivo para predecir simultáneamente el siguiente estado visual y la acción latente correspondiente.
• Adaptación: Tras el preentrenamiento en datos de video-acción a gran escala, el modelo se adapta a trayectorias robóticas reales para la manipulación de bucle cerrado.

3. Contribuciones Clave

1. Tokenización Visual-Acción Semántica: La introducción de RepViTok, que alinea los latentes visuales con un modelo de base y aprende acciones latentes como transiciones dentro de este espacio semántico, abordando la naturaleza "superficial" y "desacoplada" de las representaciones de los WAMs existentes.
2. Marco de Modelado Conjunto: Una arquitectura unificada que preentrena un transformador de difusión causal para pronosticar conjuntamente los estados visuales futuros y las acciones latentes, seguido de la adaptación al control robótico real.
3. Validación Empírica: Evaluación exhaustiva en tareas de manipulación de doble brazo en el mundo real y en el benchmark de simulación RoboTwin 2.0, demostrando que la alineación semántica mejora tanto la predicción de la dinámica visual como la ejecución de bucle cerrado.

4. Resultados Experimentales

Los autores evaluaron RepWAM (escalas de 1.3B y 5B de parámetros) frente a líneas de base que incluyen $\pi_0.5$, Motus y Lingbot-VA.

• Manipulación en el Mundo Real (Franka Dual-Arm):
  • En tareas como "Pick the fruit" (Recoger la fruta), "Push the drawer" (Empujar el cajón) e "Insert the tube" (Insertar el tubo), RepWAM-5B logró tasas de éxito del 60%, 80% y 60% respectivamente.
  • Estos resultados superaron a $\pi_0.5$ (por 10–50 puntos porcentuales) y a Lingbot-VA (por 10–20 puntos porcentuales), particularmente en tareas de largo horizonte y de grano fino donde una dinámica visual coherente es crucial.
• Benchmarks de Simulación (RoboTwin 2.0):
  • RepWAM-5B alcanzó un 89.3% en tareas Fáciles (Easy) y un 88.4% en tareas Difíciles (Hard), superando el promedio de 50 tareas de $\pi_0.5$ y Motus.
  • Notablemente, RepWAM fue entrenado desde cero sin heredar pesos de generación de video preentrenados, y aun así se mantuvo competitivo con modelos como Lingbot-VA que sí utilizan dicho preentrenamiento.
• Estudios de Ablación:
  • Diseño del Tokenizador: Reemplazar el VAE estándar de WAN2.2 con RepViTok mejoró la Puntuación de Bucle Abierto (OLS) y las tasas de éxito en robots reales, confirmando que la alineación semántica es crítica para el seguimiento de instrucciones.
  • Entrenamiento de Acción Latente: Un enfoque de "Dos Etapas" (preentrenamiento en acciones latentes, luego adaptación al control robótico) superó significativamente al de "Predicción Conjunta" o al entrenamiento sin acciones latentes, validando la utilidad de las acciones latentes como una representación intermedia.
  • Guía Libre de Clasificador (CFG): A diferencia de los modelos de generación de video, RepWAM alcanzó un rendimiento óptimo con una escala de CFG de 1.0 (sin extrapolación), lo que sugiere que el espacio semántico es lo suficientemente robusto como para reducir la dependencia de la CFG.

5. Significado y Reivindicaciones

El artículo afirma que la tokenización visual-acción de representación es una base prometedora para los modelos de acción mundial. Al fundamentar los latentes visuales y de acción en una representación semántica compartida, RepWAM demuestra que:

• La generación explícita del futuro no es estrictamente necesaria para el aprendizaje de políticas si la representación captura la semántica relevante para la tarea.
• La alineación semántica permite que los WAMs logren una fuerte generalización y un rendimiento de bucle cerrado incluso sin heredar arquitecturas de respaldo de generación de video preentrenadas.
• Este enfoque avanza hacia políticas robóticas generalistas al crear un espacio de representación donde la acción se entiende como una transformación de estados semánticos en lugar de un comando motor disjunto.

Los autores concluyen que el diseño del espacio latente es fundamental para la capacidad de los agentes incorporados, y que RepWAM ofrece un paso hacia modelos más interpretables, transferibles y efectivos para la manipulación robótica. Se sugiere como trabajo futuro escalar el preentrenamiento más allá de los videos específicos de robótica para incluir videos de internet y de perspectiva egocéntrica a gran escala.