Action Images: End-to-End Policy Learning via Multiview Video Generation

1. El Problema

Los modelos de acción del mundo (World Action Models - WAMs) han avanzado en la predicción de futuros estados observacionales utilizando potentes modelos de generación de video. Sin embargo, existe una brecha crítica entre la generalización de la generación de video y la generalización de la política de control.

• Limitación actual: Los enfoques existentes suelen depender de módulos de acción separados (cabezas de política) o utilizan representaciones de acción no ancladas a píxeles (tokens de baja dimensión). Esto impide aprovechar completamente el conocimiento preentrenado de los modelos de video y dificulta la transferencia a nuevas vistas y entornos.
• Desafío: Convertir la capacidad predictiva de un modelo de video en una política de control robusta y generalizable sin añadir componentes externos complejos que rompan la transferencia.

2. Metodología: Action Images

El artículo propone Action Images, un modelo unificado de acción del mundo que reformula el aprendizaje de políticas como un problema de generación de video multivista.

A. Representación de Acción Anclada a Píxeles

En lugar de codificar las acciones de 7 grados de libertad (7-DoF) como vectores latentes abstractos, el método las traduce a imágenes de acción interpretables:

1. De Acción a Puntos Semánticos 3D: Cada acción $a_t = [p_t, \theta_t, g_t]$ (posición, orientación, apertura de pinza) se convierte en tres puntos semánticos 3D:
   • Punto de posición ($q_{pos}$).
   • Punto normal ($q_{normal}$): Define la dirección perpendicular al plano de la pinza.
   • Punto "arriba" ($q_{up}$): Define la dirección in-plane de la pinza.
2. Renderizado Multivista: Estos puntos 3D se proyectan en el espacio de imagen utilizando las intrínsecas y extrínsecas de la cámara para cada vista.
3. Codificación RGB: Se generan mapas de calor gaussianos 2D:
   • Canal Rojo: Punto de posición.
   • Canal Verde: Punto normal.
   • Canal Azul: Punto "arriba" + apertura de la pinza (la apertura se codifica en las regiones de fondo de baja respuesta del canal azul).
4. Resultado: Se obtiene un video de acción multivista ($A^{(v)}$) que tiene la misma estructura espacial y temporal que las observaciones RGB del robot ($O^{(v)}$).

B. Modelo Unificado de Mundo-Acción

El modelo utiliza un backbone de generación de video preentrenado (Wan 2.2) para modelar conjuntamente observaciones y acciones en un espacio latente unificado.

• Tokenización: Las secuencias de video de observación y video de acción se concatenan temporalmente.
• Estrategia de Máscaras: Se entrena bajo un esquema de enmascaramiento diverso para soportar múltiples tareas con un solo modelo:
  1. Generación conjunta: Predecir video y acción simultáneamente a partir de un prompt de texto.
  2. Generación condicionada por acción: Sintetizar video futuro dado un video de acción.
  3. Etiquetado de acción (Video-to-Action): Inferir la imagen de acción a partir del video de observación.
  4. Generación solo de video: Para datos sin anotaciones de acción.
• Condicionamiento de Cámara: Se inyectan embeddings de Plücker para mantener la consistencia multivista y permitir el control de la cámara.

C. Decodificación de la Política (Zero-Shot)

La política se ejecuta de manera zero-shot directamente desde el backbone de video:

1. El modelo genera el futuro video de observación y el video de acción correspondiente.
2. Decodificador: Se extraen los puntos 2D de los mapas de calor (usando promedios ponderados) y se reconstruyen los puntos 3D mediante ray casting y correspondencia entre vistas (principal y lateral) para resolver la ambigüedad de profundidad.
3. Finalmente, los puntos 3D reconstruidos se transforman de nuevo en el vector de control 7-DoF original. No se requiere ninguna cabeza de política adicional.

3. Contribuciones Clave

1. Representación de Acción Pixel-Grounded: Identificar que la brecha entre generalización de video y política se puede cerrar representando la acción como una señal visual interpretable (imágenes de acción) en lugar de tokens abstractos.
2. Política Zero-Shot Unificada: Demostrar que un backbone de video preentrenado puede actuar directamente como una política de robot sin módulos de control separados, logrando una transferencia superior entre vistas y embodiments.
3. Marco Multitarea: Un único modelo que realiza generación conjunta, generación condicionada por acción y etiquetado de acción, todo bajo una misma representación y objetivo de entrenamiento.
4. Reconstrucción 3D Fiable: Un método de decodificación simple pero efectivo que recupera acciones continuas 7-DoF a partir de mapas de calor 2D con pérdida de información mínima.

4. Resultados

El modelo se evaluó en simulación (RLBench) y en el mundo real (brazo robótico xArm) con tareas no vistas durante el entrenamiento.

• Rendimiento Zero-Shot: En RLBench y entornos reales, Action Images superó consistentemente a los baselines más fuertes (incluyendo $\pi_0.5$, MolmoAct, TesserAct y Cosmos-Policy).
  • Ejemplo: En la tarea de "Pick Unseen Toy" en RLBench, alcanzó un 50% de éxito frente al 35% de $\pi_0.5$ y 0% de otros modelos.
  • En tareas reales con objetos y entornos no vistos, logró un 45% de éxito en "Place Cup" y 10% en "Close Box", superando significativamente a la competencia.
• Calidad de Generación: Superó a los modelos de mundo previos en métricas de fidelidad de video (PSNR, SSIM) y realismo perceptual (FVD, LPIPS), manteniendo al mismo tiempo una alta precisión en la trayectoria de la acción (menor error 2D y 3D).
• Capacidades Adicionales:
  • Generación condicionada por acción: Superó a Tora en todas las métricas de calidad de video.
  • Etiquetado de acción: Superó a TAPIR y CoTracker en seguimiento de puntos y precisión de trayectorias.

5. Significado e Impacto

Este trabajo sugiere un cambio de paradigma en el aprendizaje por refuerzo y la robótica:

• Unificación de Representación: Al anclar la acción en los píxeles, se elimina la necesidad de interfaces externas entre la percepción y la acción, permitiendo que el conocimiento físico y dinámico aprendido por los grandes modelos de video se transfiera directamente al control.
• Generalización Robusta: La naturaleza multivista y pixel-grounded de la representación permite que el modelo generalice mejor a nuevas cámaras, objetos y configuraciones robóticas sin necesidad de reentrenamiento específico.
• Escalabilidad: Al utilizar backbones de video masivos preentrenados, el método aprovecha la escala de datos de video del mundo real, ofreciendo una ruta prometedora hacia políticas de robots más generalistas y capaces.

En resumen, Action Images demuestra que tratar el aprendizaje de políticas como un problema de generación de video multivista, donde la acción es una señal visual explícita, es una vía superior para lograr control robótico robusto y generalizable.