Resumen Técnico: PACT-WAM

Planteamiento del Problema

Las políticas de manipulación robótica requieren dos formas de información temporal: historia para proporcionar contexto sobre el movimiento e interacciones previas, y previsión visual para predecir cambios de estado y evaluar acciones propuestas. Aunque los Modelos de Mundo-Acción (WAMs, por sus siglas en inglés) conectan eficazmente la historia, las acciones y las observaciones futuras, enfrentan un cuello de botella computacional significativo. Las representaciones densas de observaciones pasadas y futuras incurren en costos de procesamiento sustanciales; por ejemplo, codificar 16 fotogramas de historia con 64 tokens cada uno requiere 1,024 tokens por vista, y los pronósticos de múltiples pasos añaden secuencias de latentes visuales separadas. Los métodos existentes suelen abordar estos desafíos de forma aislada: ya sea comprimiendo la historia, utilizando previsión visual modular con controladores separados, u omitiendo la generación de futuros durante la inferencia. El desafío central es diseñar representaciones compactas que preserven la cobertura histórica y proporcionen estados decodificables de forma independiente en cada transición, estableciendo al mismo tiempo un protocolo para utilizar estos pronósticos para guiar la ejecución sin una carga computacional prohibitiva.

Metodología: PACT-WAM

Los autores proponen PACT-WAM (Predicting Actions and Visual Foresight with Compact Temporal Encoding), un modelo de mundo-acción que genera conjuntamente una trayectoria de acción de 16 pasos y su correspondiente previsión visual multivista temporalmente mediante el muestreo de flujo condicional. La arquitectura se basa en tres decisiones de diseño clave:

1. Codificación de Historia Jerárquica

En lugar de una codificación uniforme, PACT-WAM emplea una asignación de historia basada en la recencia. Asigna representaciones espaciales gruesas a las observaciones más antiguas y representaciones más finas a las más recientes.

• Mecanismo: Utilizando un backbone DINOv3 ViT-B/16 congelado, el modelo procesa 16 fotogramas de historia. Los 8 fotogramas más antiguos se comprimen a 4 tokens por vista, los 6 intermedios a 16 tokens y los 2 últimos a 64 tokens.
• Eficiencia: Esto retiene las 16 observaciones utilizando solo 256 tokens por vista, una reducción del 75% en comparación con la codificación densa (1,024 tokens) manteniendo una alta cobertura temporal.
• Integración: Estas características comprimidas se fusionan y se proyectan en el modelo de lenguaje Qwen3-VL-4B para formar un contexto compartido $h_t$ junto con la instrucción de la tarea.

2. Generación Conjunta de Flujo de Acción-Visual

PACT-WAM utiliza un transformador de flujo compartido con atención causal por transición para actualizar conjuntamente la acción continua y los estados visuales.

• Latentes Visuales: Las imágenes futuras se representan mediante latentes TiTok-VAE continuos ($K=32$ posiciones por imagen) sin submuestreo temporal. Esto asegura que cada acción esté emparejada con un estado visual subsecuente decodificable de forma independiente.
• Backbone Compartido: El transformador recibe estados de acción y visuales ruidosos, un embedding de tiempo de flujo y el contexto fijo. Utiliza una máscara de causalidad por bloques donde las consultas en el bloque $j$ (que representa la $j$-ésima transición) pueden atender a todas las posiciones en los bloques $k \leq j$.
• Cabezales Duales: Dos cabezales de velocidad específicos por modalidad ($g_a$ para acciones, $g_v$ para visuales) predicen las velocidades en espacios normalizados. Las modalidades intercambian información durante el muestreo a través de su dependencia compartida de los estados ruidosos dentro del prefijo temporal permitido.
• Entrenamiento: El modelo se entrena utilizando el ajuste de flujo condicional (conditional flow matching) con un objetivo de regresión de velocidad de trayectoria lineal, optimizando las ramas de compresión, la vía de contexto, el transformador de flujo y los cabezales de salida mientras se mantienen congelados los codificadores/decodificadores DINOv3 y TiTok-VAE.

3. Revisión de Propuesta (PR)

Para guiar la ejecución, PACT-WAM introduce un mecanismo de Revisión de Propuesta (Proposal Review) utilizando un Modelo de Lenguaje-Visión (VLM).

• Proceso: Cuatro solicitudes paralelas de VLM evalúan prefijos de pronóstico anidados en los pasos 4, 8, 12 y 16. Evalúan el progreso consistente con la tarea y detectan fallos visibles (p. ej., desalineación, colisiones).
• Lógica de Ejecución: El controlador selecciona el prefijo aprobado consecutivamente más largo por debajo de cualquier veto reportado. Si una propuesta es rechazada, el sistema realiza un remuestreo conjunto (hasta tres reintentos) dentro de un presupuesto limitado. Si todos los reintentos fallan, la sesión termina.

Contribuciones Clave

1. Asignación de Historia Basada en la Recencia: El artículo introduce una estrategia que asigna 256 tokens por vista priorizando los fotogramas recientes. En el benchmark LIBERO, esto supera la codificación uniforme de los mismos 16 fotogramas (98.6% frente a 87.5% de éxito) y logra un rendimiento comparable a la codificación densa (98.0%) con un 75% menos de tokens de historia.
2. Generación Conjunta en Espacio Latente Compacto: PACT-WAM genera conjuntamente trayectorias de acción y estados visuales en un espacio latente compacto por imagen, proporcionando un pronóstico decodificable de forma independiente en cada transición física. Esto permite que el mecanismo de Revisión de Propuesta valide los prefijos de ejecución, basándose en marcos unificados de mundo-acción al integrar la codificación de historia compacta y la revisión de propuesta.
3. Rendimiento con Mejora en Tiempo de Prueba: La política base logra altas tasas de éxito en entornos de simulación y en el mundo real. La adición de la Revisión de Propuesta proporciona un aumento significativo en el tiempo de prueba, mejorando la robustez sin reentrenar la política central.

Resultados Experimentales

El modelo fue evaluado en LIBERO, RoboTwin 2.0 y una plataforma real AgileX Piper.

• LIBERO (Simulación):
  • Sin PR: 98.6% de éxito promedio.
  • Con PR: 99.5% de éxito promedio (alcanzando el 100% en las suites Object y Goal).
• RoboTwin 2.0 (Simulación):
  • Sin PR: 92.3% de éxito promedio en 50 tareas bimanuales.
  • Con PR: 93.4% de éxito promedio.
• Piper Real (Mundo Real):
  • Sin PR: 78.0% de éxito promedio en tareas de Clasificación (Sorting), Entrega (Handover) y Limpieza (Cleanup).
  • Con PR: 86.7% de éxito promedio.
• Estudios de Ablación:
  • Historia: La jerarquía de tokens 8:6:2 supera significativamente a la codificación uniforme y a la codificación densa en términos de eficiencia y éxito.
  • Generación Conjunta: El entrenamiento conjunto de acciones y visuales mejora el éxito del control (98.6%) en comparación con las variantes de solo acción (93.6%) o con auxiliar visual (96.4%).
  • Capacidad Visual: Aumentar la capacidad latente de $K=32$ a $K=64$ mejora la fidelidad del pronóstico (PSNR, SSIM) pero reduce ligeramente el éxito del control (97.3% frente a 98.6%), lo que sugiere un compromiso donde el $K=32$ por defecto equilibra el rendimiento y el costo computacional.
  • Revisión de Propuesta: La PR filtra eficazmente las trayectorias fallidas, con los avances previstos reduciendo las tasas de falso rechazo en comparación con el uso de solo las observaciones actuales.

Significancia y Reivindicaciones

El artículo afirma que PACT-WAM aborda con éxito el compromiso entre el costo de representación y la disponibilidad de la previsión visual para las decisiones de ejecución. Al combinar la codificación de historia jerárquica con latentes visuales compactos y decodificables, el modelo permite el muestreo conjunto de trayectorias de acción y pronósticos temporalmente emparejados. Esta arquitectura permite un protocolo de Revisión de Propuesta que guía la ejecución validando prefijos anidados, mejorando así la robustez tanto en simulaciones como en entornos del mundo real.

Los autores enfatizan que su enfoque preserva la información temporal necesaria para la selección de acciones mientras reduce drásticamente el recuento de tokens requerido para la historia. Señalan que, si bien la política base es competitiva, la integración de la previsión visual con un mecanismo de revisión basado en VLM ofrece una vía distinta para mejorar la fiabilidad en tareas de manipulación complejas. El trabajo destaca que una mayor fidelidad del pronóstico no siempre se correlaciona con un mayor éxito en el control, lo que sugiere que la utilidad del pronóstico para la toma de decisiones es más crítica que la calidad bruta de la reconstrucción.

Limitaciones señaladas por los autores: El sistema actual utiliza una asignación fija basada en la recencia que no se adapta a la relevancia de la tarea, un horizonte fijo de 16 pasos, y un proceso de revisión que puede omitir fallos breves entre los puntos de control. Se sugiere como trabajo futuro explorar la compresión adaptativa a la tarea y la generación de horizonte variable.