Resumen Técnico: WEAVER - Un Modelo de Mundo Efectivo para la Manipulación Robótica

Declaración del Problema

Los modelos de mundo (WMs), o simuladores aprendidos, prometen significativamente para la robótica al permitir la evaluación de políticas, la mejora y la planificación en tiempo de ejecución con una interacción limitada en el mundo real. Sin embargo, para desbloquear estas capacidades descendentes, un WM robótico debe satisfacer simultáneamente tres desiderata que a menudo entran en conflicto:

1. Fidelidad: Producir predicciones físicamente precisas que se correlacionen con los resultados del mundo real.
2. Consistencia: Generar trayectorias coherentes sobre horizontes de predicción largos, particularmente en presencia de oclusiones e interacciones de múltiples etapas.
3. Eficiencia: Generar predicciones lo suficientemente rápido como para soportar la planificación en tiempo real y la mejora iterativa de políticas.

Los enfoques existentes no logran satisfacer los tres criterios simultáneamente. Los modelos de generación de video suelen carecer de eficiencia; los modelos latentes (por ejemplo, de estilo JEPA) pueden carecer de la decodificabilidad requerida para la evaluación de políticas visuomotoras arbitrarias; y los WMs de manipulación previos (por ejemplo, Ctrl-World) operan demasiado lento para la planificación en tiempo de ejecución. Además, la manipulación robótica introduce complejidades únicas, como la observación multi-vista, la inferencia de objetos ocluidos y la necesidad de una predicción de estado de alta fidelidad en lugar de solo estética visual.

Metodología: Arquitectura WEAVER

Los autores proponen WEAVER (World Estimation Across Views for Embodied Reasoning), un modelo de mundo multi-vista diseñado para lograr la tríada de fidelidad, consistencia y eficiencia. La arquitectura integra decisiones de diseño de la generación de video, modelos de mundo latentes y arquitecturas de estilo JEPA.

Arquitectura Central

• Codificación Multi-Vista: WEAVER procesa múltiples vistas de cámara (por ejemplo, muñeca y externa) junto con estados propioceptivos. Utiliza un codificador VAE de Stable Diffusion 3 preentrenado para mapear parches de imágenes y tokens propioceptivos en un espacio latente.
• Modelo de Dinámica Latente: El predictor central es un transformador 2D que pronostica estados latentes futuros ($\hat{z}_t$) condicionados en:
  • Memoria Dispersa: Contexto a largo plazo ($z_{mem}$) que consiste en cada $k$-ésimo latente previo.
  • Historia a Corto Plazo: Latentes recientes ($z_{hist}$) que capturan las consecuencias de la acción inmediata.
  • Plan de Acción: Un bloque de acciones futuras ($a_t$).
• Objetivos de Predicción:
  • Predicción Latente: Entrenada mediante Flow Matching para predecir latentes futuros. Para mejorar la consistencia de largo horizonte, el modelo emplea Diffusion Forcing, que muestrea niveles de ruido de forma independiente a través de los pasos de tiempo futuros.
  • Predicción Propioceptiva: A diferencia de algunos trabajos previos, WEAVER predice explícitamente estados propioceptivos futuros (posiciones de las articulaciones y ancho de la pinza), lo cual es crítico para la manipulación de objetos deformables.
  • Cabezales de Recompensa y Crítico: Un cabezal de recompensa ligero ($R$) y una red crítica ($V$) operan directamente sobre los estados latentes e instrucciones de lenguaje. Esto permite la puntuación eficiente de bloques de acción sin decodificar imágenes o consultar modelos de lenguaje-visión (VLMs) externos.

Optimización de Entrenamiento e Inferencia

• Entrenamiento: El modelo es pre-entrenado en el conjunto de datos DROID y ajustado (fine-tuned) en datos de tareas específicas. Utiliza bloques SPRINT para descartar agresivamente los tokens de parches, mejorando la eficiencia.
• Aceleración de Inferencia:
  • Caché de KV (KV Caching): Aplicado a los tokens de memoria e historia a través de los pasos de eliminación de ruido para reducir los costos de la pasada hacia adelante (forward pass).
  • Flujo Rectificado (Rectified Flow): El modelo es post-entrenado con un objetivo de flujo rectificado para permitir una generación de alta calidad dentro de pocas pasadas hacia adelante (bajo Número de Evaluaciones de Función, NFE).
  • Ruido Progresivo: Se utiliza un esquema de ruido de coseno para asignar más presupuesto a las regiones de bajo ruido, mejorando la fidelidad.

Aplicaciones Descendentes

WEAVER está diseñado para soportar tres tareas específicas:

1. Evaluación de Políticas: Ejecutar trayectorias del mundo real grabadas en bucle abierto dentro del WM para predecir tasas de éxito.
2. Mejora de Políticas: Muestrear bloques de acción, simularlos en el WM y filtrar las trayectorias de alta ventaja para destilar en la política base ($\pi_{0.5}$).
3. Planificación en Tiempo de Ejecución: Utilizar un enfoque de "Best-of-N" donde se muestrean múltiples bloques de acción, se imaginan y se evalúan mediante cabezales de recompensa/crítico latentes para seleccionar la acción óptima para su ejecución.

Resultados Clave

Los autores evalúan WEAVER en cinco tareas de manipulación robótica (Stack Bowls, PnP Bag, PnP Marker, PnP Towel, Pour Beans) utilizando un robot Franka Emika Panda.

• Fidelidad vs. Eficiencia: WEAVER domina en Pareto al principal modelo de referencia, Ctrl-World. Logra puntuaciones FID y FVD más bajas (indicando mayor fidelidad visual) mientras requiere significativamente menos tiempo de inferencia (por ejemplo, 10–30s frente a 30–50s para rollouts de 10s para Ctrl-World). WEAVER mantiene una alta calidad incluso con un NFE bajo (8–16), mientras que la calidad de Ctrl-World se degrada significativamente a medida que el NFE disminuye.
• Consistencia de Largo Horizonte: WEAVER demuestra un rendimiento superior en rollouts de largo horizonte (hasta 10s), manteniendo tasas de error más bajas en comparación con los modelos de referencia, particularmente en tareas que involucran oclusiones y objetos deformables.
• Evaluación de Políticas: Al ser utilizado para evaluar políticas, WEAVER-FT (ajustado) logra una correlación de Pearson de $\rho = 0.870$ con las tasas de éxito en el mundo real, superando significativamente a los modelos de referencia pre-entrenados.
• Mejora de Políticas: El ajuste fino del modelo base $\pi_{0.5}$ utilizando datos sintéticos generados por WEAVER (sin ninguna interacción en el mundo real) mejora las tasas de éxito en el mundo real en un 38%. Combinar datos sintéticos y reales produce una mejora adicional del 11% sobre el ajuste fino basado únicamente en datos reales.
• Planificación en Tiempo de Ejecución: WEAVER permite la planificación en tiempo de ejecución con una aceleración de 5–10$\times$ respecto a Ctrl-World. Este enfoque de planificación mejora la tasa de éxito en el mundo real de la política base en un 14% (hasta un 20% en tareas específicas) al seleccionar bloques de acción de alta ventaja.
• Robustez Fuera de Distribución (OOD): WEAVER mantiene un fuerte rendimiento en conjuntos de datos de tareas OOD, atribuido al uso de un codificador pre-entrenado en lugar de aprender uno desde cero.

Significancia y Reivindicaciones

El artículo afirma que WEAVER representa un paso significativo al unificar con éxito la alta fidelidad, la consistencia de largo horizonte y la eficiencia de inferencia en un solo modelo de mundo para la manipulación robótica.

• Desbloqueo de Capacidades Descendentes: Los autores argumentan que los WMs previos estaban limitados por compensaciones (por ejemplo, alta fidelidad pero inferencia lenta), lo que impedía su uso en la planificación en tiempo real o la mejora eficiente de políticas. La capacidad de WEAVER para satisfacer los tres desiderata simultáneamente desbloquea estas capacidades previamente inaccesibles.
• Eficiencia de Datos: Los resultados sugieren que los modelos de mundo de alta fidelidad pueden generar datos sintéticos que son casi tan efectivos como los datos costosos del mundo real para la mejora de políticas, reduciendo potencialmente la dependencia de la extensa interacción en el mundo real.
• Practicidad: Al lograr velocidades de inferencia compatibles con las restricciones de tiempo real (mediante flujo rectificado y caché de KV), WEAVER hace que la planificación en tiempo de ejecución basada en modelos de mundo sea una realidad práctica para robots físicos, y no solo un concepto teórico.

Los autores reconocen limitaciones, incluyendo la observabilidad parcial (falta de sensores táctiles), desafíos con la dinámica compleja de objetos deformables y la restricción actual a la planificación de corto horizonte debido a la latencia. Sin embargo, postulan que WEAVER establece un nuevo estándar para el modelado de mundo escalable, eficiente y efectivo en robótica.