Resumen Técnico: El Planificador de Video Grande Habilita el Control Robótico Generalizable

Enunciado del Problema

Los robots de propósito general requieren algoritmos de planificación que puedan generalizar a través de tareas diversas y entornos novedosos. Si bien los avances recientes en modelos Visión-Lenguaje-Acción (VLA) han extendido los Modelos de Lenguaje Grande Multimodales (MLLM) para incluir salidas de acción, estos sistemas enfrentan un problema fundamental de escasez de datos. A diferencia de los datos de texto e imagen a escala web que sustentan a los MLLM, los datos de acción robótica son extremadamente limitados. En consecuencia, los VLA existentes dependen de un paradigma de transferencia asimétrica donde el conocimiento preentrenado amplio se ajusta finamente en conjuntos de datos robóticos estrechos. Este enfoque a menudo resulta en una mala generalización cuando los robots se encuentran con nuevas tareas o situaciones no vistas, ya que los modelos carecen de una exposición suficiente a la dinámica temporal de las interacciones físicas.

Metodología

Los autores proponen un paradigma alternativo: utilizar el preentrenamiento a gran escala en video como modalidad principal para construir modelos fundamentales de robótica. A diferencia de las imágenes estáticas o el lenguaje, los videos codifican naturalmente secuencias espacio-temporales de estados y acciones, proporcionando una representación más rica del comportamiento físico continuo.

El sistema propuesto, Planificador de Video Grande (LVP), opera mediante una pipeline de dos etapas:

1. El Modelo Fundamental de Video (LVP)

LVP es un modelo de difusión de video de 14 mil millones de parámetros diseñado específicamente para la planificación generativa.

• Arquitectura: Utiliza un Autoencoder Variacional (VAE) 3D causal temporalmente para comprimir clips de video en un espacio latente. Luego, un Transformador de Difusión (DiT) se entrena en este espacio latente utilizando un objetivo de Emparejamiento de Flujo.
• Estrategia de Entrenamiento: El modelo emplea Forzamiento de Difusión, una técnica que aplica niveles de ruido independientes a diferentes cuadros dentro de una secuencia. Esto permite que el modelo se condicione de manera flexible sobre cantidades variables de historia (desde cero cuadros hasta múltiples cuadros anteriores) tanto durante el entrenamiento como en la inferencia.
• Mecanismos de Guía: Para garantizar la consistencia física y la adherencia a las instrucciones, el modelo integra Guía de Historia. Esta es una variante de la Guía sin Clasificador (CFG) que condiciona la generación sobre cuadros de contexto proporcionados (por ejemplo, la observación inicial del robot) junto con instrucciones de texto, mejorando significativamente la fidelidad del movimiento en comparación con la guía solo de texto.
• Etapa de Entrenamiento: El modelo pasa por dos etapas:
  1. Preentrenamiento Continuo: Entrenado en un conjunto de datos masivo para aprender dinámicas ricas y seguimiento de instrucciones.
  2. Ajuste Fino de Bajo Movimiento de Cámara: Una etapa especializada que utiliza un subconjunto de datos con bajo flujo óptico para suprimir la deriva de cámara no deseada, asegurando que los planes generados sean estables para la ejecución robótica.

2. Conjunto de Datos LVP-1M

Para apoyar este entrenamiento, los autores curaron LVP-1M, un conjunto de datos abierto a escala de internet de 1.4 millones de clips de video.

• Fuentes: El conjunto de datos agrega datos de cuatro conjuntos de datos de teleoperación robótica (Bridge, Droid, Language Table, AgiBot-World) y cuatro conjuntos de datos de actividades centradas en humanos (Ego4D, Epic-Kitchens, Something-Something, y un subconjunto filtrado de Panda-70M).
• Procesamiento: Los clips se filtran rigurosamente por calidad, encarnación visible (manos o pinzas) y falta de movimiento rápido de la cámara. Crucialmente, los autores realizan alineación temporal, re-muestreando los videos robóticos para igualar las velocidades humanas y asegurar la consistencia temporal a través de diferentes morfologías.
• Subtitulado: El conjunto de datos se enriquece con subtítulos centrados en acciones generados por LLM (Gemini), que van desde descripciones breves de tareas hasta narrativas de acción detalladas, para mejorar las capacidades de seguimiento de instrucciones.

3. Extracción y Redirección de Acciones

El sistema traduce los planes de video generados en acciones robóticas ejecutables:

• Estimación de Movimiento: Para videos de manos humanas, el sistema utiliza HaMeR para la estimación de pose de mano por cuadro y MegaSAM para la reconstrucción de escenas 4D para asegurar la escala métrica y la suavidad temporal.
• Redirección: Las trayectorias de la mano humana estimadas se redirigen a los efectoros finales del robot. Para manos diestras, Dex-Retargeting resuelve un problema de optimización para mapear configuraciones de articulaciones humanas a articulaciones robóticas. Para pinzas de mordaza paralela, el sistema utiliza GraspNet para predecir posturas de agarre basadas en la geometría de la escena y la intención de agarre detectada.
• Ejecución: Las trayectorias redirigidas se transforman en el marco de control del robot, y se resuelve la cinemática inversa (usando cuRobo) para el brazo, mientras que las trayectorias de los dedos impulsan directamente el controlador de la mano.

Contribuciones Clave

1. Planificador de Video Grande (LVP): Un modelo fundamental de video de 14 mil millones de parámetros diseñado para la planificación encarnada que genera planes de video cero-shot a partir de una sola imagen e instrucción de texto.
2. Conjunto de Datos LVP-1M: Un conjunto de datos curado y abierto de 1.4 millones de clips que combina interacciones humanas y robóticas, procesado para el aprendizaje centrado en acciones y la alineación temporal.
3. Protocolo de Evaluación Riguroso: Un marco de evaluación novedoso que utiliza tareas seleccionadas por terceros "en el mundo real" y experimentos con robots reales para evaluar la generalización a nivel de tarea, yendo más allá de los puntos de referencia estándar a nivel de objeto.

Resultados

El artículo evalúa LVP a través de dos experimentos principales:

Evaluación de Planificación de Movimiento en Video

Utilizando un conjunto de prueba de 100 tareas diversas seleccionadas por terceros (por ejemplo, rasgar cinta, abrir una puerta, tirar de la cadena de un inodoro), LVP superó significativamente a los modelos de generación de video de referencia (Wan 2.1, Cosmos-Predict 2, Hunyuan).

• Completación de Tarea: LVP logró una tasa de éxito del 59.3% en "Nivel 3" (Tarea Completada: contacto correcto, estado final y movimiento plausible), en comparación con el 39.3% del mejor modelo de referencia (Wan 2.1).
• Consistencia Física: LVP demostró una capacidad superior para generar trayectorias físicamente coherentes, evitando las inconsistencias espaciales y semánticas comunes en los modelos de referencia.

Ejecución en Robot Real

El sistema se desplegó en dos plataformas: un brazo Franka con una pinza de mordaza paralela y un humanoide Unitree G1 con una mano diestra Inspire.

• Generalización: LVP ejecutó con éxito tareas cero-shot en entornos no vistos, incluyendo abrir puertas, limpiar mesas, recoger granos de café y rasgar cinta.
• Comparación: En comparación directa con modelos de referencia VLA de última generación (π0 y OpenVLA), LVP mostró una generalización más fuerte en tareas novedosas. Mientras que los modelos de referencia funcionaron bien en tareas familiares de agarrar y colocar, tuvieron dificultades con tareas complejas fuera de la distribución donde LVP tuvo éxito.
• Manipulación Diestra: El sistema transfirió con éxito articulaciones complejas de la mano humana a la mano robótica diestra, una capacidad donde los modelos de referencia existentes (que no soportan manos multifinger) no podían ser evaluados.

Significado y Afirmaciones

El artículo afirma que utilizar el video como modalidad principal ofrece una "fuente de transferencia directamente fundamentada" para la robótica. Al aprovechar la abundante dinámica temporal presente en los datos de video a escala de internet, LVP cierra la brecha entre el preentrenamiento a gran escala y la toma de decisiones encarnada.

Los autores argumentan que este enfoque permite un seguimiento de instrucciones robusto y una fuerte generalización a tareas y entornos no vistos, abordando un desafío central en la inteligencia encarnada. El trabajo demuestra que un modelo fundamental de video puede servir como un planificador de movimiento visual en el espacio de píxeles, generando planes que pueden redirigirse a diversas morfologías robóticas para la ejecución en el mundo real. Los autores liberan el modelo, el conjunto de datos y el código para apoyar la investigación abierta y reproducible en el aprendizaje robótico basado en video.

Nota: Los autores reconocen limitaciones, incluido el tiempo de inferencia requerido para la generación de video (varios minutos en una sola GPU A100), posibles errores en los módulos de reconstrucción y redirección de código abierto, y la dependencia actual de la ejecución en bucle abierto, lo cual puede limitar el rendimiento en tareas altamente diestras que requieren retroalimentación en bucle cerrado.