Resumen Técnico: Preentrenamiento Nativo de Video-Acción para el Control Robótico Generalizable (LingBot-VA 2.0)

Planteamiento del Problema

Los modelos actuales de video-acción para el control robótico recurren en gran medida al reaprovechamiento de arquitecturas de generación de video genéricas (diseñadas para la creación de contenido digital) mediante la adición de módulos de acción post-hoc. Los autores argumentan que este enfoque es inherentemente inadecuado para entornos físicos debido a tres limitaciones principales:

1. Desajuste de Representación: Los Autoencoders Variacionales (VAEs) estándar optimizan la reconstrucción de píxeles, preservando el detalle visual pero fallando en capturar la estructura semántica o la dinámica física. En consecuencia, los estados del mundo y las acciones permanecen en espacios latentes mal alineados.
2. Latencia de Inferencia: Los tokens de video de alta dimensión y los procesos de eliminación de ruido iterativos hacen que los modelos existentes sean demasiado lentos para el control de bucle cerrado de alta frecuencia requerido por los robots reales.
3. Desalineación de la Señal de Preentrenamiento: Los objetivos de preentrenamiento de video a escala web no enseñan cómo las acciones remodelan el mundo. Adaptar modelos de video bidireccionales a un control causal mediante el ajuste fino (fine-tuning) suele provocar un olvido catastrófico de los sesgos previos amplios o depende de datos robóticos escasos, lo que limita la escala del conocimiento de control adquirido.

Además, existe un desajuste estructural entre los mecanismos de atención bidireccional de los backbones de video preentrenados y la naturaleza estrictamente causal y hacia adelante en el tiempo del control robótico de bucle cerrado.

Metodología

El artículo presenta LingBot-VA 2.0, un modelo fundacional de video-acción construido "desde cero" para la encarnación (embodiment). La arquitectura sigue una ruta de preentrenamiento nativo, evitando el reacondicionamiento de generadores de video genéricos. El sistema consta de cuatro principios de diseño fundamentales:

1. Tokenizador Semántico de Visual-Acción

Alejándose de los VAEs centrados en la reconstrucción, los autores introducen un tokenizador que alinea las representaciones visuales con la semántica y las acciones.

• Alineación Visual: El tokenizador visual alinea los latentes orientados a la reconstrucción con un modelo fundacional visual congelado (Codificador de Percepción) utilizando un objetivo de alineación semántica. Esto produce representaciones compactas y ricas en semántica en lugar de meras aproximaciones de píxeles.
• Extracción de Acción Latente: Sin utilizar etiquetas de acción explícitas, el tokenizador aprende acciones latentes ($\ell_t$) mediante la dinámica inversa y directa autosupervisada. Un Modelo de Dinámica Inversa (IDM) predice una transformación compacta entre latentes consecutivos, y un Modelo de Dinámica Directa (FDM) reconstruye el siguiente latente. Esto sitúa los estados del mundo y las acciones en un espacio latente semántico compartido, permitiendo que el video web sin etiquetar proporcione supervisión relevante para la acción.

2. Paradigma de Preentrenamiento Causal

El modelo adopta una estrategia de preentrenamiento causal para evitar el olvido catastrófico asociado con la adaptación de arquitecturas bidireccionales.

• Arquitectura: El backbone es un Transformer de Difusión Causal (DiT). Emplea una estructura de Mezcla de Expertos (MoE) para el flujo de video (enrutamiento disperso) mientras mantiene el flujo de acción denso. Esto expande la capacidad del modelo sin comprometer la eficiencia de la inferencia.
• Objetivo de Entrenamiento: El modelo se preentrena en datos de imagen y video a escala web utilizando un objetivo de siguiente-latente causal. Esto asegura que el modelo adquiera sesgos amplios de forma nativa en una forma causal.
• Predicción de Multi-Fragmentos (MCP): Para evitar que el modelo se limite a copiar la apariencia visual de corto plazo, se introduce el MCP como un objetivo auxiliar. Este supervisa la predicción de múltiples fragmentos futuros simultáneamente, forzando al espacio latente a codificar la dinámica a nivel de trayectoria en lugar de solo la continuidad local.

3. Planificación Jerárquica y Aprendizaje en Contexto

• Planificador Jerárquico: Un planificador de Modelo de Lenguaje-Visión (VLM) de alto nivel descompone metas de largo alcance en subtareas estructuradas (instrucciones, pistas de generación, descripciones de escena). Este planificador se ejecuta de forma asíncrona, proporcionando contexto al modelo de política de bajo nivel sin bloquear el bucle de control.
• Aprendizaje en Contexto (ICL): El modelo soporta la especificación de tareas basada en video. Los videos de demostración humana se codifican en el espacio latente compartido y se utilizan como prompts visuales, permitiendo que el robot infiera pistas procedimentales para tareas raras o complejas sin actualizaciones de parámetros.
• Co-entrenamiento Humano-Robot: El modelo se entrena conjuntamente con datos robóticos y videos de manipulación humana egocéntricos. Las poses de las manos humanas se mapean a un espacio funcional de pinza robótica (pose raíz de 6 DoF + apertura escalar), permitiendo que el modelo de mundo compartido aprenda la dinámica de la encarnación cruzada mientras utiliza cabezales específicos de dominio para la decodificación de acciones de bajo nivel.

4. Razonamiento de Previsión para el Control en Tiempo Real

Para abordar el cuello de botella serial donde la latencia del modelo se convierte en latencia de control, los autores proponen el Razonamiento de Previsión (Foresight Reasoning), un esquema de inferencia asíncrona.

• Ejecución Paralela: Mientras el robot ejecuta el fragmento de acción actual, el flujo de predicción predice simultáneamente el siguiente latente visual y el fragmento de acción.
• Re-anclaje (Re-grounding): Para evitar la deriva causada por estados alucinados, el sistema re-ancla cada predicción en la última observación real. Un paso de dinámica directa aprendido dentro de la propia política imagina el resultado de la acción actual, el cual es corregido por la retroalimentación sensorial real antes del siguiente paso.
• Aceleración: El sistema utiliza destilación de consistencia de pocos pasos, ejecución compilada de baja precisión (FP8), gestión de caché KV tipo paged/ragged, y reducción de la sobrecarga en tiempo de ejecución para lograr un rendimiento en tiempo real.

Contribuciones Clave

1. Preentrenamiento Nativo de Video-Acción: El primer preentrenamiento de pila completa de un modelo de video-acción (incluyendo un tokenizador semántico y un DiT causal) específicamente para el control robótico mediante supervisión autosupervisada escalable, en lugar de adaptar componentes de generación de video genéricos.
2. Representación Semántica Compartida: Un espacio latente unificado para estados del mundo y acciones, anclado a un modelo fundacional visual alineado con el lenguaje, lo que estrecha la alineación visión-lenguaje-acción para mejorar el seguimiento de instrucciones y la precisión.
3. Control General, Rápido y Preciso: La combinación de inferencia MoE dispersa, destilación de pocos pasos, Razonamiento de Previsión y despliegue cuantizado permite la ejecución de bucle cerrado en tiempo real (hasta una frecuencia asíncrona de 225 Hz). El modelo demuestra fuertes capacidades de generalización de pocos disparos (few-shot) y cero disparos (zero-shot).

Resultados Experimentales

El artículo valida LingBot-VA 2.0 a través de pruebas de referencia en simulación y en el mundo real:

• Despliegue en el Mundo Real: Evaluado en un benchmark de robot propio (Clasificación de Frutas, Recolección de Bolígrafos, Ordenado de Cajones, Entrega de Platos). LingBot-VA 2.0 superó a bases sólidas, incluyendo el modelo VLA $\pi0.5$ y el modelo de VA anterior LingBot-VA, logrando mayores tasas de éxito y puntuaciones de progreso de tarea, particularmente en tareas continuas de largo alcance.
• Simulación (RoboTwin): En el benchmark bimanual RoboTwin, el modelo alcanzó una tasa de éxito promedio del 93.6%, superando a $\pi0.5$ (79.8%) y al anterior LingBot-VA (92.2%). Demostró robustez con una brecha mínima de rendimiento entre entornos limpios y con aleatorización de dominio.
• Aprendizaje en Contexto (ICL): El modelo transfirió con éxito pistas procedimentales de demostraciones de video humano a composiciones de tareas y arreglos de objetos no vistos sin necesidad de ajuste fino.
• Estudios de Ablación:
  • Tokenizador: Reemplazar el VAE estándar con el tokenizador semántico visual-acción mejoró significamente el rendimiento, especialmente para horizontes de predicción más largos.
  • MCP: La predicción de multi-fragmentos aceleró la convergencia (aceleración de 2.3x en pasos de entrenamiento) y mejoró la precisión final.
  • Aceleración: El pipeline de inferencia redujo la latencia de 927ms a 142ms por fragmento, aumentando la frecuencia de control asíncrono de 35 Hz a 225 Hz.

Significado y Reivindicaciones

Los autores afirman que LingBot-VA 2.0 representa un cambio de "reaprovechar" generadores de video digital a "construir" modelos nativos para la encarnación física. Al alinear el objetivo de preentrenamiento, el espacio de representación y la arquitectura de inferencia con los requisitos estrictos de causalidad y dinámica del control robótico, el modelo logra:

• Escalabilidad: Adquirir conocimiento de control a la escala de los videos web en lugar de estar limitado por las escasas demostraciones robóticas.
• Generalización: La capacidad de adaptarse a nuevas tareas con pocas demostraciones (10–15) y transferir a través de diferentes encarnaciones sin recolección a gran escala.
• Viabilidad en Tiempo Real: Demostrar que los modelos fundacionales complejos de video-acción pueden operar dentro de las estrictas restricciones de latencia del control de bucle cerrado en el mundo real.

El artículo concluye que, si bien el sistema actual es una base robusta, el trabajo futuro podría explorar el entrenamiento conjunto más estrecho de planificadores y políticas, incorporando señales de refuerzo interactivas y escalando a tipos de encarnación más amplios.