Resumen Técnico: LingBot-VLA 2.0

Planteamiento del Problema

A pesar de los avances recientes en los modelos fundacionales de Visión-Lenguaje-Acción (VLA), persiste una disparidad significativa entre los puntos de referencia (benchmarks) de laboratorio y el despliegue robótico en el mundo real. Los sistemas VLA actuales suelen enfrentarse a tres limitaciones primarias al transicionar hacia aplicaciones prácticas:

1. Generalización Limitada: Los modelos existentes fallan frecuentemente al intentar generalizar a través de diversos embodiments robóticos (configuraciones heterogéneas) y fuentes de datos, siendo entrenados a menudo en conjuntos de tareas estrechos o hardware específico.
2. Espacio de Acción Restringido: Muchos sistemas están confinados a la manipulación estándar de doble brazo, careciendo de la capacidad para controlar grados de libertad (DoF) de cuerpo completo, tales como bases móviles, cinturas, cabezas y manos diestras, los cuales son esenciales para tareas complejas del mundo real.
3. Razonamiento Temporal Débil: Los modelos actuales suelen reaccionar a observaciones inmediatas en lugar de anticipar la evolución futura de la escena y las consecuencias de las acciones, lo que limita su efectividad en entornos dinámicos.

Metodología

Los autores presentan LingBot-VLA 2.0, un sistema VLA mejorado diseñado para cerrar la brecha entre las capacidades a nivel de modelo fundacional y el despliegue práctico. La metodología se centra en tres dominios funcionales:

1. Curación de Datos a Gran Escala y Multiembodiment

Para mejorar la generalización, los autores rediseñaron el pipeline de procesamiento de datos para curar un corpus de preentrenamiento de aproximadamente 60,000 horas:

• Datos de Robots: ~50,000 horas de trayectorias que abarcan 20 configuraciones de robots diferentes (incluyendo plataformas de un solo brazo, doble brazo, semihumanoide y humanoide completo) con diversos DoF (brazos, manos, cinturas, bases móviles).
• Datos Egocéntricos: ~10,000 horas de videos humanos.
• Pipeline de Procesamiento: El pipeline emplea un filtrado riguroso, que incluye:
  • Control de Calidad: Descarte de episodios con discontinuidades en la trayectoria, velocidades/aceleraciones anormales (jerk) o señales estáticas (>95% de la duración).
  • Verificación de Alineación: Uso de proyección URDF y anotación humana para asegurar la consistencia entre los fotogramas de video y las señales de estado.
  • Reconstrucción Egocéntrica: Para videos humanos sin acción, el sistema utiliza SLAM para la estimación de la pose de la cámara y la estimación de la pose de la mano (parámetros MANO) para reconstruir trayectorias continuas de la mano en el marco de coordenadas del mundo.
• Representación Unificada: Se utiliza una representación de vector canónico de 55 dimensiones para unificar controles heterogéneos (brazos, grippers, manos, cinturas, cabezas, movilidad) en un único espacio de acción, aplicando padding para las dimensiones faltantes.

2. Espacio de Acción Expandido y Arquitectura

El modelo se extiende para soportar un espacio de acción más amplio más allá de las configuraciones estándar de doble brazo, acomodando:

• Control de Cuerpo Completo: Cabeza (2D), Cintura (4D), Base Móvil (3D), Manos Diestras (6D/12D) y Brazos (6D/7D).
• Arquitectura de Mezcla de Expertos (MoE): Los autores introducen un MoE disperso, sin pérdida y a nivel de token dentro del experto de acción.
  • Estructura: Reemplaza las redes Feed-Forward (FFN) estándar por una combinación de un experto compartido (para priors universales) y múltiples expertos enrutados (para modelado especializado).
  • Enrutamiento: Utiliza un mecanismo de enrutamiento basado en sigmoide (inspirado en DeepSeek-V3) para permitir que los tokens activen independientemente múltiples expertos sin la competencia inducida por softmax.
  • Balanceo de Carga: Emplea una estrategia libre de pérdida auxiliar utilizando correcciones de sesgo de enrutamiento para asegurar una utilización equilibrada de los expertos sin inyectar pérdidas explícitas de balanceo de carga en el objetivo primario.

3. Dinámica Predictiva mediante Destilación de Doble Consulta

Para mejorar el razonamiento temporal, el sistema formula la predicción futura como una tarea proxy utilizando un marco de Destilación de Doble Consulta (Dual-Query Distillation):

• Consultas Duales: Dos consultas aprendibles, $Q_t$ (actual) y $Q_{t+T}$ (futura), se anexan a los tokens visuales y textuales.
• Profesores (Teachers):
  • LingBot-Depth: Proporciona supervisión geométrica mediante la destilación de representaciones de profundidad para los fotogramas actuales y futuros.
  • DINO-Video: Un modelo de representación de video orientado a la robótica (basado en DINOv3 con atención temporal causal) que proporciona priors semánticos y características visuales conscientes del movimiento.
• Objetivo: El modelo es entrenado para predecir la profundidad y las características de video tanto para el paso de tiempo actual como para el futuro, incentivando al VLA a razonar sobre la evolución futura de la escena y las consecuencias de la acción.

Contribuciones Clave

1. Escala y Diversidad de Datos: La creación de un conjunto de datos de preentrenamiento de 60,000 horas que cubre 20 diversos embodiments robóticos y videos humanos egocéntricos, procesados mediante un nuevo pipeline que unifica fuentes de datos heterogéneas.
2. Modelado de Acción de Cuerpo Completo: La extensión de las capacidades VLA para controlar grados de libertad complejos de cuerpo completo (cabeza, cintura, base móvil, manos diestras) a través de una representación de acción unificada.
3. Innovación Arquitectónica: La implementación de una arquitectura MoE dispersa, sin pérdida y a nivel de token que escala la capacidad del modelo de manera eficiente manteniendo una utilización equilibrada de los expertos.
4. Razonamiento Temporal: La introducción de un marco de destilación de doble consulta que aprovecha modelos de representación de profundidad y video para mejorar la capacidad del modelo de predecir estados futuros y razonar causalmente.

Resultados Experimentales

Los autores evaluaron LingBot-VLA 2.0 en el benchmark GM-100 (9 tareas de manipulación bimanual) y en dos tareas de manipulación móvil de largo horizonte.

• Manipulación Bimanual (GM-100):

  • En la plataforma Agilex Cobot Magic, LingBot-VLA 2.0 alcanzó una puntuación de progreso de 66.2% y una tasa de éxito de 34.4%, superando a LingBot-VLA 1.0 (58.2%/30.0%) y $\pi_{0.5}$ (59.1%/32.2%).
  • En la plataforma Galaxea R1 Pro, alcanzó un 34.6% de progreso y un 15.6% de éxito, superando a $\pi_{0.5}$ (27.4%/8.9%).
  • Las mejoras fueron más significativas en tareas que requieren un posicionamiento preciso de objetos y ejecución dirigida a objetivos (por ejemplo, "Recuperar llavero" alcanzó un 100% de éxito en Agilex).

• Manipulación Móvil de Largo Horizonte:

  • Evaluado en Astribot S1 (clasificación de refrigerador) y Cobot Magic-ARX X5 (limpieza de estufa).
  • LingBot-VLA 2.0 superó consistentemente a $\pi_{0.5}$ tanto en entornos de dominio (in-domain) como en entornos fuera de distribución (OOD).
  • En entornos OOD (poses iniciales perturbadas y objetos no vistos), LingBot-VLA 2.0 mantuvo una clara ventaja en las tasas de éxito, demostrando robustez al completar trayectorias de tareas completas.

• Estudios de Ablación:

  • Objetivos de Acción: Las acciones conjuntas relativas superaron significativamente a las acciones absolutas (55.0% vs. 33.7% de éxito).
  • Normalización: La normalización MeanStd produjo los mejores resultados (55.0%) en comparación con MinMax o Q01-Q99, preservando la estructura de cola larga de las distribuciones de acción relativa.
  • Función de Pérdida: La pérdida L2 funcionó mejor en general, aunque L1 fue superior para tareas ricas en contacto como "Apretar Ketchup".

Significado y Reivindicaciones

El artículo afirma que LingBot-VLA 2.0 representa un paso pragmático hacia el avance de los modelos fundacionales VLA desde el éxito de laboratorio hacia la aplicabilidad en el mundo real. Los autores argumentan que los sistemas VLA prácticos deben evolucionar más allá del simple escalado del tamaño del modelo y de los datos para abordar demandas específicas del mundo real:

• Soporte de Embodiment más Amplio: Manejo de configuraciones robóticas heterogéneas.
• Espacios de Acción más Ricos: Permitir el control sobre la dinámica de cuerpo completo.
• Comprensión Predictiva: Fortalecer el razonamiento temporal para anticipar cambios en la escena dinámica.

Los resultados validan que el aumento conjunto de la generalización, la cobertura del espacio de acción y el modelado de la dinámica predictiva conduce a mejoras consistentes en las capacidades robóticas prácticas. El trabajo posiciona a LingBot-VLA 2.0 no solo como una mejora del modelo, sino como un marco para alinear las capacidades de los modelos fundacionales VLA con las complejidades del despliegue en el mundo real.