Resumen Técnico: OneVLA – Un Marco Unificado para Tareas Encarnadas

Planteamiento del Problema

Los modelos actuales de Visión-Lenguaje-Acción (VLA) para la inteligencia encarnada enfrentan una limitación arquitectónica fundamental: suelen estar restringidos a dominios de una sola tarea (ya sea navegación o manipulación) o requieren variantes del modelo específicas para cada tarea para manejar múltiples tareas. Aunque modelos trans-tarea como UniVLA han intentado transferir conocimiento a través de diferentes encarnaciones robóticas, todavía dependen de cabezales de acción separados o configuraciones de modelos específicas para diferentes tareas. Esta fragmentación obstaculiza el desarrollo de agentes robóticos verdaderamente de propósito general capaces de interpretar fluidamente el lenguaje natural e interactuar físicamente con su entorno a través de diversos dominios. El artículo identifica dos preguntas clave: (1) ¿Puede una arquitectura VLA unificada realizar tanto navegación como manipulación sin variantes específicas de la tarea? y (2) ¿Pueden estas dos tareas fundamentales beneficiarse mutuamente de un entrenamiento conjunto para mejorar el rendimiento general?

Metodología

Los autores proponen OneVLA, una arquitectura VLA unificada diseñada para generar tanto respuestas de lenguaje como acciones robóticas para la navegación y la manipulación dentro de un único marco.

1. Arquitectura Unificada

• Codificador de Visión-Lenguaje Unificado: El modelo utiliza un backbone compartido que comprende un Vision Transformer de 32 capas (que procesa imágenes RGB multivista) y un modelo de lenguaje Transformer de 36 capas (que utiliza GQA). Las características visuales se proyectan en la dimensión oculta del modelo de lenguaje ($d_h=2048$) para crear una representación multimodal unificada.
• Decodificación Basada en Tokens: Para manejar la salida dual, el vocabulario se expande con tokens especiales <text>...</text> y <action>...</action>. Esto permite al modelo generar de forma autorregresiva una respuesta de texto que explica la comprensión de la tarea, seguida de la secuencia de acción, en un solo paso hacia adelante (forward pass).
• Cabezal de Acción Unificado: La innovación central es un único cabezal de acción que concatena las dimensiones de acción de la navegación y la manipulación en un espacio unificado de 11 dimensiones:
  • Navegación ($a_{navi} \in \mathbb{R}^4$): Distribución de probabilidad discreta para comandos (adelante, girar a la izquierda, girar a la derecha, detenerse).
  • Manipulación ($a_{mani} \in \mathbb{R}^7$): Control continuo de 7 grados de libertad (7-DOF) del efector final ($\Delta x, \Delta y, \Delta z, \Delta roll, \Delta pitch, \Delta yaw, g$).
• Mecanismo de Flow-Matching: El cabezal de acción emplea un proceso de difusión de flow-matching para predecir secuencias de acciones futuras. Aprende a predecir un campo de velocidad minimizando el objetivo de flow-matching, utilizando un codificador de acción, un backbone DiT con atención cruzada y un decodificador de acción.
• Ponderación Específica de la Tarea: Para acomodar espacios de acción heterogéneos, el modelo utiliza máscaras de peso específicas de la tarea durante el entrenamiento. Estas máscaras aseguran que solo las dimensiones de acción relevantes contribuyan al cálculo de la pérdida para una muestra dada, permitiendo el aprendizaje simultáneo sin cambiar la arquitectura.

2. Estrategia de Entrenamiento Progresivo de Múltiples Etapas

Para facilitar una fuerte transferencia positiva y un refuerzo mutuo, los autores emplean una estrategia de entrenamiento de tres etapas:

• Etapa 1 (Base de Manipulación): Entrena únicamente en conjuntos de datos de manipulación y datos generales de VQA para establecer habilidades de manipulación robustas y comprensión de visión-lenguaje.
• Etapa 2 (Transferencia Trans-Tarea): Introduce datos de navegación en el entrenamiento conjunto mientras retiene los datos de manipulación y VQA. Esta etapa aprovecha el cabezal de acción unificado para aprender ambas tareas simultáneamente, permitiendo la transferencia de conocimiento entre dominios.
• Etapa 3 (Mejora del Razonamiento): Integra datos de Cadena de Pensamiento (CoT) para refinar las capacidades de razonamiento del modelo y la calidad de la toma de decisiones en ambas tareas.

3. Función de Pérdida

El modelo se entrena de extremo a extremo utilizando una función de pérdida compuesta:
$$L_{total} = \lambda_{vlm}L_{vlm} + \lambda_{text}L_{text} + \lambda_{action}L_{action}$$

• $L_{vlm}$: Entropía cruzada estándar para la alineación visión-lenguaje general.
• $L_{text}$: Predicción del siguiente token para la fase de texto de razonamiento (incluyendo tokens de frontera).
• $L_{action}$: Pérdida de flow-matching calculada con máscaras de peso específicas de la tarea para manejar salidas heterogéneas.

Principales Contribuciones

1. Arquitectura Unificada: Propuesta de OneVLA, el primer marco VLA capaz de realizar tareas de navegación y manipulación sin requerir variantes de modelos específicas para cada tarea o cabezales de acción separados.
2. Componentes Innovadores: Introducción de un cabezal de acción unificado con flow-matching y una estrategia de entrenamiento progresivo de múltiples etapas que facilita la mejora mutua efectiva entre diferentes dominios de tareas.
3. Evidencia Empírica de Beneficio Mutuo: Experimentos exhaustivos que demuestran que el entrenamiento conjunto en navegación y manipulación conduce a mejoras significativas en el rendimiento de ambas tareas en comparación con el entrenamiento de una sola tarea.
4. Nuevo Paradigma: Ruptura de las barreras arquitectónicas entre dominios de tareas independientes para establecer un nuevo paradigma para sistemas robóticos de propósito general.

Resultados Experimentales

Los autores evaluaron OneVLA tanto en entornos simulados como en entornos del mundo real, comparándolo con modelos especializados de una sola tarea y modelos trans-tarea existentes.

• Benchmarks Simulados:

  • Navegación (VLN-CE): OneVLA alcanzó un rendimiento de estado del arte (SOTA), logrando un 68.6% en el conjunto de datos R2R y un 58.2% en el conjunto de datos RxR. Esto superó significativamente a UniVLA (47.1% y 26.3% respectivamente) y a modelos de navegación especializados como StreamVLN.
  • Manipulación (SimplerEnv): OneVLA logró una tasa de éxito promedio del 64.5%, superando a UniVLA-Mani (35.4%) y al modelo de manipulación SOTA $\pi0$-Fast (48.3%).
  • Eficiencia: Notablemente, el modelo OneVLA de 3B parámetros superó a todos los modelos de tarea específica de 7B parámetros, demostrando la eficiencia del diseño unificado.

• Experimentos en el Mundo Real:

  • Utilizando un brazo robótico Franka Research 3 y una plataforma de robot móvil, OneVLA logró un 78.8% de éxito en tareas de manipulación y un 77.5% en tareas de navegación.
  • Estos resultados representan mejoras de 16.3% y 35.0% respectivamente sobre UniVLA en entornos del mundo real, confirmando la capacidad del modelo para generalizar más allá de la simulación.

• Estudios de Ablación:

  • Entrenamiento de Múltiples Etapas: En comparación con el entrenamiento de una sola etapa, la estrategia de tres etapas mejoró el rendimiento de R2R en un 12.5% y el de SimplerEnv en un 18.3%.
  • Entrenamiento Conjunto: El entrenamiento conjunto mejoró el rendimiento sobre el entrenamiento de una sola tarea en un 7.3% (R2R) y un 5.5% (SimplerEnv), validando la hipótesis de que las representaciones compartidas benefician a ambos dominios.
  • Horizonte de Acción: Se encontró que un horizonte de acción de 5 pasos de tiempo proporcionaba el equilibrio óptimo entre el modelado temporal y la precisión de la predicción.

Significado y Reivindicaciones

El artículo afirma que OneVLA allana el camino para sistemas robóticos verdaderamente de propósito general al unificar las capacidades esenciales encarnadas (navegación y manipulación) en un único marco cohesivo. Los autores sostienen que este enfoque no solo es arquitectónicamente más elegante —eliminando la necesidad de variantes específicas de la tarea— sino también superior en rendimiento. Al demostrar que el entrenamiento conjunto conduce a mejoras de rendimiento mutuas, el trabajo sugiere que un enfoque unificado es esencial para avanzar la inteligencia encarnada hacia la Inteligencia Artificial General (AGI). El modelo y el código fuente se publican para apoyar más investigaciones en esta dirección.