💻 computer science

OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning

Este artículo presenta OneTwoVLA, un modelo unificado de visión, lenguaje y acción que mejora la capacidad de los robots para realizar tareas complejas mediante la adaptación dinámica entre razonamiento explícito y ejecución de acciones, potenciada por un pipeline escalable de datos de razonamiento corporativo.

Autores originales: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Publicado 2026-03-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que quieres enseñarle a un robot a cocinar una cena compleja o a preparar un cóctel perfecto. Antes, los robots eran como obreros muy rápidos pero un poco torpes: podían agarrar cosas y moverlas, pero si algo salía mal (se les caía un ingrediente o no entendían una orden confusa), se quedaban bloqueados o seguían haciendo lo mismo sin pensar.

Este paper presenta a OneTwoVLA, un robot con una nueva "mente" que combina dos cosas que los humanos hacemos naturalmente: pensar y actuar.

Aquí tienes la explicación sencilla, usando analogías de la vida diaria:

1. El Problema: El "Jefe" y el "Obrero" que no se entienden

Antes, los robots usaban un sistema de dos partes (como un jefe y un obrero):

El Jefe (Sistema 2): Era un cerebro muy inteligente (como un chatbot avanzado) que pensaba mucho tiempo, leía la receta y daba instrucciones detalladas. Pero era lento y a veces le decía al obrero cosas que este no podía hacer (como "agarrar el objeto invisible").
El Obrero (Sistema 1): Era el robot físico, muy rápido para moverse, pero tonto. Solo hacía lo que le decían, sin entender el contexto. Si el jefe tardaba en responder, el obrero se quedaba esperando o hacía cosas obsoletas.

El resultado: El robot era lento, se confundía y no podía recuperarse si se equivocaba.

2. La Solución: OneTwoVLA (El "Cocinero Maestro")

OneTwoVLA es un único robot que tiene la capacidad de ser tanto el Jefe como el Obrero al mismo tiempo. Imagina a un chef experto que cocina con las manos (actúa) pero que, de repente, se detiene a pensar en voz alta si algo no va bien.

¿Cómo funciona?
- Modo "Actuar" (Rápido): La mayoría del tiempo, el robot simplemente hace lo que tiene que hacer: agarrar, mover, verter. Es rápido y eficiente.
- Modo "Pensar" (Lento): Solo se detiene en momentos críticos. Por ejemplo:
  - Cuando termina una tarea (ej. "Ya puse el aceite").
  - Cuando ve un error (ej. "¡Oh, se me cayó el huevo!").
  - Cuando un humano le habla (ej. "Cambia el vodka por limón").
- En esos momentos, el robot "piensa" en voz alta: "Veo que el huevo se cayó. Mi plan original era romperlo en la sartén, pero ahora necesito limpiar el suelo y coger otro huevo". Luego, vuelve a actuar basándose en ese nuevo pensamiento.

3. El Secreto: "Entrenamiento con Libros de Recetas"

Para que este robot sea tan inteligente, los autores no solo le enseñaron con videos de robots reales (que son caros y difíciles de conseguir). Crearon una fábrica de datos sintéticos.

La Analogía: Imagina que quieres aprender a cocinar. En lugar de solo practicar en una cocina real (que es lento), también lees miles de libros de cocina, ves videos de chefs y practicas en una cocina virtual.
Lo que hicieron: Usaron inteligencia artificial para crear miles de imágenes de mesas con objetos (como si fueran fotos de un videojuego) y le pidieron a otra IA que escribiera "recetas" y "razonamientos" para esas imágenes.
- Ejemplo: "Veo una mesa con una manzana y una pera. Si el usuario dice 'dame la fruta roja', debo pensar: 'La manzana es roja, la pera es verde. Voy a agarrar la manzana'".
Al entrenar al robot con estos "libros de recetas virtuales" y datos reales, aprendió a entender el mundo mucho mejor, incluso con objetos que nunca había visto antes.

4. ¿Qué puede hacer este robot ahora?

Gracias a esta mezcla de pensar y actuar, OneTwoVLA logra cosas increíbles:

Planificación a largo plazo: Puede hacer una comida completa (como un hotpot o un cóctel) siguiendo una secuencia de pasos compleja sin perderse.
Recuperación de errores: Si se le cae un ingrediente, no se rinde. Se detiene, piensa: "Se me cayó, debo recogerlo y limpiar", y lo hace.
Interacción natural: Si le dices "No quiero naranja, quiero limón", el robot entiende el cambio, deja lo que estaba haciendo y ajusta su plan al instante.
Entender lo que no está en su "memoria": Si le pides "dame el objeto para leer", y ve un libro y unas gafas, puede entender que las gafas sirven para leer (o el libro, según el contexto), incluso si nunca entrenó con esas gafas específicas.

En resumen

OneTwoVLA es como darle a un robot un cerebro humano: no solo mueve sus brazos mecánicamente, sino que piensa, se detiene a reflexionar cuando es necesario y se adapta a los imprevistos. Es el paso de tener un "brazo robótico" a tener un "asistente robótico inteligente" que puede cocinar, limpiar y conversar contigo de forma natural.

1. Problema y Motivación

Los robots de propósito general requieren una sinergia entre el razonamiento (planificación de alto nivel, comprensión de la escena) y la acción (ejecución física de bajo nivel). Los enfoques actuales suelen basarse en arquitecturas de doble sistema (inspiradas en el Sistema 1 y Sistema 2 de Kahneman):

Un sistema de razonamiento (Sistema 2, ej. VLMs grandes) genera planes intermedios.
Un sistema de acción (Sistema 1, ej. modelos VLA) ejecuta los movimientos.

Limitaciones de los enfoques actuales:

Falta de conciencia mutua: El sistema de razonamiento puede generar instrucciones que el sistema de acción no puede ejecutar físicamente.
Latencia: La separación explícita introduce retrasos significativos, lo que hace que la guía sea obsoleta en entornos dinámicos.
Ineficiencia: Los modelos que razonan en cada paso son computacionalmente costosos, mientras que los que no razonan carecen de capacidad para tareas de largo horizonte o recuperación de errores.

El objetivo es crear un modelo unificado que pueda alternar adaptativamente entre razonar y actuar, imitando la inteligencia física humana.

2. Metodología: OneTwoVLA

OneTwoVLA es un modelo único unificado de Visión-Lenguaje-Acción (VLA) capaz de operar en dos modos: Razonamiento (Sistema 2) y Acción (Sistema 1).

A. Arquitectura e Inferencia Adaptativa

Base: Se construye sobre la arquitectura de $\pi_0$ (un modelo VLA de flujo de acción).
Tokens de Decisión: El modelo introduce dos tokens especiales para decidir su modo de operación en cada paso de tiempo:
- [BOR] (Beginning of Reasoning): El modelo entra en modo de razonamiento y genera texto descriptivo (descripción de escena, plan, resumen histórico, siguiente paso).
- [BOA] (Beginning of Action): El modelo entra en modo de acción y genera directamente el bloque de acciones (chunks) para el robot.
Flujo Adaptativo: El modelo decide autónomamente cuándo razonar (ej. al completar una subtarea, detectar un error o necesitar interacción humana) y cuándo actuar basándose en el razonamiento más reciente. Esto minimiza la latencia, ya que el razonamiento solo ocurre en momentos críticos.
Entradas: Utiliza observaciones de imágenes actuales ( $I_t$ ), imágenes de referencia ( $I_{ref}$ ) del último paso de razonamiento (para mantener el contexto), instrucciones de lenguaje y el estado propioceptivo del robot.

B. Curación de Datos con Razonamiento Embodido

Para entrenar al modelo, los autores desarrollaron un nuevo formato de datos robóticos que incluye intervalos de razonamiento:

Segmentación: Las trayectorias de demostración humana se dividen en intervalos de razonamiento (pasos clave) e intervalos de acción (ejecución continua).
Contenido del Razonamiento: Cada intervalo de razonamiento contiene cuatro componentes:
- Descripción detallada de la escena (ubicación de objetos).
- Plan de alto nivel (pasos secuenciales).
- Resumen histórico (progreso de la tarea).
- Siguiente paso inmediato.
Interacción y Recuperación: Se anotan datos específicos para la recuperación de fallos (ej. si el robot pierde el agarre) y la interacción humano-robot (preguntas y respuestas).

C. Síntesis Escalable de Datos Visuales-Lingüísticos

Para superar la limitación de escalar datos robóticos costosos, se diseñó una tubería automatizada:

Generación de Escenas: Se usa Gemini 2.5 Pro para generar descripciones textuales de disposiciones de mesas con objetos domésticos.
Síntesis de Imágenes: Se usa el modelo de generación de imágenes FLUX.1-dev para crear imágenes de alta calidad basadas en esas descripciones. Se aplican aumentos (distorsión de ojo de pez, gripper robótico compositado) para simular observaciones reales.
Generación de Instrucciones y Razonamiento: Gemini 2.5 Pro genera instrucciones de tarea y el contenido de razonamiento correspondiente para cada imagen.

Resultado: Se generaron 16,000 muestras de datos sintéticos para tareas de anclaje visual y planificación de largo horizonte.

3. Contribuciones Clave

Modelo Unificado Adaptativo: Primera implementación de un solo modelo VLA que decide dinámicamente cuándo razonar y cuándo actuar, eliminando la latencia y la desconexión de los sistemas duales.
Pipeline de Síntesis de Datos: Un método escalable para crear datos visuales-lingüísticos ricos en razonamiento corporal, permitiendo el entrenamiento conjunto (co-training) sin necesidad de costosas demostraciones humanas masivas.
Capacidades Demostradas: El modelo integra exitosamente planificación de largo horizonte, detección y recuperación de errores, interacción natural con humanos y anclaje visual generalizable.

4. Resultados Experimentales

Los experimentos se realizaron en plataformas robóticas reales (brazo Franka y sistema ARX de doble brazo) en tareas complejas como preparar un hotpot, hacer cócteles y cocinar huevos con tomate.

Planificación de Largo Horizonte:
- OneTwoVLA logró una tasa de éxito promedio del 87%, superando a $\pi_0$ (VLA sin razonamiento) en un 30% y a los enfoques de doble sistema en un 24%.
- Logró generalizar a instrucciones no vistas (ej. "ayúdame a mantenerme despierto" $\rightarrow$ preparar café) gracias al entrenamiento conjunto con datos sintéticos.
Detección y Recuperación de Errores:
- En tareas donde el robot fallaba (ej. no agarrar bien un colador), OneTwoVLA detectó el error, razonó una estrategia de corrección y ejecutó la recuperación con un 80% de éxito, frente al 57% de $\pi_0$ y 58% del sistema dual.
Interacción Humano-Robot:
- Logró un 100% de éxito en interacciones (responder a interrupciones, pedir aclaraciones), mientras que el sistema dual solo alcanzó un 65% debido a la pérdida de contexto y latencia.
Anclaje Visual Generalizable:
- En entornos abiertos con objetos no vistos en datos robóticos pero presentes en datos sintéticos, OneTwoVLA con entrenamiento conjunto (OneTwoVLA-VL) alcanzó un 73% de éxito, superando drásticamente a los modelos base.

5. Significado e Impacto

El trabajo OneTwoVLA representa un avance significativo en la robótica de propósito general al demostrar que unificar el razonamiento y la acción en un solo modelo es superior a las arquitecturas modulares separadas.

Eficiencia: Al razonar solo cuando es estrictamente necesario, mantiene la eficiencia de ejecución de los modelos de acción puros.
Robustez: La capacidad de razonar sobre errores y cambios en el entorno permite una recuperación autónoma y una interacción más natural.
Escalabilidad: La metodología de síntesis de datos demuestra que es posible mejorar las capacidades de razonamiento y generalización de los robots sin depender exclusivamente de la recolección masiva de datos del mundo real, abriendo la puerta a robots más inteligentes y adaptables en entornos no estructurados.

En resumen, OneTwoVLA establece un nuevo paradigma donde la "mente" (razonamiento) y el "cuerpo" (acción) de un robot están profundamente integrados, permitiendo una ejecución fluida, segura y adaptable de tareas complejas en el mundo real.