🤖 AI

CoTinyVLA: Chain-of-Thought Distillation for a Sub-Billion-Parameter Vision-Language-Action Model

CoTinyVLA es un modelo de Visión-Lenguaje-Acción de menos de mil millones de parámetros que logra una robustez de vanguardia en el benchmark LIBERO-Plus mediante el aprovechamiento de técnicas de supervisión estructurada —incluyendo entradas temporales de doble vista, destilación jerárquica de cadena de pensamiento y aumentación por paráfrasis— en lugar de aumentar el tamaño del modelo.

Autores originales: Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

Publicado 2026-07-29

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde los robots no son solo máquinas sin mente que siguen códigos rígidos, sino compañeros útiles que comprenden nuestras palabras habladas y pueden descifrar cómo mover sus propios brazos para realizar tareas. Este es el sueño de la "IA incorporada" (embodied AI), un campo donde las computadoras aprenden a ver el mundo a través de cámaras, comprenden el lenguaje humano y traducen esas dos cosas en acciones físicas. Durante mucho tiempo, los robots más inteligentes necesitaban cerebros masivos —modelos computacionales con miles de millones de "neuronas"— para manejar esto. Estos modelos gigantes eran como supercomputadoras que necesitaban servidores enormes y costosos para funcionar, lo que hacía imposible que cupieran dentro de un pequeño robot que pudiera rodar por una casa o ayudar en una cocina. La gran pregunta que los investigadores se han estado haciendo es: ¿Podemos hacer un robot que sea igual de inteligente y confiable, pero lo suficientemente pequeño como para caber en una mochila?

Este artículo presenta un nuevo cerebro robótico llamado CoTinyVLA. Piensa en él como un cerebro robótico diminuto y súper eficiente que logra superar a los modelos masivos y pesados que lideran el campo actualmente, todo esto utilizando solo una fracción de la memoria. Los investigadores no solo encogieron el cerebro; le enseñaron una mejor forma de pensar. En lugar de intentar memorizar cada situación posible, le dieron al robot una "hoja de trucos" para razonar. Le enseñaron a descomponer una tarea grande en un plan simple (como una lista de tareas pendientes) y luego a reflexionar sobre cada pequeño paso antes de moverse. También le dieron un par de ojos especiales: uno que mira desde lejos para ver toda la habitación y otro en su muñeca para ver exactamente lo que su mano está tocando —y le enseñaron a observar un video corto de los últimos segundos para entender el movimiento—. El resultado es un modelo de robot con solo 0,9 mil millones de parámetros (diminuto comparado con los gigantes de 7 mil millones) que puede manejar situaciones complicadas y desordenadas del mundo real mejor que modelos ocho veces más grandes.

El Problema: Cerebros Grandes, Robots Pequeños

Durante años, los mejores robots para seguir instrucciones han sido como tanques gigantes y pesados. Para entender un comando como "toma la taza azul y ponla sobre la mesa", estos robots utilizan modelos computacionales masivos con 3 a 7 mil millones de parámetros. Aunque estos modelos son increíblemente inteligentes, también son enormes. Requieren alrededor de 20 gigabytes de memoria computacional solo para funcionar. Eso es como intentar meter una biblioteca completa en una mochila; simplemente no cabe en las pequeñas computadoras alimentadas por batería que se encuentran en robots móviles o dispositivos de asistencia.

Los investigadores querían saber: ¿Realmente necesitamos un cerebro tan gigante para ser inteligentes? ¿O podemos construir un robot diminuto y eficiente que sea igual de bueno manejando el desorden inesperado del mundo real?

La Solución: Un Cerebro Diminuto con una Gran Estrategia

El equipo construyó CoTinyVLA, un cerebro robótico con solo 0,9 mil millones de parámetros. Para que este modelo diminuto fuera tan fuerte como los gigantes, no solo le dieron más datos; cambiaron cómo aprendía y a qué prestaba atención. Utilizaron tres trucos principales, que llaman "supervisión estructurada", para enseñar al robot a pensar mejor.

1. El "Reloj de Tiempo" de Dos Ojos
Imagina intentar atrapar una pelota. Si solo ves una imagen de la pelota, no sabes si viene hacia ti o se aleja de ti. Necesitas ver un video corto para entender el movimiento.
CoTinyVLA es enseñado a mirar el mundo a través de dos "ojos" diferentes al mismo tiempo:

El Ojo de Tercera Persona: Una cámara que mira toda la habitación para ver dónde está cada cosa.
El Ojo de la Muñeca: Una cámara en la mano del robot para ver exactamente qué está tocando la pinza.
En lugar de solo mirar el momento actual, el robot observa una corta "película" de los últimos 16 fotogramas (8 de cada ojo). Esto le da un sentido del tiempo y el movimiento, ayudándole a entender qué tan rápido se mueven las cosas y hacia dónde van.

2. La Hoja de Trucos de "Planificar y Pensar"
Este es el truco más importante. Antes de que el robot se mueva, se le enseña a escribir una historia.

El Plan: Al inicio de una tarea, el robot escribe una "lista de tareas" de alto nivel (por ejemplo, "Primero, toma la taza. Segundo, levántala. Tercero, ponla sobre la mesa"). Este plan permanece igual durante toda la tarea.
El Pensar: Antes de cada pequeño movimiento, el robot escribe una nota rápida sobre lo que está haciendo en ese momento (por ejemplo, "Estoy cerrando mi pinza", o "Estoy levantando la taza").
El robot aprende esto observando a un robot mucho más grande y más inteligente (un "maestro" de 35 mil millones de parámetros) resolver las mismas tareas. El pequeño robot copia el proceso de pensamiento del maestro. Esto ayuda al pequeño robot a entender por qué está haciendo algo, no solo qué hacer.

3. El Juego de la "Paráfrasis"
Los robots a menudo se confunden si dices lo mismo de una manera diferente. Si un robot es entrenado solo con la frase "toma la taza", podría quedarse trabado si dices "agarra la taza".
Para solucionar esto, los investigadores entrenaron al robot con 40 instrucciones básicas y las expandieron a 800 versiones diferentes. Cambiaron palabras (como cambiar "tomar" por "agarrar" o "levantar"), cambiaron las descripciones de los objetos (como "tazón negro" a "tazón oscuro"), e incluso añadieron frases corteses como "Podría, por favor...". Esto enseñó al robot a entender el significado del comando, no solo las palabras específicas.

Los Resultados: Lo Diminuto Gana en Grande

Los investigadores probaron CoTinyVLA en LIBERO-Plus, un conjunto de pruebas exigente diseñado para ver qué tan bien los robots manejan los cambios en el mundo. La prueba incluye más de 10,000 escenarios diferentes donde las cosas están mal: el robot comienza en una posición extraña, la iluminación cambia, el fondo es diferente o las instrucciones se formulan de manera extraña.

Los resultados fueron sorprendentes. CoTinyVLA, con sus diminutos 0,9 mil millones de parámetros, venció a los modelos más fuertes de 7 mil millones de parámetros en las cuatro categorías principales de prueba:

Espacial: 90,8% de éxito (superando a los modelos grandes por 4,7 puntos).
Objeto: 87,3% de éxito (superando a los modelos grandes por 2,8 puntos).
Meta (Goal): 86,6% de éxito (superando a los modelos grandes por un enorme 15,9 puntos).
Largo (Long): 80,7% de éxito (superando a los modelos grandes por 3,0 puntos).

La mayor victoria fue en la categoría "Meta", donde el pequeño robot fue casi 16 puntos mejor que el mejor robot gigante. Esto es especialmente impresionante porque el pequeño robot se ejecuta en una computadora que utiliza solo 2,25 GiB de memoria, lo cual es lo suficientemente pequeño como para caber en muchos robots del mundo real.

Por Qué Es Importante

El artículo demuestra que no necesitas un cerebro masivo para ser un robot inteligente. Al enseñar a un robot pequeño a "pensar" de una manera estructurada (hacer planes y revisar sus pasos) y al darle el tipo de entrenamiento visual y lingüístico adecuado, puede manejar el mundo real, desordenado e impredecible, mejor que los modelos mucho más grandes.

Los investigadores también descubrieron que la parte de "Plan" del proceso de pensamiento es crucial. Si le quitas al robot la capacidad de escribir un plan, su tasa de éxito cae entre 40 y 45 puntos. Esto demuestra que el robot no solo está adivinando; realmente está usando el plan para guiar sus acciones.

En resumen, CoTinyVLA demuestra que, con los métodos de enseñanza adecuados, un robot pequeño y eficiente puede ser tan capaz como una supercomputadora gigante, acercándonos un paso más a tener robots inteligentes y útiles en nuestros hogares y lugares de trabajo.

Resumen Técnico: CoTinyVLA

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han emergido como una interfaz unificada para traducir el lenguaje natural en control robótico. Sin embargo, los sistemas de vanguardia que alcanzan una alta robustez en el benchmark LIBERO-Plus suelen depender de backbones con 3 a 7 mil millones de parámetros. Estos modelos demandan recursos de memoria significativos (a menudo superando los 20 GiB en bfloat16), lo que los hace incompatibles con los estrictos presupuestos de memoria de las plataformas robóticas embebidas, tales como manipuladores móviles y humanoides.

El desafío central abordado por este trabajo es si un modelo compacto (menos de mil millones de parámetros) puede alcanzar el mismo nivel de robustez que los sistemas más grandes. Específicamente, los autores investigan si la supervisión estructurada —en lugar de la mera escala— puede proporcionar la robustez necesaria contra perturbaciones visuales, cinemáticas y lingüísticas.

Metodología: CoTinyVLA

Los autores presentan CoTinyVLA, un VLA de 0.9B de parámetros construido sobre un backbone Qwen3.5-0.8B. El modelo logra la robustez a través de tres componentes distintos, cada uno dirigido a un eje específico del problema de la robustez:

1. Entrada Temporal de Doble Vista

En lugar de una única imagen estática, el modelo recibe un historial temporal en cada paso de control:

Entradas: Ocho fotogramas en tercera persona y ocho fotogramas de la cámara de la muñeca (16 en total), prefijados con marcadores textuales explícitos (por ejemplo, [Third frame i]).
Propiocepción: Un vector de 8 dimensiones (pose del efector final + articulaciones de la pinza) proyectado como un token suave (soft token).
Racional: Esto proporciona un contexto temporal y multivista explícito, permitiendo que el backbone compacto infiera el movimiento, la velocidad de aproximación y el contacto objeto-pinza sin depender de embeddings posicionales implícitos.

2. Destilación de Cadena de Pensamiento (CoT) Jerárquica

Un profesor de lenguaje-visión de 35B de parámetros (Qwen3.5-35B) genera trazas de razonamiento estructuradas para un estudiante de 0.9B. El razonamiento se divide en dos niveles:

Plan a Nivel de Episodio: Generado una vez por episodio, descomponiendo la instrucción en una lista ordenada de subobjetivos en lenguaje natural.
Pensamiento a Nivel de Chunk: Generado para cada bloque de acción (action chunk), restringido a un esquema de tres ranuras fijas:
- Fase: Paso de la subacción actual (alineado con el Plan).
- Pinza (Gripper): Estado discreto (ABIERTA, CERRADA, PARCIALMENTE CERRADA), derivado de la propiocepción para evitar ambigüedad visual.
- Siguiente (Next): Descripción corta de la acción inmediata.
Objetivo de Entrenamiento: Una suma ponderada de la pérdida de regresión de acción y la entropía cruzada del modelo de lenguaje sobre los tokens de razonamiento ( $\alpha=1.0, \beta=0.1$ ). El espacio de razonamiento actúa como un objetivo de predicción estructurada auxiliar que condiciona la cabeza de acción sin añadir parámetros en el tiempo de inferencia.

3. Aumento de Instrucciones Basado en Paráfrasis

Para prevenir el sobreajuste a las 40 instrucciones base del conjunto de entrenamiento:

Expansión: Cada instrucción base se expande en 20 paráfrasis (800 variantes totales) mediante sustitución de verbos, reemplazo de sinónimos de objetos y variación de cortesía.
Estrategia de Entrenamiento: Durante el entrenamiento, la instrucción se reemplaza por una paráfrasis con una probabilidad de 0.8. Esto apunta específicamente al eje de perturbación de las Instrucciones de Lenguaje.

Contribuciones Clave

Rendimiento con Escala Compacta: CoTinyVLA (0.9B) supera a los baselines más fuertes de 7B en las cuatro suites de LIBERO-Plus (Espacial, Objeto, Meta, Largo) con márgenes que oscilan entre 2.8 y 15.9 puntos, operando dentro de una huella de memoria de inferencia de 2.25 GiB.
Esquema de Razonamiento de Dos Niveles: Los autores demuestran que el Plan a nivel de episodio es "de carga" (load-bearing). Las intervenciones en tiempo de prueba muestran que reemplazar el Plan con un espacio vacío o contradictorio causa una caída de 40–45 puntos en el éxito. Además, el almacenamiento en caché del Plan a lo largo de un episodio reduce a la mitad el costo de inferencia en estado estacionario.
Descomposición de la Robustez: A través de ablaciones controladas, el artículo atribuye componentes específicos a ejes de perturbación específicos:
- Aumento de Paráfrasis: Mejora principalmente la robustez a la variación lingüística (+12.3 puntos en el eje de Instrucciones de Lenguaje).
- CoT Jerárquico: Ayuda principalmente a las perturbaciones del estado físico (Estados Iniciales del Robot, Distribución de Objetos).
- Estructura de Entrada: La asignación de un presupuesto fijo de imágenes entre cámaras y tiempo es una variable de diseño que aporta 8.6 puntos en el puntaje total.

Resultados Experimentales

El modelo fue evaluado en LIBERO-Plus, que perturba 40 tareas base a través de siete dimensiones (Cámara, Estados Iniciales del Robot, Lenguaje, Luz, Fondo, Ruido, Distribución/Layout) con un total de 10,030 tareas perturbadas.

Rendimiento General: CoTinyVLA logra 90.8% (Espacial), 87.3% (Objeto), 86.6% (Meta) y 80.7% (Largo).
Comparación con Baselines de 7B: Lidera al baseline más fuerte de 7B (OpenVLA-OFT+) por 4.7, 2.8, 15.9 y 3.0 puntos respectivamente. Crucialmente, los intervalos de confianza para estas diferencias excluyen el cero.
Ejes Difíciles: El modelo muestra las mayores ganancias donde los baselines son más débiles. En la suite de Meta (Goal), los baselines más fuertes solo obtienen un 39.9% en Estados Iniciales del Robot, mientras que CoTinyVLA alcanza el 73.6%.
LIBERO Estándar: En el benchmark sin perturbaciones, CoTinyVLA promedia un 97.5%, igualando al baseline más fuerte de 7B (RIPT-VLA) y superando a otros modelos de menos de 1B.
Eficiencia de Inferencia: La inferencia de bucle cerrado alcanza un pico de 2.25 GiB de memoria GPU. El costo dominante es la generación autorregresiva (76% del tiempo en estado estacionario), la cual puede reducirse a la mitad mediante el almacenamiento en caché del Plan del episodio.

Significado y Reivindicaciones

El artículo afirma que la robustez que usualmente se atribuye a backbones de 3–7 mil millones de parámetros no requiere de ellos. En su lugar, estructurar la supervisión a lo largo de los ejes que el benchmark perturba es suficiente para superar a sistemas más grandes.

Palancas de Diseño: El trabajo establece que la estructura de entrada (cómo se dividen los fotogramas entre cámaras y tiempo) y la jerarquía de razonamiento son variables de diseño independientes que pueden optimizarse para modelos compactos.
Limitaciones: Los autores señalan que la evaluación está limitada a la simulación (Franka Panda) y a un único embodiment. La transferencia de simulación a realidad (sim-to-real) y el rendimiento en horizontes más largos (donde el puntaje de la suite Largo es el más bajo con 80.7%) siguen siendo desafíos. Además, el método depende de un profesor fuerte de 35B para la destilación, y la equivalencia semántica de las paráfrasis generadas no fue verificada exhaustivamente más allá de las estadísticas léxicas.

En conclusión, CoTinyVLA demuestra que un modelo de 0.9B puede superar a sistemas ocho veces su tamaño en todas las cuatro suites de robustez, siempre que la señal de entrenamiento esté estructurada para abordar explícitamente las variaciones temporales, de razonamiento y lingüísticas.