VLANeXt: Recipes for Building Strong VLA Models

El artículo presenta VLANeXt, un modelo VLA optimizado que, tras un análisis sistemático de 12 hallazgos clave bajo un marco unificado, supera a los métodos anteriores en benchmarks y experimentos del mundo real, ofreciendo además un código abierto para facilitar la investigación futura en este campo.

Lo esencial

¡Hola! Imagina que quieres enseñarle a un robot a hacer tareas domésticas, como limpiar una mesa o abrir un cajón. Antes, teníamos que escribirle instrucciones muy específicas para cada movimiento, como si le dijéramos: "mueve la mano 5 centímetros a la derecha, luego gira 10 grados". Era lento y aburrido.

Luego, llegaron los Modelos VLA (Visión-Lenguaje-Acción). Estos son como robots que tienen un "cerebro" gigante (basado en modelos de IA como los que usas para chatear) que les permite ver lo que haces, entender lo que les pides en lenguaje natural y decidir qué hacer. Es como darle al robot un ojo humano y una voz humana.

El problema es que, hasta ahora, cada grupo de investigadores inventaba su propia receta para estos robots. Algunos ponían mucho azúcar, otros poca harina, y nadie sabía cuál era la mejor forma de hacerlo. Era un "caldo primigenio" de ideas: muchas ideas buenas, pero desordenadas.

Aquí es donde entra el paper VLANeXt. Los autores dicen: "¡Alto! Vamos a poner orden en la cocina".

La Gran Receta: VLANeXt

En lugar de inventar un robot nuevo desde cero, tomaron una receta básica (como un pastel simple) y probaron sistemáticamente cada ingrediente para ver cuál hacía que el robot fuera realmente bueno. Al final, crearon VLANeXt, un robot que es más pequeño pero mucho más inteligente y capaz que los gigantes anteriores.

Aquí te explico sus "secretos de cocina" con analogías sencillas:

1. El Cerebro y el Cuerpo (Conexión Suave)

Imagina que el "Cerebro" (la parte que ve y entiende) y el "Cuerpo" (la parte que mueve los brazos) son dos personas hablando.

• Antes: A veces hablaban gritando (conexión muy fuerte) o se ignoraban por completo (conexión muy débil).
• La solución de VLANeXt: Usan una conexión suave. Es como si el Cerebro le pasara notas al Cuerpo a través de un mensajero especial que sabe exactamente qué decir. Esto permite que la información fluya mejor sin perderse ni saturarse.

2. Los Sentidos (Ver desde varios ángulos)

Si solo tienes un ojo, a veces no sabes si un objeto está cerca o lejos, o si hay algo detrás de él.

• La solución: VLANeXt usa dos cámaras: una que ve la habitación desde lejos (como tú) y otra en la muñeca del robot (como si el robot mirara sus propias manos). Esto le da una visión 3D completa, como tener visión de águila y visión de cerca al mismo tiempo.

3. Sentir el cuerpo (Propiocepción)

¿Alguna vez has cerrado los ojos y movido la mano? Sabes dónde está tu mano sin verla. Eso es "propiocepción".

• El truco: Muchos robots ignoraban esta sensación interna. VLANeXt le da esta información al "Cerebro" (al modelo de lenguaje) para que entienda mejor el contexto. Es como si el robot supiera: "Oye, mi brazo está cansado y ya está en esta posición, así que no necesito moverlo tanto".

4. Pensar en bloques (No solo un paso a la vez)

Antes, los robots pensaban: "Muevo la mano un milímetro". Luego: "Muevo otro milímetro". Esto hacía que sus movimientos fueran entrecortados, como un robot de película vieja.

• La solución: VLANeXt piensa en bloques de tiempo. En lugar de pensar en un solo movimiento, planea los próximos 8 movimientos de golpe. Es como si un pianista no pensara en una sola nota, sino en una frase musical completa. El resultado es un movimiento fluido y natural.

5. La música de los movimientos (Frecuencia)

Este es el ingrediente más creativo. Los autores se dieron cuenta de que los movimientos de un robot son como una canción: tienen un ritmo y una estructura.

• El truco: En lugar de solo mirar los movimientos como números, los transformaron en frecuencias (como si fueran notas de música). Esto ayuda al robot a entender el "ritmo" de la tarea y a predecir mejor qué hará después, sin tener que calcular todo desde cero cada vez.

¿Por qué es importante esto?

El resultado es VLANeXt. Es un robot que:

1. Es más pequeño: No necesita un cerebro gigante de 7 mil millones de "neuronas" para funcionar; con 2.5 mil millones es suficiente.
2. Es más fuerte: En pruebas de laboratorio, superó a todos los demás robots, incluso cuando cambiaban la iluminación, el fondo o la forma de pedirle las cosas.
3. Funciona en la vida real: Lo probaron en robots reales moviendo objetos y limpiando mesas, y lo hizo muy bien.

En resumen

Los autores de este paper no inventaron un nuevo tipo de robot mágico. Lo que hicieron fue ordenar la cocina. Probaron qué ingredientes (cámaras, conexión entre cerebro y cuerpo, planificación de movimientos) realmente importan y cuáles sobran.

Su mensaje es: No necesitas un robot más grande y costoso; necesitas un robot mejor diseñado. VLANeXt es la prueba de que, con las recetas correctas, puedes tener un robot inteligente, eficiente y capaz de aprender cosas nuevas rápidamente.

¡Y lo mejor! Han liberado su "libro de recetas" (el código) para que cualquiera pueda usarlo y construir sus propios robots inteligentes.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "VLANeXt: Recipes for Building Strong VLA Models" en español:

1. El Problema

A pesar del auge de los modelos fundacionales y la aparición de los Modelos Visión-Lenguaje-Acción (VLA) para el control de robots de propósito general, el panorama actual de investigación es fragmentado y exploratorio.

• Falta de estandarización: Diferentes grupos proponen modelos con protocolos de entrenamiento y configuraciones de evaluación inconsistentes.
• Dificultad de comparación: Esta inconsistencia hace que sea difícil identificar qué decisiones de diseño (arquitectura, entradas, objetivos de pérdida) son realmente las que mejoran el rendimiento.
• Necesidad de un marco unificado: Existe una necesidad crítica de reexaminar el espacio de diseño de los VLA bajo un marco unificado para extraer "recetas" prácticas y reproducibles.

2. Metodología

Los autores proponen un enfoque sistemático para diseccionar el espacio de diseño de los VLA, partiendo de una línea base simple (similar a RT-2 y OpenVLA) y evolucionándola a través de tres dimensiones principales bajo un entorno de evaluación unificado (LIBERO y LIBERO-plus).

A. Marco Experimental

• Línea Base: Un modelo VLA clásico que utiliza LLaMA (o variantes) como backbone de lenguaje y SigLIP como codificador de visión, mapeando observaciones visuales e instrucciones a acciones discretizadas.
• Benchmarks: Evaluación en LIBERO (para rendimiento estándar) y LIBERO-plus (para evaluar robustez y generalización ante perturbaciones no vistas en visión, física, lenguaje y disposición).
• Proceso: Se realizan experimentos de ablación progresiva en tres ejes:
  1. Componentes Fundamentales: Arquitectura del módulo de política, conexión VLM-Política y objetivos de aprendizaje.
  2. Esenciales de Percepción: Uso de historia temporal, vistas múltiples (tercera persona + muñeca) y condicionamiento de la propiocepción.
  3. Perspectivas de Modelado de Acción: Modelado de mundo y predicción de series temporales.

B. Hallazgos Clave y Decisiones de Diseño (Las "Recetas")

A partir de 12 hallazgos clave, se construye el modelo final VLANeXt:

1. Módulo de Política:
   • Es beneficioso desacoplar la predicción de acciones del espacio de tokens lingüísticos utilizando un cabeza de política dedicada (separada).
   • El uso de MetaQuery (múltiples tokens de consulta, 16 tokens) en lugar de un solo token mejora significativamente la capacidad expresiva.
2. Conexión VLM-Política:
   • Se compara conexión "suelta" (desacoplada), "estrecha" (capa a capa) y "suave" (soft).
   • La conexión suave, que inserta consultas aprendibles como un búfer latente entre el VLM y la política, supera a las otras dos, facilitando una mejor transferencia de representaciones.
3. Backbone VLM:
   • Backbones más fuertes (como Qwen3-VL-2B) generan mejor rendimiento que modelos más ligeros, siempre que el módulo de política sea lo suficientemente grande para aprovechar esa capacidad.
4. Entradas de Percepción:
   • Vistas Múltiples: Combinar la vista de tercera persona con la cámara de muñeca (wrist) mejora drásticamente la resolución de ambigüedades espaciales.
   • Propiocepción: Condicionar la propiocepción dentro del VLM (no solo en la política) produce los mejores resultados, permitiendo una fusión más rica con la visión y el lenguaje.
   • Historia Temporal: Contrario a la intuición, añadir historia temporal de observaciones (frames pasados) no mejora el rendimiento y puede introducir ruido; usar solo el frame actual es suficiente.
5. Modelado de Acción:
   • Chunking: Predecir bloques de acciones (chunk size = 8) en lugar de un paso a la vez mejora la coherencia temporal.
   • Objetivo de Pérdida: El Flow Matching (y la regresión) supera a la clasificación discreta y a los enfoques basados en difusión pura para distribuciones de acción gaussianas.
   • Frecuencia: Añadir una pérdida auxiliar en el dominio de la frecuencia (usando DCT) mejora la predicción de acciones con un costo computacional mínimo, superando a la modelización de mundo (que mejora el rendimiento pero triplica el tiempo de entrenamiento).

3. Resultados

El modelo resultante, VLANeXt (con aproximadamente 2.5B de parámetros), demuestra un rendimiento superior:

• Benchmarks LIBERO: VLANeXt alcanza un 97.4% de éxito promedio, superando a métodos anteriores como OpenVLA-OFT (97.1%) y π0 (86.0%).
• Benchmarks LIBERO-plus (Generalización): Logra un 80.1% de éxito promedio, superando significativamente a OpenVLA-OFT (69.6%) y otros SOTA. Esto demuestra una robustez superior ante perturbaciones de cámara, iluminación, ruido y cambios en el lenguaje.
• Evaluación en el Mundo Real:
  • Se probaron tareas de un solo brazo (limpieza de mesa, manipulación de cajones) y bimanual (levantar canastas, limpieza coordinada) en robots reales (Franka Emika y Aloha).
  • VLANeXt superó a los baselines (OpenVLA-OFT y π0) en todas las tareas, logrando tasas de éxito de hasta 15/20 en tareas bimanuales, demostrando una gran capacidad de adaptación entre diferentes encarnaciones (embodiments).

4. Contribuciones Clave

1. VLANeXt: Un modelo VLA simple pero efectivo que establece un nuevo estado del arte (SOTA) en benchmarks de simulación y mundo real.
2. Receta de Diseño: La identificación de 12 principios de diseño que forman una guía práctica para construir VLA fuertes, demostrando que el rendimiento no depende solo de escalar el modelo, sino de decisiones arquitectónicas principistas.
3. Código Unificado: Liberación de una base de código unificada, ligera y fácil de usar para que la comunidad pueda reproducir los resultados, explorar el espacio de diseño y construir variantes sobre una base compartida.
4. Hallazgos Contraintuitivos: Demostración de que la historia temporal de observaciones es innecesaria, que la propiocepción debe ir al VLM y que el modelado en frecuencia es una herramienta eficiente y potente.

5. Significado

Este trabajo marca un cambio de paradigma en la investigación de robótica basada en VLA:

• De la "Sopa Primordial" a la Estructura: Transforma un campo lleno de ideas dispersas en un espacio de diseño estructurado y comprensible.
• Eficiencia vs. Escala: Demuestra que se pueden lograr rendimientos de vanguardia con modelos de tamaño moderado (2.5B) mediante un diseño inteligente, en lugar de depender únicamente del escalado masivo de parámetros.
• Reproducibilidad: Al estandarizar los protocolos de entrenamiento y evaluación, facilita la comparación justa y el progreso acumulativo en la comunidad de IA robótica.

En resumen, VLANeXt no solo presenta un modelo superior, sino que proporciona el "manual de instrucciones" definitivo para construir futuros agentes robóticos inteligentes y robustos.