💻 computer science

InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation

El artículo presenta InternVLA-A1, un modelo unificado basado en una arquitectura de Mezcla de Transformadores que integra comprensión semántica, predicción dinámica y ejecución de acciones para superar las limitaciones de los modelos VLA actuales y lograr un rendimiento superior en tareas de manipulación robótica tanto en simulación como en el mundo real.

Autores originales: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yan

Publicado 2026-02-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yang Tian, Bolun Wang, Hanqing Wang, Jiaheng Wang, Tai Wang, Xueyuan Wei, Chao Wu, Yiman Xie, Boyang Xing, Yuqiang Yang, Yuyin Yang, Qiaojun Yu, Feng Yuan, Jia Zeng, Jingjing Zhang, Shenghan Zhang, Shi Zhang, Zhuoma Zhaxi, Bowen Zhou, Yuanzhen Zhou, Yunsong Zhou, Hongrui Zhu, Yangkun Zhu, Yuchen Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que quieres enseñarle a un robot a hacer tareas complejas en casa, como doblar ropa, preparar un sándwich o recoger cosas que se mueven en una cinta transportadora. Hasta ahora, los robots tenían dos grandes problemas: o eran muy buenos entendiendo el lenguaje pero torpes con la física, o podían predecir el futuro pero no entendían bien lo que veían.

El paper presenta InternVLA-A1, un nuevo "cerebro" para robots que soluciona esto. Aquí te lo explico como si fuera una historia:

🤖 El Robot de Tres Cerebros (Arquitectura Unificada)

Imagina que InternVLA-A1 no es un solo cerebro, sino un equipo de trabajo perfecto formado por tres expertos que hablan entre sí todo el tiempo:

El Entendedor (Understanding Expert): Es como un bibliotecario muy inteligente. Mira lo que pasa a su alrededor (la imagen) y lee las instrucciones (el texto). Entiende el contexto: "Ah, el robot tiene que agarrar ese pan".
El Adivino (Generation Expert): Este es el más interesante. Es como un futurista o un director de cine. No solo mira el presente, sino que imagina qué pasará en los próximos segundos. Si el robot va a empujar una taza, este experto "ve" mentalmente cómo la taza se desliza y cae antes de que suceda. Le da al robot "visión de futuro".
El Ejecutor (Action Expert): Es el mecánico o el piloto. Toma lo que entendió el bibliotecario y lo que "vio" en el futuro el adivino, y mueve los brazos del robot para hacerlo realidad.

La magia: En los robots viejos, estos tres trabajaban por separado o no se entendían. En InternVLA-A1, están conectados por una red neuronal única (llamada Mixture-of-Transformers). Es como si los tres estuvieran en una misma mesa de reuniones, discutiendo en tiempo real para tomar la mejor decisión.

🍳 ¿Cómo aprende? (La Dieta de Datos)

Para que un robot sea bueno, necesita practicar mucho. InternVLA-A1 tiene una dieta muy especial que mezcla tres tipos de "comida" (datos):

Simulaciones (El Gimnasio Virtual): Es como entrenar en un videojuego. Es barato, rápido y puedes practicar millones de veces sin romper nada. El robot aprende las reglas de la física aquí.
Robots Reales (La Práctica Real): Es como ir al gimnasio de verdad. Aquí el robot aprende la fricción real, el peso de las cosas y los imprevistos. Es difícil de conseguir, pero esencial para no fallar en la vida real.
Videos Humanos (El Observador): El robot mira videos de humanos haciendo cosas (como cocinar o limpiar). No necesita que los humanos le enseñen paso a paso, solo observa para entender cómo se mueven las manos y los objetos en el mundo real.

El truco: Al mezclar estos tres tipos de datos, el robot aprende rápido (gracias a la simulación) pero no se vuelve un "fantasma" que solo funciona en videojuegos (gracias a los datos reales y humanos).

🏆 ¿Qué tan bueno es? (Los Resultados)

Los autores probaron a InternVLA-A1 en 12 tareas reales y en simulaciones. Los resultados son impresionantes, especialmente en situaciones difíciles:

En tareas estáticas (cosas quietas): Es mejor que los robots más avanzados actuales (como el famoso $\pi_{0.5}$ ).
En tareas dinámicas (cosas en movimiento): ¡Aquí es donde brilla! Imagina intentar agarrar un ingrediente que se mueve en una cinta transportadora. Los robots antiguos se confundían y fallaban. InternVLA-A1, gracias a su "Adivino" (el experto de generación), mejoró un 26.7% en estas tareas. ¡Es como si el robot pudiera ver el futuro y moverse antes de que el objeto llegue!

💡 En resumen

InternVLA-A1 es como darle a un robot un superpoder: la capacidad de entender lo que ve, imaginar lo que pasará en el futuro inmediato y actuar con precisión, todo al mismo tiempo.

Antes, los robots eran como personas que leían un mapa pero no podían predecir si llovería. Ahora, con InternVLA-A1, el robot no solo lee el mapa, sino que también mira el cielo, prevee la tormenta y decide el mejor camino antes de empezar a caminar. ¡Un gran paso para que los robots sean verdaderos ayudantes en nuestra vida diaria!

1. El Problema

Los modelos actuales de Visión-Lenguaje-Acción (VLA) basados en Modelos de Lenguaje Multimodal (MLLM) han demostrado una gran capacidad de comprensión semántica, pero adolecen de dos limitaciones críticas para la robótica generalista:

Falta de cognición física: Al mapear datos visuales a un espacio de características basado en texto, estos modelos carecen de la capacidad inherente para razonar sobre las leyes físicas y la dinámica del mundo (inercia, contacto, momento).
Fragilidad en entornos dinámicos: Las estrategias recientes que intentan incorporar "modelos del mundo" (a través de predicción de video) a menudo sufren de una falta de anclaje semántico y son muy sensibles a los errores de predicción de video, lo que lleva a un comportamiento frágil en escenarios dinámicos (como cintas transportadoras en movimiento).

Además, la dependencia exclusiva de datos de robots reales para el entrenamiento es costosa, ineficiente y difícil de escalar para cubrir la variabilidad de "cola larga" en los entornos.

2. Metodología: InternVLA-A1

El equipo propone InternVLA-A1, un marco unificado que integra la comprensión, la generación de "previsión visual" (foresight) y la ejecución de acciones en una sola arquitectura.

Arquitectura Unificada (Mixture-of-Transformers - MoT)

El modelo utiliza una arquitectura de Mezcla de Transformadores (MoT) que coordina tres expertos especializados que interactúan mediante un mecanismo de auto-atención enmascarada unificada:

Experto de Comprensión (Understanding Expert): Basado en MLLMs de vanguardia (InternVL3 o Qwen3-VL). Procesa las entradas multimodales (imágenes y texto) para capturar el contexto semántico del entorno. Genera un contexto compartido ( $h_{und}$ ) accesible para los otros expertos.
Experto de Generación (Generation Expert): Actúa como un módulo de "imaginación" o modelo del mundo. Predice los estados visuales futuros basándose en la observación actual y el contexto semántico.
- Utiliza un tokenizador basado en VAE (COSMOS) para comprimir imágenes en latentes.
- Emplea una estrategia de decodificación paralela (no autoregresiva) para generar futuros visuales de manera eficiente en tiempo real (aprox. 13 Hz), evitando la latencia de los modelos de generación de video tradicionales.
Experto de Acción (Action Expert): Sintetiza el contexto semántico y las dinámicas predichas por el experto de generación, junto con el estado propioceptivo del robot, para generar comandos de control precisos.
- Utiliza Flow Matching para aprender distribuciones de acción continuas y multimodales, lo que permite un control más suave y preciso que la regresión directa.

Estrategia de Entrenamiento y Datos

El modelo se entrena mediante una receta de datos híbrida que combina tres fuentes complementarias en un solo pipeline:

Datos Simulados (InternData-A1, RoboTwin): Proporcionan diversidad masiva y escalabilidad, cubriendo objetos rígidos, articulados, deformables y fluidos.
Datos de Robots Reales (AgiBot-World, RoboMind): Aseguran la fidelidad física y reducen la brecha sim-real (sim-to-real gap).
Videos Humanos (EgoDex): Enriquecen las representaciones visuales con interacciones dexterosas y dinámicas complejas, sin necesidad de teleoperación costosa.

El entrenamiento se realiza en dos etapas: Pre-entrenamiento (700k pasos) sobre datos heterogéneos y Post-entrenamiento (ajuste fino) para tareas específicas. El objetivo de optimización combina la pérdida de generación de visión futura y la pérdida de predicción de acción.

3. Contribuciones Clave

Arquitectura Unificada: Es el primer modelo que acopla estrechamente el razonamiento semántico (MLLM) con la predicción de dinámicas físicas (Modelo del Mundo) dentro de un solo framework de MoT, permitiendo una "acción guiada por previsión".
Eficiencia en Tiempo Real: A diferencia de los modelos de generación de video anteriores que son demasiado lentos para el control robótico, InternVLA-A1 logra una inferencia de ~13 Hz mediante decodificación paralela y compresión de tokens.
Receta de Datos Híbrida: Demuestra que la combinación de datos simulados, reales y humanos en un entrenamiento conjunto supera a los enfoques que dependen de una sola fuente, cerrando efectivamente la brecha sim-real.
Escalabilidad: Se presentan versiones de 2B y 3B parámetros que superan a modelos mucho más grandes en tareas específicas.

4. Resultados Experimentales

El modelo fue evaluado en 12 tareas del mundo real y un benchmark de simulación (RoboTwin 2.0), superando consistentemente a los modelos líderes ( $\pi_0$ , $\pi_{0.5}$ , GR00T N1.5).

Manipulación Estática: En tareas estáticas del mundo real, InternVLA-A1 (3B) alcanzó una tasa de éxito promedio del 75.1%, superando a $\pi_{0.5}$ (70.7%) en un +4.4% y a $\pi_0$ (60.6%) en un +14.5%. Destacó en tareas de largo horizonte como "Hacer sándwich" (93.3%).
Manipulación Dinámica: En tareas donde el objetivo se mueve (clasificación de paquetes en cinta transportadora y recolección de ingredientes en movimiento), el modelo mostró una superioridad dramática.
- Logró un +26.7% de mejora sobre $\pi_{0.5}$ en tareas dinámicas.
- En la tarea de "Recolección de ingredientes en movimiento", alcanzó un 93.3% de éxito frente al 66.7% de $\pi_{0.5}$ , mientras que otros modelos cayeron al 20%.
Benchmark de Simulación (RoboTwin 2.0): Superó a $\pi_{0.5}$ en un +2.6% tanto en configuraciones fáciles como difíciles.
Estudios de Ablación:
- La eliminación del pre-entrenamiento redujo el rendimiento en un 51.6%.
- La eliminación del Experto de Generación causó una caída del 19.4% en el rendimiento promedio, confirmando que la previsión visual es crucial para la robustez dinámica.
- El entrenamiento conjunto con datos simulados, reales y humanos fue superior a cualquier combinación de dos fuentes.

5. Significado e Impacto

InternVLA-A1 representa un avance significativo hacia la creación de robots generalistas capaces de operar en entornos complejos y dinámicos. Al integrar la "imaginación" visual (predicción de futuros) directamente en la política de control, el modelo puede anticipar las consecuencias de sus acciones y adaptarse a cambios en el entorno en tiempo real, algo que los modelos puramente reactivos no pueden hacer.

La demostración de que un modelo más pequeño (3B) puede superar a modelos más grandes mediante una arquitectura unificada y una estrategia de datos híbrida sugiere un nuevo paradigma en el diseño de VLA: la calidad de la integración arquitectónica y la diversidad de los datos son tan importantes como la escala bruta de los parámetros. Esto abre la puerta a la implementación de políticas robóticas más robustas y eficientes en aplicaciones industriales y domésticas reales.