💻 computer science

MindVLA-U1: VLA Beats VA with Unified Streaming Architecture for Autonomous Driving

MindVLA-U1 presenta la primera arquitectura unificada de flujo continuo Visión-Lenguaje-Acción para la conducción autónoma que integra el razonamiento lingüístico autoregresivo con la generación continua de acciones mediante ajuste de flujo a través de un backbone y un canal de memoria compartidos, lo que permite un control de trayectoria guiado por lenguaje que supera el rendimiento humano en el benchmark WOD-E2E manteniendo un rendimiento en tiempo real.

Autores originales: Yuzhou Huang, Benjin Zhu, Hengtong Lu, Victor Shea-Jay Huang, Haiming Zhang, Wei Chen, Jifeng Dai, Yan Xie, Hongsheng Li

Publicado 2026-05-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuzhou Huang, Benjin Zhu, Hengtong Lu, Victor Shea-Jay Huang, Haiming Zhang, Wei Chen, Jifeng Dai, Yan Xie, Hongsheng Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina enseñar a un robot a conducir. Durante mucho tiempo, la mejor manera de hacerlo fue construir un sistema que simplemente mirara la carretera y decidiera inmediatamente cómo girar el volante y frenar. Esto es como un reflejo: ves una pelota rodando hacia ti y tu mano se mueve para atraparla sin pensar. En el artículo, esto se denomina un modelo Visión-Acción (VA). Es increíblemente rápido y preciso, pero es una "caja negra". No puedes preguntarle por qué realizó un movimiento, y tiene dificultades cuando ve algo extraño que no ha visto antes.

Luego, los investigadores intentaron añadir un "cerebro" que pudiera hablar y razonar, creando un modelo Visión-Lenguaje-Acción (VLA). La idea era: "Demos al coche un modelo de lenguaje para que pueda entender el mundo como un humano". Pero aquí está el problema: la mayoría de estos nuevos sistemas eran torpes. Eran lentos, no podían girar el volante con tanta precisión como los modelos solo de reflejos, y la parte de "hablar" en realidad no ayudaba a la parte de "conducir". Era como contratar a un filósofo brillante para que condujera un coche de carreras, pero el filósofo estaba atrapado en el asiento trasero gritando instrucciones que llegaban demasiado tarde para ser útiles.

MindVLA-U1 es la solución que proponen los autores. Argumentan que el problema no era que "pensar" y "conducir" fueran incompatibles; el problema era que estaban construidos con la interfaz equivocada.

Así es como funciona MindVLA-U1, utilizando analogías simples:

1. La arquitectura de "Un solo cerebro"

En lugar de tener un módulo de "pensamiento" separado y un módulo de "conducción" separado que se pasan notas de ida y vuelta, MindVLA-U1 utiliza un único cerebro unificado.

La analogía: Imagina a un director de orquesta dirigiendo una orquesta. En los sistemas antiguos, el director (el modelo de lenguaje) escribiría una partitura, se la entregaría a una sección separada de músicos (el modelo de acción) y esperaría que la tocaran bien. En MindVLA-U1, el director es la orquesta. Las mismas neuronas que entienden el lenguaje ("La carretera está helada") son exactamente las mismas neuronas que calculan el ángulo de giro del volante.
El resultado: El coche puede hablar naturalmente sobre lo que ve y conducir con precisión a nivel de centímetro al mismo tiempo, utilizando las mismas "pesos" (memoria) para ambas tareas.

2. La memoria de "flujo continuo" (Sin fragmentación)

Los sistemas anteriores intentaban aprender observando la carretera en clips cortos y fijos (como ver una película en trozos de 5 segundos). Esto hacía que el coche "tartamudeara" en los límites entre los clips, olvidando lo que había ocurrido hace apenas un segundo.

La analogía: Imagina leer un libro mirando solo una página a la vez, luego cerrando el libro, y luego abriendo la siguiente página. Pierdes el flujo. MindVLA-U1 lee el libro palabra por palabra, de forma continua.
El mecanismo: Utiliza un canal de memoria de "flujo continuo". Piensa en esto como una cinta transportadora que lleva un resumen comprimido y diminuto de los últimos segundos de conducción. A medida que el coche avanza, deja caer el resumen más antiguo por la parte trasera de la cinta y añade uno nuevo al frente. Esto permite que el coche planifique suavemente a lo largo de grandes distancias sin quedarse atrapado en volver a leer todo el video cada vez.

3. El puente de "Intención" (El lenguaje dirigiendo el volante)

Este es el mayor avance del artículo. En los sistemas anteriores, el "lenguaje" del coche era solo un efecto secundario; en realidad no controlaba el giro del volante.

La analogía: Imagina un GPS que dice "Gira a la izquierda", pero el coche lo ignora y sigue recto. En MindVLA-U1, la parte del lenguaje es el volante.
Cómo funciona: El coche primero predice una "intención" simple en palabras (por ejemplo, "Ir recto" o "Cambiar de carril"). Luego utiliza esta palabra como un control remoto para guiar las matemáticas que generan la trayectoria de conducción. Si el coche predice "Ir recto", las matemáticas se ajustan para hacer una trayectoria recta. Si predice "Girar", las matemáticas se ajustan para girar. Esto demuestra que el lenguaje no solo habla; está dirigiendo físicamente las decisiones del coche.

4. Modos rápido y lento (El reflejo vs. El pensador)

Una queja común sobre los coches con IA es que son demasiado lentos para reaccionar en emergencias porque están "pensando" demasiado.

La analogía: Piensa en un conductor humano. Cuando vas de crucero por una autopista, conduces por reflejo (Sistema 1). Cuando te acercas a una intersección compleja, piensas (Sistema 2).
La innovación: MindVLA-U1 puede cambiar entre estos modos instantáneamente usando el mismo cerebro.
- Modo rápido: Omite la parte de "pensar" y simplemente conduce por reflejo. Es tan rápido como los antiguos modelos que no hablaban.
- Modo lento: Activa todo el razonamiento del lenguaje para resolver escenarios complejos.
- El beneficio: Obtienes la seguridad de un conductor que piensa sin sacrificar la velocidad de un conductor por reflejo.

Los resultados: Superando a los humanos

Los autores probaron esto en un conjunto de datos de conducción del mundo real muy difícil (Waymo Open Dataset).

La puntuación: Utilizaron una métrica llamada "Puntuación de Retroalimentación del Evaluador" (RFS), donde expertos humanos califican la calidad de una trayectoria de conducción en una escala de 0 a 10.
El logro: MindVLA-U1 obtuvo una puntuación de 8.20, mientras que los mejores conductores humanos en el conjunto de datos obtuvieron 8.13.
Qué significa esto: Por primera vez, se ha demostrado que un sistema de IA planifica trayectorias de conducción que los expertos humanos califican como ligeramente mejores que las de conductores humanos experimentados, todo ello manteniendo la capacidad de hablar y razonar sobre la carretera.

Resumen

MindVLA-U1 soluciona el problema de la "interfaz". Deja de tratar el lenguaje y la conducción como dos trabajos separados que necesitan ser pegados. En su lugar, construye un sistema único donde pensar y hacer ocurren en el mismo momento, utilizando un flujo continuo de memoria y un puente directo donde las palabras pueden dirigir físicamente el coche. Demuestra que no tienes que elegir entre un coche que puede hablar y un coche que conduce bien; puedes tener ambos, y en realidad pueden ayudarse mutuamente.

Resumen Técnico: MindVLA-U1

Declaración del Problema

La conducción autónoma ha evolucionado desde pipelines modulares hacia una unificación de extremo a extremo. Si bien los modelos de Visión-a-Acción (VA) han logrado una calidad de planificación de vanguardia al mapear entradas de sensores a trayectorias continuas, carecen de razonamiento semántico explícito e inspeccionable. Se propusieron modelos de Visión-Lenguaje-Acción (VLA) para cerrar esta brecha mediante la incorporación de comprensión basada en lenguaje. Sin embargo, los VLA de conducción existentes han quedado sistemáticamente por detrás de los modelos VA en calidad de planificación.

Los autores argumentan que esta brecha de rendimiento no es una limitación inherente del paradigma VLA, sino el resultado de fallos de diseño a nivel de interfaz en trabajos anteriores:

Interfaces de Acción Desajustadas: Muchos VLA decodifican trayectorias como tokens de lenguaje discretos, imponiendo un límite de precisión inadecuado para el control a nivel de centímetros, o utilizan expertos de acción separados que impiden que el contexto de la acción influya en la autoatención del VLM.
Modelado Temporal Ineficiente: Los modelos anteriores a menudo procesan la conducción como fragmentos fijos de video-acción, lo que genera discontinuidades en los límites y un procesamiento redundante de tokens para entradas de múltiples cuadros.
Falta de Control de Lenguaje Medible: En la mayoría de los VLA de conducción, las capacidades de lenguaje están efectivamente inactivas durante la inferencia (ejecutándose como VA con pesos de VLM), sin un camino explícito y medible desde la intención del lenguaje hasta la generación de acción continua.
Computación Rígida: Las estructuras base VLA estándar imponen altos costos de inferencia incluso para momentos de conducción rutinarios, careciendo de mecanismos para modos de ejecución rápida/lenta.

Metodología: MindVLA-U1

MindVLA-U1 se presenta como la primera arquitectura VLA unificada de streaming diseñada específicamente para resolver estos problemas de interfaz.

1. Estructura Base Compartida Unificada

La innovación central es una única estructura base VLM que procesa conjuntamente visión, estado del vehículo, lenguaje, memoria y tokens de acción ruidosos en una sola pasada hacia adelante.

Salida de Dos Cabezales: El modelo produce tokens de lenguaje autoregresivos (AR) (opcionales) y trayectorias de acción continuas de ajuste de flujo (estilo difusión) simultáneamente.
Acción Continua: A diferencia de los enfoques anteriores de tokens discretos, los tokens de acción fluyen a través de cada capa del transformador junto con los tokens de visión y lenguaje. Un MLP de ajuste de flujo delgado lee el campo de velocidad en las posiciones de acción, preservando la precisión del control continuo.
Pesos Compartidos: Ambas modalidades comparten los mismos pesos del transformador, asegurando que las características ancladas a la escena se compongan en lugar de competir.

2. Paradigma de Streaming

Para manejar la naturaleza temporal de la conducción sin computación redundante:

Procesamiento Cuadro a Cuadro: El modelo procesa la conducción como un flujo de cuadros individuales en lugar de fragmentos de video fijos.
Memoria de Streaming: Un canal acotado de tipo Primero en Entrar, Primero en Salir (FIFO) transporta una representación de memoria compacta y aprendida ( $m_i$ ) a través de los cuadros. Esta memoria se actualiza de extremo a extremo mediante un transformador de propagación estilo Q-Former.
Alineación de Movimiento: Los tokens de memoria se alinean con el movimiento al pose actual del vehículo al ser leídos, asegurando consistencia espacial a medida que el vehículo se mueve. Esto elimina la necesidad de que el VLM atienda a tokens de video redundantes de múltiples cuadros.

3. Puente de Lenguaje a Acción (Intent-CFG)

Para hacer que el razonamiento del lenguaje sea accionable, los autores introducen un mecanismo de Guía Libre de Clasificador de Intención (Intent-CFG):

El cabezal de lenguaje predice un token de intención de conducción (por ejemplo, "avanzar recto", "girar a la izquierda") mediante predicción del siguiente token.
Este token de intención se incrusta y se añade a la incrustación de tiempo del MLP de acción.
Durante la inferencia, el modelo ejecuta dos pasadas hacia adelante (condicionadas a la intención predicha $z$ y incondicionales $\emptyset$ ). Los campos de velocidad se mezclan utilizando CFG:
$v_{cfg}(x_t, t) = v_\theta(x_t, t; \emptyset) + s (v_\theta(x_t, t; z) - v_\theta(x_t, t; \emptyset))$
Esto convierte la intención del lado del lenguaje en una señal controlable para la generación de trayectorias continuas.

4. Ejecución Rápida/Lenta mediante MoT

La arquitectura soporta una asignación flexible de cómputo:

Máscara de Atención: Mediante la composición de máscaras de atención, el sistema soporta cuatro ordenaciones de inferencia (por ejemplo, vqa_first, action_only). La ruta action_only excluye físicamente los tokens de lenguaje, permitiendo velocidades reflejas.
Mezcla Escasa de Transformadores (MoT): La estructura base puede dividirse en grupos de expertos paralelos (Contexto: Visión/Lenguaje; Acción: Memoria/Ego/Acción) que comparten un grupo de atención global. Esto permite que el grupo de acción se ejecute independientemente para una inferencia rápida mientras mantiene la representación unificada.

5. Datos y Entrenamiento

Conjunto de Datos: Entrenado en el Waymo Open Dataset End-to-End (WOD-E2E).
MindLabel: Una pipeline de autoetiquetado genera pares VQA anclados a la escena y trayectorias alternativas "sueñadas" condicionadas a la intención de conducción para proporcionar supervisión de lenguaje y preferencia donde los registros crudos carecen de ella.
Objetivo de Entrenamiento: Optimización conjunta de la pérdida AR (para lenguaje) y la pérdida de Ajuste de Flujo (para acción) en la estructura base compartida.

Resultados Clave

Evaluado en la prueba WOD-E2E:

Calidad de Planificación: MindVLA-U1 logra una Puntuación de Retroalimentación de Evaluador (RFS) de 8.20 (tras el entrenamiento post-RL) en el conjunto de validación, superando a conductores humanos experimentados (8.13 RFS GT). En la división oficial de prueba, logra un RFS de 7.87, superando a todos los métodos VA y VLA anteriores.
Precisión: Logra Errores de Desplazamiento Promedio (ADE) de vanguardia sobre métodos anteriores con grandes márgenes, manteniendo al mismo tiempo la precisión de acción continua.
Rendimiento: La ruta de inferencia rápida (solo acción) alcanza ~16 FPS (a escala comparable), comparable a bases VA fuertes como RAP-DINO (~18 FPS), mientras preserva la interfaz de lenguaje natural.
Control de Lenguaje: El mecanismo Intent-CFG dirige con éxito la difusión de acción. Condicionar en diferentes intenciones produce maniobras cualitativamente distintas y semánticamente consistentes, demostrando una ruta causal medible desde el lenguaje hacia la acción.
Escalado y Desacoplamiento: Los experimentos muestran que la calidad de planificación (RFS) está estructuralmente desacoplada de la calidad del lenguaje del VLM. Incluso cuando la capacidad de generación de lenguaje del VLM se degrada (por ejemplo, usando modelos base sin ajuste de instrucciones), la controlabilidad de Intent-CFG sigue siendo efectiva, siempre que la estructura base compartida aprenda una representación válida de la escena.

Significado y Afirmaciones

El artículo afirma que la brecha entre el rendimiento de VLA y VA en la conducción autónoma es principalmente un problema de interfaz, no una limitación del paradigma. MindVLA-U1 demuestra que:

Arquitectura Unificada: El razonamiento semántico y el control continuo pueden coexistir en una sola pasada hacia adelante sin sacrificar la precisión.
Eficiencia de Streaming: La planificación a largo plazo puede lograrse mediante una propagación eficiente de memoria en lugar de una atención costosa de múltiples cuadros.
Lenguaje Accionable: La intención del lenguaje puede traducirse directamente en señales de control mediante CFG, avanzando más allá de "el lenguaje como una tarea secundaria" hacia "el lenguaje como un mecanismo de control".
Viabilidad de Despliegue: Un único modelo unificado puede soportar modos de conducción deliberativos (lentos) y reflejos (rápidos), cerrando la brecha de rendimiento que anteriormente obstaculizaba el despliegue de VLA.

Los autores posicionan a MindVLA-U1 como un paso hacia la conducción totalmente autónoma (L4), validando que la brecha VLA-VA puede cerrarse sin sacrificar la interfaz de lenguaje natural ni la precisión de control. Reconocen limitaciones, incluida la dependencia de la evaluación en bucle abierto (WOD-E2E son datos registrados), el enfoque en una sola prueba y la necesidad de más investigación sobre las leyes de escalado de VLA y el entrenamiento en bucle cerrado.