💻 computer science

FlashVLA: Streaming Action Decoding for Fast and Asynchronous VLA Inference

FlashVLA es un marco de decodificación de acciones por flujo unificado que permite una inferencia VLA asíncrona y rápida mediante el mantenimiento de un búfer de acciones de múltiples fragmentos con atención causal por fragmentos, logrando una frecuencia de control de más de 30 Hz al tiempo que garantiza una ejecución robótica fluida y temporalmente consistente.

Autores originales: Zekai Li, Jiaming Tang, Zhijian Liu

Publicado 2026-08-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zekai Li, Jiaming Tang, Zhijian Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden ver, comprender y moverse con una destreza similar a la humana han sido durante mucho tiempo el santo grial de la automatización. Durante años, los investigadores han construido sistemas que pueden identificar una taza sobre una mesa o seguir una orden verbal de "levántala". Sin embargo, convertir esa comprensión en un movimiento físico fluido y en tiempo real ha seguido siendo un cuello de botella persistente. La dificultad central reside en el tiempo: un robot debe observar constantemente el mundo, procesar esa imagen, decidir qué hacer a continuación y luego mover su brazo, todo ello en una fracción de segundo. Si el proceso de pensamiento tarda demasiado, el robot se queda atrás, actuando sobre información desactualizada y perdiendo su objetivo. Este retraso es particularmente agudo en la nueva generación de cerebros robóticos, conocidos como modelos de Visión-Lenguaje-Acción. Estos sistemas son potentes porque combinan la capacidad de ver y leer con la capacidad de planificar movimientos, pero también son lentos. A menudo funcionan dividiendo un movimiento en pequeños fragmentos y refinando cada fragmento mediante una serie de cálculos repetitivos y lentos antes de enviar la orden al motor. El resultado es un robot que vacila, tartamudea o se mueve con un desfase que hace imposibles las tareas delicadas.

Para resolver esto, un equipo de investigadores de la Universidad de California en San Diego y el MIT introdujo un nuevo marco llamado FlashVLA, diseñado para permitir que estos cerebros robóticos piensen y se muevan simultáneamente en lugar de secuencialmente. Imagine una línea de montaje de una fábrica donde un trabajador espera a que un producto terminado sea inspeccionado por completo antes de comenzar con el siguiente; la línea se detiene constantemente. FlashVLA cambia el flujo de trabajo para que el trabajador esté siempre manejando una etapa diferente del producto al mismo tiempo, asegurando un flujo constante y continuo. En términos técnicos, los investigadores reemplazaron el antiguo método de decodificar un movimiento completo a la vez por un enfoque de "transmisión" (streaming). En lugar de esperar a que un plan de movimiento completo sea perfecto antes de actuar, el sistema mantiene un búfer de varios planes de movimiento en diferentes etapas de finalización. Algunos planes están casi terminados y listos para ser ejecutados, mientras que otros apenas están comenzando y aún se están refinando. El sistema actualiza todos estos planes a la vez, en un solo paso, y envía inmediatamente el más terminado a los motores del robot. Esto permite que el robot siga moviéndose mientras la computadora todavía está descifrando los siguientes pasos, ocultando eficazmente el tiempo que toma pensar.

El impacto de este cambio es dramático. En sus pruebas, los investigadores descubrieron que este método de transmisión redujo el tiempo requerido para generar una sola acción hasta veinte veces en comparación con el enfoque estándar. En una sola tarjeta gráfica, el sistema logró una frecuencia de control de al menos treinta veces por segundo, una velocidad que resulta instantánea para un observador humano. Más importante aún, esta velocidad no se produjo a costa de la precisión. Debido a que el sistema procesa estos fragmentos de movimiento juntos, los pasos futuros aprenden naturalmente de los pasos que están a punto de suceder en este momento. Esto crea un movimiento suave y continuo que evita los movimientos bruscos y desarticulados que suelen afectar a los robots que intentan actuar sobre información antigua. En entornos simulados y pruebas en el mundo real con brazos robóticos, el nuevo sistema igualó o superó la tasa de éxito de los modelos tradicionales más lentos, mientras funcionaba significativamente más rápido.

Los investigadores también descubrieron que este método hacía que los robots fueran sorprendentemente mejores en tareas largas y complejas. Cuando un robot tiene que realizar una secuencia de acciones que toma mucho tiempo completar, la capacidad del nuevo sistema para mirar hacia adelante y recordar el pasado inmediato le ayudó a mantenerse en el camino. En un conjunto de experimentos que involucraban tareas de largo alcance, la tasa de éxito aumentó en más de treinta y seis puntos porcentuales en comparación con el mejor método anterior. Esto sugiere que la forma en que el sistema conecta sus acciones actuales con sus planes futuros crea una especie de memoria a corto plazo que ayuda al robot a navegar por secuencias complicadas sin perderse. El equipo probó estas ideas en varios montajes robóticos, incluyendo sistemas de un solo brazo y de dos brazos, y encontró que las mejoras de velocidad y fluidez se mantuvieron constantes en diferentes tipos de hardware y diferentes tipos de tareas.

Lo que hace que este trabajo sea particularmente significativo es que resuelve dos problemas a la vez: la lentitud del cálculo y el desajuste entre lo que el robot ve y dónde se encuentra realmente. Los intentos previos para solucionar la lentitud a menudo hacían que el robot actuara sobre datos obsoletos, mientras que los intentos para solucionar el desajuste de datos a menudo requerían cálculos complejos y adicionales que ralentizaban al robot nuevamente. FlashVLA elimina este compromiso al estructurar el proceso de pensamiento en sí mismo para que sea continuo. Los investigadores demostraron que, simplemente cambiando la forma en que el robot procesa sus planes de movimiento —manteniendo un búfer rotativo de planes en varios estados de preparación—, podían lograr un nivel de fluidez que antes era inalcanzable. El resultado es un robot que puede reaccionar rápidamente, moverse con suavidad y manejar tareas de manipulación complejas con una fiabilidad que acerca un paso más el sueño de una automatización ágil en el mundo real.

Resumen Técnico: FlashVLA

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA), particularmente aquellos basados en el ajuste de flujo (flow-matching, por ejemplo, $\pi0.5$ ), enfrentan un cuello de botella crítico en el despliegue robótico en el mundo real: alta latencia de inferencia y ejecución asíncrona inestable.

Latencia: La decodificación de acciones en los VLA de ajuste de flujo requiere múltiples pasos de eliminación de ruido secuenciales (por ejemplo, 10 pasos por bloque/chunk) condicionados a una única observación. El perfilado revela que la decodificación de acciones consume por sí sola aproximadamente el 75% del tiempo de inferencia por paso, deteniendo el bucle de control.
Desajuste Asíncrono: Para ocultar la latencia, la inferencia asíncrona superpone la predicción con la ejecución. Sin embargo, esto obliga al modelo a predecir a partir de observaciones "obsoletas". El robot ejecuta acciones basadas en un estado que el modelo nunca vio, lo que genera desajustes temporales que crecen con el horizonte de prospección (lookahead horizon).
El Dilema: Las soluciones existentes abordan estos problemas de forma aislada. Los métodos de inferencia eficientes (compresión, poda) reducen el costo por paso pero no eliminan la detención en los límites de los bloques. Los métodos asíncronos (condicionamiento de estado futuro) intentan corregir los desajustes, pero requieren predictores auxiliares o cambios arquitectónicos, lo que a menudo vuelve a amplificar el desajuste si el horizonte de prospección es largo.

Los autores identifican una causa raíz compartida: el aislamiento. Los VLA actuales de ajuste de flujo decodifican cada bloque de acción de forma aislada a partir de ruido puro, condicionados únicamente por la observación actual. Esto concentra toda la latencia de eliminación de ruido en un solo paso y deja a los bloques futuros sin información sobre la trayectoria a la que están por unirse.

Metodología: FlashVLA

FlashVLA introduce un marco de decodificación de acciones en streaming que decodifica los bloques de acción de forma conjunta en lugar de aislada. Está diseñado como una modificación de inserción directa (drop-in) para modelos VLA basados en ajuste de flujo, requiriendo solo cambios arquitectónicos ligeros y una pasada de ajuste fino (fine-tuning).

1. Formulación Autoregresiva por Bloques (Chunk-wise)

En lugar de dedicar todas las pasadas de eliminación de ruido a un solo bloque, FlashVLA mantiene un buffer de streaming ( $B_t$ ) de $N$ bloques de acción mantenidos en niveles de ruido escalonados ( $\tau_1 < \tau_2 < \dots < \tau_N$ ).

Ruido Escalonado: El buffer contiene un espectro desde un bloque casi limpio (listo para ejecutarse) hasta un bloque de ruido puro (para ejecución futura).
Avance Conjunto: Una única pasada hacia adelante (forward pass) avanza cada bloque en el buffer por un paso de eliminación de ruido. Tras un periodo de calentamiento (warm-up), el sistema emite un bloque ejecutable por paso. Esto amortiza los $N$ pasos de eliminación de ruido a lo largo del tiempo, reduciendo la latencia por paso hasta en 20 $\times$ .
Atención Causal por Bloque: El modelo aplica una máscara causal donde los bloques posteriores (más ruidosos) atienden a los bloques anteriores (más limpios), pero no viceversa. Esto permite que el modelo que decodifica un estado futuro se condicione implícitamente en la trayectoria de los bloques cercanos ya presentes en el buffer. Esto recupera la continuidad asíncrona sin necesidad de predictores de estado futuro explícitos.

2. Algoritmo de Inferencia en Streaming

El proceso de inferencia opera en dos fases:

Arranque en Frío (Cold Start): El buffer se inicializa con $N-1$ bloques de relleno (padding) y una muestra gaussiana. El sistema ejecuta $N-1$ pasos de inferencia para poblar el buffer mientras el robot ejecuta una acción segura por defecto. Esta sobrecarga se amortiza durante el episodio.
Streaming Estable: El buffer opera como una cola. Cada paso avanza todos los bloques, extrae el bloque más limpio para su ejecución, desplaza los bloques restantes y añade un nuevo bloque de ruido puro.
Optimización del Sistema: Para lograr los beneficios totales de latencia, los autores compilan las etapas de inferencia en CUDA Graphs y aplican fusión de kernels y el max-autotune de PyTorch para eliminar la serialización de lanzamiento de kernels.

3. Ajuste Fino Conjunto de Multi-Buffer

Los VLA preentrenados se entrenan para eliminar el ruido de los bloques de forma aislada. Para adaptarlos al paradigma de streaming, los autores proponen una estrategia de entrenamiento empaquetado:

Todos los $N$ posibles configuraciones de buffer (desde el arranque en frío hasta el estado estable) para una sola observación se empaquetan en una única muestra de entrenamiento.
Una máscara de atención aísla las diferentes configuraciones de buffer dentro de la muestra, asegurando que el modelo aprenda a manejar cualquier prefijo de buffer válido mientras comparte la codificación de la observación.
La pérdida (loss) se suma sobre todas las configuraciones de buffer, enseñando al modelo a eliminar el ruido en cualquier nivel de ruido condicionado en cualquier historial válido.

Contribuciones Clave

Solución Unificada: FlashVLA aborda simultáneamente la latencia de inferencia y el desajuste asíncrono al cambiar el supuesto estructural de la decodificación de bloques de "aislamiento" a "decodificación conjunta".
Mecanismo de Streaming: Introduce un buffer de streaming con niveles de ruido escalonados y atención causal por bloques, permitiendo un bloque de acción ejecutable por paso mientras preserva implícitamente la continuidad de la trayectoria.
Eficiencia: El enfoque logra una reducción de 20 $\times$ en la latencia de decodificación de acciones por paso (amortizada) y una aceleración de hasta 2.43 $\times$ en configuraciones asíncronas.
Ganancias en Largo Horizonte: La memoria a nivel de bloque inherente al buffer de streaming (donde los bloques futuros atienden a los bloques pasados refinados) mejora significativamente el rendimiento en tareas de largo horizonte sin módulos de memoria explícitos.

Resultados Experimentales

Los autores evaluaron FlashVLA en LIBERO (brazo simple), RoboTwin 2.0 (bimanual) y tareas reales de Franka, comparándolo con $\pi0.5$ , VLASH, StreamingVLA y Realtime-VLA.

Rendimiento Asíncrono: En LIBERO con un retraso de 1 paso, FlashVLA mejoró la tasa de éxito promedio del 96.9% al 97.8%, reduciendo el tiempo por paso de 53.8 ms a 22.1 ms (una aceleración de 2.43 $\times$ ). Mantuvo altas tasas de éxito (97.5–98.3%) en retrasos de $d=1$ a $4$, superando a los modelos base que se degradan significamente con un mayor horizonte de prospección.
Latencia y Velocidad de Reacción: FlashVLA logró la latencia de inferencia más baja en todas las configuraciones (ej. 20.3 ms en una RTX 5090 con 3 vistas), permitiendo actualizaciones de política sostenidas de $\sim$ 50 Hz. Redujo el Tiempo hasta la Primera Acción (TTFA) en 1.7 $\times$ y el Tiempo de Reacción (TTR) en 1.6 $\times$ en comparación con la línea base FASTER.
Tareas de Largo Horizonte: En RoboTwin 2.0, FlashVLA mostró una mejora dramática en tareas de largo horizonte, aumentando las tasas de éxito en 36.6 puntos (del 53.0% al 89.6%) en comparación con $\pi0.5$ , atribuido a la memoria implícita a nivel de bloque.
Generalización: El método se transfirió eficazmente a otras arquitecturas (SmolVLA, LingBot-VLA), preservando o mejorando la calidad de la tarea mientras reducía la latencia de inferencia entre 1.95 $\times$ y 2.81 $\times$ .

Significancia y Reivindicaciones

El artículo afirma que FlashVLA representa un cambio fundamental en la forma en que se despliegan los VLA de ajuste de flujo. Al tratar los bloques de acción como un flujo continuo y causalmente conectado en lugar de lotes aislados, elimina el compromiso entre la inferencia de baja latencia y la consistencia temporal.

Viabilidad en el Mundo Real: El sistema permite una ejecución asíncrona fluida a $\ge$ 30 Hz en una sola GPU, un umbral que anteriormente era difícil de alcanzar con modelos de ajuste de flujo de alta capacidad.
Simplicidad Estructural: La solución no depende de predictores auxiliares complejos ni de reentrenamientos con conjuntos de datos masivos; se basa en un cambio estructural (decodificación conjunta) y un procedimiento estándar de ajuste fino.
Escalabilidad: Las ganancias de rendimiento escalan con el horizonte de la tarea, lo que sugiere que el método es particularmente adecuado para tareas de manipulación complejas y de larga duración donde la consistencia temporal es crítica.