🤖 AI

Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

Este artículo introduce una arquitectura asíncrona de rápido-lento para la conducción de bucle cerrado que desacopla un backbone de visión-lenguaje congelado (que funciona a 5 Hz) de un experto de acción ligero (que funciona a 20 Hz) mediante una representación en caché, eliminando así los compromisos de latencia de control y mejorando significativamente las métricas de completitud de ruta y seguridad en comparación con las líneas base de salto de fotogramas.

Autores originales: Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

Publicado 2026-07-20

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un coche robot a conducir por sí mismo usando un cerebro súper inteligente que puede leer mapas, entender señales de tráfico e incluso charlar contigo sobre hacia dónde vas. Este es el mundo de los modelos de Visión-Lenguaje-Acción (VLA). Piensa en estos modelos como una enorme biblioteca de conocimiento combinada con una cámara y un conjunto de instrucciones de dirección. Son excelentes para comprender situaciones complejas —como "gira a la izquierda después de la casa roja, pero solo si la luz está en verde"— pero también son increíblemente pesados y lentos para pensar.

Ahora, imagina que conduces un coche real. El coche no espera a que tú pienses; necesita realizar pequeños ajustes en el volante y el pedal del acelerador 20 veces cada segundo (20 Hz) para mantenerse en el carril y evitar colisiones. Si el cerebro del coche tarda demasiado en pensar, el coche se desviará de su curso o chocará antes de que llegue el siguiente pensamiento. El gran problema que los científicos han estado enfrentando es un desajuste: el cerebro "inteligente" es demasiado lento para seguir el ritmo de los reflejos "rápidos" necesarios para la conducción. Para sortear esto, los sistemas anteriores tenían que jugar un extraño juego de "esperar, luego adivinar", donde el coche tomaba una decisión y luego simplemente repetía esa misma decisión durante los siguientes segundos mientras el cerebro se ponía al día. Esto significaba que el coche a menudo conducía con información vieja, ignorando lo que estaba sucediendo justo frente a él.

Este artículo presenta una nueva y astuta forma de solucionar este desajuste, llamada Arquitectura Rápido-Lento (Fast-Slow Architecture). En lugar de obligar al cerebro lento y pesado a hacerlo todo, los investigadores dividieron el trabajo en dos roles. Tienen un "Sistema Lento" (el gran cerebro de 7 mil millones de parámetros) que actúa como un sabio bibliotecario. Lee el historial largo del trayecto y las instrucciones de navegación, pero solo actualiza sus notas cada pocos segundos. Crucialmente, mantiene una "representación estática" del mundo —un resumen almacenado en caché de todo lo que ha visto hasta ahora— listo para ser usado. Luego, tienen un "Sistema Rápido" (un experto diminuto y ligero de 337 millones de parámetros) que actúa como un conductor reflexivo. Este experto rápido toma las notas almacenadas en caché del bibliotecario y la imagen de la cámara más reciente cada 50 milisegundos (20 veces por segundo) para tomar decisiones inmediatas de dirección.

Los investigadores probaron este sistema en una simulación por computadora llamada CARLA. Descubrieron que, al usar este enfoque dividido, el coche podía tomar decisiones frescas y al instante en cada tic del reloj, en lugar de saltarse latidos. Los resultados fueron dramáticos: mientras que el método antiguo (que tenía que saltarse fotogramas) solo completaba el 37% de las rutas de prueba, este nuevo sistema rápido-lento completó el 94% de ellas. También redujo las violaciones de semáforos en rojo en un tercio. El equipo demostró que el experto "rápido" era lo suficientemente inteligente como para manejar el hecho de que las notas del bibliotecario lento fueran ligeramente viejas (un concepto que llaman "obsolescencia" o staleness), porque entrenaron al experto para que esperara exactamente ese tipo de retraso. En resumen, demostraron que no necesitas hacer que todo el cerebro sea más rápido; solo necesitas dejar que un asistente rápido haga el trabajo pesado utilizando la sabiduría almacenada en caché del cerebro lento, permitiendo que el coche conduzca de forma segura y fluida en tiempo real.

Resumen Técnico: Inferencia de Visión-Lenguaje-Acción Asíncrona Rápida-Lenta para Conducción de Bucle Cerrado

Planteamiento del Problema

Los Grandes Modelos de Visión y Lenguaje (VLM) han introducido el seguimiento de instrucciones y el razonamiento de escenas en la conducción de extremo a extremo. Sin embargo, su alta latencia de inferencia crea un conflicto fundamental con las tasas de control requeridas para la conducción de bucle cerrado (típicamente 20 Hz, o ciclos de 50 ms). Los agentes existentes, como LMDrive, resuelven esto saltándose ciclos de simulación: el modelo se ejecuta en ciclos alternos y el comando anterior se reproduce entre medias. Este enfoque de "salto de fotogramas" significa que el vehículo actúa basándose en decisiones obsoletas durante 50–100 ms, ignorando las observaciones más recientes. Los autores argumentan que esto es una limitación arquitectónica más que fundamental, ya que la comprensión de instrucciones y la agregación temporal cambian lentamente, mientras que mapear el fotograma actual a una trayectoria debe ser rápido.

Metodología

El artículo propone una Arquitectura Asíncrona Rápida-Lenta que desacopla el razonamiento pesado del VLM del bucle de control de alta frecuencia.

Descomposición del Sistema:
- Sistema Lento (El Núcleo/Backbone): Un núcleo LLaMA de 7B congelado (basado en LMDrive) actúa como el sistema lento. Procesa instrucciones de navegación e historial visual a una frecuencia baja (por ejemplo, cada $K=4$ ciclos). Crucialmente, expone su caché de Clave-Valor (KV) por capa como una representación estacionaria de la escena. El núcleo añade nuevos tokens visuales a esta caché mediante una pasada hacia adelante incremental y solo reconstruye la caché por completo ante eventos de invalidación específicos (cambio de instrucción, fin del episodio o límite de ventana).
- Sistema Rápido (El Experto en Acción): Un transformador ligero de 337 millones de parámetros actúa como el sistema rápido. Se ejecuta en cada ciclo de simulación (20 Hz). Realiza atención cruzada hacia los estados de caché KV del núcleo en cada capa mientras procesa el fotograma de la cámara actual y un token de estado del ego (que contiene predicciones previas y velocidad). Regresa cinco puntos de ruta (waypoints) en una única pasada hacia adelante. El núcleo nunca presta atención a los tokens del experto, asegurando que la caché permanezca idéntica independientemente de si el experto se ejecuta o no.
Entrenamiento con Aumento de Obsolescencia (Staleness-Augmented Training):
Dado que la caché en el despliegue tiene un retraso de hasta $K$ ciclos respecto al estado actual del mundo, el experto debe aprender a operar con contexto obsoleto. Los autores introducen la obsolescencia aleatoria durante el entrenamiento: para cada muestra, se aplica un retraso aleatorio $\delta$ , enmascarando el prefijo del núcleo visible para el experto de modo que termine en un fotograma anterior ( $j - \delta$ ). Esto obliga al experto a fusionar un resumen de la escena desactualizado con evidencia fresca por ciclo, alineando la distribución de entrenamiento con la realidad asíncrona del despliegue.
Despliegue Asíncrono:
El agente mantiene la caché del núcleo como un estado mutable. Cada $K$ ciclos, el sistema lento actualiza la caché. En cada ciclo, el sistema rápido lee la caché existente y el fotograma actual para generar el control. Esto permite al sistema emitir un control fresco a 20 Hz con un costo por ciclo independiente de la longitud del historial.

Contribuciones Clave

Esquema de Inferencia Rápida-Lenta Asíncrona: Una arquitectura novedosa que transforma el núcleo del VLM en un proveedor de contexto cacheado y actualizado incrementalmente, trasladando toda la computación por ciclo a un experto ligero.
Entrenamiento con Aumento de Obsolescencia: Una estrategia de entrenamiento que simula explícitamente el retraso de la caché encontrado en el despliegue asíncrono, permitiendo que el experto compense el contexto desactualizado.
Primera Evaluación de Bucle Cerrado con Latencia Medida: La primera demostración de un paradigma VLA rápido-lento que logra tasas de control completas en hardware de consumo (RTX 3090 Ti) con latencia medida, yendo más allá de los benchmarks de bucle abierto donde la latencia es simplemente registrada.

Resultados Experimentales

Evaluado en el benchmark LangAuto-Short en CARLA (Town 05) y transferencia zero-shot a ciudades no vistas:

Completitud de la Ruta: El sistema aumentó la completitud de la ruta del 37.0% al 94.0% en comparación con la línea base de salto de fotogramas.
Puntuación de Conducción: La puntuación de conducción mejoró de 28.8 a 32.9.
Ablación de Factores:
- Calidad del Experto: Ejecutar el mismo experto a la tasa de 10 Hz (salto de fotogramas) de la línea base mejoró la puntuación de conducción a 34.0, indicando que el experto en sí mismo mejora la calidad de la decisión.
- Frescura del Control: Pasar de 10 Hz a 20 Hz (control fresco en cada ciclo) aumentó la completitud de la ruta del 82.1% al 94.0%, redujo las desviaciones de la ruta en más de la mitad y recortó las violaciones de semáforos en un tercio.
Latencia: El enfoque heredado (recomputación completa) toma 89–169 ms por paso, excediendo el presupuesto de 50 ms. El método propuesto mantiene un costo plano de 32 ms por ciclo (32.4 ms de computación del modelo), independientemente de la longitud del historial, ajustándose cómodamente al presupuesto de 50 ms.
Precisión de Bucle Abierto: El experto redujo el error L1 de los waypoints de 0.123 (cabezal del núcleo congelado) a 0.031, una mejora de casi un factor de cuatro.
Transferencia Zero-Shot: Entrenado solo en Town 05, el experto logró un 84.3% de completitud en Town 01 y un 94.4% en Town 02, superando significativamente a la línea base (40.5% y 30.7%, respectivamente).
Limitaciones: En rutas largas en Town 03 (no vista durante el entrenamiento), el sistema completó el 85.4% de la ruta pero sufrió problemas de seguridad (colisiones, violaciones de semáforos) debido a la falta de datos de entrenamiento para tráfico denso y negociación de peligros de largo horizonte.

Significancia y Reivindicaciones

El artículo afirma que el problema de la latencia en la conducción basada en VLM es arquitectónico, no fundamental. Al separar los componentes de razonamiento pesado del núcleo de los componentes reactivos rápidos, el sistema logra:

Control Fresco: La capacidad de reaccionar a cada ciclo de simulación sin sacrificar las capacidades de razonamiento de un modelo grande.
Escalabilidad: El costo por ciclo es independiente de la longitud del historial, lo que permite el razonamiento de largo horizonte sin aumentar el tiempo de inferencia.
Ganancias de Rendimiento: La combinación de un mejor experto de acción y la frescura por ciclo mejora drásticamente las métricas de completitud de ruta y seguridad (menos desviaciones y violaciones) en comparación con las líneas base de salto de fotogramas de última generación.

Los autores enfatizan que, si bien el sistema demuestra mejoras significativas en simulación, sigue siendo un estudio de simulación entrenado en rutas cortas. Advierten que el éxito del sistema en la negociación de peligros de largo horizonte está limitado por los datos de entrenamiento, no por la arquitectura misma, y que el sistema aún no está listo para el despliegue en carreteras del mundo real.