HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

Resumen Técnico: HiST-VLA

1. El Problema

Los sistemas de conducción autónoma (AD) actuales, especialmente los basados en modelos de Visión-Lenguaje-Acción (VLA), enfrentan limitaciones críticas cuando se aplican a escenarios de seguridad crítica:

• Razonamiento numérico impreciso: Los modelos VLA existentes a menudo fallan en cálculos precisos necesarios para el control.
• Conciencia espacial 3D débil: Carecen de una comprensión geométrica profunda del entorno, lo que dificulta la interpretación de estructuras 3D.
• Falta de coherencia temporal: Tienen dificultades para mantener la consistencia en las decisiones a lo largo del tiempo, lo que genera trayectorias bruscas o poco naturales.
• Acoplamiento suelto: En arquitecturas híbridas, la desconexión entre las salidas de alto nivel (lenguaje) y el control de bajo nivel (vehículo) provoca reacciones poco fiables a instrucciones naturales.
• Ineficiencia computacional: El procesamiento de todos los tokens visuales genera redundancia y alta latencia.

2. Metodología: HiST-VLA

El authors proponen HiST-VLA, un modelo VLA jerárquico diseñado para generar trayectorias fiables mediante un enfoque de "pura" integración (End-to-End) sin depender de módulos externos costosos. La arquitectura se divide en tres componentes principales:

A. Backbone VLA Espacio-Temporal:

• Codificación Visual Consciente del Espacio: Utiliza un codificador de visión (ViT-L/14) combinado con estimación de profundidad monocultural. Las características 2D se retroproyectan al marco de coordenadas 3D del vehículo, enriqueciendo los tokens visuales con información métrica geométrica.
• Dispersión Dinámica de Tokens (Dynamic Token Sparser): En lugar de filtrar tokens, el modelo fusiona tokens redundantes basándose en la auto-similitud en el espacio de atención. Esto reduce la longitud de la secuencia computacional sin perder características semánticas críticas, mejorando la eficiencia.
• Modelado del Estado Temporal: Incorpora el historial de estados del vehículo (velocidad, aceleración) y la información de navegación en el prompt de texto. Esto transforma la función de política de reactiva a una que considera el contexto histórico ($\pi(a_t | s_t, s_{t-1}, ...)$), mejorando la suavidad y la coherencia.
• Razonamiento de Meta-Acciones Granulares: A diferencia de las acciones discretas simples (ej. "girar a la izquierda"), el modelo utiliza un esquema de acciones finas derivadas de la geometría real (ej. "Giro Izquierdo Leve", "Desaceleración Moderada", "Cambio de Carril"). Esto permite una interpretación más precisa de las intenciones humanas.
• Salida con Confianza: El modelo genera no solo una trayectoria candidata ($\tau_0$) y un comando de conducción, sino también un puntuación de confianza ($\epsilon$) calculada a partir de la probabilidad de los tokens, indicando la certeza de la predicción.

B. Planificador Jerárquico:
Una vez que el VLA genera una trayectoria gruesa, un planificador basado en transformadores la refina en múltiples etapas:

1. Regularización Consciente de la Confianza (VAE): Utiliza un Variational Autoencoder (VAE) para mapear la trayectoria gruesa a un espacio latente. La varianza del ruido inyectado depende de la puntuación de confianza: mayor incertidumbre genera más perturbación para explorar soluciones alternativas.
2. Alineación Semántica: Fusiona las características latentes de la trayectoria con los comandos de conducción granulares mediante atención cruzada.
3. Optimización Guiada por Puntuación: Un módulo de puntuación (Scorer) pre-entrenado evalúa las trayectorias candidatas basándose en seguridad, eficiencia y confort (usando la métrica EPDMS), seleccionando y refinando la mejor trayectoria final ($\tau^*$).

C. Estrategia de Entrenamiento:
El proceso se realiza en tres etapas secuenciales:

1. Pre-entrenamiento del dispersor de tokens.
2. Optimización conjunta del dispersor, LLM y codificador de texto para generar comandos y trayectorias gruesas.
3. Entrenamiento del cabezal del planificador jerárquico para refinar la trayectoria final.

3. Contribuciones Clave

1. Arquitectura HiST-VLA: Un marco unificado que integra el razonamiento geométrico 3D, la coherencia temporal y el refinamiento de trayectorias en múltiples etapas, eliminando la necesidad de sistemas E2E auxiliares.
2. Representación Eficiente: Mecanismo de dispersión de tokens dinámico que reduce la redundancia computacional (fusionando tokens) mientras preserva características semánticas críticas, logrando un equilibrio entre rendimiento y velocidad.
3. Planificación Alineada Semánticamente: Una estrategia de refinamiento multi-estadio que alinea comandos de conducción granulares con la generación de movimiento, asegurando seguridad y confort mediante regularización basada en confianza y puntuación multi-criterio.

4. Resultados Experimentales

El modelo se evaluó exhaustivamente en el benchmark NAVSIM v2, que incluye pruebas de bucle abierto (Navtest) y pseudo-bucle cerrado (Navhard).

• Rendimiento en Navtest (Bucle Abierto):

  • HiST-VLA alcanzó un EPDMS (Extended Predictive Driver Model Score) de 88.6, estableciendo un nuevo estado del arte (SOTA).
  • Superó significativamente a métodos anteriores como DriveSuprim (87.1), DiffusionDrive (84.3) y ZTRS (86.2).
  • Su puntuación se acerca notablemente al rendimiento de un conductor humano experto (90.3).
  • Destacó en métricas de seguridad crítica: Sin colisiones a su cargo (NC: 99.6%), cumplimiento de área de conducción (DAC: 99.1%) y mantenimiento de carril (LK: 98.9%).

• Rendimiento en Navhard (Pseudo-Bucle Cerrado):

  • Logró un EPDMS de 50.9, superando ampliamente a DiffusionDrive (26.0) y Transfuser (23.1).
  • La variante híbrida (HiST-E2E), que usa solo los comandos de HiST-VLA con un planificador externo, también mostró mejoras significativas (+31.5% sobre la línea base), demostrando la generalización del razonamiento espacio-temporal.

• Estudios de Ablación:

  • Se demostró que cada componente (codificación espacial, prompting temporal, acciones granulares y el planificador jerárquico) contribuye de manera sinérgica. La eliminación del módulo de acciones granulares redujo el rendimiento a 83.3, subrayando su importancia crítica.
  • El dispersor de tokens redujo la carga computacional en un 23.7% (de 9,105 a 7,630 GFLOPs) mientras mejoraba la puntuación final.

5. Significado e Impacto

HiST-VLA representa un avance fundamental en la conducción autónoma basada en IA generativa al abordar la brecha entre la comprensión semántica (lenguaje) y el control preciso (acción).

• Seguridad y Confiabilidad: Al integrar el razonamiento 3D y la coherencia temporal directamente en el modelo, se mitigan los riesgos de alucinaciones y errores de planificación en escenarios complejos.
• Eficiencia: La técnica de fusión de tokens permite ejecutar modelos VLA grandes en hardware real con menor latencia, un requisito indispensable para la conducción en tiempo real.
• Interpretabilidad: La capacidad de generar comandos granulares y puntuaciones de confianza hace que el proceso de toma de decisiones sea más transparente y alineado con las expectativas humanas, facilitando la interacción humano-máquina y la validación de seguridad.

En conclusión, HiST-VLA demuestra que los modelos VLA pueden ir más allá de la simple interpretación de escenas para convertirse en planificadores de movimiento robustos, seguros y eficientes, acercando la conducción autónoma de nivel 4/5 a la realidad comercial.