DriveMamba: Task-Centric Scalable State Space Model for Efficient End-to-End Autonomous Driving

El artículo presenta DriveMamba, un modelo de espacio de estado escalable centrado en tareas que utiliza un decodificador unificado Mamba con complejidad lineal y un escaneo bidireccional guiado por trayectorias para superar las limitaciones de eficiencia y pérdida de información de los sistemas de conducción autónoma de extremo a extremo existentes, demostrando un rendimiento superior en conjuntos de datos como nuScenes y Bench2Drive.

Lo esencial

¡Claro que sí! Imagina que conducir un coche autónomo es como dirigir una orquesta muy compleja. Hasta ahora, la mayoría de los sistemas funcionaban como una línea de montaje: primero un grupo de músicos (percepción) miraba la partitura, luego pasaba la hoja a otro grupo (predicción) que adivinaba qué harían los demás, y finalmente un tercer grupo (planificación) decidía cuándo girar o frenar.

El problema de este método es que si el primer grupo se equivoca en una nota, el segundo la copia mal, y el tercero toma una decisión desastrosa. Además, pasar las hojas de un grupo a otro lleva tiempo y hace que la orquesta sea lenta.

Aquí es donde entra DriveMamba, el nuevo "director de orquesta" propuesto en este paper.

¿Qué es DriveMamba?

DriveMamba es un sistema de conducción autónoma que no usa la vieja línea de montaje. En su lugar, crea un equipo unificado donde todos los músicos (detectar peatones, predecir movimientos y planificar rutas) escuchan y reaccionan al mismo tiempo, como si estuvieran en una sola habitación conversando en tiempo real.

Aquí tienes las tres ideas clave explicadas con analogías sencillas:

1. El "Cerebro" Rápido y Eficiente (Mamba vs. Transformer)

La mayoría de los sistemas actuales usan una tecnología llamada Transformer. Imagina que el Transformer es como un estudiante muy inteligente que, para resolver un problema, tiene que leer toda la biblioteca antes de escribir una sola palabra. Si la biblioteca crece (más datos, más coches, más tráfico), el estudiante se vuelve lento y necesita una biblioteca gigante (mucho espacio en la memoria).

DriveMamba usa una tecnología llamada Mamba.

• La analogía: Imagina a un camarero experto en un restaurante muy concurrido. En lugar de leer todo el menú de todos los clientes antes de tomar una orden, el camarero escucha, entiende y actúa al instante, moviéndose de mesa en mesa con una eficiencia increíble.
• El resultado: DriveMamba es mucho más rápido (hasta 3 veces más rápido) y necesita mucha menos memoria que sus competidores. Esto significa que puede funcionar en coches reales sin necesitar superordenadores gigantes.

2. El "Mapa de Tráfico" en Tiempo Real (Escaneo Híbrido)

Para conducir bien, el coche necesita saber qué está pasando a su alrededor. Los sistemas antiguos creaban un mapa denso y pesado de todo el entorno (como pintar toda la ciudad con pintura). DriveMamba es más inteligente: solo pinta lo que importa.

• La analogía: Imagina que estás en una multitud. Un sistema antiguo intentaría mirar a cada persona de la multitud al mismo tiempo. DriveMamba, en cambio, tiene un superpoder de atención: sabe que lo más importante es lo que está justo frente a ti o en tu camino (como un peatón cruzando), y lo ignora si está lejos o no es relevante.
• El truco: Usa un método de "escaneo" que sigue la trayectoria del coche. Es como si el coche dijera: "Primero miro lo que está a mi derecha porque voy a girar, luego miro lo que está adelante". Esto le permite tomar decisiones de conducción más naturales y seguras.

3. La "Memoria" que no se Olvida (Fusión Temporal)

Conducir no es solo mirar lo que hay ahora; es recordar lo que pasó hace unos segundos para predecir el futuro.

• La analogía: Imagina que conduces en una carretera con niebla. Un sistema antiguo podría "olvidar" que había un coche frenando hace 2 segundos porque su memoria se llena rápido. DriveMamba tiene una memoria de flujo continuo (como un río). Guarda los detalles importantes de los últimos segundos en una cola inteligente, permitiéndole predecir dónde estará un coche en 3 segundos con mucha precisión, sin saturarse.

¿Por qué es un gran avance?

En las pruebas reales (usando datos de ciudades reales y simulaciones), DriveMamba ha demostrado ser:

• Más seguro: Comete menos errores y tiene menos probabilidades de chocar.
• Más rápido: Puede tomar decisiones en milisegundos, lo que es vital para evitar accidentes.
• Más escalable: Como es tan eficiente, podemos hacerlo "más grande" (más inteligente) sin que se vuelva lento.

En resumen:
DriveMamba es como cambiar de un sistema de conducción que funciona con "papeles y carpetas" (lento y propenso a errores) a un sistema que funciona como un reflejo humano rápido y coordinado. No solo ve el mundo, sino que entiende las relaciones entre los objetos y decide qué hacer de forma instantánea, segura y eficiente, todo gracias a una nueva forma de "pensar" llamada Mamba.

¡Es un paso gigante hacia coches que realmente saben conducir solos!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "DriveMamba: Task-Centric Scalable State Space Model for Efficient End-to-End Autonomous Driving", publicado en ICLR 2026.

1. Planteamiento del Problema

El campo de la Conducción Autónoma de Extremo a Extremo (E2E-AD) ha avanzado hacia la integración de módulos modulares (percepción, predicción y planificación) en un marco unificado. Sin embargo, los enfoques actuales presentan limitaciones críticas:

• Paradigma Secuencial y Pérdida de Información: La mayoría de los métodos existentes (como UniAD) siguen un paradigma secuencial basado en Transformers ("percepción → predicción → planificación"). Este orden manual provoca pérdida de información y errores acumulativos entre módulos, además de restringir el modelado flexible de las relaciones entre tareas.
• Ineficiencia Computacional y Escalabilidad: Los métodos basados en características densas en Vista de Vehículo (BEV) son computacionalmente costosos, especialmente para percepciones a largo alcance. Además, el mecanismo de atención de los Transformers tiene una complejidad cuadrática ($O(N^2)$), lo que dificulta el manejo de entradas espaciotemporales de alta resolución y larga duración, limitando la escalabilidad del sistema.
• Falta de Modelado de Relaciones Dinámicas: Los enfoques paralelos actuales a menudo ignoran las relaciones dinámicas entre diferentes módulos y sensores, y carecen de una evaluación en bucle cerrado que refleje fielmente el rendimiento en condiciones reales.

2. Metodología: DriveMamba

Los autores proponen DriveMamba, un paradigma escalable centrado en la tarea que utiliza un Decodificador Unificado Mamba para la conducción autónoma eficiente. En lugar de generar características BEV densas, el modelo se basa en representaciones dispersas (tokens).

Componentes Clave:

• Tokenización y Representación Dispersa:

  • Las imágenes de múltiples vistas se codifican en tokens de imagen.
  • Se definen consultas específicas para tareas: Agent Queries (objetos dinámicos), Map Queries (elementos estáticos) y Ego Query (intención del vehículo).
  • Se utilizan embeddings posicionales (espaciales, temporales y de tarea) para distinguir los tokens. Se estima la profundidad a nivel de puntos para ordenar los tokens en el espacio 3D.

• Decodificador Unificado Mamba:

  • Utiliza bloques Bidireccionales Mamba (B-Mamba) en lugar de Transformers. Mamba es un Modelo de Espacio de Estados (SSM) con complejidad lineal ($O(N)$), lo que permite un modelado eficiente de contextos largos.
  • El decodificador integra simultáneamente tres funciones en un solo paso:
    1. Aprendizaje de Correspondencia de Vista (VCL): Las consultas de tarea extraen semántica directamente de los tokens de sensores sin construir características BEV densas.
    2. Modelado de Relaciones de Tarea (TRM): Captura dependencias dinámicas entre tareas (ej. percepción orientada a la planificación) en paralelo.
    3. Fusión Temporal a Largo Plazo (LTF): Utiliza una cola de memoria FIFO (First-In-First-Out) para almacenar consultas históricas, permitiendo modelado temporal eficiente sin el costo de almacenamiento de características BEV históricas.

• Escaneo Espaciotemporal Híbrido:

  • Para preservar la localidad espacial desde la perspectiva del vehículo (ego), se diseña un método de escaneo bidireccional "Local-to-Global" guiado por la trayectoria.
  • Este método ajusta dinámicamente el orden de escaneo de los tokens basándose en la distancia relativa entre los puntos de referencia de la trayectoria futura del vehículo y las consultas de tareas circundantes. Esto prioriza la atención en los elementos críticos para la planificación.

• Entrenamiento de Extremo a Extremo:

  • Se emplea una estrategia de entrenamiento en un solo paso (single-stage) con pérdidas conjuntas para detección, mapeo, profundidad, predicción de movimiento y planificación. No hay dependencias secuenciales entre las tareas durante el entrenamiento.

3. Contribuciones Clave

1. Paradigma Centrado en la Tarea con Mamba: Introducción de DriveMamba, el primer decodificador basado puramente en SSM (Mamba) para E2E-AD, que unifica la correspondencia de vista, las relaciones de tarea y la fusión temporal en un marco escalable y eficiente.
2. Escaneo Híbrido Espaciotemporal: Diseño de un método de escaneo bidireccional que combina "Espacial-Primero" (para percepción) y "Local-to-Global guiado por Trayectoria" (para planificación), preservando la localidad espacial y temporal necesaria para la planificación del vehículo ego.
3. Eficiencia y Escalabilidad Superior: Gracias a la complejidad lineal de Mamba, el modelo maneja secuencias largas y de alta resolución con un uso de memoria significativamente menor que los Transformers, permitiendo un escalado más eficiente de los modelos.
4. Evaluación Exhaustiva: Validación en conjuntos de datos de bucle abierto (nuScenes) y bucle cerrado (Bench2Drive), demostrando superioridad tanto en métricas de percepción como en puntuación de conducción.

4. Resultados Experimentales

Los experimentos se realizaron en nuScenes y Bench2Drive.

• Rendimiento en Planificación (Open-Loop en nuScenes):
  • La variante DriveMamba-Tiny logra un error L2 promedio de 0.44m y una tasa de colisión del 0.15%, superando a UniAD y VAD.
  • Alcanza una velocidad de inferencia de 17.9 FPS, siendo aproximadamente 10 veces más rápido que UniAD y 4 veces más rápido que VAD.
• Rendimiento en Planificación (Closed-Loop en Bench2Drive):
  • DriveMamba-Tiny obtiene una Driving Score (DS) de 53.54, superando a métodos anteriores como AD-MLP y UniAD-Base.
  • La variante DriveMamba-Base alcanza una DS de 65.50, superando a DriveTransformer-Large (que tiene 607M de parámetros) con una arquitectura mucho más pequeña y eficiente.
• Eficiencia y Uso de Memoria:
  • DriveMamba reduce el consumo de memoria de GPU en un 68.8% y aumenta la velocidad de procesamiento en 3.2x en comparación con los métodos basados en Transformers al escalar la resolución de entrada.
• Percepción Orientada a la Planificación:
  • El modelo demuestra una mejora monótona en la percepción de objetos en la trayectoria más cercana (CIPO) a medida que se añaden capas, confirmando su capacidad para aprender sinergias de tareas orientadas a la planificación.

5. Significado e Impacto

DriveMamba representa un cambio de paradigma significativo en la conducción autónoma de extremo a extremo:

• Superación de los Limites de los Transformers: Demuestra que los Modelos de Espacio de Estados (SSM) como Mamba pueden superar a los Transformers en tareas de visión y planificación secuencial, resolviendo el cuello de botella de la complejidad cuadrática.
• Escalabilidad Práctica: La arquitectura permite escalar modelos a grandes tamaños y manejar entradas de alta resolución y larga duración sin los costos prohibitivos de memoria de los métodos actuales, lo cual es crucial para la implementación en vehículos reales con recursos limitados.
• Eficiencia Operativa: Al eliminar la necesidad de características BEV densas y utilizar un decodificador unificado, DriveMamba ofrece una solución "plug-and-play" altamente eficiente, capaz de ejecutarse en chips de automóviles comerciales con un rendimiento superior en seguridad y eficiencia.

En resumen, DriveMamba establece un nuevo estado del arte en la conducción autónoma E2E al combinar la eficiencia computacional de Mamba con un diseño centrado en la tarea que mejora la interacción dinámica entre percepción, predicción y planificación.