DAP: A Discrete-token Autoregressive Planner for Autonomous Driving

DAP es un planificador autoregresivo basado en tokens discretos que, mediante la predicción conjunta de semántica BEV y trayectorias del vehículo junto con un ajuste fino por aprendizaje por refuerzo, logra un rendimiento superior en la conducción autónoma con una arquitectura compacta y escalable.

Lo esencial

¡Claro que sí! Imagina que este paper es como la receta para crear un chofer robot que no solo sabe conducir, sino que también tiene una "bola de cristal" para predecir el futuro.

Aquí te explico el concepto de DAP (el nombre del sistema) con un lenguaje sencillo y algunas analogías divertidas:

1. El Problema: El chofer que solo mira el espejo

La mayoría de los coches autónomos actuales funcionan como un estudiante que solo memoriza las respuestas del profesor. Si el profesor (los datos de entrenamiento) dice "gira a la izquierda", el coche gira a la izquierda.

• El problema: Si el coche se encuentra con una situación nueva (lluvia fuerte, un perro cruzando), se confunde porque solo ha memorizado, no ha entendido por qué se gira. Además, estos modelos suelen ser muy pesados y lentos, como un camión cargado de ladrillos.

2. La Solución: DAP, el "Novelista" de la carretera

Los autores proponen DAP, que funciona como un escritor de novelas de misterio en tiempo real. En lugar de solo decirte "gira a la izquierda", DAP escribe la historia completa de los próximos segundos.

• La analogía del "Token Discreto": Imagina que el coche no ve el mundo como una película continua, sino como una serie de tarjetas de dibujo (como un cómic).
  • DAP convierte todo lo que ve (otros coches, semáforos, la carretera) en estas tarjetas.
  • Luego, predice qué tarjetas aparecerán después y qué movimiento hará su propio coche.
  • Es como si el coche dijera: "En el siguiente cuadro del cómic, aparecerá un camión a la derecha (tarjeta 1) y yo frenaré (tarjeta 2)".

3. El Truco Maestro: Predecir el entorno y el movimiento juntos

Aquí está la magia. Los sistemas viejos solo predecían: "¿Dónde voy a estar yo?". DAP hace dos cosas a la vez:

1. Predice el futuro del mundo: "¿Cómo cambiará la escena? ¿Aparecerá un peatón? ¿Se pondrá rojo el semáforo?".
2. Predice su propio movimiento: "¿Qué haré yo en respuesta a eso?".

La analogía del ajedrez:
Un jugador novato solo piensa: "Si muevo mi caballo aquí, ¿qué pasa?".
DAP es como un Gran Maestro que piensa: "Si muevo mi caballo, mi oponente moverá su torre, y entonces yo podré atacar".
Al predecir cómo cambiará el entorno (el tablero) y su propio movimiento (la pieza) al mismo tiempo, el coche entiende mejor la relación entre ambos. Si el entorno cambia, su movimiento se ajusta automáticamente.

4. El Entrenamiento: De "Copiar" a "Aprender de la experiencia"

El paper menciona dos fases de entrenamiento, que podemos comparar con aprender a conducir:

• Fase 1 (Imitación): El coche observa a un conductor humano experto y trata de copiar sus movimientos exactamente. Es como un alumno de pilotaje que sigue las instrucciones del instructor.
• Fase 2 (Refuerzo con "Premios" y "Castigos"): Aquí entra la inteligencia. El sistema le dice al coche: "Oye, copiaste bien al instructor, pero si hubieras frenado un poco antes, habrías evitado un susto".
  • Usan un sistema de recompensas: Si el coche se mantiene en el carril y es suave, gana puntos. Si se acerca demasiado a otro coche, pierde puntos.
  • Esto hace que el coche no solo copie, sino que piense qué es lo más seguro y cómodo, incluso si el conductor humano original cometió un error.

5. ¿Por qué es tan especial? (Eficiencia y Velocidad)

Lo más impresionante es que, aunque este sistema es muy inteligente, es muy ligero.

• La analogía del teléfono: Otros sistemas son como una computadora de escritorio gigante que necesita un servidor para funcionar. DAP es como un teléfono inteligente moderno: es pequeño, rápido y hace cosas increíbles con pocos recursos.
• Funciona tan bien que, aunque tiene muchos menos "cerebros" (parámetros) que sus rivales, gana en las pruebas de seguridad y suavidad.

En resumen

DAP es un sistema de conducción autónoma que:

1. Convierte el mundo en "tarjetas" (tokens) para entenderlo mejor.
2. Imagina el futuro de la carretera y su propio movimiento al mismo tiempo, como un novelista escribiendo una historia.
3. Aprende no solo copiando, sino entendiendo qué acciones son seguras y cómodas gracias a un sistema de premios y castigos.
4. Es tan eficiente que puede correr en hardware pequeño, haciendo que los coches autónomos sean más seguros y accesibles en el futuro.

¡Es como darle a tu coche una mente que no solo ve el presente, sino que ya está viviendo el futuro para evitar accidentes antes de que ocurran!

Resumen técnico

Resumen Técnico: DAP (Planificador Autoregresivo de Tokens Discretos)

1. El Problema

El campo de la planificación para la conducción autónoma enfrenta dos desafíos principales al intentar escalar modelos y datos:

• Ineficiencia en la Supervisión: Los métodos autoregresivos (AR) tradicionales que predicen solo la trayectoria del vehículo (ego) sufren de supervisión dispersa. Al predecir únicamente la acción del ego, el modelo no aprende explícitamente cómo evoluciona el entorno, lo que resulta en una restricción débil sobre cómo los cambios en la escena deben moldear el movimiento del vehículo.
• Limitaciones de los Modelos No Autoregresivos: Aunque los métodos no autoregresivos (como los basados en difusión o mapeo directo) son populares, a menudo carecen de la capacidad de escalar eficientemente con el aumento de datos y tamaño del modelo, una ventaja demostrada por los modelos de lenguaje grandes (LLM) basados en transformers decodificadores.
• Ambigüedad en la Imitación: La Aprendizaje por Imitación (IL) pura tiende a sobreajustarse a las demostraciones expertas, seleccionando modos de comportamiento subóptimos o inseguros cuando hay múltiples trayectorias factibles con errores de pérdida similares (ej. chocar vs. mantenerse en carril).

2. Metodología

Los autores proponen DAP, un planificador que reformula la planificación como una tarea de modelado de secuencias de tokens discretos, utilizando una arquitectura Transformer decodificador-only con capas de Mixture of Experts (MoE) dispersas.

Componentes Clave:

• Tokenización Discreta:

  • Entorno (BEV): Las características semánticas del entorno en Vista Aérea (BEV) se discretizan utilizando un VQ-VAE (Vector Quantized Variational Autoencoder), generando tokens de entorno discretos.
  • Acciones (Ego): La trayectoria del vehículo se representa mediante pares de curvatura-aceleración ($\kappa-a$), que también se discretizan en tokens de acción.
  • Comandos: Las órdenes de enrutamiento se tokenizan como variables categóricas.

• Arquitectura Autoregresiva Conjunta:

  • DAP utiliza un Transformer decodificador-only que genera secuencias de tokens de manera autoregresiva.
  • Predicción Conjunta: En cada paso de tiempo, el modelo predice simultáneamente:
    1. Tokens de BEV semánticos: Que capturan la evolución futura de la escena.
    2. Tokens de trayectoria ($\kappa-a$): Que gobiernan el movimiento del ego.
  • Mecanismo de Atención Híbrido: Para acelerar la inferencia, los tokens de BEV dentro del mismo paso de tiempo se generan en paralelo mediante atención bidireccional intra-paso, mientras que los tokens de acción se generan condicionalmente a los tokens de BEV recién generados mediante atención causal. Esto asegura la causalidad temporal sin sacrificar la velocidad.

• Entrenamiento en Dos Etapas (IL + RL):

  • Etapa I (Supervisión): Entrenamiento inicial mediante Aprendizaje por Imitación (Behavior Cloning - BC) para aprender a predecir tokens de BEV y trayectoria a partir de datos históricos.
  • Etapa II (Ajuste Fino con RL): Se aplica un ajuste fino basado en SAC-BC (Soft Actor-Critic + Behavior Cloning).
    • Se introduce una señal de recompensa que penaliza colisiones, desviaciones del carril y falta de comodidad.
    • El objetivo combina la pérdida de BC (para mantener la consistencia con el experto) y la pérdida de SAC (para optimizar la seguridad y la comodidad). Esto rompe la simetría de la pérdida, guiando al modelo a elegir modos más seguros incluso si la pérdida de imitación es similar.

• Post-ajuste de Trayectoria:

  • Una etapa ligera de suavizado basada en reglas se aplica a la salida discreta para reducir el "zig-zag" lateral y mejorar la comodidad, sin modificar la interfaz del planificador.

3. Contribuciones Clave

1. Planificador Autoregresivo con Tokens Discretos: Propuesta de DAP, que utiliza una arquitectura decoder-only con MoE dispersa para generar tokens de escena y trayectoria de manera conjunta, ofreciendo una interfaz simple y eficiente.
2. Predicción Conjunta Entorno-Traectoria: Al predecir semánticas BEV futuras junto con la trayectoria, se logra una supervisión densa y espaciotemporalmente alineada. Esto acopla fuertemente la comprensión de la escena con la generación de movimiento, mejorando la asignación de crédito en múltiples pasos.
3. Ajuste Fino SAC-BC: Superación de las limitaciones de la IL pura mediante un enfoque híbrido que preserva la simplicidad arquitectónica pero incorpora señales de recompensa para mejorar la toma de decisiones en bucle cerrado (seguridad y comodidad).
4. Eficiencia y Rendimiento: DAP logra un rendimiento de vanguardia (SOTA) con un presupuesto de parámetros muy compacto (120M parámetros), demostrando que la escalabilidad no requiere necesariamente modelos masivos si la formulación es eficiente.

4. Resultados Experimentales

El modelo fue evaluado en varios benchmarks de conducción autónoma:

• Evaluación en Bucle Abierto (Open-loop):

  • nuScenes: DAP alcanza el mejor resultado en $L2_{max}$ (error máximo) y iguala a los mejores en $L2_{avg}$, superando a modelos como UniAD, OpenDriveVLA y EMMA.
  • NuPlan: Establece un nuevo estado del arte en métricas de precisión de distribución (8s ADE) y tasa de éxito de planificación (OLS) en múltiples particiones (Val4k, Test4k, Val14).

• Evaluación en Bucle Cerrado (Closed-loop):

  • NAVSIM v1 (PDMS): Con una puntuación de 90.0, DAP iguala o supera a la mayoría de los métodos basados solo en cámaras, logrando una puntuación de comodidad perfecta (100.0) y un alto progreso (EP). Destaca que lo hace con 120M parámetros, mientras que competidores cercanos (como DriveVLA-W0) utilizan modelos de miles de millones de parámetros.
  • NAVSIM v2 (EPDMS): Logra una puntuación de 85.6, superando significativamente a la línea base y siendo competitivo con planificadores de aprendizaje profundo avanzados, especialmente en métricas de progreso y comodidad histórica.

• Estudios de Ablación:

  • Se demostró que la predicción conjunta de BEV es esencial (eliminarla reduce drásticamente el rendimiento).
  • El ajuste fino con SAC-BC mejora consistentemente sobre el BC puro.
  • La escalabilidad de datos es efectiva: aumentar el conjunto de datos de entrenamiento mejora el rendimiento de manera monótona.

5. Significado e Impacto

El trabajo de DAP es significativo porque:

• Valida la Escalabilidad en Conducción: Demuestra que los paradigmas de modelado de secuencias discretas (inspirados en LLM) son altamente escalables y eficientes para la planificación de conducción autónoma.
• Eficiencia de Recursos: Logra resultados de vanguardia con una fracción de los parámetros de los modelos VLM (Vision-Language Models) actuales, lo que sugiere un camino hacia la implementación en hardware con recursos limitados.
• Unificación de Visión y Planificación: Al integrar la predicción del mundo (BEV) y la acción (trayectoria) en un solo proceso autoregresivo, DAP supera la desconexión entre percepción y planificación, permitiendo que la dinámica predicha condicione directamente el movimiento del vehículo.
• Robustez en Bucle Cerrado: La combinación de tokens discretos y ajuste fino con RL proporciona un equilibrio superior entre seguridad, comodidad y eficiencia computacional, abordando problemas críticos como la deriva de covariables y la selección de modos inseguros.

En conclusión, DAP presenta un paradigma de planificación compacto, escalable y robusto que alinea la evolución del entorno con la generación de movimiento, estableciendo un nuevo estándar de eficiencia en la conducción autónoma.