Resumen Técnico: MAPLE – Juego Latente Multiagente para Conducción Autónoma de Extremo a Extremo

1. Declaración del Problema

La conducción autónoma de extremo a extremo (E2E) busca unificar la percepción, la predicción y la planificación en un único modelo aprendido. Aunque los recientes modelos Visión-Lenguaje-Acción (VLA) han mejorado la robustez al fundamentar el comportamiento de conducción en el lenguaje, adolecen de una limitación crítica: se entrenan principalmente de manera en bucle abierto utilizando ajuste fino supervisado (SFT) sobre datos de conducción registrados.

Este enfoque trata a los agentes de tráfico circundantes como no reactivos, fallando en modelar las interacciones en bucle cerrado inherentes a la conducción en el mundo real. En consecuencia, estos modelos luchan contra:

• Desplazamiento de Covariable: Las pequeñas desviaciones de las trayectorias demostradas se acumulan con el tiempo, lo que lleva a fallos en la planificación.
• Etiquetas Escasas: Las trayectorias de verdad fundamental capturan solo una pequeña fracción del espacio de acciones posible, limitando el aprendizaje de políticas robustas para escenarios de cola larga.
• Limitaciones de la Simulación: Los métodos existentes de entrenamiento en bucle cerrado dependen de simuladores externos (por ejemplo, CARLA) que operan sobre representaciones simbólicas (cajas delimitadoras, mapas). Aunque escalables, estos simuladores son computacionalmente costosos de ejecutar a nivel de píxel para modelos E2E y a menudo sufren de discrepancias en la fidelidad visual con los datos del mundo real.

El desafío central es habilitar un entrenamiento escalable, en bucle cerrado y multiagente para planificadores E2E sin depender de simuladores costosos y de baja fidelidad a nivel de píxel.

2. Metodología: Marco MAPLE

Los autores proponen MAPLE (Juego Latente Multiagente), un marco que simula el comportamiento del vehículo ego y múltiples agentes reactivos enteramente dentro del espacio latente de un modelo VLA. Esto evita la carga computacional de la simulación a nivel de píxel mientras soporta interacciones en bucle cerrado y de múltiples pasos.

Arquitectura

MAPLE se construye sobre una columna vertebral de LLM multimodal (Qwen2.5-1.5B-VL) e incluye:

• Codificadores: Codificadores de visión y de mapa para procesar imágenes multivista y características del mapa.
• Tokens Latentes: Los agentes se representan como tokens latentes compactos que codifican la dinámica (posición, velocidad, aceleración), el tipo, el segmento del mapa y el estado del tráfico.
• Cabezas:
  • Cabeza de Planificación de Acción: Un Codificador-Decoder Variacional (VAE) que decodifica los tokens del vehículo ego y de los agentes reactivos en puntos de referencia de trayectoria.
  • Cabeza de Predicción de Movimiento: Un MLP que regresa trayectorias futuras para agentes de fondo (no reactivos).
  • Predicción de Estado Futuro: Una cabeza entrenada para predecir el siguiente estado de los agentes para estabilizar el espacio de tokens.

Pipeline de Entrenamiento

El marco opera en tres etapas distintas:

Etapa 1: Preentrenamiento

La columna vertebral VLA se preentrena en tareas auxiliares para aprender representaciones estables de tokens latentes:

• Detección de objetos 3D, segmentación de mapa, predicción de movimiento de agentes y segmentación de semáforos.
• Predicción de Estado Futuro: El modelo predice el siguiente estado ($S_{t+1}$) dado el estado actual ($S_t$), minimizando una función de pérdida que combina entropía cruzada para etiquetas discretas (tipo, segmento de mapa, estado del tráfico) y regresión $\ell_1$ para dinámicas continuas.

Etapa 2: Ajuste Fino Supervisado (SFT) con Despliegue Multiagente

Esta etapa introduce despliegues de escenarios autoregresivos en el espacio latente:

• Despliegue Multiagente: El vehículo ego y un subconjunto de agentes reactivos (aquellos propensos a interactuar) se despliegan conjuntamente sobre un horizonte $T$. Los agentes de fondo se predicen mediante regresión pero no son controlados por las cabezas de planificación.
• Proceso: En cada paso, el modelo predice tokens futuros condicionados a los tokens actuales y a las descripciones del escenario. Estos tokens se decodifican en trayectorias y se retroalimentan como entrada para el siguiente paso.
• Objetivo: El modelo se supervisa utilizando trayectorias de verdad fundamental para el vehículo ego y los agentes reactivos, minimizando las pérdidas de planificación y predicción de movimiento sobre el horizonte de despliegue.

Etapa 3: Aprendizaje por Refuerzo Post-Entrenamiento (RL)

Para manejar eventos de cola larga y fomentar comportamientos diversos, el modelo SFT se ajusta fino utilizando Optimización de Política Relativa por Grupos (GRPO). La estructura de recompensas está diseñada para promover la seguridad, el progreso y la diversidad:

1. Recompensa Global ($G_t$): Fomenta despliegues libres de colisiones y penaliza infracciones a nivel de escena.
2. Recompensa Específica del Vehículo ($r_t$): Promueve la finalización de la ruta y penaliza comportamientos inseguros (por ejemplo, bajo Tiempo hasta Colisión).
3. Recompensa de Diversidad ($D_t$): Un componente novedoso que fomenta comportamientos de conducción heterogéneos (por ejemplo, fusiones conservadoras vs. asertivas). Calcula la distancia $\ell_1$ por pares entre descriptores de comportamiento (aceleración, sacudida, TTC, centrado en carril, etc.) a través de diferentes planificadores. Esto previene el colapso de la política y fomenta la generación de escenarios distintos y críticos para la seguridad que no están presentes en los datos registrados.

3. Contribuciones Clave

1. Despliegue Multiagente Sin Simulador: Los autores introducen un mecanismo para evolucionar conjuntamente el vehículo ego y los agentes reactivos en el espacio latente de un VLA. Esto habilita interacciones en bucle cerrado y de múltiples pasos durante el entrenamiento sin simuladores externos ni renderizado a nivel de píxel, reduciendo significativamente los costos computacionales.
2. RL Consciente de la Diversidad: El artículo propone una recompensa de diversidad dentro de la etapa de RL que promueve explícitamente comportamientos de agentes distintos. Esto conduce a interacciones multiagente más ricas y políticas en bucle cerrado más robustas, abordando el colapso de modos a menudo visto en el ajuste fino de RL.
3. Rendimiento de Vanguardia: El marco logra nuevos resultados de vanguardia en el benchmark Bench2Drive, demostrando mejoras significativas en puntuaciones de conducción y robustez a través de escenarios complejos de múltiples capacidades.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark Bench2Drive (basado en CARLA), utilizando 950 clips para entrenamiento y 50 para validación, con evaluación en bucle cerrado sobre 220 rutas.

• Rendimiento: MAPLE logró una Puntuación de Conducción (DS) de 85.2 (y 88.3 con supervisión de trayectoria geométrica), superando a todos los métodos existentes, incluidos SimLingo (85.1), DiffRefiner (87.1) y ORION (77.7).
• Múltiples Capacidades: El modelo mostró mejoras consistentes en comportamientos urbanos complejos como fusiones, adelantamientos, frenado de emergencia, ceder el paso y manejo de señales de tráfico, logrando una puntuación media de Múltiples Capacidades del 70.6% (73.2% con supervisión).
• Estudios de Ablación:
  • Estrategia de Despliegue: El despliegue completo a través de las etapas de preentrenamiento, SFT y RL mejoró la Puntuación de Conducción en 12.3 puntos sobre la línea base.
  • Multiplanificador vs. Planificador Único: El uso de múltiples planificadores distintos para agentes reactivos (Juego Multiagente) superó a las líneas base de planificador único, mejorando la DS en 4.8 puntos y la Tasa de Éxito en 7.7 puntos.
  • Recompensa de Diversidad: Habilitar la recompensa de diversidad fue crucial para lograr los mejores resultados, previniendo el colapso de la política y mejorando el realismo de la interacción.

5. Significado y Afirmaciones

El artículo afirma que MAPLE representa un enfoque escalable y efectivo para avanzar en la conducción autónoma de extremo a extremo al resolver la brecha del "entorno reactivo". Su significado radica en:

• Escalabilidad: Al operar en el espacio latente, evita los costos computacionales prohibitivos y los problemas de fidelidad visual de los simuladores a nivel de píxel, haciendo factible el entrenamiento multiagente en bucle cerrado para modelos VLA grandes.
• Robustez: El mecanismo de RL consciente de la diversidad permite que el modelo aprenda comportamientos más allá de la distribución de los datos registrados, mejorando la seguridad en escenarios de cola larga e interactivos.
• Practicidad: El marco es "eliminable en el momento de inferencia", lo que significa que el complejo despliegue multiagente solo se utiliza durante el entrenamiento, incurriendo en ninguna sobrecarga adicional durante la implementación.

Los autores reconocen limitaciones, señalando que los despliegues latentes pueden carecer de la dinámica de alta precisión de la simulación física y que los experimentos actuales se limitan al benchmark Bench2Drive. Sin embargo, postulan que este marco proporciona un paso crítico hacia sistemas autónomos E2E robustos, eficientes en datos y seguros.