Resumen Técnico: Optimización de Trayectorias en Tiempo de Prueba para la Conducción Autónoma (TOAD)

1. Planteamiento del Problema

Los planificadores de conducción autónoma de extremo a extremo (E2E) suelen seguir un paradigma de "generación y selección": producen un conjunto finito de trayectorias candidatas (ya sea desde un vocabulario precomputado o generadas sobre la marcha) y utilizan un clasificador aprendido para puntuarlas, devolviendo la opción con la puntuación más alta.

Los autores identifican un cuello de botella crítico en este proceso: el clasificador se aplica solo después de la generación y no puede influir en el conjunto de candidatos. Si el conjunto inicial de propuestas es subóptimo (por ejemplo, si todos los candidatos son inseguros o ineficientes), el planificador se ve obligado a devolver la "mejor de un mal conjunto", independientemente de la calidad del clasificador. Los métodos actuales tratan al clasificador simplemente como un mecanismo de clasificación para un conjunto fijo, perdiendo la oportunidad de utilizarlo como una función objetivo para buscar activamente mejores trayectorias.

Además, el artículo destaca una debilidad oculta en muchos clasificadores existentes: aquellos entrenados para evaluar vocabularios fijos suelen fallar al generalizar a trayectorias fuera de su distribución de entrenamiento. Cuando se utilizan como función de recompensa para la búsqueda, estos clasificadores pueden provocar "atajos de recompensa" (reward hacking) o degradación del rendimiento debido a que son inexactos en trayectorias novedosas y decodificadas libremente.

2. Metodología: TOAD

Los autores proponen TOAD (Optimización en Tiempo de Prueba para la Conducción Autónoma), un procedimiento plug-and-play que redefine el clasificador E2E congelado como una función de recompensa aprendida y realiza una búsqueda sobre el espacio de trayectorias durante la inferencia.

Algoritmo Central: Método de la Entropía Cruzada (CEM)

TOAD envuelve un planificador base congelado en un bucle de inferencia basado en el Método de la Entropía Cruzada (CEM):

1. Arranque en Caliente y Región de Confianza: La búsqueda se inicializa utilizando la trayectoria seleccionada por el planificador base ($\tau_{base}$) y su conjunto de candidatos. Esto confina la búsqueda a una "región de confianza" alrededor de las propuestas del planificador, asegurando que la búsqueda se mantenga dentro de la distribución donde el clasificador es fiable.
2. Búsqueda en el Espacio de Control: En lugar de muestrear directamente en el espacio de pose (lo que genera trayectorias dinámicamente inviables), TOAD muestrea en el espacio de control. Las trayectorias se mapean a secuencias de aceleración longitudinal ($a_t$) y velocidad de giro ($\omega_t$) utilizando un modelo de bicicleta de cinemática inversa. Esto garantiza que todas las trayectorias muestreadas sean suaves y cinemáticamente viables.
3. Función Objetivo: El CEM maximiza un objetivo compuesto $J(u)$:
   $$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$$
   • $S$ (Clasificador): La recompensa aprendida del planificador base congelado.
   • $C_{anchor}$: Un regularizador que penaliza la desviación de la trayectoria de anclaje del planificador base para mantener la región de confianza.
   • $C_{comf}$: Un regularizador de confort de forma cerrada (que penaliza la aceleración, el jerk, etc.) para proporcionar una señal que el clasificador aprendido puede estimar de forma imprecisa.
4. Refinamiento Iterativo: En cada iteración, se muestrean $M$ secuencias de control a partir de una distribución Gaussiana, se ejecutan en trayectorias, se puntúan y las $E$ secuencias "élite" superiores se utilizan para reajustar los parámetros gaussianos ($\mu, \sigma$).
5. Selección Final: Tras $K$ iteraciones, la trayectoria inducida por la media convergente se compara con la propuesta base original. Se selecciona la que tenga la puntuación final más alta (incluyendo las penalizaciones de confort).

Decisión de Diseño Clave: El Clasificador

Un hallazgo crítico es que no todos los clasificadores funcionan para TOAD.

• Clasificadores de Vocabulario Fijo: Los clasificadores entrenados solo para clasificar trayectorias precomputadas (por ejemplo, Hydra-MDP, GTRS) fallan cuando se usan como recompensas para la búsqueda. Su rendimiento se degrada dramente en trayectorias fuera de su vocabulario específico.
• Clasificadores Desentrelazados: TOAD requiere un clasificador entrenado para evaluar trayectorias decodificadas libremente (como el clasificador de DrivoR). Este clasificador se mantiene preciso fuera de la distribución de las propuestas, lo que lo convierte en una función de recompensa válida para el bucle CEM.

3. Contribuciones Clave

1. Redefinición del Clasificador: Los autores proponen ver el clasificador de trayectorias E2E no solo como una herramienta de clasificación para un conjunto fijo, sino como una función de recompensa aprendida capaz de guiar una búsqueda de trayectorias óptimas.
2. Marco de Trabajo TOAD: Un algoritmo de búsqueda en tiempo de prueba que se integra en cualquier planificador base existente sin necesidad de reentrenamiento. Utiliza CEM para optimizar trayectorias en el espacio de control, iniciando la búsqueda desde las propuestas del planificador.
3. Identificación de Limitaciones del Clasificador: El trabajo expone que la evaluación de clasificación estándar no revela la incapacidad de un clasificador para generalizar. TOAD demuestra que la optimización exitosa en tiempo de prueba requiere un clasificador que generalice más allá de sus propuestas de entrenamiento, una propiedad que carecen los enfoques de vocabulario fijo.
4. el Rendimiento Plug-and-Play: TOAD mejora el rendimiento en seis planificadores base diversos (tanto de vocabulario como de generadores sobre la marcha) en múltiples entornos de prueba con un gasto computacional insignificante y sin actualizaciones del modelo.

4. Resultados Experimentales

El método fue evaluado en NAVSIM-v1, NAVSIM-v2 y el simulador de bucle cerrado HUGSIM.

• NAVSIM-v2 (Nuevo Estado del Arte):

  • TOAD aplicado a DrivoR logró 56.3 EPDMS, un nuevo estado del arte que casi iguala al baseline de PDM-Closed (56.6) que utiliza percepción de verdad de campo (ground-truth).
  • Se observaron ganancias significativas en todos los planificadores. Por ejemplo, iPad mejoró en un +43.6% (de 34.7 a 49.8 EPDMS), mientras que DrivoR mejoró un +3.1%.
  • La búsqueda redujo eficazmente la brecha de rendimiento entre planificadores débiles y fuertes, siendo los más débiles los que más ganaron.

• NAVSIM-v1:

  • Se observaron mejoras consistentes, con DrivoR + TOAD alcanzando 94.7 PDMS, solo 0.1 puntos por debajo del baseline del conductor humano (94.8).

• HUGSIM (Bucle Cerrado):

  • TOAD mejoró las métricas de seguridad (Sin Colisiones, Área Conducible, Tiempo para Colisión) y el confort en escenas fotorealistas.
  • Aunque la Completitud de la Ruta (RC) a veces disminuyó (indicando una conducción más cautelosa), el Puntuación de Conducción (HDS) general mejoró, particularmente en nuScenes y KITTI360.

• Estudios de Ablación:

  • Búsqueda vs. Re-clasificación: Simplemente re-clasificar las propuestas del planificador base con el clasificador arrojó resultados inconsistentes (a veces perjudicando el rendimiento). Las ganancias provinieron específicamente de la búsqueda al descubrir nuevas trayectorias fuera del conjunto original.
  • Necesidad del Clasificador: El uso de clasificadores que no generalizan (por ejemplo, GTRS) como recompensas causó una caída del rendimiento por debajo del baseline, confirmando la necesidad de un clasificador desentrelazado y generalizador.
  • Espacio de Control: La optimización en el espacio de control superó al muestreo directo en el espacio de la trayectoria.

• Costo Computacional:

  • El gasto adicional es mínimo. La búsqueda añade solo entre 1.9 ms y 20.4 ms por muestra (dependiendo del número de iteraciones $K$).
  • Cuando el clasificador es parte del planificador base (compartiendo la arquitectura de percepción), el costo es casi nulo. Cuando es externo, el costo está dominado por la arquitectura de percepción redundante (~100 ms), pero la búsqueda en sí sigue siendo ligera.

5. Significado y Afirmaciones

El artículo afirma que el principal cuello de botella en la planificación E2E actual suele ser el conjunto de candidatos, no el clasificador. Al tratar al clasificador como una función de recompensa optimizable, TOAD desbloquea un rendimiento que antes era inaccesible para el planificador.

Los autores enfatizan que TOAD es una mejora modesta y plug-and-play que no requiere reentrenamiento. Su éxito depende de la disponibilidad de un clasificador generalizador. El trabajo sugiere una dirección clara para el diseño de futuros planificadores: construir clasificadores que estén desentrelazados del generador de trayectorias y entrenados para evaluar trayectorias decodificadas libremente. Esto permitiría que la búsqueda fuerte en tiempo de prueba llegue "gratis", impulsando significativamente la seguridad y el confort sin cambios arquitectónicos en la red de generación.

El artículo concluye que, aunque actualmente TOAD depende de un planificador base para la inicialización, un clasificador suficientemente preciso y generalizador podría eventualmente permitir la búsqueda desde cero, eliminando potencialmente la necesidad de un generador base. Sin embargo, esto sigue siendo una dirección futura dependiente de la escalabilidad de la capacidad del clasificador y de los datos.