Resumen Técnico: Escalamiento del Auto-Juego para la Conducción de Extremo a Extremo

Declaración del Problema

Los modelos de conducción autónoma de extremo a extremo están actualmente dominados por el Clonación de Comportamiento (BC, por sus siglas en inglés) entrenado en conjuntos de datos de demostración humana fuera de línea. Aunque este paradigma es escalable en términos de capacidad del modelo, sufre de limitaciones estructurales:

1. Cobertura de Estado Limitada: Los registros fuera de línea proporcionan una distribución estrecha de estados, lo que deja a las políticas frágiles al encontrar escenarios fuera de la conducción humana nominal.
2. Desplazamiento de Covariables (Covariate Shift): La ausencia de interacción en bucle cerrado durante el entrenamiento conduce a errores acumulativos durante el despliegue, ya que el modelo encuentra estados que nunca fue entrenado para manejar.
3. Incompatibilidad del Auto-Juego Existente: Los enfoques previos de auto-juego en simulación han mostrado resultados prometedores, pero típicamente dependen de observaciones vectorizadas de Vista de Pájaro (BEV). Estas son incompatibles con las políticas modernas de extremo a extremo que deben operar directamente sobre entradas sensoriales puras (píxeles). Además, el Aprendizaje por Refuerzo (RL) directo desde píxeles a escalas de modelos de extremo a extremo es prohibitivamente ineficiente en términos de muestras debido al costo computacional de los pasos de propagación hacia adelante y hacia atrás a través de grandes arquitecturas de visión.

Metodología

El artículo propone un marco de tres etapas para superar estas limitaciones: Gigapixel (un simulador de alto rendimiento), Self-Play DAgger (un algoritmo de entrenamiento eficiente en muestras) y Adaptación de Percepción Sim-to-Real.

1. Simulador Gigapixel

Para permitir un auto-juego escalable directamente desde píxeles, los autores introducen Gigapixel, un simulador de conducción por lotes de alto rendimiento.

• Arquitectura: Extiende el simulador PufferDrive con el motor de renderizado Madrona, soportando tanto rasterización como trazado de rayos (ray tracing).
• Representación: En lugar de una simulación sensorial fotorrealista, Gigapixel renderiza un "mundo de cajas delimitadoras" simplificado. Los agentes, obstáculos estáticos y semáforos se representan como primitivas geométricas (cuboides, planos, esferas).
• Rendimiento: Esta abstracción preserva la geometría esencial de la escena y la fidelidad de la interacción, logrando un rendimiento de 50,000 pasos de agente por segundo (SPS) en una sola GPU NVIDIA A100, escalando casi linealmente con el número de GPUs. Este rendimiento es órdenes de magnitud más rápido que los simuladores fotorrealistas como HUGSIM o RAP, permitiendo la generación de cantidades masivas de experiencia on-policy.

2. Entrenamiento de Self-Play DAgger

Reconociendo que el RL directo en el espacio de píxeles es demasiado ineficiente en muestras para grandes modelos de extremo a extremo, los autores proponen Self-Play DAgger. Este enfoque desacopla el entrenamiento de RL de la política basada en píxeles:

• Profesor Vectorizado: Una política de profesor ligera y privilegiada ($\pi_{teacher}$) es entrenada mediante auto-juego RL en un simulador abstracto utilizando observaciones BEV vectorizadas. Este profesor aprende comportamientos robustos en bucle cerrado y puede ser consultado de forma económica.
• Estudiante Basado en Píxeles: Una política estudiante basada en píxeles ($\pi_{student}$) es entrenada mediante destilación on-policy. El estudiante controla todos los agentes en la escena (auto-juego multi-agente) y observa únicamente imágenes de píxeles renderizadas.
• Proceso de Destilación: Durante el entrenamiento, el estudiante realiza ejecuciones de trayectorias en el simulador. Luego, el profesor se ejecuta en un entorno paralelo bifurcado desde el mismo estado para generar objetivos de trayectoria ($\tau$). El estudiante es entrenado para igualar estos objetivos.
• Ventajas: Esto preserva los beneficios del auto-juego en bucle cerrado (aprender de las consecuencias de las acciones y generar interacciones multi-agente diversas) mientras reduce drásticamente la complejidad de muestra en comparación con el RL directo. También permite que el estudiante produzca trayectorias directamente, coincidiendo con el formato de los planificadores estándar de extremo a extremo.

3. Adaptación de Percepción Sim-to-Real

Para cerrar la brecha entre las representaciones abstractas de Gigapixel y los datos sensoriales del mundo real, los autores emplean una estrategia de adaptación ligera:

• Ajuste Fino Solo de Percepción: La cabeza de planificación ($f_{\theta_{plan}}$), que codifica los comportamientos de bucle cerrado aprendidos en el auto-juego, se mantiene congelada. Solo se ajusta la arquitectura de la base de percepción ($f_{\theta_{per}}$).
• Objetivo: Utilizando un conjunto de datos de observaciones emparejadas (imágenes reales y sus correspondientes representaciones de Gigapixel), el estudiante es entrenado para mapear las imágenes reales en la misma representación latente que las imágenes simuladas. Esto se logra mediante una pérdida de planificación y una pérdida de emparejamiento de características perceptuales.

Contribuciones Clave

1. El Auto-Juego como Alternativa Escalable: El artículo establece el auto-juego como una alternativa viable a la clonación de comportamiento fuera de línea para entrenar modelos de conducción de extremo a extremo, abordando la fragilidad estructural de la BC.
2. Self-Play DAgger: Un nuevo paradigma de entrenamiento eficiente en muestras que destila un profesor de RL privilegiado en un estudiante basado en píxeles, permitiendo un aprendizaje de bucle cerrado escalable sin el costo prohibitivo del RL directo en el espacio de píxeles.
3. Gigapixel: Un simulador de renderizado de perspectiva de alto rendimiento que permite el auto-juego basado en píxeles a escala (50k SPS) al renderizar mundos de cajas delimitadoras simplificados en lugar de escenas fotorrealistas.
4. Transferencia Sim-to-Real Ligera: Una demostración de que los comportamientos de conducción robustos aprendidos en simulación pueden transferirse a sensores del mundo real adaptando solo el módulo de percepción, sin requerir supervisión de trayectoria humana durante la fase de auto-juego.

Resultados Experimentales

Los autores evaluaron su enfoque en los entornos de referencia HUGSIM (bucle cerrado, fotorrealista) y NAVSIM-v2 (pseudo-bucle cerrado).

• Desempeño en HUGSIM: El modelo Gigapixel-DrivoR, entrenado mediante auto-juego, alcanzó un desempeño de vanguardia en el benchmark HUGSIM, superando a todos los baselines en el promedio de Completitud de Ruta (RC) y HD-Score sin ninguna supervisión de trayectoria humana. Específicamente, mejoró el HD-Score en 2.8 puntos respecto al baseline de clonación de comportamiento DrivoR y en 12.5 puntos respecto al baseline de regresión DrivoR-Reg.
• Desempeño en NAVSIM-v2: Los modelos lograron un desempeño competitivo en la división navhard de NAVSIM-v2. Notablemente, los modelos de auto-juego mostraron ganancias significativas en la Etapa 2 (recuperación de perturbaciones en la pose del ego), lo que sirve como un proxy para la robustez en bucle cerrado. Gigapixel-DrivoR mejoró el puntaje EPDMS de la Etapa 2 en 4.1 puntos respecto a su contraparte de clonación de comportamiento.
• Leyes de Escalamiento: Los experimentos demostraron que el desempeño escala consistentemente con la experiencia de entrenamiento. Aumentar el número de pasos de agente en Gigapixel produjo ganancias proporcionales en el desempeño de la política, con Self-Play DAgger superando significativamente tanto a la Clonación de Comportamiento como al DAgger de un solo agente.
• Análisis Cualitativo: Las visualizaciones mostraron que las políticas entrenadas con auto-juego manejaron con éxito escenarios críticos de seguridad (por ejemplo, desaceleración de vehículos delanteros, recuperación de derivas hacia el borde de la carretera) que las políticas de clonación de comportamiento no pudieron navegar, resultando a menudo en colisiones o violaciones de salida de vía.

Significado y Reivindicaciones

El artículo afirma establecer el auto-juego como una estrategza práctica y escalable para entrenar modelos de conducción de extremo a extremo. Al combinar un simulador de alto rendimiento con un algoritmo de destilación eficiente en muestras, los autores demuestran que es posible aprender comportamientos de conducción robustos en bucle cerrado directamente desde píxeles sin depender de las limitaciones de los datos humanos fuera de línea.

El trabajo sugiere que las limitaciones estructurales de la clonación de comportamiento —específicamente la fragilidad ante interacciones de cola larga y los errores acumulativos— pueden superarse mediante la generación de experiencia sintética. Los autores enfatizan que su enfoque logra resultados competitivos en benchmarks rigurosos sin supervisión de trayectoria humana durante la fase central de entrenamiento de auto-juego, abriendo un camino hacia la mejora continua mediante datos sintéticos.

Limitaciones Reconocidas:
Los autores señalan que la representación abstracta de Gigapixel no puede capturar pistas finas como escombros, clima o iluminación compleja. Además, la asimetría profesor-estudiante (observaciones vectorizadas privilegiadas frente a píxeles) sigue siendo una limitación teórica, aunque los resultados sugieren que el estudiante puede inferir las acciones necesarias con éxito. Finalmente, la adaptación actual de sim-to-real requiere datos emparejados, lo cual puede ser menos directo cuando solo se dispone de registros sensoriales brutos.