SimScale: Learning to Drive via Real-World Simulation at Scale

1. El Problema

El desarrollo de sistemas de conducción autónoma totalmente autónomos requiere que los modelos aprendan a tomar decisiones racionales en un espectro muy amplio de escenarios, incluidos aquellos críticos para la seguridad y fuera de la distribución (OOD, Out-of-Distribution). Sin embargo, existen dos limitaciones fundamentales en los enfoques actuales basados en datos reales:

• Escasez de datos críticos: Los conjuntos de datos reales recopilados por conductores expertos están dominados por escenarios comunes y seguros. Los casos raros, peligrosos o de borde (como colisiones inminentes o desviaciones de carril) están subrepresentados.
• Ineficiencia de la escalabilidad: Entrenar exclusivamente con más datos reales es ineficiente para alcanzar un despliegue robusto, ya que los planificadores tienden a sobreajustarse a la distribución de conducción humana y luchan para generalizar a situaciones no vistas, lo que provoca cambios de distribución y confusión causal durante el despliegue.
• Limitaciones de la simulación actual: Aunque la simulación puede generar estados OOD, los métodos existentes a menudo fallan en generar demostraciones factibles (trayectorias de experto) para esos estados simulados, o carecen de un entorno reactivo donde otros agentes interactúen de manera realista con el vehículo ego.

2. Metodología: SimScale

El authors proponen SimScale, un sistema de aprendizaje simul-real que combina un marco de simulación escalable con una estrategia de co-entrenamiento.

A. Motor de Simulación de Datos (3DGS)

• Renderizado de Alta Fidelidad: Utilizan 3D Gaussian Splatting (3DGS) reconstruido a partir de datos reales para generar observaciones multivista fotorrealistas. Esto reduce significativamente la brecha de dominio (sim-to-real gap) en comparación con los simuladores gráficos tradicionales.
• Entorno Reactivo: La simulación se ejecuta en un entorno reactivo donde los agentes circundantes (otros vehículos) interactúan con el vehículo ego utilizando modelos como IDM (Intelligent Driver Model). Esto permite que el entorno responda plausiblemente a las acciones del vehículo ego, aumentando la diversidad y el realismo.

B. Generación de Datos Simulados y "Pseudo-Expertos"

El núcleo de SimScale es un pipeline que toma datos reales, perturba la trayectoria del vehículo ego para crear estados OOD, y luego genera una demostración factible para ese nuevo estado:

1. Perturbación de Trayectoria: Se aplican perturbaciones plausibles a la trayectoria del vehículo ego (desviaciones laterales, cambios de carril, interacciones cercanas) para alcanzar nuevos estados terminales.
2. Generación de Pseudo-Expertos: Para cada estado perturbado, se genera una trayectoria de "experto" factible mediante dos estrategias comparadas:
   • Experto Basado en Recuperación (Recovery-based): Recupera una trayectoria humana de un vocabulario existente que devuelve al vehículo a la distribución de conducción humana (comportamiento conservador y seguro).
   • Experto Basado en Planificador (Planner-based): Utiliza un planificador privilegiado (como PDM-Closed) que maximiza la optimización y explora soluciones factibles incluso en situaciones difíciles, ofreciendo una estrategia más exploratoria.
3. Filtrado: Se aplican filtros estrictos de física, reglas de tráfico y métricas de calidad (EPDMS) para asegurar que solo se utilicen datos válidos.

C. Estrategia de Co-Entrenamiento Sim-Real

• Se entrena el modelo mezclando datos reales y datos simulados.
• Se mantiene una cantidad fija de datos reales y se escala progresivamente la cantidad de datos simulados (muestras no superpuestas).
• El objetivo es preservar la distribución de conducción humana mientras se mitiga la degradación del dominio visual mediante la exposición a una mayor diversidad de estados.

3. Contribuciones Clave

1. Marco de Simulación Escalable: Presentan un pipeline automatizado que genera millones de estados OOD y demostraciones factibles a partir de un corpus de datos reales limitado, utilizando 3DGS y entornos reactivos.
2. Descubrimiento sobre Pseudo-Expertos: Demuestran que los pseudo-expertos exploratorios (basados en planificadores) son superiores a los conservadores (basados en recuperación) para la escalabilidad de datos, ya que proporcionan una supervisión más diversa y rica.
3. Análisis de Leyes de Escala: Revelan que el rendimiento de los planificadores escala de manera predecible y suave al aumentar los datos simulados, incluso sin nuevos datos reales.
4. Importancia del Modelado Multimodal: Encuentran que los planificadores con capacidades de modelado multimodal (como los basados en difusión o puntuación de vocabulario) se benefician significativamente más de la simulación escalada que los planificadores de regresión simple, debido a su capacidad para manejar distribuciones de supervisión multimodales.
5. Validación en Benchmarks Reales: Validan el enfoque en los benchmarks de cierre de bucle NAVSIM-v2 (navhard y navtest), demostrando mejoras tanto en robustez como en generalización.

4. Resultados

Los experimentos se realizaron en tres familias de planificadores: regresión (LTF), difusión (DiffusionDrive) y puntuación de vocabulario (GTRS-Dense).

• Rendimiento en navhard (Escenarios críticos):
  • El método propuesto estableció un nuevo estado del arte (SOTA) en el leaderboard de navhard.
  • El modelo GTRS-Dense alcanzó una puntuación EPDMS de 48.0 (frente a 41.9 del baseline sin simulación), una mejora del 15-22% dependiendo del modelo.
  • Los modelos más débiles (LTF y DiffusionDrive) mostraron las mayores mejoras relativas (hasta +24% en EPDMS), indicando que la simulación desbloquea el potencial latente de aprendizaje.
• Rendimiento en navtest (Generalización):
  • Se observaron mejoras consistentes en todos los modelos, con incrementos de hasta +2.9 puntos en EPDMS, demostrando una mejor generalización en condiciones diversas.
• Análisis de Escala:
  • Las curvas de escala mostraron que el uso de expertos basados en planificadores y simulación reactiva produce ganancias sostenidas, mientras que los métodos de recuperación tienden a estancarse o degradarse con grandes volúmenes de datos.
  • El entrenamiento basado únicamente en recompensas (sin trayectorias de experto en simulación) funcionó excepcionalmente bien para planificadores de puntuación, sugiriendo que la señal de recompensa es suficiente para guiar la exploración en simulación.

5. Significado e Impacto

• Paradigma de Datos: SimScale demuestra que la simulación basada en el mundo real (usando 3DGS) puede amplificar el valor de los conjuntos de datos reales existentes, permitiendo escalar el entrenamiento de sistemas de conducción autónoma sin depender exclusivamente de la recolección costosa de nuevos datos de carretera.
• Robustez y Seguridad: Al exponer los modelos a estados OOD y situaciones de borde generadas de manera reactiva, se mejora significativamente la robustez del sistema, un requisito crítico para el despliegue seguro en el mundo real.
• Reproducibilidad y Comunidad: Los autores han liberado el código y los datos de simulación, proporcionando una base sólida para futuras investigaciones en escalabilidad de datos, simulación reactiva y aprendizaje por refuerzo offline para la conducción autónoma.
• Hacia la Autonomía Total: Este trabajo aborda una de las barreras principales para la autonomía nivel 4/5: la capacidad de aprender y generalizar en escenarios raros y peligrosos que no se encuentran naturalmente en los datos de conducción humana.