LiloDriver: A Lifelong Learning Framework for Closed-loop Motion Planning in Long-tail Autonomous Driving Scenarios

1. Planteamiento del Problema

El campo de la conducción autónoma enfrenta un desafío crítico conocido como el problema de la cola larga (long-tail): la dificultad de manejar situaciones raras, impredecibles y críticas para la seguridad que no se encuentran con frecuencia en los datos de entrenamiento.

• Limitaciones actuales:
  • Métodos basados en reglas: Son robustos en escenarios comunes pero rígidos y carecen de adaptabilidad ante casos nuevos.
  • Métodos basados en datos (aprendizaje profundo): Sufren de sobreajuste, falta de robustez y dificultad para transferir conocimientos a escenarios no vistos. Además, requieren un costoso reentrenamiento para incorporar nuevos conocimientos, lo que limita su adaptabilidad en tiempo real.
  • Métodos basados en conocimiento (LLMs): Aunque tienen capacidades de razonamiento, a menudo carecen de una representación efectiva del entorno, generan trayectorias poco fiables (alucinaciones) y no han sido evaluados sistemáticamente en bucles cerrados del mundo real.

El objetivo es crear un sistema que pueda aprender de forma continua (lifelong learning), adaptándose a nuevos escenarios de cola larga sin necesidad de reentrenar el modelo base, manteniendo al mismo tiempo la seguridad y la eficiencia en situaciones comunes.

2. Metodología: LiloDriver

LiloDriver es un marco de aprendizaje continuo diseñado para la planificación de movimiento en bucle cerrado. Integra modelos de lenguaje grande (LLM) con un sistema de generación de planificadores potenciado por memoria. Su arquitectura consta de cuatro etapas principales:

A. Módulo de Entorno y Percepción

• Utiliza mapas vectorizados estáticos (carreteras, pasos de peatones, carriles de ruta) y el historial dinámico de agentes (vehículos, peatones, ciclistas).
• Convierte estos datos en representaciones tensoriales normalizadas respecto al estado del vehículo ego.

B. Codificador de Escena (Scene Encoder)

• Procesa las entradas multimodales (historial de agentes mediante LSTM y mapa mediante MLP) y las refina con un codificador Transformer.
• Función clave: Aprende representaciones latentes de alta calidad utilizando una función de pérdida híbrida que combina:
  • Pérdida de Prototipos ($L_{PRO}$): Maximiza la separabilidad entre clases de escenarios y minimiza la varianza intraclase.
  • Pérdida de Clasificación ($L_{CLS}$): Asegura la correcta categorización de la escena.
• El objetivo es generar embeddings que capturen la esencia de la escena para una generalización robusta.

C. Memoria y Generación de Planificadores

• Memoria: Almacena los embeddings de las escenas encontradas junto con metadatos y estrategias de planificación.
• Agrupamiento (Clustering): Utiliza el algoritmo DBSCAN para agrupar escenarios similares en el espacio latente. Esto permite identificar "arquetipos" de situaciones de cola larga.
• Búsqueda de Planificadores: Para cada grupo (cluster), realiza una búsqueda en cuadrícula (grid search) para encontrar los parámetros óptimos del planificador de comportamiento (basado en variantes de IDM/PDM-Closed).
• Adaptación: A medida que el sistema encuentra nuevos escenarios, actualiza la memoria y refina los parámetros de los planificadores sin tocar los pesos del modelo base.

D. Módulo de Razonamiento y Ejecución

• LLM como Agente de Alto Nivel: Utiliza un modelo LLM (LLaMA-7B) que recibe descripciones textuales de la escena y ejemplos few-shot recuperados de la memoria.
• Cadena de Pensamiento (Chain-of-Thought): El LLM razona sobre la situación, selecciona el planificador de comportamiento más adecuado y sus parámetros específicos para el contexto actual.
• Ejecución: El planificador seleccionado (reglas de comportamiento) ejecuta la trayectoria a alta frecuencia (10 Hz), mientras que el razonamiento del LLM opera a una frecuencia más baja (cada 15 segundos), desacoplando la toma de decisiones estratégicas de la ejecución de control.

3. Contribuciones Clave

1. Nuevo Paradigma: Presentan el primer marco de aprendizaje continuo para la planificación de movimiento en escenarios de cola larga, inspirado en cómo los humanos adquieren y adaptan habilidades de conducción incrementalmente.
2. Arquitectura Híbrida: LiloDriver combina la acumulación de experiencia basada en memoria, la toma de decisiones en tiempo de inferencia mediante LLM y la generación de planificadores específicos para cada escenario.
3. Adaptabilidad sin Reentrenamiento: Demuestra que es posible mejorar el rendimiento en escenarios raros y generalizar a situaciones no vistas simplemente actualizando la memoria y los parámetros del planificador, sin reentrenar el codificador de escena ni el LLM.

4. Resultados Experimentales

Las evaluaciones se realizaron en el benchmark nuPlan, un conjunto de datos de conducción en bucle cerrado a gran escala.

• Rendimiento General: LiloDriver supera a los planificadores estáticos (basados en reglas y datos) tanto en escenarios comunes como en los de cola larga (conjunto Test14-hard).
  • En Test14-hard, LiloDriver (Evolved) alcanza una puntuación de 73.10, superando a PlanTF (72.68) y a otros métodos de aprendizaje profundo.
• Capacidad de Aprendizaje Continuo:
  • El sistema muestra mejoras incrementales significativas a medida que se le presentan nuevos escenarios raros (esperar peatones, maniobras cerca de múltiples vehículos, cambios de carril, zonas de carga/descarga).
  • Sin Olvido Catastrófico: El rendimiento en escenarios comunes se mantiene estable mientras se aprenden nuevas habilidades, demostrando que la expansión de la memoria no degrada las habilidades fundamentales.
• Análisis de Seguridad: La mejora en la puntuación total se debe principalmente a la reducción de riesgos de seguridad. La tasa de colisiones disminuyó del 12.45% al 4.12% y la métrica de Tiempo hasta Colisión (TTC) mejoró significativamente (de 62.18 a 78.45).
• Estudios de Ablación: Se confirmó que la eliminación de cualquiera de los tres componentes principales (LLM, Memoria o Codificador de Escena) degrada el rendimiento, validando la necesidad de su sinergia.

5. Significado e Impacto

LiloDriver representa un avance significativo hacia la conducción autónoma escalable y segura.

• Superación de la rigidez: Resuelve el problema de la rigidez de los sistemas actuales al permitir que el vehículo "aprenda" de sus experiencias en tiempo de ejecución (inferencia).
• Eficiencia Computacional: Al desacoplar el razonamiento lento (LLM) de la ejecución rápida (controlador), el sistema es viable para despliegue en tiempo real con latencias manejables.
• Hacia la IA similar a la humana: El enfoque imita el aprendizaje humano de acumular experiencias y adaptar el comportamiento sin necesidad de reprogramar el cerebro completo, ofreciendo una ruta prometedora para manejar la complejidad infinita del mundo real.

En conclusión, LiloDriver demuestra que la combinación de memoria estructurada, representaciones latentes robustas y razonamiento guiado por lenguaje es una vía efectiva para lograr una planificación de movimiento adaptable y segura en los desafíos más difíciles de la conducción autónoma.