Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing

Título: Distancia de Visión Dinámica mediante Control Puro de Persecución Basado en Aprendizaje por Refuerzo para Carreras Autónomas

1. El Problema

El algoritmo de Persecución Pura (Pure Pursuit - PP) es ampliamente utilizado en vehículos autónomos debido a su simplicidad y rendimiento en tiempo real. Sin embargo, su eficacia depende críticamente de la distancia de visión (lookahead distance).

• Dilema: Una distancia de visión corta mejora el seguimiento en curvas pero causa inestabilidad y oscilaciones en rectas. Una distancia larga mejora la suavidad en rectas pero reduce la precisión en curvas cerradas (cortando esquinas).
• Limitación actual: Las implementaciones fijas requieren un ajuste manual (retuning) para cada pista y perfil de velocidad, lo que resulta subóptimo en carreras de alta velocidad donde las condiciones cambian dinámicamente. Los enfoques heurísticos adaptativos (basados en reglas) a menudo carecen de generalización y requieren reconfiguración constante.

2. Metodología

Los autores proponen un marco de control híbrido que integra un agente de Aprendizaje por Refuerzo (RL) con el controlador clásico de Persecución Pura para ajustar la distancia de visión dinámicamente en tiempo real.

• Algoritmo de Aprendizaje: Se utiliza Proximal Policy Optimization (PPO) para entrenar una política que mapea el estado del vehículo a una distancia de visión óptima.
• Espacio de Observación (Estado): El agente observa un vector de 5 dimensiones:
  • Velocidad del vehículo ($v_t$).
  • Curvaturas absolutas en tres horizontes: cercano, medio y lejano ($\kappa_{0,t}, \kappa_{1,t}, \kappa_{2,t}$).
  • Cambio de curvatura ($\Delta\kappa_t$).
• Espacio de Acción: Una variable continua que representa la distancia de visión ($L_d$) en el rango de 0.35 a 4.0 metros.
• Entorno de Entrenamiento:
  • Simulación en F1TENTH Gym (entorno de carreras autónomas).
  • Uso de Stable-Baselines3 para la implementación de PPO.
  • Técnicas de estabilización: Penalización de divergencia KL, decaimiento de la tasa de aprendizaje y normalización de observaciones/recompensas.
  • Recompensa: Diseñada para maximizar el progreso, la suavidad, minimizar la curvatura y evitar colisiones. Incluye un término de "lookahead ideal heurístico" como señal de forma, pero la política aprendida no depende de reglas fijas en la ejecución.
• Arquitectura del Sistema:
  1. Localización: Filtro de partículas Monte Carlo (MCL) basado en LiDAR.
  2. Generación de Trayectoria: Optimización de curvatura mínima para generar una línea de carrera de referencia global.
  3. Control: El agente PPO ajusta $L_d$ en línea, que luego se utiliza en el controlador Persecución Pura para calcular el ángulo de dirección.
  4. Despliegue: Integración en ROS2 para validación en simulación y en un vehículo real a escala 1:10 (Roboracer).

3. Contribuciones Clave

• Control Híbrido Interpretável: Se introduce un controlador de Persecución Pura aumentado por RL que ajusta un solo parámetro interpretable ($L_d$), manteniendo la estructura, robustez y bajo costo computacional del controlador geométrico clásico.
• Adaptación Contextual: La política aprende a aumentar la distancia de visión en rectas (para estabilidad) y reducirla en curvas (para precisión), capturando comportamientos dependientes del contexto sin reemplazar el controlador subyacente.
• Generalización Zero-Shot: Validación del método en pistas no vistas durante el entrenamiento sin necesidad de reentrenamiento o ajuste fino.
• Transferencia Sim-to-Real: Demostración exitosa de la transferencia del controlador aprendido desde el simulador a un vehículo físico a escala 1:10.

4. Resultados

El método se evaluó comparándolo con un controlador de Persecución Pura de visión fija y uno adaptativo basado en reglas (heurístico).

• Rendimiento en Simulación (Pistas no vistas):
  • Montreal: El controlador aprendido (RL PP) completó 10 vueltas consecutivas con un tiempo promedio de 33.16 s bajo un perfil de velocidad +13% más agresivo. El controlador adaptativo basado en reglas logró 34.15 s con un perfil +10%, y el fijo requirió reducir la velocidad (-10%) para completar las vueltas (41.36 s).
  • Yas Marina: El controlador RL completó 10 vueltas en 46.05 s con un perfil +15% más agresivo. El adaptativo logró 46.79 s (+14%), mientras que el fijo no pudo completar vueltas estables en el perfil acelerado (logró 52.81 s en velocidad original).
• Validación en Vehículo Real (Roboracer 1:10):
  • El controlador aprendido completó 10 vueltas consecutivas con un tiempo promedio de 11.13 s (desviación estándar 0.26 s).
  • El controlador de visión fija falló en completar vueltas repetidas bajo el mismo perfil de velocidad, demostrando la superioridad de la adaptación dinámica en el mundo real.

5. Significado e Impacto

Este trabajo demuestra que es posible combinar la adaptabilidad del Aprendizaje por Refuerzo con la fiabilidad y transparencia del control clásico.

• Eficiencia Operativa: Reduce significativamente la necesidad de ajuste manual (retuning) al cambiar de pista o condiciones de conducción.
• Seguridad y Robustez: Permite operar con perfiles de velocidad más agresivos y mantener la estabilidad en situaciones donde los controladores fijos fallarían.
• Viabilidad Industrial: Al no reemplazar el controlador geométrico completo, sino solo optimizar un parámetro clave, el sistema es más fácil de integrar en pilas de autonomía modulares (como ROS2) y es más seguro de validar que los enfoques de "extremo a extremo" (end-to-end).

En conclusión, el método propuesto establece un nuevo estándar para el control de seguimiento de trayectorias en carreras autónomas, logrando un equilibrio óptimo entre la precisión en curvas y la estabilidad en rectas mediante una adaptación dinámica inteligente.