Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

Resumen Técnico: Aprendizaje por Refuerzo para el Ajuste de Pure Pursuit en Carreras Autónomas

1. Problema y Motivación

El controlador Pure Pursuit (PP) es ampliamente utilizado en la conducción autónoma y las carreras debido a su simplicidad geométrica, claridad interpretativa y bajo costo computacional. Sin embargo, su rendimiento es altamente sensible a la selección de dos parámetros clave:

• Distancia de visión previa (Lookahead distance, $L_d$): Valores pequeños permiten giros ágiles pero pueden causar oscilaciones en rectas; valores grandes suavizan el movimiento pero provocan subviraje en curvas cerradas.
• Ganancia de dirección (Steering gain, $g$): Una ganancia demasiado agresiva induce ruido, mientras que una conservadora ralentiza la convergencia.

Los métodos tradicionales ajustan estos parámetros mediante reglas heurísticas basadas en la velocidad o la curvatura (ej. $L_d \propto v$). Estas reglas fijas a menudo fallan al transferirse entre diferentes pistas, perfiles de velocidad o plataformas. Por otro lado, el Control Predictivo de Modelo (MPC) ofrece alto rendimiento pero requiere modelado complejo y optimización en línea, lo que puede ser costoso computacionalmente.

El objetivo del trabajo es mejorar el controlador PP clásico sin reemplazar su ley de control geométrica, aprendiendo a ajustar dinámicamente y en tiempo real tanto $L_d$ como $g$ mediante Aprendizaje por Refuerzo (RL), manteniendo la interpretabilidad y la eficiencia.

2. Metodología

Los autores proponen un marco híbrido donde una política de Optimización de Política Proximal (PPO) selecciona los parámetros óptimos para el controlador PP en cada paso de control.

• Arquitectura del Sistema:

  • Localización: Se utiliza un filtro de localización Monte Carlo (MCL) basado en LiDAR para estimar la pose del vehículo.
  • Referencia Global: Se genera una línea de carrera de mínima curvatura (usando optimización global) que proporciona waypoints, curvatura ($\kappa$) y un perfil de velocidad de referencia.
  • Controlador Base: El controlador PP mantiene su ley geométrica estándar: $\gamma = g \cdot \frac{2y'}{L_d^2}$, donde $\gamma$ es el ángulo de dirección, $y'$ es la distancia lateral al punto de visión previa, y $L_d$ es la distancia de visión previa.
  • Política RL (PPO): Un agente PPO observa el estado y decide los valores de $L_d$ y $g$.

• Espacio de Observación ($s_t$):
  El agente recibe un vector compacto que incluye:

  • Velocidad del vehículo ($v_t$).
  • Taps de curvatura absoluta en tres horizontes (cerca, medio, lejos) a lo largo de la pista.
  • Diferencia de curvatura entre los taps ($\Delta \kappa_t$).

• Espacio de Acción ($a_t$):
  Un vector continuo de 2 dimensiones:

  • $L_d \in [0.35, 4.0]$ metros.
  • $g \in [0.45, 1.15]$.
  • Las acciones se suavizan mediante un filtro de primer orden antes de enviarse a PP para evitar cambios bruscos.

• Diseño de Recompensa:
  La función de recompensa equilibra múltiples objetivos:

  • Velocidad máxima y progreso (pasar waypoints).
  • Penalización por desviación de un "maestro" (teacher) lineal simple para evitar comportamientos erráticos.
  • Penalización por cambios bruscos en los parámetros ($L_d$ y $g$) para suavidad.
  • Penalizaciones por colisiones, velocidad baja y comportamientos inseguros en curvas.

• Entrenamiento y Despliegue:

  • Entrenado en el simulador F1TENTH Gym con la pista de Hockenheim.
  • Se utiliza una estrategia de "zero-shot" (sin ajuste fino) para evaluar en pistas no vistas (Montreal y Yas Marina).
  • Implementado en una pila ROS 2, publicando los parámetros ajustados en topics que el controlador PP consume.
  • Incluye un mecanismo de seguridad: si la política RL falla o los mensajes caducan, el sistema vuelve a una regla lineal de respaldo ("teacher").

3. Contribuciones Clave

1. Marco RL-PP Híbrido: Un sistema que adapta en línea la distancia de visión previa y la ganancia de dirección, preservando la simplicidad y la interpretabilidad del control geométrico puro.
2. Receta de Entrenamiento Práctica: Una configuración detallada de recompensas, normalización de observaciones y técnicas de estabilidad (como el recorte de gradientes y el uso de KL-constrained PPO) que permite aprender una política sensible a la curvatura y la velocidad.
3. Validación Sim-to-Real: Evaluación exhaustiva en simulación y en un vehículo físico F1TENTH (1:10), demostrando que la política aprendida generaliza a pistas no vistas sin necesidad de reentrenamiento.
4. Estudio de Interpretabilidad: Análisis visual de cómo la política ajusta $L_d$ y $g$ en función de la geometría de la pista, demostrando comportamientos lógicos (ej. reducir $L_d$ en curvas cerradas).

4. Resultados Experimentales

Los autores compararon su método (RL-PP Joint) contra cuatro baselines:

1. PP con $L_d$ fijo.
2. PP adaptativo con regla lineal velocidad-$L_d$.
3. RL-PP que solo ajusta $L_d$ (ganancia fija).
4. Un rastreador de línea de carrera basado en MPC cinemático.

Hallazgos principales:

• Rendimiento en Simulación (Pistas Montreal y Yas Marina):
  • La variante RL-PP (Joint $L_d, g$) logró los tiempos de vuelta más rápidos y consistentes.
  • En Montreal, superó al PP adaptativo lineal en aproximadamente 1.4 segundos por vuelta y al PP fijo en más de 8 segundos.
  • Superó al rastreador MPC en tiempo de vuelta y precisión de seguimiento, a pesar de que el MPC es un método más complejo.
• Validación en Vehículo Real:
  • En pruebas físicas (velocidad limitada a 6 m/s por seguridad), el RL-PP (Joint) obtuvo el mejor tiempo medio (9.46 s) y la menor desviación estándar, demostrando una trayectoria suave y estable.
  • El MPC fue significativamente más lento en el entorno real, probablemente debido a la sobrecarga computacional y la dificultad de sintonización en hardware.
• Estabilidad y Transferencia:
  • La política funcionó sin fallos en pistas no vistas (zero-shot).
  • El mecanismo de respaldo "teacher" nunca se activó durante las evaluaciones, lo que indica que la política RL era robusta y no dependía de la regla lineal.
  • La ganancia de dirección ($g$) aprendida mostró variaciones más sutiles que $L_d$, actuando como un multiplicador fino para ajustar la agresividad de la dirección.

5. Significado e Impacto

Este trabajo demuestra que el Aprendizaje por Refuerzo no necesita reemplazar a los controladores clásicos para ser efectivo. En su lugar, puede utilizarse para "afinar" dinámicamente los parámetros de controladores geométricos simples, logrando un rendimiento superior al de métodos basados en modelos complejos (como MPC) y reglas heurísticas fijas.

La propuesta ofrece una solución interpretable, computacionalmente eficiente y robusta para la conducción autónoma de alto rendimiento, facilitando la transferencia de simulación a la realidad (Sim-to-Real) y reduciendo la necesidad de re-sintonización manual para cada nueva pista o condición de velocidad.