Resumen Técnico: Aprendizaje por Refuerzo de Currículo de Ritmo Propio para Carreras de Superbikes Autónomas en Simulación

Planteamiento del Problema

La conducción autónoma ha alcanzado hitos significativos utilizando aprendizaje por refuerzo profundo (RL), particularmente para vehículos de cuatro ruedas en simuladores de alta fidelidad como Gran Turismo. Sin embargo, las carreras de motocicletas permanecen en gran medida inexploradas en la literatura de RL debido a desafíos físicos y dinámicos fundamentalmente diferentes. A diferencia de los coches, las motocicletas de carreras requieren que el agente gestione activamente el ángulo de inclinación para contrarrestar las fuerzas centrífugas durante el giro. El fallo en el control de este ángulo resulta en una pérdida de equilibrio y una caída, un modo de fallo ausente en los vehículos de cuatro ruedas. Además, las motos de carreras poseen una mayor relación potencia-peso, lo que las somete a dinámicas de frenado y aceleración más agresivas. El desafío central es entrenar a un agente que pueda manejar simultáneamente la dirección, el control de aceleración/frenado y el complejo equilibrio requerido para la estabilidad de dos ruedas en los límites físicos del vehículo.

Metodología

Los autores proponen un marco implementado en VRider SBK, un simulador basado en Unity con física precisa que cuenta con pistas y modelos de motos del Campeonato Mundial de Superbikes del mundo real. El sistema integra Soft Actor-Critic (SAC) con Aprendizaje Profundo por Refuerzo de Ritmo Propio (SPDL).

1. Espacio de Estados y Acciones

• Espacio de Estados: El vector de observación combina características propioceptivas y globales, normalizadas a $[-1, 1]$.
  • Propioceptivas: Velocidad lineal/angular, ángulos de dirección y de inclinación actuales y previos, historial del ángulo de inclinación ($\theta$), relaciones de deslizamiento de los neumáticos y acciones de control previas. La inclusión del historial del ángulo de inclinación es crítico para anticipar y suprimir comportamientos oscilatorios.
  • Globales: 60 puntos de trayectoria 3D igualmente espaciados muestreados a lo largo de la trayectoria actual (línea central y límites de pista) mediante interpolación de spline de Catmull-Rom, proporcionando una mirada hacia adelante adaptada a la velocidad.
• Espacio de Acciones: Dos acciones continuas en $[-1, 1]$:
  1. Dirección (que también impulsa el ángulo de inclinación de la moto).
  2. Una señal combinada de aceleración/freno (mutuamente excluyente).

2. Diseño de la Recompensa

La función de recompensa es densa y de múltiples componentes, diseñada para minimizar el tiempo de vuelta mientras se penaliza la inestabilidad. Incluye:

• Progreso: Desplazamiento a lo largo de la trayectoria, negado si la moto viaja hacia atrás o fuera de la ruta.
• Penalizaciones: Tiempo fuera de pista, contacto con paredes (basado en energía cinética) y penalizaciones específicas de estabilidad por cambios grandes en la dirección, la inclinación y la velocidad angular entre pasos.
• Penalizaciones de Historial: Penalizaciones basadas en la función sigmoide sobre los deltas de ángulo acumulados para desalentar el comportamiento oscilatorio en la dirección y la inclinación.
• Condiciones de Fallo: Los episodios se reinician si la moto se cae, golpea una pared o excede los temporizadores de penalización.

3. Currículo de Ritmo Propio (SPDL)

En lugar de un diseño de currículo manual, el sistema utiliza SPDL para generar tareas dinámicamente basadas en el rendimiento del agente. La dificultad se define por la trayectoria que el agente debe seguir:

• Variables de Contexto:
  • $c_1$: Distancia desde la trayectoria mediana (línea central).
  • $c_2$: Distancia desde la línea de carrera ideal.
  • $c_3$: Límite de velocidad máxima.
• Mecanismo: El algoritmo mantiene una distribución de contexto $p(c|\nu)$ y optimiza un compromiso entre la maximización de la recompensa y la convergencia hacia una distribución objetivo (la línea ideal a máxima velocidad). Una restricción de divergencia KL evita saltos abruptos de dificultad. A medida que el agente supera un umbral de rendimiento $\delta$, el currículo se desplaza automáticamente desde la trayectoria mediana fácil hacia la línea de carrera ideal.

Contribuciones Clave

1. Arquitectura de RL para Vehículos de Dos Ruedas: Un espacio de estados adaptado que incluye el historial del ángulo de inclinación y una señal de recompensa diseñada específicamente para manejar las inestabilidades propias de las motocicletas (caídas, oscilación).
2. Integración de Currículo Automatizado: La primera integración de SPDL con Unity ML-Agents para carreras de motocicletas, permitiendo la generación dinámica y automática de tareas sin intervención manual.
3. Establecimiento de Línea Base: Resultados experimentales preliminares que establecen la primera línea base de RL para carreras de motocicletas autónomas, demostrando una eficiencia de entrenamiento y estabilidad superiores al SAC estándar.

Resultados Experimentales

Los experimentos se realizaron en el circuito de Barcelona (primario) y se generalizaron a Cremona y Phillip Island, utilizando la Ducati Panigale V4 R y otros cuatro modelos de motos.

• Eficiencia de Entrenamiento: En la iteración 1150, un agente SAC estándar no logró completar ni una sola vuelta, perdiendo el control repetidamente. El agente SPDL completó todas las vueltas con cero caídas y un tiempo promedio de 1:32.85. Para la iteración 1900, el SPDL logró un tiempo de vuelta de 1:30.75, superando a la línea base de SAC entrenado (1:31.32) por 0.57 segundos.
• Estabilidad: Los agentes SPDL demostraron significativamente menos caídas y excursiones fuera de la pista en comparación con SAC.
• Generalización de Pista: Los agentes entrenados con SPDL completaron con éxito las vueltas en Cremona y Phillip Island con cero caídas y cero colisiones, demostrando robustez a través de diferentes geometrías de pista.
• Generalización de Moto: Una política entrenada en la Ducati Panigale V4 R se transfirió a otros modelos (Kawasaki, Honda, Yamaha, BMW) sin necesidad de reentrenamiento.
  • La Kawasaki Ninja ZX-10RR mostró la mejor transferencia, quedando solo 0.87s por detrás de la Ducati en Barcelona.
  • Los modelos Honda y Yamaha incluso superaron a la Ducati en Phillip Island debido a un mejor manejo de curvas específicas.
  • El modelo BMW M1000 RR tuvo dificultades en Phillip Island, no logrando completar la vuelta, lo que resalta la dificultad de transferir a motos más agresivas y difíciles de conducir.

Significancia y Limitaciones

El artículo afirma establecer la primera línea base de RL para carreras de motocicletas autónomas, demostando que la combinación de SAC con el aprendizaje de currículo de ritmo propio es efectiva para gestionar las dinámicas únicas de los vehículos de dos ruedas. El marco se generaliza con éxito a través de múltiples pistas y modelos de motos, lo que sugiere que la política aprendida captura prioridades de control generalizables en lugar de solo la dinámica específica de una moto.

Sin embargo, los autores señalan modestamente las limitaciones actuales:

• Precisión de la Trayectoria: El agente tiende a priorizar la velocidad sobre la precisión, sobrepasando ocasionalmente las curvas (como se ve en los resultados cualitativos).
• Entrenamiento de Pista Única: Actualmente, se entrena un agente separado por pista; el trabajo futuro apunta a la generalización multi-pista.
• Sensado: El sistema actualmente depende de entradas basadas en vectores; las iteraciones futuras podrían incorporar entradas basadas en visión y arquitecturas actor-crítico asimétricas para mejorar la eficiencia de muestreo y el realismo.

Este trabajo sirve como un paso fundacional hacia las carreras de superbikes autónomas competitivas, con direcciones futuras que apuntan a probar en entornos de competición en lugar de solo modos de contrarreloj.