Continual-RL for Generalization in Autonomous Racing on the RoboRacer Platform

Resumen Técnico: RL Continual para la Generalización en Carreras Autónomas en la Plataforma RoboRacer

Planteamiento del Problema
El artículo aborda el desafío de adaptar agentes robóticos a entornos físicos cambiantes donde la simulación no puede abarcar todas las configuraciones del mundo real. Aunque el Aprendizaje por Refuerzo (RL) ha logrado un rendimiento sobrehumano en juegos y robótica simulada, la generalización al mundo físico sigue siendo difícil. Los enfoques estándar que dependen de la transferencia de simulación a realidad (sim-to-real) a menudo requieren una extensa aleatorización de dominios, lo que puede derivar en políticas excesivamente conservadoras, o bien requieren grandes cantidades de datos del mundo real, los cuales son escasos y costosos de recolectar.

Específicamente, los autores se centran en las Carreras Autónomas (AR) en la plataforma RoboRacer. En este dominio, los agentes deben adaptarse a nuevos trazados de pista y a diversas combinaciones de fricción neumático-suelo (entornos no estacionarios) bajo estrictas restricciones de tiempo. El problema central es lograr un aprendizaje eficiente en muestras que evite el "olvido catastrófico" (degradación del rendimiento tras el cambio de tarea) y mantenga la "plasticidad" (la capacidad de adaptarse a nuevas tareas) sin depender de estructuras de política residuales o de un preentrenamiento extensivo en simulación.

Metodología
La solución propuesta es un marco de Aprendizaje por Refuerzo Continual (Continual RL) diseñado para el entrenamiento directo en el mundo real. La metodología integra los siguientes componentes:

1. Algoritmo Central: El marco utiliza el algoritmo off-policy Soft Actor-Critic (SAC), elegido por su eficiencia de muestras. Emplea una arquitectura asíncrona (Async-SAC) con nodos de actuación y aprendizaje separados.
2. Mecanismos de Aprendizaje Continual:
   • Retropropagación Continua (CBP): Aplicada a todas las capas de las redes del actor y del crítico para mitigar la pérdida de plasticidad. La CBP reinicializa dinámicamente las neuronas "latentes" (unidades con baja utilidad) basándose en una función de utilidad instantánea que considera las diferencias de activación y las magnitudes de los pesos.
   • L2 Init: Una técnica de regularización añadida al objetivo de aprendizaje para evitar que los pesos de la red crezcan indefinidamente, lo cual es una causa conocida de la pérdida de plasticidad.
   • Replay de Experiencia Adaptativo (Variación de ERE): En lugar de un búfer que se reduce, los autores implementan una curva de prioridad para el muestreo. Las muestras más nuevas reciben una alta prioridad ($P_{high} = 1.0$), mientras que las muestras más antiguas tienen una baja prioridad adaptativa que disminuye a medida que el búfer se llena. Esto equilibra la necesidad de adaptarse a la distribución de estado actual con la retención de la memoria de experiencias pasadas.
3. Protocolo de Entrenamiento:
   • Preentrenamiento: El agente es entrenado en cuatro pistas diferentes con dos combinaciones distintas de neumático-suelo (revestimiento de resina y asfalto) durante 100,000 pasos de gradiente.
   • Ajuste Fino (Fine-tuning): La política se ajusta finamente en una pista completamente nueva (concreto pulido) con menor fricción. El objetivo es superar a los controladores clásicos dentro de 15 minutos de entrenamiento adicional.
   • Seguridad: El entrenamiento es monitoreado por humanos. Un filtro de seguridad permite al agente de RL el control total (extremo a extremo), pero requiere que un operador humano presione un botón de conducción; soltarlo activa una penalización.
4. Comparaciones de Línea Base (Baselines):
   • RL Offline: Una estrategia de preentrenamiento alternativa utilizando Implicit Q-Learning (IQL) sobre un conjunto de datos de trayectorias diversas recolectadas durante la fase de entrenamiento continuo.
   • Controladores Clásicos: Model Predictive Contouring Control (MPCC) y Model-and Acceleration-based Pursuit (MAP).
   • Ablación: Comparaciones con el entrenamiento desde cero (Baseline-FS) y el entrenamiento continuo sin CBP (Baseline-C-n).

Contribuciones Clave
El artículo reclama las siguientes contribuciones:

• Un Marco de RL Continual: Un sistema basado en CBP que aprende políticas generalistas utilizando únicamente datos del mundo real. Logra ajustar finamente en una combinación de pista-suelo no vista dentro de 15 minutos, significativamente más rápido que trabajos previos (que requerían ~82 minutos) y sin utilizar estructuras de política residual.
• Comparación con RL Offline: Una evaluación de un enfoque de preentrenamiento de RL offline (IQL). Aunque este método mostró signos prometedores de plasticidad de red (convergiendo a un 0% de unidades muertas), resultó en un rendimiento reducido en comparación con el enfoque de aprendizaje continuo durante la fase de ajuste fino.
• Análisis de Simulación: Una evaluación que demuestra que las modificaciones de la red de aprendizaje continuo (CBP, L2 Init) mejoran significativamente el rendimiento durante el ajuste fino en comparación con las estrategias de gestión de búfer por sí solas. El estudio destaca que entrenar primero en pistas complejas puede inducir una mayor pérdida de plasticidad.
• Código Abierto: La publicación de pistas, modelos de simulación y marcos de RL para facilitar la replicación.

Resultados
Los experimentos se realizaron tanto en simulación como en la plataforma física RoboRacer.

• Simulación: El método continuo (CBP-n) superó consistentemente a la línea base no continua (Baseline-C-n) en términos de tiempos de vuelta y plasticidad (menos unidades muertas). El método offline (IQL-n) mostró una alta plasticidad, pero tiempos de vuelta más lentos.
• Rendimiento en el Mundo Real:
  • Tras 15 minutos de ajuste fino en la pista de prueba no vista, la política de RL continua (CBP-5) logró un tiempo de vuelta promedio de 10.44 segundos.
  • Esto superó al controlador clásico MAP (10.97s) y al controlador MPC (11.50s).
  • La política de RL continua fue un 6.4% más rápida que la línea base clásica MAP, un resultado comparable al trabajo previo que requería 84 minutos de entrenamiento.
  • La política "Desde Cero" (CBP-FS) logró un rendimiento similar (10.62s) pero requirió significativamente más tiempo (aprox. 50 minutos).
  • La política de RL Offline (IQL-4-CBP) tuvo un desempeño deficiente (12.13s) con alta varianza, a pesar de mostrar una alta plasticidad en cuanto a unidades muertas.
• Métricas de Plasticidad: El método continuo mantuvo un porcentaje menor de "unidades muertas" en la red del actor en comparación con las líneas base no continuas. Curiosamente, el método continuo en el mundo real mostró incluso menos unidades muertas (18%) que en la simulación (60%), lo que sugiere que el entorno real demanda una representación más compleja.

Significancia y Reivindicaciones
El artículo postula que su enfoque ofrece un camino viable para entrenar políticas generalistas en entornos físicos no estacionarios donde la simulación precisa es imposible o poco práctica. Al combinar SAC con Retropropagación Continua y estrategias de replay adaptativo, el método logra una adaptación rápida (10–15 minutos) a nuevos terrenos y niveles de fricción, superando a los controladores clásicos basados en modelos.

Los autores enfatizan que sus hallazgos fortalecen la correlación entre la plasticidad de la red (medida por unidades muertas) y las capacidades de adaptación. Sugieren que este marco es aplicable a otros dominios que requieren una rápida adaptación a condiciones no vistas, como la locomoción de cuadrúpedos en terrenos desconocidos o la manipulación diestra con materiales novedosos. El trabajo reconoce limitaciones, como la caída de rendimiento observada en el preentrenamiento de RL offline, y sugiere investigar incluso algoritmos más eficientes en muestras en el futuro.