Transfer Learning for Customized Car Racing Environments

Resumen Técnico: Aprendizaje por Transferencia para Entornos de Carreras de Coches Personalizados

Enunciado del Problema
El Aprendizaje por Refuerzo (RL) enfrenta un compromiso fundamental entre la exploración y la explotación, requiriendo a menudo grandes cantidades de datos para converger, particularmente en entornos con recompensas dispersas, observabilidad parcial y espacios de control continuo de alta dimensión. Si bien el Aprendizaje por Transferencia (TL) está bien establecido en el aprendizaje profundo supervisado, su aplicación en el RL profundo no es trivial debido a la complejidad de transferir conocimientos dentro de los Procesos de Decisión de Markov (MDP). El desafío específico abordado en este trabajo es lograr tiempos de vuelta rápidos en el entorno Car Racing de OpenAI entrenando un agente en un circuito fuente y aplicando ese conocimiento a entornos objetivo personalizados (que presentan mapas, aceleración, frenado o parámetros de fricción diferentes) mediante transferencia cero-shot o ajuste fino.

Metodología
El estudio emplea un análisis comparativo de algoritmos de aprendizaje por refuerzo profundo sin modelo y basados en modelo dentro del entorno Car Racing de OpenAI Gym.

• Algoritmos Probados:
  • Sin Modelo: Optimización de Política Proximal (PPO), Actor-Crítico Suave (SAC) y Gradiente de Política Determinista Profundo (DDPG).
  • Basado en Modelo: Dreamer (específicamente una versión personalizada de DreamerV2), que aprende dinámicas latentes a través de un modelo del mundo para planificar en la "imaginación".
• Configuración Experimental:
  • Dominio Fuente: Un mapa estándar de Car Racing con curvas menos extremas, utilizado para el entrenamiento inicial durante 1 millón de pasos.
  • Dominios Objetivo: Entornos personalizados creados alterando:
    1. Pista de Carreras: Un mapa objetivo con curvas más cerradas y difíciles.
    2. Dinámicas: Coeficientes de aceleración modificados (+0.2/paso de tiempo frente al valor predeterminado +0.1), coeficientes de frenado (0.6 frente a 0.8) y fricción en el césped (0.8 frente a 0.6).
  • Protocolos de Transferencia:
    • Transferencia Cero-Shot: Evaluación de modelos preentrenados en dominios objetivo sin interacción adicional.
    • Transferencia Few-Shot (Ajuste Fino): Entrenamiento adicional de 300k pasos en el dominio objetivo.
  • Implementación: Los autores utilizaron el repositorio Stable Baselines3 (SB3) para PPO, SAC y DDPG, y un fork personalizado del repositorio DreamerV2. Los pesos de las redes neuronales se transfirieron entre las tareas fuente y objetivo.

Contribuciones Clave
El artículo presenta un extenso estudio de ablación que compara la eficacia de los enfoques basados en modelo frente a los sin modelo en escenarios de aprendizaje por transferencia para tareas de control continuo. Las contribuciones específicas incluyen:

1. Pruebas sistemáticas de PPO, SAC, DDPG y Dreamer en el entorno estándar OpenAI CarRacing.
2. Evaluación de la capacidad de estos algoritmos para transferirse a entornos personalizados que implican cambios en las pistas de carreras y las dinámicas vehiculares (aceleración, frenado, fricción).
3. Un análisis comparativo de la velocidad de convergencia, la eficiencia de muestras y el rendimiento final entre los paradigmas basados en modelo y sin modelo en el contexto del aprendizaje por transferencia.

Resultados

• Rendimiento en el Entorno Base: El enfoque basado en modelo (Dreamer) superó significativamente a sus contrapartes sin modelo, logrando recompensas superiores a 900 y convergiendo en aproximadamente 200k pasos. En contraste, PPO y SAC alcanzaron recompensas de 550 y ~500 respectivamente a los 1M de pasos. DDPG no logró converger, produciendo consistentemente recompensas negativas (-84) a pesar de un ajuste exhaustivo de hiperparámetros.
• Transferencia Cero-Shot: En el mapa objetivo, Dreamer logró la recompensa más alta (500), seguido por PPO (400) y SAC (~350). Todos rindieron por debajo de sus niveles en el mapa fuente. DDPG continuó teniendo dificultades.
• Ajuste Fino: Después de 300k pasos de ajuste fino, Dreamer recuperó el rendimiento a nivel de fuente (~915 recompensas) y resolvió la tarea objetivo. PPO y SAC mostraron un rendimiento similar a sus contrapartes cero-shot, sin lograr igualar la recuperación de Dreamer.
• Dinámicas Personalizadas:
  • Aceleración: PPO y Dreamer mantuvieron el rendimiento a nivel base; SAC disminuyó ligeramente.
  • Frenado: PPO y SAC rindieron peor que la base; Dreamer mantuvo el rendimiento a nivel base.
  • Fricción: PPO rindió significativamente peor y se degradó aún más con el ajuste fino; SAC mantuvo los niveles base; Dreamer rindió ligeramente peor pero aún superó a todos los algoritmos sin modelo.
• Observaciones Cualitativas: El análisis de video reveló que, aunque los agentes sin modelo a veces lograron recompensas decentes, a menudo exhibieron comportamientos inseguros (por ejemplo, conducir en la dirección incorrecta o patinar). Dreamer, particularmente después del ajuste fino, demostró una maniobrabilidad superior en curvas cerradas.

Significado y Afirmaciones
Los autores afirman que los enfoques basados en modelo, específicamente Dreamer, dominan en este entorno en cuanto a rendimiento, velocidad de convergencia y eficiencia de muestras en comparación con los métodos sin modelo. El estudio destaca que los algoritmos sin modelo exhiben propiedades de convergencia frágiles, requiriendo un ajuste meticuloso de hiperparámetros y aún fallando en generalizar de manera confiable a través de diferentes entornos (como se observa con DDPG y la degradación de PPO en escenarios de alta fricción).

El artículo afirma que el aprendizaje por transferencia, particularmente cuando se combina con ajuste fino, no solo mejora el rendimiento en dominios objetivo, sino que también demuestra una alta capacidad de rendimiento durante el proceso de aprendizaje, sugiriendo potencial para el aprendizaje por refuerzo seguro. Los autores concluyen que, aunque resolvieron con éxito la tarea de carreras de coches en configuraciones personalizadas utilizando RL basado en modelo, su trabajo estuvo limitado por restricciones computacionales (cada experimento tomó ~24 horas). Expresan interés en trabajos futuros que involucren meta-RL, RL seguro y pruebas en el mundo real, pero no afirman una aplicabilidad inmediata más allá del alcance de sus experimentos de simulación.