Transfer Learning for Customized Car Racing Environments

Résumé Technique : Apprentissage par Transfert pour des Environnements de Course Automobile Personnalisés

Énoncé du Problème
L'apprentissage par renforcement (RL) fait face à un compromis fondamental entre exploration et exploitation, nécessitant souvent d'énormes quantités de données pour converger, en particulier dans des environnements aux récompenses clairsemées, à l'observabilité partielle et aux espaces de contrôle continus de haute dimension. Bien que l'apprentissage par transfert (TL) soit bien établi dans l'apprentissage profond supervisé, son application en RL profond n'est pas triviale en raison de la complexité du transfert de connaissances au sein des processus de décision markoviens (MDP). Le défi spécifique abordé dans ce travail consiste à atteindre des temps de tour rapides dans l'environnement Car Racing d'OpenAI en entraînant un agent sur un circuit source et en appliquant ces connaissances à des environnements cibles personnalisés (présentant des cartes, des accélérations, des freinages ou des paramètres de friction différents) via un transfert zéro-shot ou un ajustement fin.

Méthodologie
L'étude emploie une analyse comparative d'algorithmes d'apprentissage par renforcement profond sans modèle et avec modèle au sein de l'environnement OpenAI Gym Car Racing.

• Algorithmes Testés :
  • Sans modèle : Proximal Policy Optimization (PPO), Soft Actor-Critic (SAC) et Deep Deterministic Policy Gradient (DDPG).
  • Avec modèle : Dreamer (spécifiquement une version personnalisée de DreamerV2), qui apprend des dynamiques latentes via un modèle du monde pour planifier dans l'« imagination ».
• Configuration Expérimentale :
  • Domaine Source : Une carte Car Racing standard avec des virages moins extrêmes, utilisée pour un entraînement initial sur 1 million d'étapes.
  • Domaines Cibles : Environnements personnalisés créés en modifiant :
    1. Carte de Course : Une carte cible avec des virages plus serrés et plus difficiles.
    2. Dynamiques : Accélération modifiée (+0,2 par pas de temps contre +0,1 par défaut), coefficients de freinage (0,6 contre 0,8) et friction de l'herbe (0,8 contre 0,6).
  • Protocoles de Transfert :
    • Transfert Zéro-Shot : Évaluation des modèles pré-entraînés sur les domaines cibles sans interaction supplémentaire.
    • Transfert Few-Shot (Ajustement Fin) : Entraînement supplémentaire de 300k étapes sur le domaine cible.
  • Implémentation : Les auteurs ont utilisé le dépôt Stable Baselines3 (SB3) pour PPO, SAC et DDPG, ainsi qu'un fork personnalisé du dépôt DreamerV2. Les poids des réseaux de neurones ont été transférés entre les tâches source et cible.

Contributions Clés
L'article présente une étude d'ablation extensive comparant l'efficacité des approches avec modèle versus sans modèle dans des scénarios d'apprentissage par transfert pour des tâches de contrôle continu. Les contributions spécifiques incluent :

1. Tests systématiques de PPO, SAC, DDPG et Dreamer sur l'environnement standard OpenAI CarRacing.
2. Évaluation de la capacité de ces algorithmes à se transférer vers des environnements personnalisés impliquant des changements de circuits de course et de dynamiques véhiculaires (accélération, freinage, friction).
3. Une analyse comparative de la vitesse de convergence, de l'efficacité des échantillons et des performances finales entre les paradigmes avec modèle et sans modèle dans le contexte de l'apprentissage par transfert.

Résultats

• Performance sur l'Environnement de Base : L'approche avec modèle (Dreamer) a nettement surpassé les contreparties sans modèle, atteignant des récompenses supérieures à 900 et convergeant en environ 200k étapes. En revanche, PPO et SAC ont atteint des récompenses d'environ 550 et 500 respectivement à 1M d'étapes. DDPG a échoué à converger, produisant systématiquement des récompenses négatives (~-84) malgré un réglage extensif des hyperparamètres.
• Transfert Zéro-Shot : Sur la carte cible, Dreamer a obtenu la récompense la plus élevée (500), suivi de PPO (400) et SAC (~350). Tous ont performé en dessous de leurs niveaux sur la carte source. DDPG a continué à éprouver des difficultés.
• Ajustement Fin : Après 300k étapes d'ajustement fin, Dreamer a retrouvé un niveau de performance équivalent à la source (~915 de récompenses) et a résolu la tâche cible. PPO et SAC ont montré des performances similaires à leurs homologues zéro-shot, échouant à égaler le rétablissement de Dreamer.
• Dynamiques Personnalisées :
  • Accélération : PPO et Dreamer ont maintenu un niveau de performance de base ; SAC a légèrement baissé.
  • Freinage : PPO et SAC ont performé plus mal que la base ; Dreamer a maintenu un niveau de performance de base.
  • Friction : PPO a performé significativement plus mal et s'est dégradé davantage avec l'ajustement fin ; SAC a maintenu les niveaux de base ; Dreamer a performé légèrement plus mal mais a toujours surpassé tous les algorithmes sans modèle.
• Observations Qualitatives : L'analyse vidéo a révélé que, bien que les agents sans modèle aient parfois atteint des récompenses décentes, ils ont souvent exhibé des comportements dangereux (par exemple, rouler dans la mauvaise direction ou patiner). Dreamer, en particulier après ajustement fin, a démontré une manœuvrabilité supérieure dans les virages serrés.

Signification et Revendications
Les auteurs affirment que les approches avec modèle, spécifiquement Dreamer, dominent dans cet environnement en termes de performance, de vitesse de convergence et d'efficacité des échantillons par rapport aux méthodes sans modèle. L'étude souligne que les algorithmes sans modèle exhibent des propriétés de convergence fragiles, nécessitant un réglage méticuleux des hyperparamètres et échouant toujours à généraliser de manière fiable à travers différents environnements (comme le montrent DDPG et la dégradation de PPO dans les scénarios à haute friction).

L'article affirme que l'apprentissage par transfert, en particulier lorsqu'il est combiné à un ajustement fin, non seulement booste les performances sur les domaines cibles mais démontre également une haute capacité de performance durant le processus d'apprentissage, suggérant un potentiel pour un apprentissage par renforcement sûr. Les auteurs concluent que, bien qu'ils aient résolu avec succès la tâche de course automobile dans des configurations personnalisées en utilisant le RL avec modèle, leur travail a été contraint par des limites computationnelles (chaque expérience prenant environ 24 heures). Ils expriment un intérêt pour un travail futur impliquant le méta-RL, le safe-RL et des tests dans le monde réel, mais ne revendiquent pas d'applicabilité immédiate au-delà de la portée de leurs expériences de simulation.