Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

Résumé Technique : Façonnement de Récompense Bilével Évolutif pour la Généralisation en Apprentissage par Renforcement

Formulation du Problème
Cet article traite de l'écart de généralisation dans l'apprentissage par renforcement profond (Deep RL), où les politiques entraînées sur des environnements limités échouent à performer dans des environnements de test inédits présentant des dynamiques différentes (par exemple, des probabilités de transition variables). Les auteurs se concentrent sur un scénario spécifique et contraint, courant dans les contextes de préservation de la vie privée ou de restrictions :

• Environnements d'entraînement ($M_{train}$) : Un ensemble restreint et fixe d'environnements où l'intégralité des trajectoires état-action est observable.
• Environnements de validation ($M_{val}$) : Un ensemble plus large d'environnements où seules les métriques de performance scalaires (récompenses cumulées non actualisées) sont disponibles. Les trajectoires complètes sont inaccessibles, empêchant le calcul des gradients de politique ou des techniques standard de randomisation de domaine (DR) qui reposent sur des données de trajectoire diversifiées.
• Objectif : Maximiser la performance de généralisation ($J_{gen}$) sur des environnements de test non vus en utilisant le retour scalaire limité des environnements de validation pour guider l'entraînement sur les environnements accessibles.

Méthodologie : Généralisation via le Façonnement de Récompense Évolutif (GERS)
Les auteurs proposent GERS, un cadre d'optimisation bilével conçu pour façonner automatiquement la fonction de récompense afin d'améliorer la généralisation sans accès aux trajectoires de validation.

1. Formulation Bilével :

   • Niveau Inférieur (Optimisation de la Politique) : Un agent de RL (utilisant l'Optimisation de Politique Proximale, PPO) apprend une politique $\pi_\theta$ sur les environnements d'entraînement ($M_{train}$) en utilisant une fonction de récompense façonnée $\hat{r}_\nu$. L'objectif est de maximiser le rendement actualisé sur les données d'entraînement : $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$.
   • Niveau Supérieur (Optimisation du Façonnement de Récompense) : Une stratégie évolutive (Stratégie d'Évolution par Adaptation de la Matrice de Covariance, CMA-ES) optimise les paramètres de façonnage de la récompense $\nu$. L'objectif est de maximer la récompense non façonnée cumulée obtenue par la politique de niveau inférieur sur les environnements de validation : $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$.
   • La récompense façonnée est définie linéairement : $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$, où $\phi(s, a)$ concatène les vecteurs état et action.

2. Implémentation Algorithmique :

   • Pré-entraînement : Un agent PPO est d'abord pré-entraîné sur la fonction de récompense originale pour fournir une initialisation robuste.
   • Recherche Évolutive : CMA-ES échantillonne des candidats de paramètres de récompense $\nu$. Pour chaque candidat, l'agent PPO est affiné (en utilisant la politique pré-entraînée comme point de départ) sur les environnements d'entraînement avec la récompense façonnée.
   • Évaluation : Les politiques résultantes sont évaluées sur les environnements de validation pour obtenir des scores scalaires. Ces scores guident la mise à jour de CMA-ES.
   • Efficacité : Pour réduire le coût computationnel, la méthode utilise le partage de paramètres (héritage des réseaux Acteur et Critique) à partir du modèle pré-entraîné et utilise l'évaluation parallèle des candidats de CMA-ES.

Contributions Clés

• Cadre Novateur : L'article formalise et traite le défi de la généralisation en RL où les environnements de validation sont des "boîtes noires" ne fournissant que des retours scalaires, une contrainte souvent ignorée par les méthodes standard de Randomisation de Domaine (DR) ou de Génération Procédurale de Contenu (PCG).
• Cadre Bilével : Il introduit une approche d'optimisation bilével qui découple l'apprentissage de la politique (niveau inférieur) de la conception de la fonction de récompense (niveau supérieur), en utilisant des stratégies évolutives pour combler l'écart entre la performance d'entraînement et de validation.
• Efficacité des Données : La méthode démontre qu'une haute généralisation peut être atteinte sans accéder aux trajectoires dans les environnements de validation, en s'appuyant uniquement sur le retour scalaire pour orienter le façonnage de la récompense.

Résultats Expérimentaux
Les auteurs ont évalué GERS sur quatre tâches de contrôle continu MuJoCo (InvertedPendulum, Hopper, HalfCheetah, Ant) avec des paramètres physiques variables (ex: masse, friction, gravité).

• Comparaison avec les Baselines : Un PPO standard entraîné sur un seul environnement a montré un surapprentissage significatif, atteignant des récompenses d'entraînement élevées mais une faible performance sur les environnements de test inédits.
• Performance de GERS : GERS a nettement surpassé la baseline PPO standard sur toutes les tâches, atteignant une performance de généralisation comparable à la performance d'entraînement dans plusieurs cas (ex: InvertedPendulum).
• Comparaison avec la Randomisation de Domaine (DR) :
  • GERS a été comparé à une baseline DR utilisant le même ensemble d'environnements que les données d'entraînement (avec accès complet aux trajectoires).
  • Bien que la DR ait performé le mieux sur les tâches complexes (HalfCheetah, Ant), GERS a surpassé la DR sur les tâches plus simples (InvertedPendulum, Hopper).
  • Crucialement, GERS a atteint une robustesse compétitive par rapport à la DR malgré des contraintes d'information beaucoup plus strictes (pas d'accès aux trajectoires dans les environnements de validation).
• Analyse Hors-Distribution (OOD) : Les évaluations par cartes thermiques (heatmaps) ont montré que GERS maintenait une forte robustesse lorsque l'un des paramètres physiques était poussé dans des régions extrêmes OOD, bien que la performance chute lorsque plusieurs paramètres sont extrêmes simultanément.

Signification et Revendications
L'article affirme que GERS améliore efficacement la généralisation du RL sous des contraintes d'accès restreint aux données. Sa principale importance réside dans la démonstration que le façonnement de récompense optimisé via des stratégies évolutives sur le feedback scalaire de validation peut servir d'alternative viable à la Randomisation de Domaine lorsque les données de trajectoire sont indisponibles. Les auteurs avancent que cette approche est particulièrement pertinente pour les applications du monde réel comme le "red teaming" automatisé ou les déploiements sensibles à la vie privée, où les développeurs peuvent observer les résultats de performance mais ne peuvent pas accéder aux transitions d'états internes des systèmes cibles.

Limites Reconnues
Les auteurs notent modestement plusieurs limitations :

• L'évaluation est restreinte aux tâches de contrôle continu à récompense dense ; l'applicabilité aux problèmes à récompense parcimonieuse n'est pas vérifiée.
• Les coûts de calcul élevés ont limité le nombre d'essais indépendants, affectant la puissance statistique.
• Le gain de performance est une combinaison du façonnage de la récompense et de la sélection de la meilleure politique parmi de nombreux runs stochastiques ; une étude d'ablation est nécessaire pour isoler la contribution spécifique du façonnage de la récompense.
• Le CMA-ES de niveau supérieur n'a pas totalement convergé dans toutes les expériences, suggérant la nécessité de variantes sensibles au bruit dans les travaux futurs.