Guided Policy Optimization under Partial Observability

Cet article présente la Guided Policy Optimization (GPO), un cadre innovant qui améliore l'apprentissage par renforcement dans des environnements partiellement observables en co-entraînant un guide disposant d'informations privilégiées et un agent apprenant par imitation, surpassant ainsi les méthodes existantes tout en garantissant une optimalité théorique.

L'essentiel

Imagine que vous essayez d'apprendre à conduire une voiture de course.

Le problème : Vous êtes un débutant. Vous ne voyez que ce qui est devant vous à travers le pare-brise (les observations partielles), et il y a de la pluie et du brouillard (du bruit). C'est difficile de savoir exactement où sont les autres voitures ou quelle est la meilleure trajectoire. Si vous essayez d'apprendre seul par essais et erreurs, vous allez vous écraser beaucoup de fois avant de réussir.

La solution classique (et ses défauts) :
On pourrait vous donner un moniteur qui, lui, a une vue parfaite depuis un hélicoptère (l'information "privilégiée"). Il vous dit exactement quoi faire.

• Le problème : Si le moniteur est un champion du monde, il va faire des choses que vous, débutant, ne pouvez absolument pas imiter (comme freiner à la millimètre près ou anticiper un virage que vous ne voyez pas encore). Si vous essayez de copier ses mouvements, vous allez juste vous perdre ou vous frustrer. C'est ce qu'on appelle le "fossé de l'imitation" : le moniteur est trop bon pour vous.

La solution de ce papier : GPO (Guided Policy Optimization)
Les auteurs proposent une nouvelle méthode appelée GPO. Voici comment ça marche avec une analogie simple :

1. Le Duo "Guide et Apprenti"

Au lieu d'avoir un moniteur fixe et un élève fixe, le GPO crée un duo dynamique qui apprend ensemble.

• Le Guide (Guider) : C'est le moniteur avec la vue parfaite (l'hélicoptère). Il sait exactement où aller.
• L'Apprenti (Learner) : C'est vous, le conducteur, avec votre pare-brise embué.

2. La Magie : "Le Guide ne doit pas courir trop vite"

Dans les méthodes anciennes, le guide restait un expert fixe. Dans le GPO, le guide est contraint de rester à une vitesse que l'apprenti peut suivre.

Imaginez que le Guide et l'Apprenti sont liés par un élastique :

• Le Guide essaie d'aller vers la victoire (il utilise son information parfaite pour trouver la meilleure route).
• Mais, il doit constamment vérifier : "Est-ce que mon élève peut me suivre ?".
• Si le Guide commence à faire une manœuvre trop complexe que l'Apprenti ne peut pas voir ou exécuter, l'élastique le tire en arrière. Le Guide doit alors simplifier sa stratégie pour qu'elle reste "imitable".

3. Le Cycle d'Apprentissage

Voici la boucle magique du GPO :

1. Le Guide explore : Il utilise ses super-pouvoirs (vue complète) pour trouver de bonnes actions.
2. L'Apprenti copie : Il essaie de copier le Guide, mais seulement avec ce qu'il voit (vue partielle).
3. Le Recul (Backtracking) : Si l'Apprenti a du mal à suivre, le Guide modifie sa propre stratégie pour se rapprocher de ce que l'Apprenti est capable de faire. C'est comme si le Guide disait : "Attends, je vais ralentir et simplifier mon virage pour que tu puisses le faire avec moi."
4. Ensemble, ils progressent : Grâce à cette boucle, le Guide devient de plus en plus intelligent, et l'Apprenti grandit avec lui, sans jamais être laissé derrière.

Pourquoi c'est génial ?

• Pas de "Moniteur Impossible" : Le Guide ne devient jamais trop fort pour l'Apprenti. Il reste toujours dans la zone où l'Apprenti peut apprendre.
• Meilleure efficacité : L'Apprenti apprend beaucoup plus vite que s'il essayait de tout découvrir seul, car il bénéficie de l'expérience du Guide, mais sans être submergé.
• Résultats : Les tests montrent que cette méthode fonctionne incroyablement bien, même dans des environnements très bruyants ou où l'on doit se souvenir d'informations passées (comme des jeux de mémoire).

En résumé :
Le GPO, c'est comme avoir un coach de sport qui s'adapte à votre niveau. Au lieu de vous montrer des mouvements de champion olympique que vous ne pouvez pas faire, il ajuste ses démonstrations en temps réel pour qu'elles soient toujours à votre portée, tout en vous poussant doucement vers l'excellence. C'est une danse parfaite entre celui qui sait tout et celui qui apprend, où personne ne reste en arrière.

Résumé technique

1. Problématique

Le papier aborde le défi majeur de l'apprentissage par renforcement (RL) dans des environnements partiellement observables (POMDP). Dans ces scénarios, l'agent ne dispose que d'observations bruitées ou incomplètes ($o_t$), ce qui rend l'apprentissage d'une politique optimale complexe en raison de l'incertitude.

Cependant, lors de la phase d'entraînement (notamment en simulation), des informations privilégiées (comme l'état complet du système $s_t$) sont souvent disponibles. Le problème central réside dans l'exploitation efficace de ces informations pour guider un agent qui, en déploiement réel, ne verra que des observations partielles.

Les approches existantes, telles que l'Apprentissage par Imitation (IL) ou l'apprentissage Maître-Élève (Teacher-Student), souffrent d'un « écart d'imitation » (imitation gap) :

• Si le « Maître » (ou enseignant) utilise des informations privilégiées pour atteindre une performance optimale, sa politique peut devenir inimitable pour l'élève qui n'a pas accès à ces mêmes informations.
• Cela conduit souvent à des politiques sous-optimales ou à l'échec de l'apprentissage, car l'élève tente d'imiter des comportements qu'il ne peut pas comprendre ou reproduire avec ses observations limitées (ex: le problème du « TigerDoor » où le maître choisit une porte sans écouter, tandis que l'élève doit d'abord écouter pour localiser le tigre).

2. Méthodologie : Guided Policy Optimization (GPO)

Les auteurs proposent un nouveau cadre nommé GPO, qui co-entraîne simultanément deux entités : un Guider (guide) et un Learner (apprenant). Contrairement aux méthodes classiques où le Maître est pré-entraîné et fixe, le Guider et le Learner évoluent ensemble pour garantir l'alignement.

Principes Clés :

1. Co-entraînement et Alignement : Le Guider a accès aux informations privilégiées ($s$) et est entraîné via RL (ex: PPO) pour maximiser la récompense. Le Learner n'a accès qu'aux observations partielles ($o$) et est entraîné pour imiter le Guider.
2. Backtracking (Retour en arrière) : C'est le mécanisme central de GPO. À chaque itération, la politique du Guider est contrainte ou « recalée » pour rester dans la région de politiques imitables par le Learner. Si le Guider s'éloigne trop (devient trop performant pour être imité), sa politique est mise à jour pour se rapprocher de celle du Learner.
3. Deux Variants Implémentées :
   • GPO-penalty : Utilise une pénalité de divergence KL (Kullback-Leibler) dans la fonction de perte du Guider pour le maintenir proche du Learner. Le coefficient de pénalité est adaptatif.
   • GPO-clip : Inspiré de PPO-clip, il utilise une fonction de « double clipping ». Le Guider cesse de se mettre à jour si son action s'éloigne trop de celle du Learner (défini par un seuil $\delta$), empêchant ainsi la divergence.

Formulation Mathématique :

Le cadre repose sur une descente de miroir contrainte. Théoriquement, les auteurs démontrent (Proposition 1) que si le Guider est mis à jour via une descente de miroir, la mise à jour du Learner équivaut à une descente de miroir contrainte sur la politique de l'apprenant. Cela garantit que le Learner peut atteindre une optimalité comparable à un RL direct, malgré l'absence d'interaction directe avec l'environnement pour l'apprentissage de la politique (l'interaction se fait via le Guider).

L'objectif global combine :

• L'apprentissage par renforcement pour le Guider (sur $s$).
• L'apprentissage par imitation (BC) pour le Learner (sur $o$).
• Un terme RL additionnel pour le Learner (optionnel mais bénéfique) pour accélérer l'apprentissage lorsque le suivi du Guider est difficile.

3. Contributions Clés

• Cadre Théorique : Preuve que GPO permet d'atteindre l'optimalité sous observabilité partielle en évitant l'écart d'imitation, contrairement aux méthodes de distillation de politique statiques.
• Mécanisme d'Alignement Dynamique : Introduction du « backtracking » pour garantir que le guide reste toujours « imitable » par l'élève, résolvant le problème du « maître trop bon » (impossibly good teacher).
• Réduction de la Variance : En séparant la complexité de l'exploration (gérée par le Guider avec informations complètes) et la complexité de la perception (gérée par le Learner via imitation supervisée), GPO réduit la variance des gradients de politique, un problème majeur en POMDP.
• Partage de Paramètres : Les auteurs proposent une architecture où Guider et Learner partagent un même réseau de neurones, distingués par des entrées masquées (vecteur de zéros pour l'élève, état complet pour le guide), améliorant l'efficacité computationnelle.

4. Résultats Expérimentaux

Les auteurs ont évalué GPO sur trois types de tâches :

1. Tâches Didactiques (TigerDoor) :

   • GPO a réussi à apprendre la politique optimale dans des scénarios où l'imitation directe échouait (car le Maître ne choisissait jamais l'action d'exploration nécessaire).
   • GPO-naive (sans RL pour l'élève) a déjà atteint l'optimalité, validant la théorie de l'imitation contrainte.

2. Contrôle Continu (Domaine Brax) :

   • Tâches complexes (Ant, Humanoid, etc.) avec observations partielles (vitesse masquée) et bruitées.
   • Résultat : GPO-clip et GPO-penalty surpassent systématiquement les méthodes de base (PPO standard, PPO asymétrique) et les méthodes de co-entraînement existantes (ADVISOR, A2D, PPO+BC).
   • Les méthodes basées sur un Maître pré-entraîné (PPO+BC-t) s'effondrent lorsque le bruit augmente, car le Maître devient inimitable. GPO maintient une performance robuste.

3. Tâches Mémoire (POPGym) :

   • Jeux nécessitant de retenir des informations passées (Battleship, Count Recall).
   • GPO démontre une capacité supérieure à gérer la mémoire et l'information temporelle, surpassant PPO-asym et PPO standard.

5. Signification et Impact

Ce travail est significatif car il offre une solution théoriquement fondée et empiriquement robuste au problème de l'utilisation d'informations privilégiées en RL sous observabilité partielle.

• Dépassement des Limites de l'Imitation : Il résout le dilemme entre utiliser un expert performant (qui est souvent inimitable) et un expert sous-optimal (facile à imiter mais peu performant). GPO trouve le point d'équilibre optimal.
• Efficacité Échantillonnale : En permettant au Guider d'explorer efficacement avec des informations complètes tout en guidant l'élève, GPO accélère l'apprentissage dans des environnements bruyants et complexes.
• Généralité : La méthode s'applique aussi bien aux tâches de contrôle robotique qu'aux tâches nécessitant une mémoire à long terme, suggérant une large applicabilité pour le transfert Sim-to-Réal (Simulation vers Réalité).

En résumé, GPO transforme le problème de l'apprentissage sous incertitude en un processus d'optimisation guidée et contrainte, garantissant que l'apprentissage supervisé par un expert ne conduit jamais à une sous-optimalité due à un écart d'information.