Résumé technique : Trajectoire d'abord : Un curriculum pour découvrir des politiques diversifiées

Énoncé du problème

Les méthodes d'apprentissage par renforcement (RL) supposent souvent des distributions d'actions unimodales, produisant une politique unique qui peut être fragile face aux perturbations environnementales et sujette à rester piégée dans des optima locaux. Bien que la découverte d'un ensemble de politiques diversifiées maximise la robustesse, les méthodes existantes d'optimisation de diversité contrainte échouent fréquemment dans des tâches complexes et riches en contacts, telles que la manipulation robotique.

Le défi central identifié est la sous-exploration. Dans des domaines comme la manipulation robotique, les états des objets sont médiatisés par des contacts intermittents, créant des mappings non lisses entre les actions et les états, dominés par des discontinuités de contact. Par conséquent, les objectifs visant la diversité s'effondrent souvent vers quelques modes, car les stratégies alternatives sont trop rarement découvertes pour être renforcées. Les méthodes d'exploration locale standard (par exemple, le bruit gaussien dans l'espace des politiques) sont insuffisantes pour relier des variétés de récompenses élevées déconnectées dans ces environnements.

Méthodologie : Un curriculum en deux étapes

Les auteurs proposent « Trajectoire d'abord », un curriculum conçu pour surmonter les goulots d'étranglement de l'exploration en découplant l'exploration globale des trajectoires de l'apprentissage réactif des politiques. L'approche se compose de deux étapes distinctes :

Étape 1 : Recherche de nouveauté contrainte (CNS) dans l'espace des trajectoires

Au lieu d'optimiser directement les paramètres des réseaux de neurones, la première étape explore l'espace des trajectoires en boucle ouverte en utilisant une stratégie évolutionnaire (ES).

• Paramétrage basé sur les splines : Les trajectoires $\tau$ sont paramétrées comme des B-splines définies par des points de contrôle $\omega$. Cela fournit un biais inductif lisse et réduit la dimensionnalité de l'espace de recherche par rapport aux séquences d'actions brutes.
• Objectif d'optimisation : Le but est de trouver un ensemble de paramètres de trajectoire $\Omega_n$ qui maximise la diversité sous réserve d'une contrainte de quasi-optimalité ($v_{\omega_i} \geq \alpha v^*$).
• Recherche de nouveauté contrainte : Les auteurs introduisent un objectif lagrangien qui équilibre une récompense intrinsèque de nouveauté (basée sur l'entropie de l'ensemble des trajectoires, estimée via la distance k-NN) et la récompense extrinsèque de la tâche.
• Algorithme d'optimisation : Les points de contrôle $\omega$ sont optimisés à l'aide de CMA-ES, qui est très efficace pour l'espace de paramètres de taille modérée des B-splines. Cela permet à l'algorithme de « sauter » entre les modes et de découvrir des ancres diversifiées à haute récompense que la recherche locale dans l'espace des politiques manquerait.

Étape 2 : Distillation en politiques réactives

Les trajectoires diversifiées découvertes à l'étape 1 sont distillées en un ensemble de $n$ politiques réactives conditionnées par des compétences $\Pi_n$ en utilisant un apprentissage hors politique contraint.

• Cadre : Les auteurs adoptent le cadre Domino, traitant le gradient de l'objectif de diversité comme une récompense intrinsèque.
• Techniques de stabilisation : Pour assurer une distillation stable des données de trajectoire hors ligne vers des politiques réactives en ligne dans des tâches riches en contacts, trois modifications critiques sont introduites :
  1. Échantillonnage symétrique : Les lots d'entraînement sont composés de 50 % de données en ligne et de 50 % de trajectoires CNS filtrées (sélectionnées parmi les 25 % supérieures des retours). Cela empêche l'effondrement de la diversité lors de la transition vers le RL en ligne.
  2. L'astuce $v_{max}$ : Au lieu de s'appuyer sur une seule politique experte pour estimer la valeur optimale $v^*$, les auteurs mettent à jour $v^*$ comme le maximum de performance atteint parmi toutes les compétences et l'ensemble de l'historique d'entraînement ($v^* \leftarrow \max\{v^*, \max_i v_i\}$). Cela fournit une cible monotoniquement croissante et stable pour la contrainte de sous-optimalité, empêchant l'objectif de diversité d'être étouffé par une pression prématurée vers l'optimalité.
  3. Mise à jour élevée de la politique par rapport aux données (UTD) : Contrairement au RL standard hors ligne vers en ligne où le critique est mis à jour fréquemment et la politique rarement, cette méthode augmente la fréquence de mise à jour de la politique (par exemple, 4 mises à jour par étape d'environnement). Cela est nécessaire car la récompense intrinsèque dépend de l'occupation d'état de l'ensemble actuel des politiques ; des mises à jour fréquentes de la politique permettent à l'agent de suivre le rythme du paysage intrinsèque changeant.

Contributions clés

1. Identification empirique des goulots d'étranglement de l'exploration : Le travail démontre que les méthodes existantes d'optimisation de diversité contrainte (par exemple, Domino) échouent à découvrir des politiques diversifiées dans les tâches de manipulation robotique en raison de l'incapacité de l'exploration locale à relier des régions de haute récompense déconnectées.
2. Curriculum Trajectoire d'abord : Une approche novatrice en deux étapes qui utilise une recherche évolutionnaire sur des trajectoires basées sur des splines pour générer des ancres diversifiées à haute récompense, qui sont ensuite distillées en politiques réactives.
3. Recette de stabilisation : Un ensemble de techniques (Échantillonnage symétrique, astuce $v_{max}$, UTD élevée de la politique) qui permettent un apprentissage stable hors ligne vers en ligne pour les objectifs de diversité, abordant la non-stationnarité des récompenses intrinsèques dans des contextes contraints.

Résultats expérimentaux

La méthode a été évaluée sur quatre tâches robotiques : Navigation dans un labyrinthe, Poussée de cube, Appui sur un bouton et Retournement de cube.

• Diversité vs Performance : Le curriculum proposé a réalisé une augmentation de 1,5 fois de la diversité comportementale par rapport à la meilleure ligne de base (Domino) tout en maintenant des performances de tâche comparables.
• Résultats spécifiques à la tâche :
  • Dans la Navigation dans un labyrinthe, la méthode a découvert le plus grand nombre de chemins distincts, tandis que les lignes de base avaient tendance à se regrouper autour de routes sûres et sans collision.
  • Dans l'Appui sur un bouton, les lignes de base s'effondraient souvent vers l'utilisation du même lien robotique pour toutes les compétences. La méthode proposée a découvert avec succès des stratégies de manipulation de tout le corps utilisant différents liens robotiques.
  • Dans le Retournement de cube, la méthode a trouvé des modes de contact et des profils de force diversifiés, tandis que les lignes de base basées sur l'exploration par bruit échouaient en raison de collisions fréquentes et de récompenses négatives.
• Robustesse : La méthode est restée robuste sous des spécifications de récompenses adverses (par exemple, de fortes pénalités de collision) où les lignes de base échouaient à interagir avec les objets du tout, car la phase CNS fournissait un démarrage chaud au sein de régions à haute récompense.

Importance et revendications

L'article affirme que le principal goulot d'étranglement dans l'optimisation de diversité contrainte pour la robotique n'est pas l'objectif d'apprentissage lui-même, mais la dépendance à l'exploration locale. En introduisant un biais inductif grâce à des priors de trajectoire basés sur des splines, les auteurs permettent la découverte de modes de contact diversifiés qui sont autrement inaccessibles à la recherche standard dans l'espace des politiques.

Les auteurs positionnent ce travail comme une solution au compromis « exploration-exploitation » dans l'optimisation de la diversité. Ils soutiennent que, tandis que les travaux antérieurs supposent que les comportements diversifiés à haute récompense sont facilement accessibles sous l'optimisation de politique en ligne, cette hypothèse échoue dans les tâches de manipulation complexes. Le curriculum proposé fait le pont entre l'exploration globale au niveau des trajectoires et le contrôle réactif, offrant une recette pratique pour entraîner des agents robustes et diversifiés. Les auteurs notent modestement des limitations, telles que la dépendance à des caractéristiques d'état définies manuellement pour la mesure de la diversité et la transition fixe entre les étapes, suggérant que des travaux futurs pourraient explorer le basculement adaptatif et l'apprentissage de représentations à partir d'observations brutes.