Résumé technique : Représentations basées sur un modèle débiaisées pour le contrôle continu économe en échantillons

Énoncé du problème

Les agents d'apprentissage par renforcement (RL) souffrent souvent d'une inefficacité en termes d'échantillons, nécessitant des interactions en ligne étendues pour apprendre des politiques efficaces. Bien que les méthodes sans modèle aient amélioré l'efficacité grâce à diverses techniques, les approches basées sur un modèle offrent une efficacité d'échantillonnage supérieure en apprenant la dynamique de l'environnement, mais engendrent des coûts d'entraînement élevés. Des approches hybrides récentes tentent d'apprendre des représentations basées sur un modèle (en intégrant des dynamiques latentes dans les représentations état-action) pour alimenter les réseaux acteur-critique en aval, combinant ainsi les avantages des deux paradigmes.

Cependant, les auteurs identifient deux sources critiques de biais dans les méthodes existantes de représentation basée sur un modèle, qui conduisent à des performances sous-optimales :

1. Biais de représentation : Les méthodes existantes minimisent généralement l'écart numérique (par exemple, l'erreur quadratique moyenne) entre la représentation actuelle état-action ($z_{sa}$) et la représentation de l'état suivant ($z_{s'}$). Les auteurs soutiennent que minimiser la distance euclidienne ne maximise pas intrinsèquement l'information mutuelle entre ces représentations. Par conséquent, les représentations apprises peuvent échouer à capturer suffisamment d'informations pertinentes ou peuvent surajuster à des éléments redondants, en particulier dans les espaces de haute dimension.
2. Biais d'échantillonnage : Les stratégies standard de mémoire de replay d'expérience, telles que l'échantillonnage uniforme ou le Prioritized Experience Replay (PER), sont sensibles au biais de primauté. Le PER favorise les transitions avec de grandes erreurs de différence temporelle (TD), qui correspondent souvent à des expériences précoces, potentiellement sous-optimales. Cela amène l'agent à surajuster aux données précoces qui peuvent s'écarter considérablement de la distribution actuelle de la politique, entraînant une instabilité de l'entraînement et des performances inférieures.

Méthodologie : L'algorithme DR.Q

Pour résoudre ces problèmes, les auteurs proposent DR.Q (Debiased model-based Representations for Q-learning), un algorithme de RL hors politique conçu pour apprendre des représentations basées sur un modèle informatives. Le cadre sépare le processus d'apprentissage en deux phases : (i) l'apprentissage des représentations d'état et état-action en utilisant des objectifs basés sur un modèle, et (ii) l'optimisation des fonctions de valeur et des politiques en aval.

1. Maximisation de l'information mutuelle dans l'apprentissage de représentation

DR.Q modifie l'objectif d'entraînement de l'encodeur pour maximiser explicitement l'information mutuelle entre la représentation état-action ($z_{sa}$) et la représentation de l'état suivant ($z_{s'}$), en plus de minimiser leur écart.

• Perte de cohérence latente : Minimise l'erreur quadratique moyenne (MSE) entre la représentation de l'état suivant prédite et la représentation cible de l'état suivant.
• Perte d'information mutuelle : Pour éviter l'ingérabilité du calcul direct de l'information mutuelle, DR.Q emploie la perte InfoNCE (une borne inférieure de l'information mutuelle). Cette perte encourage les représentations à être non seulement numériquement proches, mais aussi à encoder des connaissances partagées et informatives sur les dynamiques latentes.
• Justification théorique : Les auteurs prouvent (Théorème 4.1) que minimiser la MSE ne garantit pas une augmentation de l'information mutuelle. De plus, ils montrent (Lemme 4.2) que maximiser l'information mutuelle réduit strictement l'entropie conditionnelle de l'état suivant étant donné l'état-action actuel, conduisant à un modèle de dynamique latente plus déterministe et discriminatif, ce qui resserre la borne supérieure de l'erreur d'estimation de la valeur.

2. Prioritized Experience Replay atténué (Faded PER)

DR.Q introduit une stratégie d'échantillonnage novatrice pour atténuer le biais de primauté en combinant le Prioritized Experience Replay (PER) avec un mécanisme d'oubli.

• Mécanisme : La probabilité d'échantillonnage $P(i)$ pour une transition $e_i$ est proportionnelle au produit de la magnitude de son erreur TD et d'un facteur de décroissance basé sur son âge dans la mémoire de replay :
  $$P(i) \propto |\delta(i)|^\alpha (1 - \epsilon)^i$$
  où $\delta(i)$ est l'erreur TD, $\alpha$ est un coefficient de lissage et $\epsilon$ est le taux de décroissance.
• Effet : Cette stratégie attribue une haute priorité aux transitions qui sont à la fois nouvelles (ajoutées récemment) et informatives (grandes erreurs TD). Elle garantit que les expériences anciennes, même si elles présentaient initialement de grandes erreurs, sont progressivement dépriorisées à mesure que la politique évolue, empêchant ainsi l'agent de surajuster aux données obsolètes.
• Analyse théorique : Les auteurs fournissent des bornes théoriques (Théorème 4.3) montrant que sous Faded PER, la probabilité d'échantillonnage des expériences anciennes avec des erreurs TD identiques est strictement inférieure à celle des expériences plus récentes, et que les temps d'échantillonnage attendus pour les expériences anciennes sont bornés.

Contributions clés

1. Algorithme DR.Q : Un algorithme général de RL hors politique qui apprend des représentations basées sur un modèle en utilisant un seul ensemble d'hyperparamètres à travers divers benchmarks de contrôle continu.
2. Apprentissage de représentation débiaisé : L'introduction d'une perte d'information mutuelle basée sur InfoNCE pour compléter les pertes de cohérence latente standard, garantissant que les représentations sont suffisamment informatives et expressives.
3. Prioritized Experience Replay atténué : Une stratégie d'échantillonnage qui équilibre efficacement les avantages de la priorisation des transitions à fort erreur avec la nécessité d'oublier les expériences obsolètes, atténuant ainsi le biais de primauté.
4. Évaluation complète : Validation empirique extensive à travers 73 tâches provenant de trois benchmarks standards (MuJoCo, DMC Suite et HumanoidBench), démontrant robustesse et généralisabilité.

Résultats expérimentaux

Les auteurs ont évalué DR.Q par rapport à des bases de référence solides, incluant des méthodes sans modèle (par exemple, SimBaV2, FoG, TD7) et des méthodes basées sur un modèle (par exemple, MR.Q, TDMPC2, DreamerV3).

• Performance : DR.Q correspond systématiquement ou dépasse les bases de référence de l'état de l'art. Les améliorations notables incluent :
  • Un gain de 15,5 % par rapport à SimBaV2 sur les tâches DMC-Hard.
  • Une amélioration de 58,9 % par rapport à FoG sur les tâches HumanoidBench (avec des mains habiles).
  • Un avantage de 26,8 % par rapport à MR.Q sur les tâches DMC-Visual.
• Efficacité d'échantillonnage : DR.Q atteint une efficacité d'échantillonnage supérieure, dépassant souvent les bases de référence avec une marge importante. Par exemple, c'est la première méthode rapportée à atteindre un retour moyen dépassant 700 sur la tâche difficile dog-run dans les 1 million d'étapes d'environnement.
• Études d'ablation : Les expériences confirment que la suppression de la perte InfoNCE ou du mécanisme Faded PER conduit à une dégradation significative des performances, en particulier sur les tâches de haute dimension avec des informations d'état redondantes (par exemple, HumanoidBench avec des mains).
• Qualité de la représentation : Les visualisations t-SNE indiquent que DR.Q apprend des clusters plus continus et concentrés par rapport à MR.Q, suggérant un meilleur apprentissage structurel de l'espace latent.

Signification et affirmations

L'article affirme que DR.Q représente une étape concrète vers la construction d'algorithmes de RL sans modèle performants et généraux. En traitant explicitement les biais dans l'apprentissage de représentation (via la maximisation de l'information mutuelle) et le replay d'expérience (via Faded PER), DR.Q atteint de fortes performances sans nécessiter de réglage d'hyperparamètres spécifique à la tâche ni de changements architecturaux complexes.

Les auteurs notent des limitations, telles que des performances inférieures sur des tâches spécifiques comme Hopper-v4 (attribuées à l'utilisation d'hyperparamètres unifiés) et des défis sur des tâches visuelles extrêmement difficiles comme humanoid-run dans le cadre d'un budget d'entraînement limité. Ils reconnaissent également que l'algorithme n'est pas conçu pour l'exploration difficile ou les tâches non markoviennes. Malgré ces limitations, le travail démontre que le débiaisage des représentations basées sur un modèle est une voie viable pour améliorer l'efficacité d'échantillonnage dans le contrôle continu.