Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

Résumé technique : Façonnage des récompenses clairsemées en apprentissage par renforcement : une approche semi-supervisée

Énoncé du problème
L'apprentissage par renforcement (RL) fait face à un défi fondamental dans les scénarios réels où les signaux de récompense sont extrêmement clairsemés. Dans de tels environnements, les agents reçoivent un feedback immédiat minimal, ce qui entraîne une forte variance des retours et des difficultés à apprendre des politiques optimales. Bien que le façonnage et la densification des récompenses soient des solutions courantes, elles souffrent souvent de « piratage des récompenses », où les agents apprennent des comportements qui s'écartent de la conception prévue pour maximiser des récompenses artificielles. À l'inverse, les méthodes de façonnage des récompenses basées sur l'apprentissage supervisé, qui reposent sur des démonstrations non expertes, souffrent d'une faible efficacité d'échantillonnage lorsque les transitions à récompense non nulle sont extrêmement rares. Les approches existantes peinent à exploiter efficacement la grande majorité des transitions qui génèrent des récompenses nulles.

Méthodologie : Façonnage des récompenses semi-supervisé (SSRS)
Les auteurs proposent le cadre de façonnage des récompenses semi-supervisé (SSRS), qui comble ce fossé en exploitant les techniques d'apprentissage semi-supervisé (SSL). L'idée centrale est d'effectuer un façonnage des récompenses non seulement sur les rares transitions à récompense non nulle, mais aussi sur les abondantes transitions à récompense nulle, en apprenant des représentations de l'espace des trajectoires.

Le cadre fonctionne via les composants clés suivants :

1. Estimation des récompenses comme classification : Le problème de façonnage des récompenses est formulé comme une tâche de classification. Le système apprend à attribuer une valeur de récompense à partir d'un ensemble discret $Z$ (contenant les récompenses non nulles observées et zéro) aux paires état-action. L'estimateur de récompense se compose de deux réseaux de neurones :

   • $R_V(s)$ : Une fonction de distribution de récompense de valeur d'état qui mappe un état vers une distribution de probabilité sur $Z$.
   • $R_Q(s, a)$ : Une fonction de distribution de récompense de valeur état-action qui mappe une paire état-action vers une distribution de probabilité sur $Z$.
     Le vecteur de score de confiance final $q_t$ pour une transition est une combinaison pondérée de ces deux distributions.

2. Optimisation semi-supervisée : Le cadre alterne entre les mises à jour de la politique et l'optimisation de l'estimateur de récompense.

   • Perte supervisée ($L_r$) : Pour les transitions avec des récompenses non nulles connues, l'estimateur est entraîné pour minimiser l'écart entre ses prédictions et la vérité terrain en utilisant une perte d'entropie croisée seuillée.
   • Régularisation de cohérence ($L_s$) : Pour les transitions à récompense nulle, le modèle emploie une régularisation de cohérence. Il applique des augmentations de données faibles et fortes aux transitions d'entrée. Le modèle est optimisé pour produire des prédictions cohérentes entre les versions augmentées faiblement et fortement, à condition que la confiance dépasse un seuil $\lambda$. Cela utilise les données non étiquetées à récompense nulle pour affiner la fonction de récompense.

3. Augmentation par entropie : Une nouvelle technique d'augmentation de données est introduite spécifiquement pour les tâches non image. Contrairement aux augmentations d'image traditionnelles (par exemple, cutout, rotation) qui peuvent violer les hypothèses de lissité dans l'espace des trajectoires, cette méthode utilise l'entropie de Shannon. Elle calcule l'entropie de la matrice d'état et l'utilise pour perturber la représentation de l'état. Cela préserve les hypothèses de lissité et de regroupement requises pour que le SSL soit efficace dans l'espace des trajectoires.

4. Contrainte de monotonie : Pour stabiliser l'entraînement et améliorer la représentation des avantages d'action, une contrainte est introduite. Elle pénalise les cas où l'avantage estimé (la différence entre $R_Q(s, a)$ et $R_V(s)$) est négatif, garantissant que la fonction d'avantage capture les améliorations relatives par rapport à la ligne de base de l'état.

Contributions clés

• Cadre SSRS : Un cadre novateur qui intègre le SSL dans le RL, permettant un façonnage des récompenses sur les transitions à récompense non nulle et nulle pour améliorer l'efficacité d'échantillonnage dans les environnements à récompenses clairsemées.
• Augmentation par entropie : La proposition d'une méthode de perturbation de données basée sur l'entropie, adaptée aux espaces de trajectoires, qui surpasse les méthodes d'augmentation traditionnelles dans les tâches d'observation non visuelles.
• Validation empirique du SSL en RL : L'article enquête empiriquement sur les conditions dans lesquelles le SSL est efficace en RL, démontrant que les espaces de trajectoires respectent les hypothèses légères (lissité et regroupement) nécessaires aux méthodologies SSL.
• Contrainte de monotonie : L'introduction d'une contrainte pour réguler la relation entre les estimateurs de valeur d'état et de valeur état-action, améliorant la stabilité de l'entraînement.

Résultats expérimentaux
Le cadre SSRS a été évalué dans des environnements Atari à récompenses clairsemées (par exemple, Montezuma's Revenge, Seaquest, Venture) et des tâches de manipulation robotique (FetchReach).

• Performance par rapport aux références : SSRS a constamment surpassé les approches basées sur l'apprentissage supervisé (RCP, SORS) et les références RL standard. Dans des environnements très clairsemés comme Montezuma's Revenge, SSRS a atteint des scores de pointe jusqu'à deux fois supérieurs à ceux des références supervisées.
• Efficacité de l'augmentation : L'augmentation par entropie proposée a entraîné une augmentation de 15,8 % du meilleur score par rapport à d'autres méthodes d'augmentation (par exemple, cutout, lissage, translation).
• Études d'ablation : Les expériences ont confirmé l'importance de la contrainte de monotonie, montrant que SSRS avec cette contrainte (SSRS-ST) a obtenu des meilleurs scores plus élevés que sans elle (SSRS-NST) dans la plupart des environnements testés.
• Robustesse des hyperparamètres : L'étude a analysé des hyperparamètres tels que la probabilité de mise à jour ($p_u$), le seuil de confiance ($\lambda$) et le coefficient de cohérence ($\beta$). Les résultats ont indiqué que la performance atteint son pic lorsque le seuil de confiance est compris entre 0,8 et 0,9, et que le coefficient de cohérence a un impact minimal sur les résultats finaux mais affecte la dynamique de l'entraînement.

Signification et affirmations
L'article affirme qu'en traitant le façonnage des récompenses comme un problème de classification semi-supervisé, les agents peuvent apprendre efficacement de la majorité des transitions à récompense nulle, qui sont généralement rejetées ou sous-exploitées. Les auteurs soutiennent que l'espace des trajectoires en RL satisfait les hypothèses nécessaires au SSL (regroupement et lissité), permettant au modèle d'inférer des signaux de récompense fiables pour les transitions à récompense nulle. L'introduction de l'augmentation par entropie est soulignée comme une innovation critique qui adapte les techniques de perturbation SSL à la nature spécifique des observations RL, évitant les pièges de l'application d'augmentations centrées sur l'image à des données non visuelles. En fin de compte, ce travail démontre que le SSL peut considérablement améliorer l'efficacité du façonnage des récompenses, conduisant à des scores d'agents plus élevés dans des domaines difficiles à récompenses clairsemées.