Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks

1. Énoncé du problème

L'apprentissage par renforcement (RL) est largement utilisé en robotique, mais souffre d'une faible efficacité des données, nécessitant souvent des millions d'interactions pour résoudre des problèmes complexes. L'apprentissage par renforcement interactif (IRL) y remédie en intégrant des retours d'information d'un enseignant (humain ou artificiel) pour guider l'agent. Cependant, la littérature ne parvient pas à un consensus sur la fréquence optimale de feedback :

• Certaines études suggèrent que des fréquences plus élevées produisent des agents plus robustes.
• D'autres soutiennent qu'un feedback excessif provoque du « piratage de récompense » (reward hacking) ou retarde le début de l'apprentissage.
• Un troisième groupe préconise des fréquences intermédiaires.

Les auteurs émettent l'hypothèse que ces contradictions proviennent du fait que les études antérieures utilisaient principalement des environnements de grille discrets et de faible dimension. Ils affirment que l'effet de la fréquence de feedback varie probablement en fonction de la complexité de la tâche et du niveau de compétence de l'agent (étape de l'entraînement), ce qui n'a pas été systématiquement isolé dans des tâches de contrôle robotique continu.

2. Méthodologie

Configuration expérimentale

• Plateformes robotiques : L'étude a utilisé des tâches d'apprentissage de cinématique inverse pour deux robots :
  • NAO : Configurations à 2 degrés de liberté (DoF) et 4 DoF.
  • KUKA LBR iiwa 14 R820 : Configurations à 2 DoF, 4 DoF et 7 DoF.
• Tâche : L'agent doit contrôler le bras robotique dans l'espace articulaire pour atteindre des zones de but arbitraires dans l'espace de tâche cartésien.
• Fonction de récompense : Une fonction de récompense sparse a été utilisée (Récompense = 1 pour atteindre le but, 0 sinon) afin d'isoler l'effet du feedback sans confondre avec un façonnage de récompense (reward shaping).
• Algorithme : Automate d'apprentissage Acteur-Critique Continu (CACLA) implémenté avec des Perceptrons Multicouches (MLP) utilisant PyTorch et l'optimisation Adam.

Mécanisme interactif (Correction d'erreurs)

• Type de feedback : L'enseignant fournit un feedback binaire basé sur le fait qu'une action réduit ou non la distance euclidienne vers le but.
• Mécanisme : Si une action augmente la distance (une « erreur »), l'enseignant le signale et l'agent annule l'action et en explore une nouvelle. Cela guide le processus d'exploration plutôt que de façonner directement la fonction de récompense.
• Variable de contrôle (Probabilité de demande, $L$) : La probabilité que l'agent accepte le feedback de l'enseignant.
  • $L = 0.0$ : RL classique (sans feedback).
  • $L = 0.99$ : Hautement interactif (feedback sur presque chaque étape).
  • L'étude a testé des valeurs de $L$ de 0,0 à 0,99 par incréments.

Métriques d'évaluation

• Taux d'échec : Pourcentage de cibles manquées (équivalent à $1 - \text{récompense cumulative moyenne}$).
• Erreur de positionnement : Distance euclidienne moyenne par rapport à la cible.
• Stratégie d'analyse : La performance a été analysée non seulement par la convergence finale, mais par des taux d'échec seuillés dans le temps. Les auteurs ont comparé la rapidité avec laquelle différentes valeurs de $L$ atteignaient des seuils de performance spécifiques (par exemple, taux d'échec de 50 %, 10 %, 5 %) à travers différentes étapes de l'entraînement.

3. Résultats clés

Les expériences ont révélé que la fréquence de feedback « optimale » n'est pas statique ; elle dépend fortement de la complexité de la tâche et de la phase d'entraînement.

A. Dépendance à la complexité de la tâche

• Tâches simples (NAO 2 DoF) : Des fréquences de feedback élevées ($L \geq 0.7$) ont systématiquement amélioré les performances et conduit à une convergence parfaite. Les fréquences faibles ont divergé plus tard dans l'entraînement.
• Tâches complexes (KUKA 2, 4, 7 DoF) :
  • Début de l'entraînement : Des fréquences de feedback élevées étaient souvent préjudiciables, causant un retard dans le début de l'apprentissage ou des performances nettement inférieures par rapport aux fréquences faibles/moyennes.
  • Fin de l'entraînement : À mesure que l'agent devenait plus compétent, des fréquences de feedback élevées sont devenues bénéfiques, conduisant à des politiques plus robustes et à des taux d'échec plus faibles à long terme.
  • Divergence : Les agents à faible fréquence dans des tâches complexes atteignaient souvent un optimum local puis divergeaient (dégradation des performances), tandis que les agents à haute fréquence maintenaient la stabilité.

B. La « trajectoire optimale »

L'étude a montré qu'aucune valeur unique de $L$ n'est optimale pour toute la durée de l'entraînement.

• Phase précoce : Des valeurs de $L$ intermédiaires ou faibles sont souvent supérieures pour empêcher l'agent de devenir trop dépendant d'un feedback simplifié, ce qui entrave l'exploration de l'espace d'états complet.
• Phase tardive : Des valeurs de $L$ élevées deviennent optimales pour affiner la politique et assurer la robustesse face à la sensibilité des hyperparamètres.

C. Quantification de la réduction de la complexité de la tâche

Les auteurs ont introduit une heuristique pour prédire la valeur initiale optimale de $L$. Ils ont mesuré la complexité de tâche relative induite par le feedback (dans quelle mesure l'enseignant simplifie la tâche pour un agent aléatoire).

• Résultat : Les fréquences de feedback qui réduisent trop drastiquement la complexité de la tâche (rendant la tâche trop facile) sont préjudiciables au début.
• Plage optimale : Les valeurs initiales de $L$ les plus bénéfiques correspondent à une réduction de complexité de tâche relative d'environ 0,78 à 0,95. Cela suggère que l'enseignant devrait simplifier légèrement la tâche, mais pas au point que l'agent échoue à apprendre des comportements généralisables.

D. Preuve de concept de stratégie adaptative

Les auteurs ont démontré un régime d'interaction adaptatif sur la tâche KUKA 2 DoF :

1. Commencer avec $L=0.0$ (sans feedback) pour une exploration initiale rapide.
2. Passer à $L=0.5$ à l'époque 14.
3. Passer à $L=0.99$ à l'époque 18.

• Résultat : Cet agent adaptatif a atteint la convergence rapide précoce des agents à faible $L$ et la précision à long terme des agents à haut $L$, surpassant toute stratégie à $L$ fixe lorsqu'elle est mesurée par l'aire sous la courbe du taux d'échec.

4. Contributions clés

1. Résolution des contradictions : L'article unifie la littérature contradictoire en démontrant que « plus de feedback est mieux » et « moins de feedback est mieux » sont tous deux vrais, selon la complexité de la tâche et l'étape de l'entraînement.
2. Validation dans un espace continu : Contrairement aux études antérieures sur les mondes en grille, ce travail valide ces dynamiques dans des espaces d'état et d'action continus en utilisant la cinématique robotique réelle (NAO et KUKA).
3. Fréquence optimale dynamique : Il établit que la fréquence optimale de feedback est une trajectoire temporelle, et non un hyperparamètre statique.
4. Heuristique pour l'initialisation : Il propose une méthode pour sélectionner la fréquence de feedback initiale basée sur la réduction de complexité de tâche relative, fournissant une ligne directrice pratique pour les praticiens.

5. Importance et conclusion

Cette recherche modifie fondamentalement le paradigme de l'IRL en passant de la recherche d'une fréquence de feedback « universelle » à l'adoption de régimes d'interaction adaptatifs.

• Impact pratique : Pour les applications robotiques, cela suggère que les enseignants humains ou les oracles automatisés ne devraient pas fournir un feedback constant et à haute fréquence. Au contraire, ils devraient commencer par un feedback épars ou intermédiaire pour encourager l'exploration et augmenter progressivement la fréquence du feedback à mesure que l'agent apprend la structure de la tâche.
• Robustesse : Un feedback à haute fréquence dans les étapes ultérieures est crucial pour prévenir la divergence de la politique et assurer la robustesse, en particulier dans les tâches de haute dimension (7 DoF).
• Voies futures : Les auteurs suggèrent que les travaux futurs devraient se concentrer sur l'automatisation de la détection des points de basculement optimaux pour $L$ et l'investigation de la relation entre la fréquence de feedback et la « perte de capacité » dans les approximateurs de fonctions de réseaux de neurones.

En résumé, l'article soutient que la fréquence de feedback adaptative, ajustée à la compétence de l'agent et à la complexité spécifique de la tâche robotique, est la clé pour maximiser l'efficacité des données et les performances dans l'apprentissage par renforcement interactif.