Résumé Technique : RDA (Reward Design Agent for Reinforcement Learning)

Problématique

L'apprentissage par renforcement (RL) a connu un succès significatif dans le contrôle robotique, mais sa scalabilité est entravée par la dépendance aux fonctions de récompense conçues à la main. La conception de ces fonctions est un processus lent et fragile, dominé par l'essai et l'erreur, échouant souvent à s'aligner sur les intentions humaines complexes. Bien que des approches automatisées récentes comme Eureka utilisent des modèles de langage de grande taille (LLM) pour générer du code de récompense via une recherche évolutive, elles reposent sur des retours numériques grossiers (par exemple, les taux de réussite et les statistiques de composants). Ce manque de compréhension sémantique empêche le système de distinguer des modes d'échec distincts qui produisent des scores similaires, menant à des politiques qui atteignent les objectifs de la tâche mais violent les comportements souhaités (par exemple, jeter un objet pour atteindre une cible plutôt que de le pousser).

Méthodologie

Les auteurs présentent RDA (Reward Design Agent), un cadre agentique basé sur un modèle vision-langage (VLM) conçu pour injecter une compréhension sémantique dans la boucle de conception de récompense. RDA fonctionne via un processus évolutif itératif qui imite l'ingénierie de récompense humaine :

1. Initialisation et Décomposition :

   • Étant donné une instruction en langage naturel et un environnement de simulation, un VLM décompose la tâche en une séquence de sous-tâches interprétables.
   • Conditionné par l'instruction et les sous-tâches, le VLM génère un pool initial de candidats de code de récompense exécutables.

2. Boucle de Recherche Évolutive :

   • Entraînement de la Politique : Chaque candidat de récompense est utilisé pour entraîner une politique de RL (utilisant le Soft Actor-Critic) dans le simulateur.
   • Analyse Visuelle : Contrairement aux méthodes précédentes qui reposent uniquement sur des statistiques numériques, RDA échantillonne des trajectoires des politiques entraînées et les soumet à une analyse visuelle par un VLM. Le VLM évalue chaque sous-tâche indépendamment, attribuant un score d'achèvement (0,0–1,0) et fournissant une justification textuelle pour le score.
   • Résumé et Diagnostic : Le VLM agrège ces analyses pour identifier les modes d'échec récurrents (par exemple, « l'agent penche son torse au lieu d'utiliser ses mains ») et résume la performance de la politique.
   • Réflexion et Révision :
     • Réflexion sur la Sous-tâche : Le VLM analyse si la décomposition actuelle des sous-tâches capture suffisamment l'instruction. Si un mode d'échec est détecté (par exemple, des exigences de contact ambiguës), la définition de la sous-tâche est affinée pour être plus explicite.
     • Réflexion sur la Récompense : Guidé par les diagnostics visuels et les sous-tâches affinées, le VLM révise le code de récompense. Cela inclut l'ajustement des poids des composants, l'introduction de mécanismes de déclenchement (par exemple, exiger un contact bilatéral des mains avant de récompenser le mouvement vers l'avant), ou la modification des fonctions de lissage pour traiter des modes d'échec spécifiques.

3. Terminaison : Le processus se répète pour un nombre fixe d'itérations, retournant la fonction de récompense la plus performante trouvée.

Contributions Clés

• Retour Visuel Piloté par VLM : RDA est le premier cadre qui intègre l'analyse visuelle de trajectoire directement dans la boucle de raffinement de la récompense. Il dépasse les statistiques numériques grossières pour fournir des diagnostics sémantiques fins du comportement de l'agent.
• Décomposition de Tâche et Raisonnement au Niveau de la Sous-tâche : En décomposant les instructions complexes en sous-tâches, RDA permet une attribution de crédit ciblée et un diagnostic d'échec, permettant des corrections précises sur des aspects spécifiques du comportement.
• Raffinement Itératif Agentique : Le système emploie un processus en boucle fermée où le VLM agit à la fois comme évaluateur et concepteur, affinant de manière itérative à la fois la spécification de la tâche (sous-tâches) et le code de récompense sur la base de preuves visuelles.

Résultats Expérimentaux

Les auteurs ont évalué RDA sur 16 tâches à travers deux benchmarks : ManiSkill (12 tâches de manipulation sur table à horizon court) et HumanoidBench (4 tâches de manipulation corporelle complète à horizon long).

• ManiSkill : Tant RDA que la base de référence Eureka surpassent significativement les récompenses denses et éparses conçues par l'humain, tant en termes d'alignement que de taux de réussite. RDA a atteint l'alignement (0,95) et le taux de réussite (0,90) les plus élevés, résolvant notamment la tâche difficile PlugCharger où les autres méthodes ont peiné.
• HumanoidBench : L'avantage du retour visuel est devenu prononcé dans ces tâches complexes à horizon long. Bien qu'Eureka ait atteint des taux de réussite comparables à ceux de RDA, il présentait un alignement avec l'instruction nettement inférieur (0,47 contre 0,70). Eureka résolvait fréquemment les tâches via des comportements mal alignés (par exemple, jeter un colis), tandis que l'analyse visuelle de RDA lui a permis de détecter et de corriger ces déviations, résultant en des politiques qui suivent le comportement de « poussée » prévu.
• Études d'Ablation :
  • Analyse Visuelle : L'ajout de l'analyse visuelle basée sur les trajectoires à la base de référence Eureka a fourni le gain le plus substantiel en alignement (de 0,31 à 0,82), confirmant le retour visuel comme le mécanisme critique pour détecter le désalignement.
  • Décomposition de Sous-tâche : L'ajout ultérieur de la décomposition de sous-tâches a amélioré les taux de réussite (de 0,83 à 1,0 sur PlugCharger) en permettant une meilleure attribution de crédit pour la manipulation fine.
  • Mise à l'échelle (Scaling) : Les performances ont augmenté de manière cohérente avec le nombre de candidats de récompense générés par itération.

Signification et Revendications

L'article affirme que RDA comble une lacune critique dans la conception de récompenses automatisées : l'incapacité des méthodes existantes à détecter et corriger les comportements mal alignés lorsqu'ils satisfont numériquement les objectifs de la tâche. En fermant la boucle entre l'apprentissage de la politique et les diagnostics visuels, RDA démontre que les boucles agentiques guidées par la vision sont essentielles pour apprendre des tâches complexes à horizon long avec un minimum de supervision humaine.

Les auteurs concluent que bien que RDA soit actuellement confronté à des limites concernant le coût computationnel (en raison de la nécessité de cycles complets d'entraînement RL) et les contraintes de contexte des VLM, il établit un nouveau paradigme où le feedback basé sur la vision est nécessaire pour garantir que les politiques apprises ne réussissent pas seulement, mais adhèrent également aux spécifications nuancées des instructions humaines. À mesure que les modèles de fondation et les simulateurs progressent, les auteurs postulent que de tels cadres basés sur la vision deviendront indispensables pour l'apprentissage robotique.