Résumé Technique : CRAFT – Coaching de l'Apprentissage par Renforcement de manière Autonome en utilisant des Modèles de Fondation pour les Tâches de Coordination Multi-Robots

1. Formulation du Problème

Le papier traite du défi consistant à appliquer l'apprentissage par renforcement multi-agents (MARL) à des tâches de coordination multi-robots dans le monde réel. Bien que le MARL offre un cadre pour la prise de décision décentralisée, son application en robotique est entravée par :

• Des espaces d'actions conjointes continus à haute dimension.
• Une conception de récompense creuse et complexe : Définir des récompenses qui capturent à la fois les comportements individuels et la coordination d'équipe nécessaire est difficile.
• La non-stationnarité : Les agents apprenant simultanément créent un environnement changeant les uns pour les autres.
• Des tâches à long horizon : Les tâches nécessitant des comportements riches en contacts sur plusieurs étapes échouent souvent car de petites erreurs lors des premières interactions empêchent le succès ultérieur.

Les auteurs postulent que les humains apprennent une coordination complexe grâce au « coaching » — un processus impliquant la conception de programmes (décomposition des tâches en sous-tâches), la fourniture de signaux d'apprentissage (récompenses) et l'évaluation des progrès. Ils soutiennent que les modèles de fondation (modèles de langage étendus - LLM et modèles de langage-vision - VLM) peuvent automatiser ce rôle de coach, en décomposant les tâches, en générant des récompenses et en les affinant sur la base de retours visuels et quantitatifs.

2. Méthodologie : Le Cadre CRAFT

CRAFT (Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks) fonctionne selon une boucle de coaching automatisée composée de quatre modules clés :

2.1 Module de Génération de Curriculum

Un LLM de Curriculum décompose une tâche cible à long horizon ($M_{target}$) en une séquence de $K$ sous-tâches ($M_1, \dots, M_K$).

• Processus : Le LLM reçoit une description en langage naturel de la tâche et de l'environnement. Pour atténuer la stochasticité des sorties du LLM, le système génère plusieurs curricula candidats et incite le LLM à les affiner en un curriculum unique et cohérent.
• Ancrage : Les sous-tâches sont décrites à l'aide de variables d'état spécifiques de l'environnement (par exemple, « minimiser la distance euclidienne à la poignée ») plutôt que par un langage naturel vague afin de garantir une conception de récompense précise.

2.2 Module de Génération de Fonction de Récompense

Pour chaque sous-tâche $M_k$, un LLM de Génération de Récompense traduit la description en langage naturel en une fonction de récompense Python exécutable ($R_k$).

• Contexte : Le LLM est fourni avec des descriptions d'environnement, des fonctions d'aide (pour traiter les états de haute dimension) et des fonctions de récompense issues des sous-tâches précédentes pour éviter l'oubli catastrophique.
• Structure : La récompense est décomposée en composantes interprétables (par exemple, lift_reward, balance_reward) pour faciliter l'analyse ultérieure.
• Entraînement : Une politique décentralisée $\pi_k$ est entraînée en utilisant un algorithme de formation centralisée et d'exécution décentralisée (plus précisément MAPPO).

2.3 Module d'Évaluation de la Politique

Avant de passer à la sous-tâche suivante, un VLM d'Évaluation évalue la politique entraînée $\pi_k$.

• Entrées : Le VLM analyse les images de déroulement (instantanés visuels) et les trajectoires des variables d'état.
• Décision : Il détermine si la politique a accompli la sous-tâche avec succès.
  • Succès : Le curriculum passe à $M_{k+1}$.
  • Échec : Le VLM fournit une raison d'échec, déclenchant la boucle de raffinement.

2.4 Module de Raffinement de la Récompense

Si une politique échoue, le système entre dans une boucle de raffinement (jusqu'à $J$ itérations, typiquement $J=3$) :

1. Génération de Conseils : Un VLM de Conseil analyse la raison de l'échec, le code de récompense actuel et les courbes d'apprentissage des composantes de récompense (graphiques montrant comment des termes de récompense spécifiques ont évolué pendant l'entraînement). Il génère des conseils en langage libre sur la manière de modifier la récompense (par exemple, « augmenter le poids du terme de levage », « supprimer le carré sur l'élévation »).
2. Raffinement de la Récompense : Un LLM de Raffinement prend le code de récompense ayant échoué et le conseil du VLM pour générer une nouvelle fonction de récompense affinée ($R^{j+1}_k$).
3. Réentraînement : La politique est réentraînée avec la nouvelle récompense. Si toutes les tentatives échouent, la meilleure politique des itérations est sélectionnée et le curriculum passe à la sous-tâche suivante.

Démarrage à chaud (Warm-Starting) : Lors du passage à une nouvelle sous-tâche, les poids de la politique sont initialisés à partir de la politique réussie de la sous-tâche précédente. Pour éviter la « perte de plasticité » (convergence vers des optima locaux), le système réinitialise les paramètres d'exploration (écart-type de la politique) et les poids du réseau de valeur tout en préservant les poids de l'acteur.

3. Contributions Clés

1. Cadre CRAFT : Un nouveau cadre qui exploite les capacités de raisonnement des modèles de fondation pour coacher de manière autonome des équipes multi-robots à travers des tâches de coordination à long horizon.
2. Automatisation du Curriculum et de la Conception de Récompense : L'intégration de LLM pour la décomposition des tâches et la génération de récompenses, couplée à des VLM pour l'évaluation visuelle et le raffinement des récompenses, réduisant le besoin de curricula et de fonctions de récompense conçus par l'humain.
3. Validation Empirique : Démonstration de l'efficacité de CRAF sur des tâches multi-robots complexes (navigation de quadrupèdes et manipulation bimanuelle) où le MARL standard et les méthodes de base basées sur les LLM échouent.
4. Transfert sur le Monde Réel : Transfert zero-shot réussi des politiques apprises de la simulation vers le matériel physique (quadrupèdes Unitree Go1 et Go2) sans ajustement fin (fine-tuning).

4. Résultats Expérimentaux

Les auteurs ont évalué CRAF sur trois environnements : Quadruped Gate (passage dans une porte étroite), Quadruped Seesaw (équilibre et grimpe) et Two-Arm Lift (levage coopératif d'un pot).

• Performance par rapport aux lignes de base :
  • CRAFT a obtenu les taux de réussite les plus élevés dans Seesaw (59,33 %) et Lift (94,67 %), et est resté compétitif dans Gate (78,33 %).
  • Lignes de base : "Env Reward" (conçue par l'humain) et "Example Reward" ont atteint des taux de réussite proches de zéro ou très faibles. "From Scratch" (récompenses CRAF sans curriculum) a été nettement moins performant que CRAF, soulignant la nécessité du curriculum.
  • Lignes de base LLM : Comparé à Eureka (recherche de récompense par LLM sans curriculum) et CurricuLLM (curriculum par LLM sans raffinement par VLM), CRAF a surpassé les deux. Eureka a souvent appris des politiques avec des configurations articulaires non naturelles et physiquement implausibles, tandis que CurricuLLM a souffert d'une fiabilité moindre en raison de l'absence de raffinement de la récompense.
• Efficacité du Raffinement de la Récompense : La boucle de raffinement guidée par VLM a considérablement amélioré le « Ratio de Succès du Curriculum » (la fraction des essais résultant en une politique réussie) et le « Taux de Succès Maximum » par rapport à CurricuLLM.
• Fiabilité du VLM : Le module d'évaluation de la politique par VLM a atteint une précision de 85,71 % par rapport à la vérité terrain, les erreurs étant des faux négatifs conservateurs (rejetant des politiques réussies), ce qui est acceptable car cela déclenche simplement un raffinement supplémentaire.
• Transfert Matériel : Dans la tâche Quadruped Gate, la politique entraînée en simulation a atteint un taux de réussite de 65 % sur des robots réels sur 20 essais sans aucun ajustement fin, démontant un transfert sim-to-real robuste.

5. Signification et Revendications

Le papier affirme que CRAF démontre la viabilité de l'utilisation des modèles de fondation comme coachs autonomes pour les systèmes multi-robots. Sa signification réside dans :

• Réduction de l'Intervention Humaine : Automatisation du processus fastidieux de conception de curricula et de fonctions de récompense pour des tâches de coordination complexes.
• Possibilité d'une Coordination Complexe : Apprentissage réussi de comportements difficiles à acquérir via un entraînement direct ou une conception de récompense statique, particulièrement dans des scénarios à long horizon et riches en contacts.
• Plausibilité Physique : L'approche par curriculum par étapes guide les agents vers des comportements physiquement réalisables (par exemple, des saisies stables avant le levage) plutôt que d'optimiser uniquement pour le succès terminal, ce qui mène souvent à des mouvements non naturels dans les méthodes d'optimisation directe comme Eureka.

Limites Reconnues :

• Stochasticité : La dépendance aux modèles de fondation introduit de la variabilité ; certains essais peuvent échouer en raison d'un mauvais curriculum ou d'une mauvaise génération de récompense, bien que cela soit gérable en simulation en lançant plusieurs tentatives.
• Dépendance au VLM : Le module d'évaluation repose fortement sur les trajectoires numériques d'état plutôt que sur des informations purement visuelles, ce qui pourrait limiter la détection d'échecs ancrés visuellement (par exemple, une mauvaise coordination spatiale).
• Scalabilité : L'approche actuelle nécessite de multiples requêtes LLM/VLM par sous-tâche, ce qui peut être coûteux en termes de calcul, bien que les auteurs notent que cela est suffisant pour les tâches testées.

Les auteurs concluent que bien que les modèles de fondation introduisent de la stochasticité, leur capacité à décomposer les tâches et à affiner les récompenses de manière autonome offre une voie prometteuse vers une coordination multi-robot scalable et fiable dans des environnements du monde réel.