: Training Robots to Reason in Natural Language via Reinforcement Learning
Le document introduit , un cadre de post-entraînement qui transforme les modèles vision-langage prêts à l'emploi en raisonneurs robotiques capables de générer des guidages en langage naturel libre pour les politiques de manipulation de bas niveau, améliorant ainsi considérablement l'exploration et la généralisation dans les tâches à horizon long grâce à une combinaison de pré-entraînement sur des traces d'experts et d'apprentissage par renforcement basé sur des rubriques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les robots sont depuis longtemps des maîtres de la répétition, capables d'exécuter le même mouvement des milliers de fois avec une précision parfaite. Pourtant, face à une situation nouvelle ou à une erreur, ils trébuchent souvent, manquant de la capacité de faire une pause et de réfléchir à ce qui s'est mal passé. Cette limitation provient d'un fossé entre voir le monde et le comprendre. L'intelligence artificielle moderne a fait des progrès tant en vision qu'en langage, permettant aux machines de reconnaître des objets et de suivre des commandes vocales. Cependant, relier ces capacités à l'action physique de manière à permettre une résolution de problèmes flexible reste un défi important. La question centrale qui anime la recherche récente est de savoir si donner à un robot la capacité de « réfléchir » en mots avant de bouger peut l'aider à naviguer dans des tâches complexes et de longue durée qui nécessitent de la planification, du suivi de progression et de la récupération après des erreurs.
Une équipe de chercheurs de l'Université Carnegie Mellon a développé une nouvelle méthode pour apprendre à un robot ce type de réflexion. Ils ont créé un système qui entraîne une intelligence artificielle de haut niveau à générer un raisonnement en langage naturel — essentiellement un commentaire continu sur ce que le robot doit faire ensuite — avant d'émettre une commande à un contrôleur de bas niveau qui déplace réellement les bras du robot. Les chercheurs ont découvert qu'en entraînant le système à produire ces pensées, le robot devenait nettement meilleur pour résoudre des tâches de manipulation difficiles, telles que l'agencement de blocs en formes spécifiques ou le rangement de courses dans un sac. La découverte clé est que l'acte de générer ces pensées en temps réel, plutôt que de les utiliser uniquement comme un outil d'entraînement, agit comme une forme de calcul mental qui aide le robot à diriger ses actions plus efficacement.
Les chercheurs ont abordé ce problème en traitant le cerveau du robot comme un système en deux parties. Une partie est un « raisonneur », un grand modèle de langage qui observe la scène et l'objectif, et l'autre est un « exécutant », une politique pré-entraînée qui exécute les mouvements physiques. Dans leurs expériences, le raisonneur avait pour tâche d'observer l'état actuel du monde, l'historique de ce qui s'est passé jusqu'à présent, et l'objectif final, puis de rédiger une courte explication de son plan avant d'émettre une instruction spécifique à l'exécutant. Par exemple, si l'objectif était d'aligner des blocs, le raisonneur pourrait d'abord noter qu'un bloc vert est déjà en place, observer qu'une étoile est mal positionnée, puis décider de déplacer l'étoile pour compléter la ligne. Ce processus de rédaction du raisonnement se produit chaque fois que le robot effectue une étape.
Pour enseigner ce système, les chercheurs ont utilisé un processus d'entraînement en deux étapes. D'abord, ils ont montré au système des exemples d'experts résolvant des tâches tout en verbalisant leurs processus de pensée. Cette étape, qu'ils appellent « mid-training » (entraînement intermédiaire), a aidé le modèle à apprendre le style de raisonnement nécessaire pour ces tâches physiques, comme le suivi d'une progression partielle ou le fait de remarquer quand un plan a échoué. Cependant, le simple fait de mimer ces exemples ne suffisait pas. Les chercheurs ont ensuite utilisé une seconde étape impliquant l'apprentissage par renforcement, une méthode où le système apprend par essais et erreurs basés sur des retours. Dans cette étape, le robot recevait une tâche et devait générer son propre raisonnement et ses propres instructions. Il recevait une récompense non pas seulement pour le résultat final, mais pour la correspondance entre son instruction générée et l'intention de l'instruction d'un expert. Cela a permis au système d'affiner ses compétences de raisonnement en utilisant une vaste quantité de données où seules les instructions finales étaient connues, sans avoir besoin de collecter des exemples coûteux de pensées d'experts pour chaque mouvement.
Les résultats de ces expériences ont été mesurés dans deux environnements distincts. Le premier était une table simulée remplie de blocs colorés, où le robot devait disposer les blocs en formes comme des lignes ou des formes en V. Le second était une simulation plus complexe d'un robot bimanuel rangeant des courses dans des sacs. Dans les deux cas, le système entraîné avec cette méthode de raisonnement, que les chercheurs ont nommé R3, a surpassé les systèmes qui ont été entraînés uniquement à suivre des instructions sans générer de pensées. Sur les tâches d'agencement de blocs, le robot doté de raisonnement a montré une capacité marquée à se généraliser à de nouvelles formes inédites, réussissant là où les autres méthodes échouaient. Dans la simulation de rangement de courses, le robot capable de raisonner sur ses actions a atteint un taux de réussite de près de 47,9 % sur des tâches difficiles et inédites, contre environ 38,0 % pour un système qui se contente de suivre des instructions sans réfléchir.
Crucialement, les chercheurs ont examiné si l'amélioration provenait du fait que le robot apprenait simplement de meilleurs motifs visuels pendant l'entraînement ou de l'acte de réflexion lui-même. Ils ont découvert que, bien que l'entraînement ait amélioré la capacité du robot à comprendre la scène, le véritable bénéfice provenait du processus de raisonnement au moment de la décision. Lorsqu'ils forçaient le robot à cesser de générer des pensées pour simplement agir, ses performances chutaient considérablement. Inversement, lorsqu'ils permettaient au robot de passer plus de temps à générer des pensées plus longues et plus détaillées, son taux de réussite augmentait, particulièrement sur les tâches les plus difficiles. Cela suggère que le raisonnement linguistique sert de mécanisme permettant au robot de consacrer un effort mental supplémentaire aux problèmes difficiles, tout comme un humain pourrait faire une pause pour réfléchir à un puzzle complexe avant de faire un mouvement.
L'étude a également révélé des comportements spécifiques que le système de raisonnement a appris à adopter. Le robot a commencé à comparer différentes actions possibles avant d'en choisir une, à réexaminer la scène lorsqu'il était incertain de la position d'un objet, et à ajuster son plan lorsqu'il réalisait qu'une étape précédente avait échoué. Il a appris à suivre l'historique de ses interactions, se souvenant de ce qu'il avait déjà fait pour éviter de répéter les erreurs. Ces comportements n'ont pas été explicitement programmés ; ils ont émergé naturellement à mesure que le système apprenait à utiliser le langage pour guider ses actions. Les chercheurs ont noté que cette approche fonctionnait même lorsque le robot n'était pas donné d'exemples explicites de pensées d'experts pour la seconde étape d'entraînement, s'appuyant plutôt sur la capacité du système à inférer le raisonnement correct à partir des instructions finales seules.
Bien que les expériences aient été menées dans des environnements simulés, les conclusions offrent une voie claire vers des robots plus adaptables. Les chercheurs suggèrent que cette méthode pourrait être appliquée à des robots réels pour les aider à gérer l'imprévisibilité des tâches physiques, comme faire face à des capteurs bruyants ou se remettre de collisions. Ils soulignent également que les travaux futurs pourraient explorer l'entraînement conjoint des parties de raisonnement et d'action, plutôt que de les maintenir séparées, afin de créer un comportement encore plus coordonné. Pour l'instant, ce travail démontre que donner à un robot la capacité de se parler à lui-même sur ce qu'il fait n'est pas seulement un exercice théorique, mais un moyen pratique d'améliorer sa capacité à résoudre des problèmes complexes et de longue durée. Le système n'a pas besoin d'être parfait pour être utile ; il doit simplement être capable de réfléchir aux étapes, et ce faisant, il devient bien plus capable qu'une machine qui se contente de réagir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.