A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

Dans le monde de l'intelligence artificielle, il existe un casse-tête persistant connu sous le nom de problème d'exploration. Imaginez que vous appreniez à un robot à traverser une pièce. Si le robot essaie simplement des mouvements aléatoires, il pourrait finir par trouver la bonne façon de bouger ses jambes, mais cela pourrait prendre des millions d'essais, ou il pourrait ne jamais trouver la solution du tout. Cela est particulièrement vrai lorsque le robot ne reçoit une récompense qu'après avoir réussi à traverser toute la pièce, plutôt que de recevoir un petit indice pour chaque pas correct effectué. Ce délai rend extrêmement difficile pour la machine de comprendre quelles actions spécifiques ont conduit au succès. Pendant des années, les chercheurs ont tenté de résoudre ce problème en décomposant les grandes tâches en objectifs intermédiaires plus petits, une stratégie appelée apprentissage hiérarchique. Cependant, ces méthodes nécessitent souvent que des humains définissent manuellement quels devraient être ces objectifs plus petits, ce qui limite la capacité du robot à s'adapter à des situations nouvelles ou complexes.

Une équipe de chercheurs de l'Université de Binghamton a proposé une nouvelle façon de gérer ce défi, une approche qui permet à la machine de découvrir ses propres objectifs intermédiaires sans instruction humaine. Ils ont développé un système appelé GANGSTER, qui signifie Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards (Réseau antagoniste génératif pour l'entraînement, l'exploration et les récompenses orientés vers des sous-objectifs). L'idée centrale est d'utiliser un type d'intelligence artificielle qui apprend en se faisant concurrence à elle-même pour générer des « points de passage » utiles pour le robot. Au lieu de deviner de manière aléatoire, le système apprend à proposer des états spécifiques — comme une position particulière des jambes du robot — qui sont susceptibles de mener à un score élevé, qui sont physiquement atteignables à partir de la position actuelle du robot, et qui sont suffisamment différents des tentatives précédentes pour maintenir la fraîcheur du processus d'apprentissage. Les chercheurs ont testé ce système dans des environnements simulés complexes impliquant des créatures virtuelles comme des guépards, des fourmis et des marcheurs, constatant qu'il aidait les machines à apprendre plus rapidement et plus de manière plus fiable, particulièrement dans les tâches les plus difficiles.

Les chercheurs ont conçu leur système pour qu'il fonctionne aux côtés d'algorithmes d'apprentissage puissants et existants, sans modifier leur fonctionnement fondamental. Considérez l'algorithme d'apprentissage comme un étudiant essayant de résoudre un problème de mathématiques difficile, et le nouveau système comme un tuteur qui suggère une étape intermédiaire utile. L'étudiant fait toujours le travail et apprend les règles, mais le tuteur indique un chemin prometteur. Dans ce cas, le « tuteur » est un modèle génératif entraîné pour créer des sous-objectifs candidats. Lorsque le robot commence une nouvelle tentative, le modèle génère une liste de cibles potentielles. Il évalue ensuite ces cibles selon trois critères : la qualité du résultat si le robot les atteint, la facilité avec laquelle le robot peut s'y rendre à partir de sa position actuelle, et la différence entre la cible et les autres pour garantir que le robot explore de nouveaux territoires. Le système choisit la meilleure cible et donne au robot une petite récompense immédiate pour se rapprocher de celle-ci, transformant ainsi un long voyage confus en une série d'étapes gérables.

Pour voir si cette approche fonctionnait réellement, l'équipe a mené des expériences approfondies en utilisant une suite de simulations robotiques standards connues sous le nom de MuJoCo. Ces environnements vont de tâches simples, comme équilibrer un pendule, à des tâches hautement complexes, comme contrôler une fourmi virtuelle à huit pattes qui doit coordonner ses mouvements pour courir vers l'avant. Les chercheurs ont comparé leurs robots améliorés par GANGSTER à des robots standards apprenant sans ce guidage supplémentaire. Les résultats ont montré un schéma clair : plus l'environnement est complexe, plus le nouveau système est utile. Dans les tâches les plus simples, les robots standards se débrouillaient très bien, et le nouveau système n'offrait que peu d'avantages. Cependant, dans les environnements à haute complexité, la différence était spectaculaire. Par exemple, dans l'environnement Ant-v5, le système GANGSTER a réduit le temps nécessaire pour résoudre la tâche d'environ 31 % et a augmenté la performance finale de 53 % par rapport à la méthode standard. Dans un autre test avec un guépard virtuel, le système a amélioré la cohérence de la solution à plus de 99 %, ce qui signifie que le robot échouait rarement une fois qu'il avait appris la tâche.

L'étude a également révélé que le succès du système dépendait fortement de la manière dont les objectifs intermédiaires étaient choisis. Les chercheurs ont testé différentes façons de pondérer les trois critères — la qualité (goodness), l'atteignabilité (reachability) et la variété (variety) — et ont découvert que donner la priorité à la « qualité » de l'objectif était le facteur le plus critique. Les objectifs promettant une récompense future élevée étaient les plus efficaces pour guider le robot. Cependant, les deux autres facteurs étaient essentiels pour la stabilité ; sans vérifier si un objectif était atteignable, le robot viserait des cibles impossibles, et sans assurer la variété, le robot resterait bloqué à essayer la même chose encore et encore. Le système s'est avéré flexible, fonctionnant bien avec deux types différents d'algorithmes d'apprentissage, et les bénéfices augmentaient à mesure que les tâches devenaient plus difficiles. Cela suggère que, lorsque l'intelligence artificielle est confrontée à des défis de plus en plus complexes dans le monde réel, posséder un mécanisme capable de générer et de prioriser automatiquement des objectifs intermédiaires utiles pourrait être une clé pour débloquer un apprentissage plus efficace et plus fiable.

Bien que le système ait montré un grand potentiel dans les simulations, les chercheurs ont pris soin de noter ses limites. Le processus de génération et d'évaluation de ces objectifs supplémentaires nécessite une puissance de calcul additionnelle, ce qui rend le processus d'apprentissage plus lent que les méthodes standards. Dans les environnements simples où le robot peut apprendre rapidement par lui-même, ce coût supplémentaire n'en vaut pas la peine. De plus, les tests actuels ont tous été menés dans un monde numérique simulé. Les chercheurs reconnaissent que l'application de cela à des robots du monde réel nécessiterait de traiter des problèmes tels que le bruit des capteurs et les contraintes de sécurité qui n'existent pas dans une simulation informatique. Malgré ces réserves, ce travail démontre une avancée significative dans l'enseignement aux machines comment explorer des environnements complexes par elles-mêmes. En fournissant une manière structurée de décomposer des problèmes difficiles en étapes réalisables, le cadre GANGSTER offre une voie pratique vers des systèmes d'intelligence artificielle plus capables, capables de naviguer dans les défis complexes et de longue portée du monde réel.