Decoupling Planning and Control for Instructable Agents

Dans le monde de l'intelligence artificielle, il existe un fossé persistant entre la pensée et l'action. D'un côté, nous avons les grands modèles de langage, ces systèmes capables de lire une instruction complexe, d'en comprendre l'objectif et de le décomposer en une séquence logique d'étapes. Ces modèles excellent dans le raisonnement de haut niveau, un peu comme un humain donnant des directions, mais ils sont souvent trop lents et maladroits pour effectuer les mouvements physiques de l'ordre de la fraction de seconde requis pour naviguer dans un monde réel ou virtuel. De l'autre côté, nous avons des systèmes de contrôle spécialisés qui peuvent réagir instantanément à leur environnement, se déplaçant avec rapidité et précision, mais qui sont incapables de comprendre des objectifs abstraits ou de suivre une conversation. Ils sont comme un athlète hautement qualifié qui peut courir vite mais ne sait pas où aller sans qu'un entraîneur ne lui crie des commandes spécifiques. Pour qu'un robot ou un agent numérique soit véritablement utile dans des environnements complexes et changeants, il doit posséder à la fois la capacité de planifier et la capacité d'agir, pourtant la combinaison de ces deux capacités distinctes a historiquement représenté un défi d'ingénierie difficile.

Une équipe de chercheurs a abordé ce fossé avec un nouveau système appelé Instruct-to-Act, qui sépare avec succès la tâche de planification de la tâche de contrôle. Au lieu d'essayer de forcer un seul modèle massif à tout faire à la fois, ils ont construit un partenariat entre deux composants spécialisés. Le premier est un planificateur, qui utilise un modèle de vision-langage pré-entraîné pour observer l'environnement et l'objectif de l'utilisateur, puis rédige une instruction simple de haut niveau. Le second est un contrôleur, un système léger entraîné spécifiquement pour prendre ces instructions et les transformer en un flux rapide d'actions physiques. L'innovation clé est que ces deux parties opèrent de manière indépendante mais synchronisée. Le planificateur peut prendre son temps pour réfléchir, raisonner et même communiquer avec d'autres agents, tandis que le contrôleur exécute les mouvements nécessaires à grande vitesse, sans attendre que le planificateur termine chacune de ses pensées. Cette conception permet au système de gérer des tâches complexes et de longue durée dans des jeux vidéo et des mondes simulés avec un niveau de vitesse et de fiabilité que les tentatives précédentes n'avaient pas pu atteindre.

Les chercheurs ont testé cette approche à travers sept environnements différents, allant des jeux d'arcade classiques à des scénarios coopératifs complexes où plusieurs agents doivent travailler ensemble. Dans ces tests, le planificateur agit comme le cerveau, observant le monde et décidant de ce qui doit être fait ensuite, tandis que le contrôleur agit comme les mains et les pieds, exécutant le plan en temps réel. Pour apprendre au contrôleur comment suivre ces instructions, les chercheurs ne se sont pas appuyés sur des experts humains pour démontrer chaque mouvement. Au lieu de cela, ils ont utilisé le planificateur lui-même pour observer les actions réussies du contrôleur et rédiger un résumé de ce qui se passait. Ce processus a permis au contrôleur d'apprendre à traduire des commandes en langage naturel vagues en mouvements précis de bas niveau. Le résultat est un système qui peut être associé à différents planificateurs sans nécessiter de réentraînement, ce qui le rend hautement flexible.

Les résultats montrent que cette séparation des tâches fonctionne remarquablement bien. Lorsque les chercheurs ont comparé leur système à d'autres qui tentent de générer des actions directement à partir d'un grand modèle de langage, leur approche s'est révélée nettement plus rapide et plus précise. Les méthodes de génération directe trébuchaient souvent, produisant des actions trop lentes ou non pertinentes pour la situation immédiate. En revanche, le système Instruct-to-Act a maintenu une vitesse d'exécution élevée tout en suivant des instructions complexes. Dans les tests multi-agents, où deux ou plusieurs personnages numériques devaient coordonner leurs efforts pour résoudre des énigmes, le système a permis aux agents de communiquer par le langage, de négocier des rôles et d'atteindre des objectifs communs sans se gêner mutuellement. Le système a rivalisé avec les meilleures méthodes existantes dans six des sept environnements testés, prouisant qu'une approche découplée peut répondre aux exigences du raisonnement de haut niveau et du contrôle à faible latence.

L'un des aspects les plus frappants de ce travail est son efficacité. Parce que le contrôleur est un modèle petit et spécialisé, il peut traiter des informations visuelles et émettre des actions des milliers de fois par seconde, tandis que le planificateur tourne en arrière-plan, mettant à jour sa stratégie uniquement lorsque cela est nécessaire. Cela signifie que le système ne s'enlise pas dans le temps de traitement lent du grand modèle de langage. Les chercheurs ont constaté que cette configuration asynchrone permettait aux agents de monter en charge efficacement ; à mesure qu'ils ajoutaient des agents à une tâche coopérative, le système maintenait ses performances sans les goulots d'étranglement de communication qui affectent souvent les autres systèmes multi-agents. Le contrôleur est resté fiable, suivant les instructions avec un taux de précision compris entre 86 % et 97 % à travers différents tâches et planificateurs, démontant que le système a appris à comprendre l'intention derrière les mots plutôt que de simplement mémoriser des phrases spécifiques.

L'étude a également exploré comment la qualité des instructions affecte le résultat. Ils ont découvert que même lorsque les instructions étaient générées par différents planificateurs ou qu'elles variaient en complexité, le contrôleur pouvait s'adapter et performer efficacement. Cela suggère que le système a appris une manière robuste d'interpréter le langage, plutôt que de simplement mémoriser un ensemble spécifique de commandes. Les chercheurs ont noté que le système fonctionne mieux lorsque les instructions sont claires et ancrées dans la situation immédiate, mais qu'il peut tout de même gérer l'ambiguïté mieux que les méthodes précédentes. En gardant les couches de planification et de contrôle séparées, les chercheurs ont créé un cadre qui est non seulement puissant, mais aussi modulaire, permettant de remplacer différents planificateurs ou contrôleurs selon les besoins spécifiques de la tâche.

En fin de compte, ce travail démontre une voie pratique pour construire des agents intelligents capables d'opérer dans le monde réel. En reconnaissant que penser et agir nécessitent des vitesses et des types d'intelligence différents, les chercheurs ont créé un système qui tire parti des forces de chacun. Le planificateur fournit la vision et la stratégie, tandis que le contrôleur fournit la vitesse et la précision. Cette approche évite les pièges consistant à vouloir forcer un seul modèle à tout faire, aboutissant à un système qui est à la fois intelligent et rapide. Alors que les chercheurs progressent, ils voient un potentiel d'application de ce cadre à des scénarios plus complexes, incluant la collaboration humain-robot et des tâches nécessitant une planification à long terme dans des environnements dynamiques. Le succès d'Instruct-to-Act suggère que l'avenir de l'IA incarnée pourrait ne pas résider dans la construction de modèles monolithiques plus vastes, mais dans la conception de partenariats plus intelligents et plus efficaces entre différents types d'intelligence.