Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints

Les robots commencent à quitter la sécurité des usines pour entrer dans nos foyers, chargés du travail complexe et désordonné de la vie quotidienne. Pour ce faire, ils ont besoin d'un moyen de comprendre les instructions humaines et de les transformer en une séquence de mouvements physiques. Ces dernières années, les scientifiques se sont tournés vers les grands modèles de langage, ces mêmes programmes informatiques puissants capables d'écrire des histoires ou de répondre à des questions, pour servir de cerveau au robot. Ces modèles excellent dans la compréhension du langage et peuvent générer des listes d'étapes fluides, telles que « ramasser la tasse, marcher vers la table et la poser ». Cependant, il existe un défaut critique dans cette approche : bien que le langage semble parfait, le plan échoue souvent dans le monde physique. Un modèle pourrait ordonner à un robot de poser une tasse sur une table qui est déjà pleine, ou d'ouvrir une porte qui est verrouillée, car l'ordinateur ne comprend pas réellement les règles de la physique ou l'état de la pièce. C'est comme demander à une personne qui n'a jamais quitté sa maison de donner des indications pour une ville qu'elle n'a vue que dans un livre ; les mots sont corrects, mais le chemin est impossible.

Pour qu'un robot soit utile, ses plans ne doivent pas seulement avoir l'air bons, ils doivent aussi fonctionner. Cela nécessite de satisfaire deux types de règles. Premièrement, le plan doit suivre le format correct, utilisant les bons mots et la bonne structure afin que le robot puisse le lire. Deuxièmement, et c'est plus important encore, le plan doit avoir du sens dans le monde réel. Le robot doit savoir qu'il ne peut pas ramasser une boîte lourde si ses bras sont déjà pleins, ou qu'il doit ouvrir un lave-vaisselle avant de pouvoir y mettre des assiettes. Les tentatives précédentes pour corriger cela ont connu des difficultés. Certaines méthodes tentent de guider doucement l'ordinateur, mais elles ne peuvent garantir que le robot ne commettra pas d'erreur. D'autres reposent sur des recueils de règles rigides et pré-écrits qui privent l'ordinateur de sa capacité à utiliser le bon sens, rendant le robot maladroit et inflexible. Le résultat a été un choix entre un robot qui parle bien mais agit mal, ou un robot qui agit en toute sécurité mais ne peut pas comprendre des requêtes complexes.

Une équipe de chercheurs a développé un nouveau système appelé Meta-Ctrl qui résout ce problème en séparant les deux types de règles et en les vérifiant à différentes étapes du processus de réflexion. Au lieu de forcer l'ordinateur à vérifier chaque mot par rapport à une liste massive de règles physiques, le système divise la tâche en deux couches. La première couche s'assure que l'ordinateur parle la bonne langue, vérifiant que chaque mot respecte la grammaire des commandes du robot. La seconde couche, qui est l'innovation ici, examine la vue d'ensemble. Elle regroupe les mots en actions significatives, comme « ouvrir le lave-vaisselle » ou « ramasser l'assiette », et vérifie si ces actions font sens dans la situation actuelle. Cette approche revient à avoir un professeur de grammaire qui vérifie l'orthographe et un inspecteur de sécurité qui vérifie la logique d'un plan de construction ; ils travaillent ensemble mais se concentrent sur des choses différentes. En faisant cela, le système peut garantir que le plan final est à la fois grammaticalement correct et physiquement possible, sans pour autant sacrifier la capacité naturelle de l'ordinateur à comprendre le langage.

Les chercheurs ont testé cette méthode sur une variété de défis, incluant des tâches domestiques complexes dans des simulations informatiques et sur un véritable bras robotique dans un laboratoire. Ils ont utilisé un modèle informatique open-source relativement petit, qui est généralement considéré comme moins puissant que les modèles massifs et coûteux utilisés par les grandes entreprises technologiques. Sans leur nouveau système, ce petit modèle échouait à presque toutes les tâches, produisant des plans qui étaient soit insensés, soit impossibles à exécuter. Lorsqu'ils ont appliqué le cadre Meta-Ctrl, les résultats ont radicalement changé. Ce même petit modèle a commencé à réussir des tâches où il avait auparavant échoué, surpassant souvent des modèles beaucoup plus grands et plus avancés. Dans un test spécifique impliquant une série de tâches ménagères, le système a atteint un taux de réussite plus élevé que n'importe quel autre modèle testé, y compris ceux de grandes entreprises d'intelligence artificielle. Il a réussi à générer des plans qui étaient non seulement fluides, mais qui suivaient strictement les règles du monde physique, garantissant que le robot ne tenterait pas de saisir une tasse qui est déjà tenue ou d'ouvrir un contenant qui est déjà ouvert.

La puissance de ce système réside dans sa capacité à être à la fois strict et flexible. Il ne se contente pas de bloquer l'ordinateur pour l'empêcher de faire des erreurs ; il guide l'ordinateur vers la bonne voie en comprenant la probabilité d'un résultat réussi. Les chercheurs ont découvert qu'en vérifiant les règles physiques au niveau des actions plutôt qu'au niveau des mots individuels, ils pouvaient réduire la quantité de mémoire informatique nécessaire d'un facteur de soixante-sept mille. Cette efficacité permet de faire fonctionner ces vérifications sophistiquées sur des ordinateurs plus petits et plus accessibles. Lors de tests avec un bras robotique réel sur une table, le système a généré des plans valides par conception. Chaque plan créé satisfaisait les conditions nécessaires pour fonctionner, comme s'assurer qu'une porte est ouverte avant d'essayer d'atteindre l'intérieur. Quand le robot échouait, ce n'était jamais parce que le plan était mauvais ; les échecs survenaient plus tard, lors de l'acte physique de voir un objet ou de le saisir, prouvant que l'étape de planification était parfaitement fiable.

Ce travail démontre que nous n'avons pas à choisir entre un robot qui parle bien et un robot qui agit en toute sécurité. En structurant soigneusement la manière dont l'ordinateur vérifie son propre travail, il est possible d'avoir les deux. Les chercheurs ont montré qu'un petit modèle informatique ouvert pouvait devenir un planificateur hautement compétent lorsqu'il est associé aux bonnes contraintes, remettant en question l'idée selon laquelle seuls les modèles les plus grands et les plus coûteux peuvent gérer des tâches physiques complexes. Le système fonctionne en veillant à ce que les pensées du robot soient ancrées dans la réalité avant même qu'il ne tente de bouger. Il représente une avancée significative pour rendre l'intelligence artificielle utile dans le monde réel, où le coût d'une erreur n'est pas seulement une mauvaise réponse, mais un objet cassé ou une tâche ratée. La méthode est assez robuste pour gérer l'imprévisibilité d'un véritable foyer, tout en étant assez précise pour garantir que le robot ne tentera pas l'impossible. À mesure que les robots se rapprochent de notre quotidien pour devenir des assistants, ce type de planification fiable et doté de bon sens sera essentiel pour qu'ils puissent travailler à nos côtés sans provoquer le chaos.