Retrieval-grounded robot program generation and simulation-based correction via Model Context Protocol
Cet article présente un flux de travail basé sur un modèle de langage qui utilise une génération augmentée par récupération à double flux et un serveur de protocole de contexte de modèle personnalisé pour générer, simuler et corriger de manière itérative des programmes de robots ABB RAPID à partir de descriptions en langage naturel, réduisant ainsi les erreurs spécifiques au domaine grâce au retour d'exécution provenant d'un logiciel de simulation industrielle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la fabrication moderne, la flexibilité est l'objectif ultime. Les usines ne se contentent plus de produire des millions d'articles identiques ; elles doivent s'adapter rapidement pour produire différentes versions de produits, comme une voiture avec un toit ouvrant ou sans, ou un emballage d'une taille légèrement différente. Pour suivre ces changements, les robots industriels doivent être reprogrammés constamment. Traditionnellement, il s'agit d'un travail lent et difficile, réservé à des spécialistes qui parlent un langage complexe et spécifique à la machine. Ils doivent écrire manuellement du code, le vérifier par rapport à la configuration physique de l'atelier et le tester pour s'assurer que le robot ne va pas s'écraser ou lâcher une pièce. Bien que l'intelligence artificielle ait récemment montré des promesses pour traduire les idées humaines en code informatique, ces systèmes intelligents ont souvent du mal avec les règles spécifiques et rigides des machines industrielles. Ils peuvent générer un code qui semble correct sur un écran mais qui échoue dès qu'un vrai robot tente de bouger, simplement parce que l'IA ne peut pas « voir » les contraintes physiques de la cellule d'usine ou le comportement spécifique des outils du robot.
Une équipe de chercheurs de l'Université de technologie de Chalmers en Suède a développé une nouvelle façon de combler ce fossé, créant un système qui permet de reprogrammer les robots en utilisant l'anglais courant tout en vérifiant automatiquement si les instructions fonctionneront réellement. Leur approche combine un modèle de langage puissant avec un environnement de simulation spécialisé, créant une boucle où l'ordinateur écrit le code, le teste dans une usine virtuelle, puis corrige ses propres erreurs en fonction des résultats. Les chercheurs se sont concentrés sur les robots ABB, qui sont courants dans les usines du monde entier, et ont utilisé un jumeau numérique — une copie virtuelle parfaite du robot et de son espace de travail — pour servir de filet de sécurité. Au lieu de simplement générer du texte, le système se connecte directement au logiciel de simulation, télécharge le code, observe le mouvement du robot et analyse précisément pourquoi une tâche a échoué, le cas échéant.
Le cœur de leur méthode repose sur la collaboration de deux étapes distinctes. Premièrement, le système utilise une technique appelée génération augmentée par récupération. Imaginez un étudiant passant un examen qui est autorisé à consulter un manuel et un ensemble d'exemples résolus avant de répondre. L'ordinateur fait quelque chose de similaire : lorsqu'un humain lui demande de « ramasser une boîte et de la placer sur une palette », le système recherche d'abord dans une base de données les manuels techniques officiels et des exemples de code réels provenant d'un constructeur automobile majeur. Cela garantit que l'ordinateur utilise les commandes correctes et spécifiques pour le robot, plutôt que de deviner ou d'inventer des règles qui n'existent pas. Cette étape réduit considérablement le nombre d'erreurs de base, telles que l'utilisation du mauvais type de données ou la faute de frappe dans une commande, qui sont fréquentes lorsque l'IA tente d'écrire du code à partir de zéro.
Cependant, les chercheurs se sont rendu compte qu'un code même grammaticalement parfait et respectant toutes les règles peut quand même échouer dans le monde réel. Un robot peut ramasser une boîte avec succès, mais si la boîte est plus haute que prévu, la pince du robot pourrait ne pas la relâcher correctement, ou le robot pourrait se retrouver bloqué dans une position qu'il ne peut physiquement pas atteindre. Pour résoudre cela, l'équipe a construit une connexion personnalisée entre le modèle de langage et le logiciel de simulation. Cette connexion agit comme une télécommande, permettant à l'ordinateur de télécharger le code généré vers le robot virtuel, de lancer la simulation, puis de lire un rapport détaillé de ce qui s'est passé. Le système vérifie non seulement le code lui-même, mais aussi le comportement du robot : La pièce est-elle tombée ? Le bras du robot a-t-il heurté un mur ? Les capteurs ont-ils détecté l'objet ?
Lors de leurs tests, les chercheurs ont soumis ce système à une série de défis. Ils lui ont demandé d'effectuer des tâches comme déplacer des boîtes de différentes tailles et construire des pyramides de blocs. Dans un cas spécifique, le système a dû déplacer une boîte verte haute et une boîte orange plus courte. Le code initial, généré par l'IA, fonctionnait parfaitement pour la petite boîte orange. Cependant, lorsque ce même code a été appliqué à la boîte verte haute, le robot a échoué à relâcher la pièce car le point de relâchement était trop bas, provoquant le blocage de la pince à l'intérieur de la boîte. Un contrôle informatique standard du code aurait totalement manqué cela, car les instructions étaient syntaxiquement correctes. Mais parce que le système a exécuté la simulation, il a vu la pince échouer à lâcher prise. Il a ensuite utilisé ce retour d'information pour ajuster automatiquement la hauteur du point de relâchement et a réessayé, résolvant le problème avec succès.
Les résultats ont montré que cette boucle de rétroaction était essentielle. Si la première étape consistant à consulter les manuels techniques a réduit de nombreuses erreurs de base, c'est la capacité d'exécuter le code dans l'usine virtuelle qui a permis de détecter les erreurs physiques subtiles qui auraient causé des échecs dans le monde réel. Le système a identifié avec succès des problèmes tels que des cibles inaccessibles et des mouvements de robot maladroits qui n'apparaissent que lorsque le robot tente réellement d'effectuer la tâche. Dans un cas, le bras du robot s'est retrouvé coincé dans une position difficile après quelques mouvements, un problème qui n'est devenu visible qu'après un certain temps de simulation. Le système l'a détecté, a réinitialisé la position du robot à un point de départ plus sûr et a terminé la tâche.
Les chercheurs soulignent que ce système ne remplace pas entièrement les ingénieurs humains. L'usine virtuelle, les outils et les tâches spécifiques doivent toujours être configurés par des humains au préalable. Le système ne conçoit pas non plus la disposition de l'usine ni le matériel physique du robot. Au lieu de cela, il agit comme un assistant hautement qualifié qui prend l'idée d'un humain et la transforme rapidement en un programme fonctionnel, détectant les erreurs qui nécessiteraient autrement des heures de débogage manuel. L'étude suggère qu'en connectant la génération de code directement à l'exécution des tâches dans un environnement simulé, les usines peuvent reprogrammer leurs robots beaucoup plus rapidement et avec moins d'erreurs. Cette approche offre une voie pratique pour rendre la fabrication flexible plus accessible, permettant aux lignes de production de s'adapter à de nouveaux produits sans les longs délais et les coûts élevés de la programmation traditionnelle. Ce travail démontre que l'avenir de la programmation robotique ne réside pas seulement dans une IA plus intelligente, mais dans une IA capable de voir, de tester et d'apprendre de ses propres actions dans un monde virtuel avant de toucher un monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.