Leveraging Inter-object Affordances for Efficient Planning in Contact-rich Tasks

Les robots ont longtemps été les maîtres des usines, où ils répètent les mêmes mouvements précis sur des pièces identiques. Mais entrez dans une véritable cuisine, et les règles changent. Ici, les objets se présentent sous toutes les formes, tailles et matériaux, et interagissent de manières complexes. Une poêle lourde ne peut pas être équilibrée sur un mince pot à sel, et un mug en verre rond roulera hors d'une surface courbe. Pour qu'un robot puisse naviguer dans cette réalité désordonnée, il a besoin de plus que d'une simple liste d'étapes ; il doit comprendre les « règles d'engagement » physiques entre les objets. C'est le défi de la planification de tâches et de mouvement (TAMP), un domaine qui tente de combler le fossé entre les objectifs de haut niveau, comme « organiser la table », et la physique de bas niveau de la façon dont un bras robotisé se déplace réellement. Bien que l'intelligence artificielle moderne ait fait des progrès dans la compréhension du langage et des images, amener un robot à empiler de manière fiable divers objets ménagers sans les renverser reste un obstacle important.

Une équipe de chercheurs de l'Université d'Innsbruck a abordé ce problème en apprenant à un système de planification à réfléchir aux relations physiques entre les objets avant même de bouger un muscle. Au lieu de s'appuyer sur des modèles simplifiés qui traitent tous les objets comme des blocs uniformes, ils ont développé une méthode qui tient compte des affordances spécifiques des objets du monde réel. Dans ce contexte, une affordance est simplement ce qu'un objet permet au robot de faire en fonction de sa forme et de son matériau. Par exemple, une planche à découper plate offre une surface stable pour soutenir d'autres articles, tandis que le fond rond d'un pot à sel ne le permet pas. Les chercheurs ont construit un système qui utilise ces vérités physiques pour filtrer les actions impossibles avant même que le robot ne les tente, garantissant qu'un plan consistant à empiler un mug sur une poêle n'est généré que si la physique le permet réellement.

Le cœur de leur travail implique une nouvelle façon de définir comment un robot interagit avec son environnement. Ils ont créé un ensemble de règles décrivant comment les objets peuvent être saisis, soutenus, soulevés ou glissés. Par exemple, le système comprend qu'une poêle peut être soulevée par son manche, mais qu'elle est trop lourde et encombrante pour être saisie par son bord. Il sait qu'un plateau en bois est trop lourd pour être soulevé d'une table, mais peut être glissé sur la surface. En encodant ces contraintes physiques directement dans le processus de planification, le robot évite de perdre du temps à essayer d'exécuter des actions physiquement impossibles, comme tenter d'équilibrer un objet large et lourd sur une surface petite et instable. Cette approche, que les auteurs appellent Unified TAMP, permet au robot de générer une séquence d'actions qui est garantie d'être réalisable dans le monde réel, plutôt que simplement théoriquement possible.

Pour tester cette idée, les chercheurs ont mis en place un environnement de cuisine simulé comprenant un bras robotisé et une collection d'objets courants : un pot à sel, un mug en verre, une planche à découper, une poêle et un plateau en bois. L'objectif était d'organiser ces objets éparpillés en les empilant proprement sur le plateau. Ils ont créé plus d'une centaine de scénarios de départ différents, faisant varier le nombre d'objets et leurs positions initiales, pour voir comment leur méthode résistait à la pression. Ils ont comparé leur nouveau système à deux autres approches : une ancienne version de l'outil de planification qui ignorait les propriétés physiques spécifiques, et un système qui s'appuie sur un grand modèle de langage et de vision pour deviner les bons mouvements en se basant sur le sens commun.

Les résultats étaient frappants. Le nouveau système, qui intégrait les règles physiques détaillées, a réussi à créer des plans valides presque à chaque fois qu'il était testé, atteignant un taux de réussite de près de cent pour cent lorsque les règles étaient parfaitement connues. Même lorsque le système devait utiliser un modèle de vision pour identifier les objets et leurs propriétés, il réussissait encore quatre-vingt-dix pour cent du temps. En revanche, l'ancienne méthode de planification, qui traitait les objets comme des blocs génériques, échouait plus de la moitié du temps car elle tentait d'empiler des articles d'une manière qui défiait la physique, comme placer une poêle lourde sur un petit pot à sel. Le modèle de langage et de vision, malgré sa capacité à comprendre le langage et les images, éprouvait des difficultés significatives, ne réussissant qu'environ quarante pour cent du temps. Il omettait souvent des détails physiques subtils, comme le fait qu'une surface ronde ne peut pas supporter un objet lourd, menant à des plans qui semblaient logiques textuellement mais qui échoueraient dans la réalité.

Au-delà des taux de réussite, la vitesse de planification a été un différenciateur majeur. Le nouveau système générait des plans en une fraction de seconde, soit environ deux ordres de grandeur plus vite que le modèle de langage et de vision, qui mettait en moyenne plus d'une minute. Cette vitesse provient du fait que le nouveau système utilise un cadre logique structuré pour éliminer immédiatement les options impossibles, alors que le modèle de vision doit raisonner sur chaque possibilité à partir de zéro. Les chercheurs ont constaté qu'à mesure que le nombre d'objets augmentait, les anciennes méthodes devenaient de plus en plus lentes et sujettes aux erreurs, tandis que leur nouvelle approche maintenait son efficacité et sa précision. Cela suggère que pour que les robots opèrent efficacement dans des environnements complexes du monde réel, ils ont besoin d'un fondement solide de compréhension physique qui va au-delà de la simple reconnaissance de ce qu'est un objet.

L'étude a également mis en lumière les limites de l'utilisation exclusive de l'intelligence artificielle pour comprendre le monde physique. Bien que les modèles de vision-langage soient des outils puissants pour reconnaître des objets et générer des idées, ils manquent du raisonnement rigoureux et étape par étape nécessaire pour garantir qu'un plan fonctionnera dans une simulation physique. Les chercheurs ont montré qu'en combinant la connaissance du sens commun de ces modèles avec un système de planification strict basé sur des règles, ils pouvaient obtenir le meilleur des deux mondes : la capacité de reconnaître des objets du monde réel et la capacité de générer un plan qui respecte les lois de la physique. Cette approche hybride permet au robot de gérer le désordre d'une cuisine réelle, où une poêle lourde ne peut être soulevée par son bord et où un mug rond ne peut être équilibré sur une surface courbe, sans rester bloqué ou échouer.

Enfin, ce travail démontre que pour que les robots passent des laboratoires contrôlés à nos foyers, ils doivent être équipés d'une compréhension symbolique profonde de la manière dont les objets interagissent. Il ne suffit pas de savoir qu'une tasse existe ; le robot doit comprendre que la tasse possède un fond plat qui peut supporter un sous-verre, mais un côté courbe qui ne le peut pas. En intégrant ces contraintes physiques directement dans le processus de planification, les chercheurs ont créé un système qui est à la fois rapide et fiable. Les expériences, menées dans une simulation réaliste, montrent que cette méthode peut gérer des tâches d'empilement complexes avec un haut degré de succès, offrant une voie prometteuse pour les robots qui doivent naviguer dans le monde imprévisible et varié des environnements humains.