Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties

Imaginez un monde où les robots sont les assistants ultimes, capables de faire nos corvées, de construire nos voitures et d'assembler nos gadgets. Mais il existe un travail délicat que même les robots les plus intelligents peinent à accomplir : fouiller dans une boîte désordonnée remplie de pièces emmêlées pour en extraire la bonne. C'est ce qu'on appelle le « bin-picking » (la cueillette en bac). Imaginez que vous essayiez de trouver une brique Lego spécifique dans un seau où des centaines de briques identiques sont emmêlées, certaines face en haut, d'autres sur le côté et d'autres encore cachées sous d'autres. Pour un humain, c'est facile ; nous pouvons plisser les yeux, incliner la tête et tâtonner. Pour un robot, c'est un cauchemar de confusion. Si le robot devine mal l'orientation d'une pièce, il pourrait la saisir à l'envers, la faire tomber ou, pire, tenter de l'insérer dans une machine du mauvais côté, provoquant un crash. La grande question actuelle en robotique est la suivante : comment enseigner aux machines à être aussi adaptables et prudentes que nous lorsque les choses deviennent désordonnées ?

Cet article s'attaque précisément à ce problème en introduisant une approche « modulaire » pour aider les robots à gérer l'incertitude. Au lieu de forcer le robot à faire une supposition unique et parfaite sur l'emplacement d'un objet, les auteurs suggèrent que le robot devrait penser en termes de « possibilités ». Imaginez que le robot ne se contente pas de regarder une pièce en disant : « Elle est ici », mais plutôt : « Elle est probablement ici, mais elle pourrait aussi être là, ou peut-être est-elle retournée ». L'article propose une boîte à outils de différentes astuces — ou modules — que le robot peut mélanger et assortir. Certains trucs consistent à prendre une seconde photo sous un angle différent pour dissiper la confusion. D'autres consistent à déplacer l'objet vers un plateau spécial où il peut être posé à plat et vérifié à nouveau. Les auteurs ont testé ces idées sur de vrais robots et ont découvert qu'en combinant ces modules, le robot est devenu beaucoup plus rapide et hautement fiable, faisant rarement des erreurs même lorsque les pièces étaient difficiles à voir.

Le dilemme du robot : Le bac désordonné

Imaginez un bras robotique debout au-dessus d'un bac rempli de pièces métalliques aléatoires. Le travail du robot est d'en ramasser une et de la mettre dans une machine. Le problème est que les pièces sont empilées en un tas chaotique. Parfois, une pièce semble exactement la même qu'elle soit orientée vers la gauche ou la droite, ou si elle a été retournée. C'est ce que les scientifiques appellent l'« ambiguïté ». Si le robot prend la mauvaise pièce, ou s'il la saisit avec la mauvaise orientation, tout le processus échoue.

Par le passé, les robots essayaient de résoudre cela en prenant une seule image et en faisant leur meilleure supposition. Mais si la supposition était erronée, le robot tentait d'insérer la pièce, échouait, puis devait recommencer. C'était comme essayer de résoudre un puzzle en portant un bandeau sur les yeux ; on peut avoir de la chance, mais on risque de faire tomber une pièce. Les auteurs de cet article ont réalisé qu'au lieu de forcer une réponse unique, le robot devrait garder une « liste de possibilités » dans sa tête. Il devrait dire : « Il y a 60 % de chances que cette pièce soit face vers le haut, et 40 % de chances qu'elle soit face vers le bas ». Cette liste est appelée une « distribution de pose ».

La boîte à outils modulaire : Mélanger et assortir les astuces

L'idée centrale de cet article est qu'il n'y a pas qu'une seule façon de régler un problème de bac désordonné. Au lieu de cela, les auteurs ont construit un « cadre modulaire ». Voyez cela comme un jeu vidéo où vous pouvez équiper différents bonus de puissance (power-ups). Vous n'avez pas besoin de tous les utiliser, mais vous pouvez les combiner pour rendre votre personnage plus fort. L'article présente trois principaux « bonus de puissance » (modules) que le robot peut utiliser :

1. Le second regard (Second View) : Parfois, la caméra principale du robot ne voit pas assez la pièce pour savoir dans quel sens elle est orientée. C'est comme essayer d'identifier une pièce de monnaie dans votre poche en regardant seulement le dessus ; vous ne pouvez pas dire si c'est pile ou face. La solution ? Le robot déplace une seconde caméra vers un autre angle. L'article décrit cela comme le fait de prendre une photo avec un angle de 30 degrés sur le côté. En combinant la « supposition » de la première caméra avec la « supposition » de la seconde, le robot peut réduire les possibilités. C'est comme demander des directions à deux amis ; si les deux sont d'accord, vous êtes bien plus confiant sur le fait de prendre le bon chemin.

2. Le plateau de sécurité (Re-orientation Tray) : Si le robot est toujours confus après avoir pris deux photos, ou si la pièce est enfouie profondément dans le bac, il a un plan de secours. Il saisit l'objet et le déplace vers un plateau spécial et plat. Ce plateau est vide et propre, de sorte que l'objet repose à plat sans heurter rien d'autre. Une fois l'objet dans le plateau, le robot prend une nouvelle photo. Comme l'objet n'est plus emmêlé avec d'autres pièces, le robot peut déterminer exactement où il se trouve. C'est comme prendre un fil de casque audio emmêlé, tirer sur une extrémité et l'étaler sur une table pour voir où se trouve le nœud.

3. La vérification manuelle (In-hand Pose Verification) : Même après avoir ramassé l'objet, le robot pourrait l'avoir saisi de travers. Pour en être absolument sûr, le robot tient l'objet devant une caméra située juste dans sa « main » (le préhenseur). Il compare ce qu'il voit à ce qu'il s'attendait à voir. Si l'objet semble différent de ce qui était attendu — par exemple, s'il est pivoté ou si le mauvais côté est visible — le robot sait qu'il a fait une erreur. Au lieu de tenter de l'insérer de force dans la machine, il repose l'objet et réessaie. C'est comme vérifier ses lacets avant de les nouer ; si cela semble bizarre, on les défait et on recommence pour ne pas trébucher plus tard.

Ce que les expériences ont montré

Les auteurs n'ont pas seulement théorisé ces idées ; ils ont construit une installation robotique réelle pour les tester. Ils ont utilisé un bras robotique avec un capteur 3D et un préhenseur spécial, et ils l'ont testé avec trois types d'objets différents : un objet Novo, un arbre de transmission (WRS-08) et une poulie (WRS-11). Ces objets ont été choisis car ils sont complexes ; certains ont des surfaces brillantes qui troublent les caméras, et d'autres se ressemblent sous différents angles.

Les résultats ont été impressionnants. Lorsque le robot utilisait la méthode originale (simplement deviner depuis le bac), il réussissait 89 % du temps et nécessitait en moyenne 2,5 saisies pour insérer un objet. Mais lorsqu'ils ont ajouté le module « Plateau de sécurité », le taux de réussite est passé à 100 %, et il n'a nécessité que 2,25 saisies. Lorsqu'ils ont ajouté le module « Second regard », il est devenu encore plus rapide, ne nécessitant que 2,05 saisies. La meilleure performance absolue a été obtenue lorsqu'ils ont utilisé tous les modules ensemble : le robot a atteint un taux de réussite de 100 % et n'a nécessité que 1,91 saisie par objet.

L'article a également testé ces méthodes sur des objets provenant d'une célèbre compétition robotique (le World Robot Summit). Ces objets étaient notoirement difficiles, avec des taux de réussite précédents ne dépassant pas 1,6 %. En utilisant leur nouveau système modulaire, le robot a atteint un taux de réussite de 100 % sur ces pièces difficiles également, nécessitant une moyenne de 2,2 à 3,3 saisies par objet.

Ce que les auteurs disent (et ne disent pas)

Il est important de noter ce que cet article ne prétend pas. Les auteurs précisent avec prudence que leur système actuel fonctionne mieux pour des objets approximativement cylindriques ou plats, où la confusion principale concerne la rotation (comme faire tourner une pièce de monnaie). Ils admettent que leur système ne gère actuellement que la rotation dans un plan plat (SO(2)), et non le mouvement 3D complet dans toutes les directions (SE(3)). Ils suggèrent que les travaux futurs pourraient s'étendre pour gérer des formes plus complexes, mais ils ne prétendent pas avoir résolu cela pour le moment.

Ils écartent également explicitement d'autres idées. Par exemple, ils ont envisagé d'utiliser un « alimentateur vibratoire » (un plateau vibrant qui trie les pièces) mais ont décidé de ne pas le faire car c'est trop lent pour les petits lots et nécessite un réglage pour chaque type d'objet. Ils ont également étudié la « manipulation non préhensile » (pousser les pièces sans les saisir) mais l'ont jugée trop difficile à contrôler avec précision. À la place, ils s'en tiennent à leur approche modulaire consistant à saisir, vérifier et resaisir.

L'article suggère qu'en combinant ces modules, nous pouvons construire des robots qui ne sont pas seulement rapides, mais aussi fiables. La leçon clé est que la flexibilité est la réponse. Un robot capable de passer de la prise d'une seconde photo au déplacement vers un plateau propre, ou à la double vérification de sa prise, est bien meilleur qu'un robot qui tente de tout faire en une seule fois. Les auteurs pensent que cette approche est une voie prometteuse pour créer des systèmes robotiques capables de gérer la réalité désordonnée et imprévisible du monde réel.