💻 computer science

ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation

ShapeGrasp est un nouveau système robotique qui combine de manière itérative l'estimation visuelle avec le retour tactile lors de la saisie afin de raffiner simultanément la reconstruction de la forme 3D de l'objet et d'améliorer les taux de réussite de saisie sur des objets inconnus.

Auteurs originaux : Lukas Rustler, Matej Hoffmann

Publié 2026-07-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Lukas Rustler, Matej Hoffmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot essayant de ramasser un objet mystérieux qu'il n'a jamais vu auparavant, comme un outil de forme étrange ou une boîte froissée. Si le robot n'utilise que ses yeux (une caméra), il voit une image plate et incomplète. Il pourrait supposer que l'arrière de l'objet est lisse, mais en réalité, il y a une poignée qui dépasse. Si le robot tente de le saisir en se basant sur cette supposition, il pourrait rater son coup, faire tomber l'objet ou l'écraser.

ShapeGrasp est une nouvelle méthode qui apprend aux robots à apprendre par l'action, un peu comme le ferait un humain. Au lieu de simplement regarder et deviner, le robot « tâtonne » pour trouver une solution.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le départ « les yeux bandés »

Le robot commence avec un cliché unique provenant d'une caméra. Il utilise un programme informatique intelligent pour deviner à quoi ressemble le reste de l'objet. Imaginez que vous regardez une pièce de puzzle et que vous essayez d'imaginer l'image entière. Le robot crée un modèle 3D, mais ce n'est qu'une supposition.

2. La saisie par « essais et erreurs »

Le robot tente de saisir l'objet en se basant sur cette supposition.

S'il réussit : Super ! Il soulève l'objet.
S'il échoue : L'objet peut glisser, ou le robot peut réaliser : « Attendez, ma supposition était fausse ; l'objet est plus lourd ou a une forme différente que ce que je pensais. »

3. La « mise à jour sensorielle »

C'est la partie magique. Chaque fois que le robot tente de saisir l'objet, il apprend deux nouvelles choses :

Le toucher : Si les doigts du robot touchent réellement l'objet, ses capteurs lui indiquent : « Voici la surface exacte de l'objet. » C'est comme si le robot passait ses doigts sur une statue pour en ressentir les reliefs.
L'espace vide : Même s'il rate sa saisie, les doigts occupent de l'espace. Le robot sait : « Mes doigts ne pouvaient pas passer par ici car l'objet devait être dans le chemin. » Il utilise ces données d'« espace vide » pour affiner sa carte mentale.

4. Le « recommencement »

Si la première tentative de saisie a échoué, le robot ne se contente pas de réessayer la même chose. Il prend toutes les nouvelles informations de toucher et d'espace, met à jour son modèle 3D de l'objet pour le rendre plus précis, puis tente une nouvelle saisie basée sur cette carte améliorée. Il répète cette boucle — saisir, sentir, mettre à jour, resaisir — jusqu'à ce qu'il réussisse.

Pourquoi est-ce spécial ?

La plupart des robots soit essaient de construire un modèle 3D parfait avant de toucher quoi que ce soit, soit ils saisissent aveuglément. ShapeGrasp est le premier à mettre à jour son modèle 3D dans le monde réel après une saisie physique.

Pensez à un sculpteur. Un robot traditionnel est comme quelqu'un qui essaie de sculpter une statue à partir d'une photo floue et qui espère que tout ira bien. ShapeGrasp est comme un sculpteur qui cisèle un peu, prend du recul, touche la pierre, réalise qu'il a trop ciselé, et ajuste ensuite son plan avant de ciseler à nouveau.

Les résultats

Les chercheurs ont testé cela sur deux bras robotiques différents avec des types de « mains » (préhenseurs) différents :

Une main à deux doigts (comme une pince).
Une main à trois doigts (plus proche d'une main humaine).

Ils ont constaté que ShapeGraf était bien meilleur pour ramasser des objets que les méthodes précédentes.

La main à deux doigts a réussi 91 % du temps.
La main à trois doigts a réussi 84 % du temps.

Crucialement, chaque fois que le robot tentait de saisir l'objet, le modèle 3D de cet objet devenait plus précis et détaillé. À la fin, le robot savait exactement à quoi ressemblait l'objet, ce qui l'aide à manipuler l'objet avec soin plus tard (par exemple, s'il doit le donner à un humain).

Le compromis

L'article note que ce processus prend un peu de temps (environ 5 à 9 secondes par objet) car le robot doit réfléchir, simuler et se déplacer avec précaution. Cependant, le compromis en vaut la peine car c'est beaucoup plus fiable que de simplement deviner.

En résumé, ShapeGrasp transforme un robot d'une machine de « devine et espère » en une machine de « apprend et s'adapte », utilisant ses propres erreurs pour construire une meilleure compréhension du monde.

Résumé technique de ShapeGrasp : Complétion simultanée de la forme par vision-haptique et saisie pour une manipulation robotique améliorée

Énoncé du problème
La saisie robuste d'objets inconnus a priori reste un défi lorsque les objets ne sont observés que partiellement via une vue RGB-D unique, ce qui entraîne de larges régions occultées. Bien que les méthodes de complétion de forme puissent inférer la géométrie manquante, les modèles résultants contiennent souvent de l'incertitude ou une géométrie hallucinée, menant à des échecs de planification de saisie, particulièrement avec des objets compliants. Inversement, la saisie est une interaction informative qui fournit un retour tactile et des contraintes sur l'espace occupé par la pince (espace libre). Les approches existantes traitent souvent la complétion de forme et la saisie comme des étapes distinctes ou reposent sur des boucles d'exploration haptique dédiées qui sont chronophages. Les auteurs répondent au besoin d'un système capable de reconstruire simultanément un modèle 3D détaillé et d'exécuter des saisies, en utilisant le retour des tentatives de saisie (succès ou échec) pour affiner de manière itérative le modèle de l'objet et replanifier.

Méthodologie
Les auteurs proposent ShapeGrasp, un pipeline visuo-haptique itératif qui couple la complétion de forme par surface implicite avec une planification de saisie basée sur la physique. Le système fonctionne en boucle fermée :

Représentation de l'objet : Le système représente l'objet comme une surface implicite définie par une fonction de distance signée (SDF), $O = \{x \in \mathbb{R}^3 \mid f(x; \theta, z_r) = 0\}$ . L'entrée est un nuage de points agrégé $X_r$ contenant l'observation visuelle initiale, les contacts tactiles et les contraintes d'espace libre.
Complétion de forme : La composante centrale est un réseau de neurones profonds basé sur la régularisation géométrique implicite pour l'apprentissage de formes (IGR). Il optimise un vecteur latent $z_r$ pour l'instance spécifique de l'objet afin d'approximer la SDF. Le réseau est entraîné pour minimiser la distance par rapport aux points observés et s'aligner sur les normales de surface, tandis qu'un terme d'Eikonal régularise la magnitude du gradient.
Fusion de données :
- Visuelle : Données RGB-D initiales provenant d'une caméra fixe sur table et de données optionnelles d'une caméra de poignet.
- Tactile : Lorsque les capteurs de la pince entrent en contact avec l'objet, leurs positions sont calculées via la cinématique directe et ajoutées comme données de nuage de points.
- Espace libre : Le volume occupé par le corps de la pince lors de l'approche est projeté comme un nuage de points. Ces points sont traités comme des contraintes qui doivent se trouver à l'extérieur de l'objet (distance signée positive), empêchant le réseau d'halluciner de la géométrie dans la trajectoire de la pince.
Estimation de pose : Entre les itérations, la pose 6D de l'objet est réestimée à l'aide d'un alignement ICP (Iterative Closest Point) entre le nuage de points segmenté actuel et le référentiel initial, permettant de fusionner correctement les nouvelles données.
Génération de saisie : Un planificateur de saisie basé sur la physique (utilisant PyBullet) génère des candidats à partir du maillage triangulaire reconstruit. Il échantillonne des points de surface, calcule des vecteurs d'approche, et simule la saisie (fermeture, levage et rotation) pour évaluer la stabilité. Un score de qualité $q$ pénalise le glissement, le mouvement de l'objet et le manque de contact.
Boucle itérative : Le système tente la saisie de plus haute qualité réalisable. Si la saisie échoue (l'objet glisse ou tombe), le système détecte l'échec, réestime la pose, met à jour le modèle de forme avec les nouvelles données tactiles et d'espace libre, et génère de nouveaux candidats de saisie. La boucle continue jusqu'à ce qu'une saisie réussie soit achieved ou que le nombre maximal d'itérations soit atteint.

Contributions clés

Pipeline itératif de saisie et de complétion : Les auteurs présentent la première approche, à leur connaissance, qui met à jour les représentations de forme dans le monde réel suite à une tentative de saisie. Le pipeline intègre les contacts tactiles et les contraintes d'espace libre dérivées de la pince pour affiner le modèle d'objet implicite et déclenche une nouvelle saisie en cas d'échec.
Générateur de propositions de saisie basé sur la physique : Un nouveau générateur qui consomme les maillages triangulaires reconstruits et supporte les pinces multi-doigts via des modèles URDF. Il utilise la simulation de corps rigides pour évaluer la stabilité de la saisie, s'intégrant étroitement avec la sortie de la complétion de forme.
Évaluation en conditions réelles : Des expériences approfondies ont été menées sur deux robots différents (Kinova Gen3 et KUKA iiwa) avec deux pinces distinctes (Robotiq 2F-85 et Barrett Hand) équipées de capteurs tactiles. L'étude inclut une analyse d'ablation des sources d'information (visuelle seule, espace libre, tactile, et combinée).
Open Source : Le code et les données sont rendus publics.

Résultats
La méthode a été évaluée sur 9 objets du jeu de données YCB sur 10 passages par objet.

Taux de succès de saisie (GSR) : ShapeGrasp a obtenu des taux de succès supérieurs aux bases de référence (HyperPCR, 3DSGrasp, VQDIF, VISHAC, etc.). Il a atteint un taux de succès de 84 % avec la main Barrett à trois doigts et de 91 % avec la pince Robotiq 2F-85 à deux doigts.
Qualité de la complétion de forme : La méthode a surpassé les bases de référence en termes de distance de Chamfer (CD) et de distance de Hausdorff (HD). Pour la pince Robotiq, ShapeGrasp a atteint une CD de 18,64 mm contre 23,85 mm pour la meilleure base de référence (HyperPCR). L'inclusion des données tactiles a fourni une amélioration statistiquement significative (environ 5,5 % d'amélioration moyenne sur les métriques) par rapport à la complétion purement visuelle.
Étude d'ablation :
- Données tactiles : Ont considérablement amélioré la qualité de la reconstruction et le succès de la saisie.
- Espace libre : Les résultats ont été mitigés ; cela a légèrement amélioré les performances pour la pince Robotiq mais a diminué les performances pour la main Barrett, probablement parce que la puissante main Barrett peut écraser des objets compliants, plaçant des contraintes d'« espace libre » à l'intérieur du volume de l'objet.
- Caméra de poignet : A fourni les meilleures métriques de reconstruction mais n'est pas toujours disponible ; les données tactiles servent d'alternative robuste.
Efficacité : Bien que la méthode soit plus lente que certaines bases de référence basées sur l'apprentissage (environ 5s pour la complétion + planification contre <1s pour certaines bases), elle offre un pipeline unifié qui ne nécessite pas de modèles pré-entraînés pour des catégories d'objets spécifiques et gère les échecs de manière dynamique.

Signification et Revendications
Les auteurs affirment que ShapeGrasp démontre un « pipeline symbiotique » où la complétion de forme et la saisie se renforcent mutuellement. La principale signification réside dans la capacité d'améliorer la représentation de la forme 3D après une saisie dans le monde réel, une capacité que les auteurs déclarent être unique à leur approche. En traitant les échecs de saisie comme des événements informatifs plutôt que comme des erreurs terminales, le système adapte son modèle interne pour réduire l'incertitude. Les auteurs notent que bien que la méthode privilégie actuellement le rappel plutôt que la précision (menant à des formes légèrement « gonflées »), elle réussit avec succès des taux de saisie élevés et une meilleure qualité de reconstruction que les méthodes de pointe reposant uniquement sur des données visuelles ou des boucles d'exploration haptique dédiées. Ce travail se positionne comme une étape vers une manipulation autonome plus robuste dans des scénarios nécessitant une connaissance précise des propriétés des objets, tels que les transferts robot-humain ou les tâches de tri.