💻 computer science

Monocular Vision Based Control Framework for Grasping

Cet article présente un cadre de contrôle unifié basé sur la vision monoculaire qui permet à un préhenseur robotique à commande de position de saisir avec succès des objets à la fois mous et déformables ainsi que des objets rigides dans des environnements non structurés, en exploitant la détection à vocabulaire ouvert, l'estimation de la rigidité guidée par le langage et le suivi visuel en temps réel pour adapter les stratégies de saisie sans capteurs tactiles.

Auteurs originaux : Shail Jadav, Dongheui Lee

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shail Jadav, Dongheui Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un bras robotique essayant de ramasser un sac de courses. À l'intérieur se trouvent une bouteille d'eau en plastique dur et une tête de laitue molle. Pour un humain, saisir les deux est facile : on serre la bouteule fermement, mais on enveloppe la laitue délicatement pour ne pas la transformer en bouillie verte. Pour un robot, cela a été un cauchemar. Habituellement, les robots ont besoin de « capteurs tactiles » spéciaux sur leurs doigts pour savoir quand ils serrent trop fort, ou ils ont besoin d'une main différente, plus souple, pour les choses molles et d'une main dure pour les choses rigides.

Mais ce papier suggère une autre approche : un robot qui utilise une seule caméra ordinaire (comme celle de votre téléphone) et une main de robot standard et rigide pour saisir à la fois la laitue molle et la bouteille dure. Il y parvient en agissant comme un détective très observateur et expert en langage.

L'« Œil Magique » et le « Pari sur les Mots »

D'abord, le robot regarde l'objet et pose une question simple : « Qu'est-ce que c'est ? » Il utilise une astuce linguistique appelée StiffNET. Voyez cela comme un robot qui aurait lu un million de livres de cuisine et qui sait que la « laitue » est molle et la « bouteille en plastique » est dure, simplement grâce aux mots utilisés pour les décrire. Avant même que le robot ne touche l'objet, cette supposition linguistique lui dit : « D'accord, sois doux », ou « D'accord, tu peux serrer fort ».

Une fois que le robot sait à quoi il a affaire, il commence à surveiller l'objet comme un faucon. Il ne se contente pas de regarder l'image entière ; il repère quatre petits points invisibles sur la surface de l'objet et les suit au fur et à mesure que le robot se déplace.

Les Deux Danses Différentes

C'est ici que le robot devient ingénieux. Il exécute deux danses complètement différentes selon ce qu'il tient :

1. La Danse « Molle » (Pour la laitue, le fromage, les croissants)
Lorsqu'il saisit quelque chose de mou, le robot surveille ces quatre points. Si l'objet est une bouteille rigide, les points conservent la même forme les uns par rapport aux autres. Mais s'il s'agit d'une tête de laitue, les points vont se rapprocher ou s'écarter à mesure que le robot serre. Le robot mesure ce niveau de « mollesse » (appelé dissimilarité).

L'analogie : Imaginez que vous tenez une balle anti-stress. Si vous la pressez trop fort, elle change de forme. Le robot observe ce changement de forme. Si la forme change trop, le robot sait : « Oula, je serre trop fort ! » et il relâche sa prise. Si la forme ne change pas assez, il sait : « Je dois serrer un peu plus pour tenir ! ». Il ajuste ainsi la largeur de sa prise en temps réel jusqu'à ce que la forme soit juste.

2. La Danse du « Zoom » (Pour les bouteilles, le plastique dur)
Lorsqu'il saisit quelque chose de dur, les points ne se déforment pas. Le robot ignore donc la forme et surveille la distance à la place. À mesure que le bras du robot monte pour soulever la bouteille, la caméra se rapproche de l'objet. Le robot remarque l'objet qui devient « plus grand » dans le champ de la caméra (un changement de facteur d'échelle).

L'analogie : Pensez à tenir un caillou dur. Vous n'avez pas besoin de sentir s'il s'écrase ; vous avez juste besoin de savoir quand vos doigts se sont assez refermés pour empêcher le caillou de tomber. Le robot regarde l'objet se rapprocher. À mesure qu'il se rapproche, le robot resserre automatiquement ses doigts jusqu'à tenir l'objet fermement.

La Preuve : Essais en Conditions Réelles

Les auteurs n'ont pas seulement fait tourner cela sur un écran d'ordinateur ; ils ont construit un vrai bras robotique (un Franka Emika Research 3) avec une pince standard et l'ont testé dans le monde réel. Ils l'ont testé sur :

Des objets mous : Du fromage mozzarella frais, de la laitue, des croissants et des essuie-tout.
Des objets durs : Une bouteille d'eau en plastique.

Les résultats ont montré que le robot pouvait saisir et déplacer tous ces articles sans avoir besoin de doigts mous spéciaux ou de capteurs de toucher. Pour les articles mous, le robot ajustait sa prise en fonction de la déformation de l'objet. Pour la bouteille dure, il ajustait en fonction de la proximité de la caméra.

Ce que ce robot N'EST PAS

Il est important de savoir ce que ce robot ne peut pas encore faire. Le papier exclut explicitement le besoin de « capteurs tactiles basés sur la vision » coûteux et fragiles (des extrémités de doigts spéciales qui agissent comme des caméras) et de modèles physiques complexes qui tentent de calculer exactement la force nécessaire. Les auteurs soutiennent que compter sur ces éléments est souvent trop coûteux ou que cela tombe en panne avec le temps. Au lieu de cela, ils suggèrent qu'observer l'objet avec une caméra ordinaire et utiliser le langage pour deviner le matériau est suffisant.

Ils notent également que cette méthode fonctionne mieux lorsque le robot se déplace lentement et régulièrement. Si le robot secouait l'objet brusquement, le système pourrait être confus ; ils suggèrent donc d'ajouter un « facteur de sécurité » (comme une zone tampon) pour s'assurer que le robot ne laisse pas tomber les objets s'il se déplace trop rapidement.

En résumé, ce papier suggère qu'un robot n'a pas besoin de « ressentir » pour savoir comment tenir un objet. Il a juste besoin de voir, de connaître le nom de l'objet et de surveiller la façon dont l'objet bouge ou change de forme. C'est une façon plus simple et moins coûteuse d'apprendre aux robots à manipuler le monde quotidien, qui est à la fois désordonné, mou et dur.

Résumé technique : Cadre de contrôle basé sur la vision monoculaire pour la préhension

Problématique

La manipulation robotique dans des environnements non structurés fait face à des défis importants lors de la manipulation d'objets présentant des propriétés mécaniques très variées, allant d'articles mous et déformables (ex. : nourriture, tissus) à des objets rigides du quotidien. Les approches existantes traitent généralement ces catégories de manière isolée, en s'appuyant souvent sur des capteurs tactiles, des modèles mécaniques spécifiques à l'objet ou des effecteurs terminaux spécialisés (tels que des préhenseurs souples). Cependant, les capteurs tactiles peinent avec les objets plus mous que l'élastomère du capteur, se dégradent avec le temps et sont coûteux. Inversement, les préhenseurs souples spécialisés manquent de la force de génération nécessaire pour les objets rigides, ce qui limite leur polyvalence. De plus, la modélisation mécanique précise des objets déformables est difficile en raison des comportements de matériaux variables et non linéaires (ex. : changement de teneur en humidité dans la nourriture). L'article postule qu'une approche unifiée, efficace en termes de capteurs, est nécessaire pour pouvoir gérer à la fois des objets compliants et rigides en utilisant uniquement un retour visuel, sans nécessiter de modèles mécaniques explicites ou d'instrumentation tactile.

Méthodologie

Le cadre proposé est un pipeline de contrôle unifié, basé sur la vision monoculaire, conçu pour un préhenseur standard à commande de position (spécifiquement une main Franka Emika). Il fonctionne uniquement à partir d'une entrée RGB et intègre plusieurs composants de vision par ordinateur avec une stratégie de contrôle pilotée par le langage.

1. Perception visuelle et estimation de l'état

Le système traite les données visuelles via un pipeline séquentiel :

Détection et segmentation d'objets : Un modèle de détection d'objets à vocabulaire ouvert (YOLOv8x-worldv2) identifie l'objet cible sur la base d'une invite textuelle. La boîte englobante détectée est affinée par un réseau de segmentation (Meta SAM2) pour générer un masque binaire de l'objet.
Assignation de points sensible aux contours : Pour assurer un suivi robuste, en particulier sur des objets à faible texture ou déformables, le système sélectionne des points de requête via un algorithme de regroupement pondéré par les contours. Cette méthode assigne des poids plus élevés aux points proches du contour de l'objet, assurant une distribution plus dense de points de suivi là où la déformation est la plus observable.
Suivi en temps réel et estimation de la profondeur : Les points sélectionnés sont suivis en temps réel à l'aide de TAPIR (Tracking Any Point with per-frame Initialization and Temporal Refinement). Un modèle d'estimation de la profondeur monoculaire (Depth Anything) convertit ces points 2D en coordonnées 3D.
Analyse de l'état géométrique :
- Objets déformables : Le système calcule une mesure de dissimilarité basée sur Procruste ( $D_t$ ) en comparant la configuration actuelle des points suivis à leur état initial. Cette métrique sert de proxy visuel pour la déformation de l'objet et, par extension, pour la force de préhension.
- Objets rigides : Pour les articles rigides, le système utilise un facteur d'échelle ( $sf_t$ ) dérivé du ratio des distances par paires entre les points suivis. Ce facteur est corrélé à la distance de l'objet par rapport à la caméra et est utilisé pour réguler la largeur du préhenseur.

2. Estimation de la rigidité pilotée par le langage (StiffNET)

Une innovation clé est le modèle StiffNET, qui infère la compliance attendue d'un objet directement à partir de sa description sémantique (invite textuelle) avant le contact physique.

Architecture : Il mappe les plongements textuels (via un encodeur CLIP gelé) vers une valeur scalaire de log-rigidité à l'aide d'un réseau de neurones.
Entraînement : Le modèle est entraîné sur deux sources complémentaires : (1) des comparaisons de dureté par paires générées par un LLM (Gemma 3) pour apprendre l'ordre relatif, et (2) des mesures de rigidité de vérité terrain éparses pour ancrer l'échelle absolue.
Fonction : La rigidité estimée ( $\hat{k}$ ) agit comme un a priori pour sélectionner le mode de contrôle : les objets situés sous un seuil $k_{th}$ sont traités comme déformables, tandis que ceux au-dessus sont traités comme rigides.

3. Contrôle de préhension adaptatif

Le contrôleur ajuste dynamiquement la largeur du préhenseur ( $W_t$ ) en fonction du mode sélectionné :

Mode Déformable : La largeur du préhenseur est ajustée pour minimer la différence entre la dissimilarité actuelle ( $D_t$ ) et une dissimilarité de référence ( $D_{ref}$ ). $D_{ref}$ est mis à jour dynamiquement en fonction du facteur d'échelle pour compenser le glissement ou le mouvement de l'objet.
Mode Rigide : La largeur du préhenseur est régulée directement par le facteur d'échelle ( $sf_t$ ), rétrécissant le préhenseur à mesure que l'objet semble se rapprocher (ou que la caméra s'éloigne) jusqu'à ce qu'une saisie stable soit achieved.

Contributions clés

Cadre unifié : L'article présente le premier système capable de gérer à la fois des objets mous/déformables et rigides au sein d'un seul pipeline de contrôle en utilisant uniquement une entrée visuelle monoculaire RGB et un préhenseur standard à commande de position.
A-priori sémantiques pour la compliance : Il démontre que la connaissance sémantique basée sur le langage (via StiffNET) peut fournir des a-priori efficaces concernant la rigidité des matériaux au niveau de l'objet, permettant au système de sélectionner une stratégie de préhension appropriée avant le contact, sans capteur tactile.
Adaptation exclusivement visuelle : Ce travail montre que le retour visuel seul — spécifiquement via la dissimilarité de Procruste pour les déformables et les facteurs d'échelle pour les rigides — peut soutenir une préhension stable et adaptative sur une large gamme d'objets du quotidien.

Résultats expérimentaux

Le cadre a été validé sur un bras Franka Emika Research 3 avec une main Franka modifiée (équipée de doigts à coussinets de mousse imprimés en 3D) utilisant une caméra USB générique. Les expériences ont été menées sur un ensemble d'objets ayant des propriétés mécaniques distinctes :

Déformable/Mou : Laitue, mozzarella fraîche, croissants et essuie-tout.
Rigide : Bouteilles en plastique dur.

Performance :

Le système a réussi les opérations de "pick-and-place" pour tous les objets testés.
Pour les objets déformables (ex. : laitue), le contrôleur a réussi à adapter la largeur du préhenseur pour maintenir une saisie stable à mesure que l'objet se déformait, comme en témoigne la stabilisation de la métrique de dissimilarité et du facteur d'échelle.
Pour les objets rigides (ex. : bouteilles en plastique), le système a efficacement régulé la largeur du préhenseur en se basant sur le facteur d'échelle, atteignant une saisie sécurisée une fois l'objet soulevé.
L'algorithme a tourné à 30 images par seconde sur un GPU Nvidia RTX A4000 avec quatre points de grille ( $k=4$ ).
StiffNET a démontré la capacité d'estimer des valeurs de rigidité comparables à la vérité terrain et à d'autres estimations basées sur les LLM pour divers matériaux (ex. : tofu, bois, acier, PVC).

Signification et affirmations

Les auteurs affirment que ce travail offre une approche pratique, efficace en capteurs et généralisable pour la manipulation robotique dans la manipulation alimentaire et l'automatisation domestique. En éliminant le besoin de capteurs tactiles spécialisés, de modèles mécaniques complexes ou de préhenseurs souples personnalisés, le cadre abaisse la barrière au déploiement de robots dans des environnements non structurés.

L'article souligne que si la manipulation humaine repose sur une intégration fluide des retours visuels et tactiles, ce système prouve que le retour visuel seul est suffisant pour parvenir à une préhension stable à travers un large spectre de compliances d'objets. L'intégration d'a-priori sémantiques permet au robot d'« anticiper » le comportement de l'objet, comblant ainsi le fossé entre la compréhension du langage de haut niveau et le contrôle moteur de bas niveau. Les auteurs positionnent ce travail comme une étape vers des assistants robotiques plus polyvalents, capables de manipuler les diverses propriétés physiques des objets du monde réel sans nécessiter de recalibrage extensif ou de matériel spécialisé pour chaque nouvelle tâche.