💻 computer science

Kitchen Robotic Manipulation utilizing Foundation Models

Cet article présente un pipeline de perception modulaire pour la manipulation robotique en cuisine qui intègre plusieurs modèles de fondation afin d'obtenir une estimation de pose 6D et une planification de saisie robustes, démontrant un ADI de 89,12 % sur un banc d'essai encombré et un déploiement zero-shot réussi sur des robots physiques pour des tâches telles que le transfert d'assiettes et l'empilement de tasses.

Auteurs originaux : Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

Publié 2026-08-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à aider dans une cuisine en désordre. Cela semble simple, mais pour une machine, une cuisine est un cauchemar de chaos. Contrairement à une usine où chaque outil se trouve exactement au même endroit, une cuisine est remplie d'assiettes empilées, cachées derrière d'autres, et posées sur des surfaces glissantes et brillantes. Pour qu'un robot puisse ramasser une tasse de café, il doit d'abord la « voir » clairement, déterminer exactement où elle se trouve dans l'espace 3D, et savoir comment la saisir sans renverser toute la pile. C'est le monde de la perception robotique : la science qui consiste à donner aux machines des yeux et des cerveaux capables de comprendre un monde désordonné et changeant.

Pour ce faire, les scientifiques développent des Modèles de Fondation. Considérez-les comme des étudiants super intelligents qui ont lu presque tous les livres et regardé presque toutes les images sur Internet avant même de commencer un travail spécifique. Parce qu'ils ont tant vu, ils n'ont pas besoin d'être réappris de zéro à chaque fois qu'ils entrent dans une nouvelle pièce ; ils peuvent simplement utiliser leurs connaissances générales pour reconnaître une « tasse », même s'ils n'ont jamais vu cette tasse spécifique auparavant. La grande question que se posent les chercheurs est la suivante : pouvons-nous prendre ces puissants « cerveaux » pré-entraînés et les brancher directement dans le corps d'un robot afin qu'il puisse accomplir les tâches ménagères sans avoir besoin de mois d'entraînement personnalisé pour chaque maison ?

Le nouveau cerveau « couteau suisse » du robot de cuisine

Dans cet article, une équipe de chercheurs construit un « pipeline de perception » robotique conçu pour aider un bras robotisé à naviguer dans un évier de cuisine encombré et à déplacer de la vaisselle. Au lieu de construire un cerveau unique et rigide qui ne fonctionne que pour une cuisine spécifique, ils ont créé un système modulaire. Imaginez un appareil photo haut de gamme où vous pouvez changer l'objectif, le capteur et le processeur selon ce que vous photographiez. Ce système robotique fonctionne de la même manière : il permet aux chercheurs de mélanger et d'associer différents « Modèles de Fondation » pour voir quelle combinaison fonctionne le mieux pour trouver et saisir de la vaisselle.

Le travail du robot est de regarder un évier rempli d'assiettes, de tasses et de bols, de déterminer exactement où se trouve chaque objet (sa pose 6D, ce qui signifie sa position et son angle dans l'espace 3D), puis de planifier un moyen sûr de le ramasser. L'équipe a testé ce système sur un ensemble de données personnalisé de 20 scènes de cuisine réelles, comprenant des piles désordonnées et des objets cachés.

La recette du succès

Les chercheurs n'ont pas simplement deviné quels modèles utiliser ; ils ont testé systématiquement 24 combinaisons différentes de modèles visuels et géométriques. Ils ont traité le système comme une recette, changeant les ingrédients pour trouver la saveur parfaite.

Les Yeux (Modèles Visuels) : Ces modèles regardent les images 2D pour reconnaître les objets présents.
Les Mains (Modèles Géométriques) : Ces modèles regardent la forme 3D des objets pour comprendre leur structure.
La Colle (Fusion de Caractéristiques) : Ils ont découvert que l'utilisation des yeux ou des mains ne suffisait pas. Le ingrédient secret était de fusionner les caractéristiques de l'image 2D avec les caractéristiques du nuage de points 3D. C'est comme avoir un détective qui non seulement reconnaît un visage sur une photo, mais comprend aussi la forme du corps de la personne pour savoir exactement comment lui serrer la main.

Après avoir analysé les chiffres, l'équipe a découvert une configuration « championne » : LLMDet (pour repérer les objets), SAMv2 (pour détourer l'objet du fond), DINOv2 (pour reconnaître les détails fins) et GeoTransformer (pour comprendre la géométrie 3D). Lorsque ces quatre éléments travaillaient ensemble, le robot atteignait un ADI (Distance Moyenne de Vues Indistinguables) de 89,12 %. En langage clair, cela signifie que le robot pouvait estimer la position et l'angle d'une assiette avec une précision incroyable, même lorsque l'assiette était partiellement cachée ou entourée d'encombrements.

Preuve par la réalité

Le plus beau dans tout cela ? Ils ne se sont pas arrêtés aux simulations informatiques. Ils ont pris cette configuration « championne » et l'ont installée sur un bras robotique physique dans une vraie cuisine. Ils l'ont regardée réussir à :

Transférer de la vaisselle d'un évier vers un lave-vaisselle.
Empiler des tasses sur un comptoir.
Ramasser des objets dans un évier encombré.

Le robot a fait tout cela sans aucun réentraînement pour la cuisine spécifique dans laquelle il se trouvait. Il n'a pas eu besoin d'apprendre à quoi ressemblait une « tasse » dans cette maison précise ; il a simplement utilisé ses connaissances de fond pré-entraînées. Lors d'une série de tests en conditions réelles, le robot a réussi dans 87,5 % de ses tentatives (259 succès sur 296 essais).

Là où il trébuche

L'article est honnête sur le fait que le système n'est pas encore parfait. La principale raison d'échec n'était pas que le « cerveau » du robot ne voyait pas l'objet, mais que la « main » du robot glissait. Le robot utilise une pince compliante (une main souple et adaptative) pour tenir les objets délicatement, mais parfois l'objet glissait pendant le transport, surtout lors de l'empilement de tasses dans un évier étroit et encombré. Le robot essayait aussi occasionnellement de saisir le mauvais endroit si la détection était légèrement décalée. Cependant, les auteurs notent que ce sont des défis physiques liés à la pince, et non des échements du système de perception lui-même.

Pourquoi cela importe

Ce travail suggère que nous n'avons pas besoin de construire un nouveau cerveau de robot personnalisé pour chaque maison. Au lieu de cela, nous pouvons utiliser un système modulaire et flexible qui intègre les meilleurs « modèles de fondation » disponibles pour accomplir la tâche. Cela prouve qu'en combinant le bon mélange d'intelligence visuelle et géométrique, les robots peuvent s'adapter à la réalité désordonnée et imprévisible des foyers humains sans avoir besoin d'un professeur pour leur montrer chaque tâche. Bien qu'il reste du travail à faire pour rendre la prise du robot plus forte et ses mouvements plus fluides, ce pipeline offre une voie pratique et évolutive vers des robots capables de nous aider réellement pour la vaisselle.

Résumé Technique : Manipulation Robotique de Cuisine utilisant des Modèles de Fondation

Énoncé du Problème

Le déploiement de systèmes robotiques dans les environnements humains quotidiens, particulièrement dans les cuisines, présente des défis significatifs en raison de la nature non structurée, dynamique et encombrée de ces espaces. Les systèmes robotiques traditionnels basés sur la vision dépendent fortement de jeux de données spécifiques à une tâche et d'un apprentissage supervisé, ce qui limite souvent leur capacité de généralisation au-delà d'environnements prédéfinis. Par conséquent, ces systèmes manquent de l'adaptabilité nécessaire pour gérer des environnements inconnus ou des agencements d'objets variables sans intervention manuelle ou réentraînement intensif. Bien que les modèles de fondation récents aient démontré des capacités de généralisation remarquables à travers divers domaines, un fossé critique subsiste dans l'intégration systématique de ces modèles dans des pipelines de perception robustes capables de faire le pont entre la perception de haut niveau et les exigences concrètes de la manipulation physique (par exemple, l'estimation de la pose 6D et la planification de saisie) sans ajustement spécifique à l'environnement.

Méthodologie

Les auteurs proposent un pipeline de perception modulaire conçu pour les tâches de manipulation domestique, se concentrant spécifiquement sur la manipulation de la vaisselle dans des environnements de cuisine. Le système repose sur l'hypothèse que les inventaires de cuisine sont relativement stables et que des modèles CAO 3D des objets cibles sont disponibles. Le pipeline se compose de quatre étapes principales :

Segmentation d'Instance Multi-Vue : Le système utilise la détection d'objets à vocabulaire ouvert (OVOD) pour générer des invites de boîtes englobantes (bounding boxes) pour le modèle Segment Anything Model (SAMv2). Pour assurer la cohérence à travers plusieurs vues, un mécanisme de vérification multi-vues projette les masques en utilisant les données de profondeur et les poses de caméra, assignant des identifiants d'objets cohérents basés sur des seuils d'Intersection over Union (IoU).
Reconstruction de Carte 3D Sensible aux Instances : Le pipeline construit une carte sémantique 3D en fusionnant des images RGB-D. Il emploie un recalage de nuages de points 3D grossier basé sur la correspondance de caractéristiques, suivi d'un raffinement par l'algorithme Iterated Closest Point (ICP) pour corriger les erreurs de pose. Les identifiants d'instances issus des masques de segmentation sont assignés au nuage de points pour créer une carte sensible aux instances.
Fusion de Caractéristiques 2D-3D et Estimation de Pose : Il s'agit de l'innovation centrale du pipeline. Pour chaque instance segmentée, le système extrait des caractéristiques en utilisant un modèle de fondation visuel ( $\Phi$ $Φ$ ) et un modèle de fondation géométrique ( $\Psi$ $Ψ$ ).
- Caractéristiques Visuelles : Extraites des régions d'objots découpées et projetées dans l'espace 3D via la profondeur et les poses de caméra, puis agrégées par pooling de voxels.
- Caractéristiques Géométriques : Calculées directement sur le nuage de points de l'objet.
- Fusion : Les caractéristiques d'image et de points sont normalisées en L2 et concaténées pour former une représentation de caractéristique unifiée par point.
- Recalage : Le système effectue une proposition de candidat d'objet en comparant les caractéristiques de requête avec une base de données de caractéristiques de modèles CAO rendus. Il exécute ensuite un recalage d'objet par alignement basé sur la correspondance dans l'espace de caractéristiques fusionnées, suivi d'un raffinement par ICP.
Estimation de Saisie (Grasp) : En utilisant les poses 6D estimées et les modèles CAO prédéfinis, le système génère des candidats de saisie. Ceux-ci sont filtrés par des vérifications de faisabilité cinématique (cinématique inverse), l'évitement de collisions (via FCL) et des contraintes d'accessibilité pour garantir des saisies physiquement exécutables.

L'architecture est explicitement conçue pour être modulaire, permettant la substitution de différents modèles de fondation visuels et géométriques afin d'identifier les configurations optimales.

Principales Contributions

Le papier présente trois contributions primaires :

Intégration de Pipeline Unifié : Une intégration au niveau système de multiples modèles de fondation dans un pipeline de perception de pose 6D unifié qui opère à travers divers environnements de cuisine sans entraînement ou ajustement spécifique à l'environnement.
Architecture Modulaire et Évaluation Systématique : Un cadre flexible où chaque composant peut être remplacé. Les auteurs ont évalué systématiquement 24 combinaisons de modèles de fondation visuels et géométriques sur un jeu de données de cuisine réel personnalisé pour identifier la configuration la plus performante.
Validation en Conditions Réelles : Démonstration du système intégré sur des plateformes robotiques physiques effectuant des tâches de cuisine complexes (transfert évier-lave-vaisselle, empilement de tasses) sans ajustement supplémentaire, validant la scalabilité et l'utilité pratique.

Résultats Expérimentaux

Les auteurs ont évalué le pipeline sur un jeu de données personnalisé comprenant 20 scènes de cuisine réelles avec divers niveaux d'encombrement, d'occlusion et d'agencement d'objets.

Meilleure Configuration : La combinaison de LLMDet (OVOD), SAMv2 (Segmentation), DINOv2 (Fondation Visuelle) et GeoTransformer (Fondation Géométrique) a obtenu les meilleures performances.
Performance Quantitative : Cette configuration a atteint une Distance Moyenne des points du modèle pour des vues indiscernables (ADI) de 88,92 % sur le benchmark de 20 scènes sans raffinement ICP. Lorsqu'un raffinement ICP a été appliqué, la précision s'est améliorée à 89,12 %. À titre de comparaison, la méthode de pointe FoundationPose a atteint 87,32 % d'ADI, même lorsqu'elle était fournie avec des masques de vérité terrain, alors que la meilleure configuration proposée l'a surpassée sans nécessiter ces entrées idéales.
Impact de la Fusion de Caractéristiques : L'étude a confirmé que la fusion des caractéristiques d'image 2D avec les caractéristiques géométriques 3D améliore systématiquement les performances dans toutes les configurations. Bien que GeoTransformer ait peu performé de manière isolée en raison de sa dépendance au contexte global, il a atteint la précision la plus élevée lorsqu'il était fusionné avec les caractéristiques d'image discriminantes de DINOv2.
Succès en Conditions Réelles : Dans des démonstrations physiques impliquant 296 essais dans deux environnements de cuisine différents, le système a atteint un taux de réussite de 87,50 % pour des tâches incluant la saisie simple et l'empilement de tasses.
Analyse des Échecs : La majorité des échecs ont été attribués à des problèmes d'interaction physique, tels que le glissement du préhenseur dû à la nature compliante du grippeur ou le déplacement accidentel d'objets voisins dans des scénarios très encombrés, plutôt qu'à des erreurs de perception.

Signification et Revendications

Le papier affirme que le pipeline modulaire proposé offre un cadre pratique pour la robotique domestique en démontrant que les modèles de fondation peuvent être efficacement intégrés pour gérer des tâches de manipulation sans besoin de réentraînement spécifique à l'environnement. Les auteurs soulignent que leur approche :

Permet la Scalabilité : Le système s'adapte à divers systèmes robotiques et nouveaux environnements sans ajustement supplémentaire.
Fournit de la Flexibilité : La conception modulaire permet aux praticiens d'adapter les combinaisons de modèles aux contraintes de calcul ou aux difficultés de la tâche.
Fait le Pont entre Perception et Contrôle : Contra\times aux politiques de vision-langage-action de bout en bout qui fusionnent la perception et le contrôle dans un seul modèle appris, cette approche produit des poses 6D explicites compatibles avec les planificateurs de mouvement classiques, garantissant la réutilisabilité à travers différentes configurations de capteurs.

Les auteurs reconnaissent des limites, notamment la dépendance aux modèles CAO pour le recalage (limitant l'applicabilité aux objets inconnus), les échecs de saisie occasionnels dus aux contraintes du préhenseur, et le besoin de stratégies de manipulation plus avancées pour les objets étroitement empilés. Ils suggèrent que les travaux futurs pourraient impliquer des générateurs de trajectoires appris et des méthodes de reconstruction multi-vues pour l'intégration de nouveaux objets.