Bounding Boxes as Goals: Language-Conditioned Grasping via Neuro-Symbolic Planning

L'article présente GRASP, un cadre de planification neuro-symbolique qui exploite des modèles vision-langage pré-entraînés pour traduire le langage naturel en objectifs de boîtes englobantes ancrés, permettant une manipulation de table à vocabulaire ouvert et zéro-shot avec un taux de réussite de 73,3 % sur de vrais robots sans entraînement spécifique à la tâche.

L'essentiel

Imaginez que vous avez un bras robotisé posé sur une table, et que vous voulez qu'il ramasse des objets spécifiques pour les déposer à des endroits précis. Habituellement, programmer un robot, c'est comme apprendre des tours complexes à un chien : vous devez lui montrer exactement quoi faire des milliers de fois, ou lui donner des instructions très rigides et ennuyeuses comme « déplace-toi de 5 pouces vers la gauche, puis de 2 pouces vers le haut ». Si vous dites quelque chose de nouveau, comme « mets les objets rouges sur l'étagère du haut », le robot se confond souvent parce qu'il n'a pas vu cette commande exacte auparavant.

Ce document présente un nouveau système appelé GRASP (Grounded Reasoning and Symbolic Planning) qui agit comme un traducteur intelligent et un GPS pour le robot. Il permet au robot de comprendre le langage naturel et de comprendre comment se déplacer sans avoir besoin d'être réentraîné pour chaque nouvelle tâche.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le « Traducteur » (Le Cerveau)

Lorsque vous parlez au robot, par exemple : « Mets tous les objets bleus sur l'étagère du haut », le système ne se contente pas d'entendre des mots ; il les traduit en une carte.

• L'analogie : Pensez à un humain donnant des directions à un touriste. Au lieu de dire « Allez aux coordonnées X, Y », l'humain dit : « Trouvez le bâtiment bleu et montez à l'étage supérieur ».
• Comment GRASP procède : Il utilise une IA puissante (appelée Modèle de Langage Étendu ou LLM) pour transformer votre phrase en une liste d'« objectifs ». Il détermine ce que sont les « objets bleus » et définit l'« étagère du haut » comme une zone spécifique sur un écran. Il crée une liste de contrôle numérique de ce qui doit être fait.

2. Les « Yeux » (La Vision)

Une fois que le robot connaît l'objectif, il doit trouver les objets.

• L'analogie : Imaginez que vous cherchez vos clés dans une pièce en désordre. Vous ne scannez pas chaque objet de manière aléatoire ; vous cherchez la forme et la couleur de vos clés.
• Comment GRASP procède : Il utilise un « œil » spécialisé (un modèle de vision par ordinateur appelé GroundingDINO) qui est déjà entraîné à reconnaître des milliers de choses. Il scanne la table et dessine des boîtes invisibles autour des objets qui correspondent à votre description (par exemple, il dessine une boîte autour de la bouteille bleue).

3. Le « Volant » (Le Contrôle)

C'est la partie la plus unique. Au lieu que le robot essaie de mémoriser un chemin complexe pour saisir l'objet, il utilise une boucle de rétroaction simple et continue.

• L'analogie : Pensez au jeu du « Chaud et Froid » ou au fait de viser une caméra vers une cible en mouvement. Vous ne calculez pas la mathématique exacte pour atteindre la cible en un seul coup. Au lieu de cela, vous regardez où se trouve la cible, vous bougez un peu vers elle, vous regardez à nouveau, et vous bougez encore un peu. Vous ajustez constamment jusqu'à être pile au-dessus d'elle.
• Comment GRASP procède : Le robot regarde la « boîte » autour de l'objet sur son écran. Si la boîte est à gauche du centre de sa vue, le robot déplace son bras légèrement vers la gauche. Si la boîte est trop petite (ce qui signifie que l'objet est loin), il se rapproche. Il fait cela encore et encore, en corrigeant constamment sa trajectoire, jusqu'à ce que l'objet soit parfaitement centré dans sa « pince ».

Pourquoi est-ce spécial ?

La plupart des systèmes robotiques avancés sont comme des athlètes de poids lourds qui ont besoin d'années d'entraînement (des milliers de tentatives de pratique) pour apprendre une nouvelle tâche. Ils sont également très lents et coûteux à exploiter.

GRASP est comme un randonneur léger et adaptable.

• Aucun entraînement requis : Il n'a pas besoin de s'exercer pour la tâche spécifique. Si vous lui demandez de ramasser un « marqueur magenta » ou un « ciseau vert lime », il le comprend sur le moment grâce à ses « yeux » et son « traducteur » pré-entraînés.
• C'est robuste : Parce qu'il vérifie constamment sa position (la boucle « Chaud et Froid »), il peut gérer le cas où l'objet bouge légèrement ou si l'angle de la caméra n'est pas parfait. Il ne se contente pas de deviner et d'espérer ; il se corrige en temps réel.

Les Résultats

Les chercheurs ont testé ce système avec différents niveaux de difficulté, allant de tâches faciles (ramasser un gros bloc) à des tâches difficiles (ramasser de petits objets délicats comme un tournevis).

• Taux de réussite : Le robot a réussi à saisir les bons objets environ 73 % du temps au total.
• Là où il a échoué : Il a surtout eu des difficultés lorsque les « yeux » ne pouvaient pas voir l'objet clairement (comme s'il était trop loin ou si l'éclairage était mauvais), et non parce que le « cerveau » du robot avait donné de mauvaises instructions.

En résumé

GRASP est un système qui vous permet de parler à un robot comme à un humain, et le robot utilise une combinaison de traduction par IA et de correction visuelle continue pour comprendre comment saisir des objets. Il évite le besoin d'un entraînement intensif et d'une programmation rigide, ce qui en fait un outil beaucoup plus flexible pour les tâches quotidiennes comme le tri d'objets sur une table.

Résumé technique

Résumé Technique : GRASP – Saisie Conditionnée par le Langage via la Planification Neuro-Symbolique

Énoncé du Problème
L'intégration de la robotique dans des environnements domestiques et industriels dynamiques nécessite que les machines s'adaptent à des instructions en langage naturel en temps réel. Bien que les modèles de vision-langage (VLM) et les modèles de langage étendus (LLM) aient permis une généralisation zero-shot dans la planification de tâches et de mouvements (TAMP), les approches de pointe actuelles font face à des limitations significatives. Beaucoup reposent sur des modèles « lourds » nécessitant un entraînement intensif sur des milliers de démonstrations, ou dépendent de structures symboliques rigides (par exemple, des listes de couleurs fixes ou des coordonnées codées en dur) qui ne parviennent pas à capturer des concepts spatiaux abstraits comme « l'étagère du haut ». Il existe un besoin critique pour un cadre capable de lier une compréhension flexible du langage à une exécution robuste et interprétable sans nécessiter d'ajustement spécifique à la tâche ou d'apprentissage de politique.

Méthodologie : Le Cadre GRASP
Les auteurs présentent GRASP (Grounded Reasoning and Symbolic Planning), un cadre neuro-symbolique léger conçu pour la manipulation de table à vocabulaire ouvert. GRASP découple le raisonnement de haut niveau du contrôle de bas niveau grâce à une architecture à deux composants :

1. Composante Neurale (Perception et Raisonnement) :

   • Génération de l'État de But : Un LLM (spécifiquement GPT-5.2 dans les expériences) analyse les instructions en langage naturel pour générer un état de but symbolique explicite. Cela implique l'extraction de requêtes d'objets cibles (ex: « objets bleus ») et la conversion de contraintes spatiales (ex: « étagère du haut ») en seuils de coordonnées d'image (ex: $y \leq \tau_1$). La sortie est une représentation JSON des boîtes englobantes (bounding boxes) souhaitées.
   • Détection d'Objets : Un VLM pré-entraîné, GroundingDINO (G.DINO), est utilisé pour détecter les objets dans la scène en se basant sur les étiquettes extraites par le LLM. G.DINO est sélectionné pour sa capacité à limiter les détections à un ensemble défini d'étiquettes et pour sa forte performance par rapport aux autres VLM de pointe. Il fournit un flux continu de détections de boîtes englobantes provenant à la fois d'une caméra globale de l'étagère et d'une caméra de l'effecteur terminal.

2. Composante Symbolique (Planification et Contrôle) :

   • Évaluation de la Similitude du But : Le système calcule un score de similitude normalisé ($S$) entre l'état de but généré par le LLM et les détections en temps réel. Ce score combine l'Intersection sur Union (IoU) et la distance euclidienne entre les centres des boîtes. Si la similitude dépasse un seuil ou si aucun objet n'est détecté pendant plusieurs images consécutives, la tâche se termine.
   • Contrôle de Mouvement en Boucle Fermée : Le système utilise un pipeline de contrôle en boucle fermée à temps discret. Il calcule l'erreur entre le centre de la boîte englobante détectée et le centre optique de la caméra. Un contrôleur de Roll-Pitch-Yaw (RPY) proportionnel ajuste l'effecteur du robot en fonction de cette erreur.
   • Mécanismes de Stabilisation : Pour garantir la stabilité, le contrôleur utilise un lissage exponentiel sur les signaux d'erreur et une zone morte (deadband) pour supprimer les tremblements. Le système sélectionne l'objet cible en se basant sur le logit (confiance) le plus élevé du détecteur.

Contributions Clés
Le document souligne trois contributions principales :

• Cadre GRASP : Un système neuro-symbolique qui compile des instructions en langage naturel en états de but symboliques explicites, les ancrant via un VLM pré-entraîné sans ajustement supplémentaire.
• Exécution Zero-Shot : La démonstration que l'évaluation en boucle fermée du but permet l'exécution de tâches sans apprentissage de politique ou apprentissage par renforcement.
• Pipeline Léger : Une architecture modulaire reliant la détection à vocabulaire ouvert à un mouvement continu via un contrôle proportionnel, évitant la surcharge de calcul des modèles d'apprentissage de bout en bout.

Résultats Expérimentaux
Les auteurs ont évalué GRASP à travers 90 essais répartis sur trois niveaux de difficulté (Facile, Moyen, Difficile) impliquant divers objets (ex: blocs, ruban adhésif, outils).

• Taux de Succès : Le système a atteint des taux de réussite de 86,67 % (Facile), 76,67 % (Moyen) et 56,67 % (Difficile), soit un taux de réussite global de 73,33 %.
• Analyse d'Échec : La dégradation des performances dans les tâches plus difficiles a été attribuée principalement aux détections manquées ou incorrectes de G.DINO et aux limitations matérielles (champ de vision limité et qualité d'image réduite à distance), plutôt qu'à des défaillances de la pipeline de contrôle elle-même.
• Études d'Ablation :
  • Boucle Ouverte vs Boucle Fermée : La suppression du retour de boucle fermée (exécution de l'ajustement une seule fois) a considérablement réduit les taux de réussite, confirmant la nécessité d'un ajustement itératif.
  • Lissage et Zone Morte : La suppression de ces composants a dégradé les performances, indiquant que les corrections non contraintes introduisent de l'instabilité.
  • Sélection de la Cible : La sélection de cibles basées sur des logits aléatoires ou des stratégies de première correspondance a moins bien performé que la sélection de la détection avec le logit (confiance) le plus élevé.

Signification et Revendications
Le papier positionne GRASP comme une étape vers un tri et un agencement polyvalents et évolutifs. Les auteurs affirment qu'en découplant le raisonnement du contrôle, GRASP offre une solution interprétable et efficace qui élimine le besoin de données d'entraînement étendues ou d'apprentissage de politique. Le système interprète avec succès des concepts spatiaux abstraits et exécute des tâches dans des contextes à vocabulaire ouvert. Les auteurs notent modestement que, bien que le travail actuel se concentre sur la saisie et l'alignement, l'évaluation complète du tri de bout en bout (incluant la vérification du placement) est réservée aux travaux futurs en raison des contraintes matérielles. Le cadre est présenté comme une alternative viable aux modèles lourds dépendant de l'entraînement pour la manipulation conditionnée par le langage dans des environnements dynamiques.