LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments

Ce papier présente LEGS-POMDP, un système modulaire basé sur les processus de décision markoviens partiellement observables qui intègre le langage, les gestes et la vision pour permettre aux robots de rechercher des objets dans des environnements ouverts incertains en modélisant explicitement l'ambiguïté de l'identité et de la localisation des cibles.

L'essentiel

🤖 Le Robot Détective : Quand les Mots et les Gestes ne Suffisent Pas

Imaginez que vous demandez à un robot de vous chercher une tasse dans une grande maison remplie d'objets. Vous dites : « Apporte-moi la tasse rouge ».
Mais il y a un problème : il y a trois tasses rouges, et vous ne savez pas exactement où elles sont. De plus, votre robot a des "yeux" (caméras) qui ne voient pas tout, et il peut avoir du mal à comprendre si vous parlez de la tasse sur la table ou celle dans le placard.

C'est là que le projet LEGS-POMDP entre en jeu. C'est un nouveau système qui aide les robots à trouver des objets dans des environnements flous, en combinant la parole (ce que vous dites) et les gestes (ce que vous montrez du doigt).

Voici comment cela fonctionne, expliqué avec des analogies du quotidien.

1. Le Problème : Le Brouillard Mental du Robot

Dans le monde réel, un robot ne voit pas tout. C'est comme si vous cherchiez vos clés dans une pièce où il fait très sombre et où vous avez une mémoire un peu floue.

• Le défi : Si le robot ne fait que vous écouter, il peut se tromper (il y a plusieurs tasses rouges). S'il ne fait que regarder, il peut ne pas savoir laquelle vous voulez.
• L'ancienne solution : Les robots précédents étaient soit trop bêtes (ils ne comprenaient pas l'incertitude), soit trop rigides (ils ne pouvaient fonctionner que dans des environnements parfaits comme une table de cuisine).

2. La Solution : Le "Détective Probabiliste"

Les chercheurs de l'Université Brown ont créé un système appelé LEGS-POMDP. Pour comprendre ce nom, imaginez le robot comme un détective privé qui a un carnet de notes spécial.

• POMDP (Le Carnet de Notes) : Au lieu de dire "Je suis sûr à 100 % que la tasse est ici", le robot maintient une croyance (une probabilité). C'est comme un nuage de points sur une carte. Au début, le nuage est partout. À chaque nouvelle information, le nuage se resserre autour de l'endroit le plus probable.
• LEGS (Les Outils du Détective) : C'est l'acronyme pour Language and GeSture-Guided Object Search. Le robot utilise deux indices pour affiner son nuage de points :
  1. La Langue (Language) : Ce que vous dites ("La tasse rouge").
  2. Le Gestes (Gesture) : Ce que vous montrez du doigt.

3. La Magie : Comment les Indices se Combinent

C'est ici que l'analogie devient amusante. Imaginez que vous êtes dans une foule et que vous cherchez un ami.

• Scénario A (Juste la voix) : Vous criez "Où est Pierre ?". Pierre peut être n'importe où. C'est flou.
• Scénario B (Juste le doigt) : Vous pointez vers une zone. Mais votre bras tremble un peu, ou vous avez mal au cou. Vous pointez peut-être vers un groupe de trois personnes. C'est aussi flou.
• Scénario C (LEGS-POMDP) : Vous criez "Pierre !" ET vous pointez vers la gauche.
  • Le robot prend la probabilité de "Pierre" (la voix).
  • Il prend la probabilité de "Gauche" (le doigt).
  • Il fusionne les deux. S'ils s'accordent, le nuage de points se transforme instantanément en un point précis. Le robot sait exactement où aller.

Le système est intelligent car il sait que les humains sont imprécis. Si vous dites "la tasse" mais que vous pointez vers un vase, le robot ne panique pas. Il calcule : "L'humain a peut-être fait une erreur de parole, ou une erreur de geste. Je vais pondérer les deux pour trouver la meilleure réponse."

4. Les Résultats : Plus Fort que la Somme des Parties

Les chercheurs ont testé ce robot dans des simulations complexes (comme un labyrinthe géant) et avec un vrai robot quadrupède (un chien-robot de Boston Dynamics).

• Le verdict : Quand le robot utilisait seulement la parole ou seulement le geste, il échouait souvent ou prenait beaucoup de temps.
• La victoire : Quand il utilisait les deux ensemble, il réussissait dans 89 % des cas, même dans des environnements très difficiles. C'est comme si le robot avait soudainement gagné une super-vision.

De plus, le robot est capable de raisonner. Si les indices sont contradictoires (vous dites "la tasse bleue" mais vous pointez vers une tasse rouge), le robot sait qu'il y a un doute et il explore prudemment au lieu de foncer tête baissée.

5. En Résumé

Ce papier nous dit que pour que les robots nous aident vraiment dans notre vie de tous les jours (dans des maisons en désordre, pas dans des laboratoires parfaits), ils ne doivent pas seulement "écouter" ou "voir". Ils doivent combiner nos mots et nos gestes comme le font les humains.

L'analogie finale :
Avant, un robot était comme un GPS qui vous disait "Tournez à gauche" même si vous étiez bloqué par un mur.
Avec LEGS-POMDP, le robot est comme un copain de voyage. Si vous dites "On va à la plage" mais que vous pointez vers la montagne, il vous dira : "Attends, tu as dit plage mais tu pointes la montagne. Tu es sûr ? Ou veux-tu dire la piscine ?" Il utilise le doute pour mieux vous comprendre, et c'est ce qui le rend plus intelligent et plus utile.

Résumé technique

Titre : LEGS-POMDP : Recherche d'objets guidée par le langage et les gestes dans des environnements partiellement observables

1. Problématique

Dans les environnements ouverts et non structurés, les robots doivent interpréter des instructions humaines ambiguës pour localiser des objets spécifiques. Ce problème, connu sous le nom de recherche d'objets instructée par l'humain, présente trois défis majeurs :

• Ambiguïté des modalités : Le langage naturel peut être vague (ex: "la tasse"), et les gestes (pointage) peuvent indiquer une région contenant plusieurs candidats.
• Bruit perceptif : Les capteurs visuels sont limités par le champ de vue et le bruit, rendant l'observation de l'environnement partielle.
• Manque de modélisation de l'incertitude : Les approches basées sur les modèles de fondation (Foundation Models) excellent dans l'ancrage multimodal mais manquent souvent de mécanismes rigoureux pour gérer l'incertitude à long terme. À l'inverse, les approches basées sur les Processus de Décision Markoviens Partiellement Observables (POMDP) gèrent bien l'incertitude mais sont souvent limitées à des environnements restreints (ex: tables) ou n'utilisent que le langage.

L'objectif est de concevoir un système capable de raisonner conjointement sur l'incertitude de l'intention humaine (identité de l'objet) et sur l'incertitude de l'environnement (localisation de l'objet) en fusionnant le langage, les gestes et la vision.

2. Méthodologie

Les auteurs proposent LEGS-POMDP, un cadre modulaire basé sur les POMDP qui intègre le langage, les gestes et les observations visuelles.

A. Formulation POMDP
Le problème est modélisé par le tuple $(S, A, T, O, Z, R, \gamma)$ :

• Espace d'états ($S$) : Défini par la pose du robot et la localisation latente de l'objet cible. Contrairement aux approches précédentes, le système ne se base pas sur la catégorie de l'objet, mais sur son statut (cible ou leurre) par rapport à l'intention humaine.
• Espace d'actions ($A$) : Déplacement (avant, arrière, tourner), observation (regarder pour acquérir des données) et terminaison (trouver).
• Modèle d'observation ($Z$) : C'est le cœur de l'innovation. Il fusionne trois modalités en une fonction de vraisemblance conjointe dans l'espace des logarithmes :
  $$\log Z(o|s) = w_v \log P_v(o_v|s) + w_g \log P_g(o_g|s) + w_l \log P_l(o_l|s)$$
  • Vision : Modélisée comme un capteur en éventail (fan-shaped) avec une décroissance gaussienne selon l'angle et la distance.
  • Langage : Utilise une fonction de similarité entre l'instruction et l'objet candidat, convertie en probabilité pour gérer les erreurs de transcription et les synonymes.
  • Gestes : Le pointage est modélisé comme un cône probabiliste. La direction est calculée comme la moyenne de vecteurs anatomiques (œil-poignet, épaule-poignet, coude-poignet) pour capturer la variabilité humaine.

B. Planification et Résolution

• Le système utilise l'algorithme PO-UCT (Partially Observable Upper Confidence Bound applied to Trees), une variante de la recherche arborescente Monte Carlo (MCTS), pour résoudre le POMDP.
• L'architecture est modulaire : les composants de perception (ex: MediaPipe pour les gestes, SAM2 + GPT-4o pour la vision) peuvent être remplacés sans altérer la logique de mise à jour des croyances bayésiennes.

3. Contributions Clés

1. Modélisation double de l'incertitude : Le premier cadre POMDP qui modélise explicitement simultanément l'incertitude sur l'identité de l'objet (intention humaine) et sa localisation spatiale.
2. Modèle d'observation multimodal probabiliste : Une approche modulaire qui intègre le langage, les gestes et la vision sous forme de vraisemblances pondérées, permettant des mises à jour de croyance explicites et interprétables.
3. Validation complète : Évaluation rigoureuse via des benchmarks de perception, des simulations à grande échelle et des déploiements sur un robot réel (quadrupède Boston Dynamics Spot).

4. Résultats

A. Évaluation Modulaire (Perception)

• Gestes : La représentation par cône de gestes (fusionnant plusieurs points anatomiques) surpasse les vecteurs uniques. Elle atteint une précision de couverture de 89,0 % et une erreur angulaire moyenne de 14,4°, surpassant le meilleur vecteur unique (épaule-poignet).
• Ancrage Visuel (Visual Grounding) : L'approche Set-of-Marks (SoM) combinant la segmentation (SAM2) et le raisonnement LLM (GPT-4o) obtient une précision d'ancrage de 91,4 % contre 62,4 % pour un détecteur classique (GroundingDINO), surtout dans des conditions de référence ambiguës ou spatiales.

B. Évaluation Système (Simulation)

• Performance des solveurs : PO-UCT atteint un taux de réussite de 96 % avec une représentation de croyance par histogramme, surpassant les heuristiques simples et POMCP.
• Impact de la multimodalité :
  • Fusion Multimodale : Taux de réussite moyen de 88,8 % (±7,3 %) avec un nombre d'étapes réduit (76,8) et un temps d'exécution rapide (16,7 s).
  • Comparaison : Le langage seul (71,0 %) et le geste seul (61,8 %) sont moins performants. L'absence d'instruction chute à 48,2 %.
  • Robustesse : La fusion multimodale maintient une performance élevée même dans des environnements complexes et ambigus, là où les instructions unimodales échouent.
• Réduction de l'incertitude : Sur le robot réel, la condition multimodale (Geste + Langage) réduit l'entropie de la croyance de 60,8 %, contre 40,6 % pour le geste seul et ~30 % pour les modalités unimodales.

C. Déploiement Réel
Le système a été testé sur un robot quadrupède mobile (Spot). Les expériences qualitatives ont validé la capacité du robot à réduire l'incertitude et à identifier correctement l'objet cible malgré des instructions ambiguës et un environnement réel.

5. Signification et Conclusion

Ce travail démontre que l'intégration structurée de multiples modalités (langage, geste, vision) dans un cadre probabiliste rigoureux (POMDP) est supérieure aux approches unimodales ou aux méthodes end-to-end pour la recherche d'objets dans des environnements ouverts.

• Avantages : Le système offre une interprétabilité (grâce aux mises à jour de croyance explicites) et une robustesse face au bruit et à l'ambiguïté.
• Limitations : Le modèle suppose l'indépendance conditionnelle entre les modalités (ignorant les corrélations potentielles) et dépend de la qualité de la segmentation visuelle.
• Perspectives : Les travaux futurs visent à intégrer d'autres modalités (tactile, gestes iconiques) et à mener des études utilisateurs dans des environnements naturels pour améliorer l'interaction humain-robot collaborative.

En résumé, LEGS-POMDP établit un nouvel état de l'art pour la recherche d'objets assistée par l'humain, prouvant que la fusion multimodale guidée par l'incertitude est essentielle pour opérer efficacement dans le monde réel.