Uncertainty Mitigation and Intent Inference: A Dual-Mode Human-Machine Joint Planning System

Ce papier présente un système de planification conjointe humain-machine à double mode qui atténue l'incertitude et infère l'intention humaine via des conversations actives et une modélisation probabiliste, démontrant ainsi une réduction significative des coûts d'interaction et du temps d'exécution dans des environnements réels et simulés.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si vous racontiez une histoire à un ami autour d'un café.

🤖 Le Robot qui n'est pas juste un esclave, mais un vrai coéquipier

Imaginez que vous travaillez avec un robot dans une grande maison en désordre (un "monde ouvert"). Souvent, les robots sont comme des automates un peu bêtes : vous leur donnez un ordre, et s'ils ne comprennent pas, ils bloquent ou font n'importe quoi. Ils vous regardent comme un patron qui surveille un employé, attendant que vous corrigiez chaque erreur.

Les chercheurs de ce papier (de l'Université George Washington et de Northeastern) ont voulu changer la donne. Ils ont créé un système où le robot devient un vrai partenaire, capable de penser, de deviner vos intentions et de poser des questions intelligentes pour éviter les erreurs.

Pour y arriver, ils ont inventé un cerveau de robot qui fonctionne avec deux modes (ou deux façons de penser), selon la situation.

---

Mode 1 : Le Détective Curieux (Réduire l'incertitude)

Le problème :
Imaginez que vous dites au robot : "Va chercher la boîte bleue et apporte-la au blessé."
Mais il y a trois boîtes bleues dans la pièce ! Et il y a aussi un filet et de la fumée sur le chemin. Le robot ne sait pas laquelle est la bonne, ni si le chemin est sûr.

La solution du papier :
Au lieu de deviner au hasard (ce qui est risqué) ou de vous demander tout et n'importe quoi (ce qui est ennuyeux), le robot devient un détective.

1. Il utilise un "Grand Cerveau" (LLM) : C'est comme s'il avait un assistant très intelligent qui lit vos mots et les compare à ce qu'il voit. Il se dit : "Hmm, il y a trois boîtes bleues. Laquelle veut-il ?"
2. Il pose des questions stratégiques : Au lieu de vous demander "Laquelle ?", il utilise un peu de mathématiques (un peu comme un jeu d'échecs) pour savoir quelle question poser qui vous coûtera le moins de temps.
   • Analogie : Imaginez que vous cherchez un objet dans un labyrinthe. Au lieu de vérifier chaque couloir, le robot vérifie d'abord celui qui a le plus de chances d'être bloqué. Si c'est bloqué, il vous demande confirmation. Si c'est libre, il continue. Il évite de vous poser des questions inutiles.
3. Le résultat : Le robot pose beaucoup moins de questions (il économise 52 % de temps de discussion) mais trouve toujours le bon chemin.

---

Mode 2 : Le Partenaire Télépathe (Comprendre l'intention)

Le problème :
Parfois, vous ne parlez pas du tout. Vous êtes en train de courir vers une tâche, et le robot doit deviner ce que vous faites pour vous aider. Si le robot vous suit bêtement, il risque de vous gêner ou de faire le même travail que vous (ce qui est du gaspillage).

La solution du papier :
Le robot devient un partenaire de danse qui anticipe vos mouvements.

1. Il observe votre "langage corporel" : Il ne vous écoute pas, il vous regarde. Il analyse :
   • Où vous allez (la distance).
   • Dans quelle direction vous regardez ou vous vous déplacez.
2. Il fait des paris intelligents : Il se dit : "Il court vers la boîte noire. Il y a 80 % de chances qu'il veuille la prendre. Je vais donc aller chercher la boîte blanche pour qu'on ne se marche pas dessus."
3. Le résultat : Le robot et l'humain travaillent en harmonie sans avoir besoin de crier des ordres. Le robot sait quand attendre, quand aider, et quand faire autre chose. Cela permet de finir la mission 25 % plus vite.

---

🧪 Comment ont-ils testé ça ?

Ils ont construit un vrai drone (un petit hélicoptère) et l'ont mis dans une pièce avec des obstacles (des boîtes, un filet, de la fumée simulée).

• En simulation (sur ordinateur) : Ils ont vu que le robot posait beaucoup moins de questions inutiles et trouvait les chemins plus vite.
• En vrai (avec le drone) : Le drone a volé, a écouté les ordres par la voix, a posé des questions intelligentes ("Est-ce que le filet est sûr ?") et a aidé un humain à déplacer des objets sans se gêner.

🏆 En résumé

Ce papier nous dit que pour que les robots soient de vrais amis dans le futur (dans les hôpitaux, les usines, ou pour le sauvetage), ils ne doivent pas être de simples exécutants. Ils doivent être capables de :

1. Poser les bonnes questions pour lever les doutes (Mode 1).
2. Deviner ce qu'on veut faire en nous observant (Mode 2).

C'est comme passer d'un robot qui attend des ordres écrits à un collègue de travail qui comprend le contexte, anticipe les problèmes et vous aide à travailler plus vite et plus intelligemment.

Résumé technique

1. Problématique

La collaboration humain-robot dans des environnements ouverts (monde réel) fait face à deux défis majeurs liés à l'incertitude :

1. L'incertitude liée aux connaissances : Les instructions humaines sont souvent ambiguës (sémantique floue, propriétés d'objets inconnues) ou les obstacles sont partiellement observables (traversabilité incertaine).
2. L'incertitude liée à l'intention : L'intention humaine (le but latent d'une tâche) n'est pas toujours explicite et doit être déduite à partir de comportements observés.

Les approches existantes traitent souvent l'humain soit comme un superviseur passif (limitant l'échange de connaissances), soit comme un partenaire dont l'intention est inférée sans communication active. Cela empêche les agents autonomes de devenir de véritables "coéquipiers" capables de raisonner sur les lacunes de connaissances, de poser des questions ciblées et de s'adapter dynamiquement aux intentions humaines.

2. Méthodologie

Les auteurs proposent un système de planification conjointe unifié et end-to-end, fonctionnant en deux modes complémentaires au sein d'un moteur de planification central. Le système intègre des modèles de perception (VLM), une interface vocale et un contrôleur bas niveau pour des drones (UAV).

A. Mode 1 : Planification Conjointe d'Atténuation de l'Incertitude

Ce mode vise à résoudre les ambiguïtés sémantiques et les incertitudes sur les obstacles via une communication bidirectionnelle optimisée.

• Mécanisme d'élicitation active assistée par LLM : Le robot utilise un Grand Modèle de Langage (LLM) pour ancrer les instructions naturelles dans la carte sémantique perçue. Si plusieurs objets candidats existent, le robot génère des hypothèses.
• Planification de chemin augmentée par hypothèses : L'algorithme utilise une recherche A* modifiée où l'espace d'état inclut des hypothèses sur la traversabilité des obstacles (ex: feu, filet, fumée). Cela génère un arbre de décision reliant les configurations de l'environnement aux chemins possibles.
• Stratégie de requête optimale (Dynamic Programming) : Pour minimiser les coûts d'interaction (temps de parole, vérification), le système formule le problème comme un processus de décision markovien. Il calcule une politique de requête optimale via la programmation dynamique pour déterminer quand et quoi demander à l'humain, afin de réduire l'incertitude avec le coût minimal attendu.

B. Mode 2 : Collaboration Consciente de l'Intention en Temps Réel

Ce mode permet une coopération sans communication explicite, en inférant l'intention humaine à partir de signaux géométriques.

• Mise à jour de croyance probabiliste : Le robot maintient une croyance en ligne sur l'intention humaine ($g_t$) basée sur deux indices géométriques : la distance à la tâche et l'alignement de la direction de mouvement (vitesse). Une mise à jour par lissage exponentiel permet d'accumuler les preuves tout en restant réactif.
• Sélection de tâche consciente de la coordination : Le robot distingue les tâches indépendantes (completées par un seul agent) des tâches coopératives (nécessitant les deux agents).
  • Si l'intention humaine pointe vers une tâche coopérative, le robot s'y dirige pour réduire les délais de synchronisation.
  • Si l'intention pointe vers une tâche indépendante, le robot choisit une tâche indépendante différente pour éviter le travail redondant.
• Stabilité : Un mécanisme de "verrouillage" (commitment) empêche les changements de cible oscillatoires lorsque la confiance dans l'intention est faible.

C. Architecture Système

• Perception : Utilisation d'un modèle Vision-Language (VLM) basé sur Grounded-SAM et Grounding DINO pour la segmentation sémantique 2D/3D.
• Représentation 3D : Reconstruction de l'environnement via le "3D Gaussian Splatting" enrichi de labels sémantiques et de scores de confiance.
• Fusion Récursive : Une stratégie de fusion maintient la cohérence des cartes 3D en pondérant les mises à jour de confiance selon la continuité de la profondeur et la distance au centre des masques.
• Interface : Interaction vocale via Whisper (STT), GPT-4o (compréhension) et TTS (synthèse).

3. Contributions Clés

1. Module d'atténuation de l'incertitude : Une approche novatrice combinant LLM, A* hypothétique et programmation dynamique pour résoudre les ambiguïtés de cibles et d'obstacles avec un coût d'interaction minimal.
2. Module de collaboration consciente de l'intention : Un mécanisme léger de mise à jour de croyance en temps réel qui adapte la stratégie de coopération (éviter la redondance vs synchroniser) sans nécessiter de réentraînement ni de feedback explicite.
3. Prototype intégré : Développement d'un système complet humain-UAV validé en simulation (Gazebo) et dans le monde réel, intégrant perception 3D, planification et contrôle bas niveau.

4. Résultats Expérimentaux

Les évaluations ont été menées sur des scénarios de recherche et de sauvetage (livraison de médicaments, évitement d'obstacles) en simulation et avec un drone réel.

En Simulation (Gazebo)

• Atténuation de l'incertitude : Par rapport à une base "sans requête" (taux de réussite de 40-71%) et une base "exhaustive" (toutes les incertitudes vérifiées), la méthode proposée atteint 100% de réussite tout en réduisant le nombre de requêtes de 56,8% et l'utilisation de tokens de 30,3%.
• Collaboration intentionnelle : Comparé à une base non coopérative, la méthode proposée réduit le temps d'exécution de 23,0%, la distance totale parcourue de 10,7% et la distance parcourue par l'humain de 17,7%. La précision de reconnaissance d'intention (Top-1) atteint 84,0%.

En Monde Réel (Déploiement UAV)

• Atténuation de l'incertitude : Réduction du coût d'interaction de 51,9% (en nombre de requêtes) par rapport à la méthode exhaustive, tout en maintenant un taux de réussite de 100%.
• Collaboration intentionnelle : Réduction du temps d'exécution de 25,4% et de la distance totale de 17,9% par rapport à la base non coopérative. La précision de reconnaissance d'intention atteint 95,0% (Top-1) et la probabilité moyenne de cible vraie est de 74,3%.

5. Signification et Impact

Ce travail comble un fossé important dans la collaboration humain-robot en transformant l'agent autonome d'un outil passif en un coéquipier proactif.

• Efficacité opérationnelle : En minimisant les interactions verbales inutiles et en évitant les mouvements redondants, le système accélère considérablement les missions critiques (comme le sauvetage).
• Robustesse : La capacité à gérer l'ambiguïté sémantique et les obstacles imprévus via une stratégie de requête optimale rend le système plus fiable dans des environnements non structurés.
• Adaptabilité : L'approche hybride (communication explicite quand nécessaire, inférence implicite quand possible) offre un équilibre optimal entre la précision de l'information et la fluidité de l'interaction.

En conclusion, ce système démontre qu'il est possible de créer des agents autonomes capables de raisonner sur leurs propres lacunes de connaissances et de s'adapter dynamiquement aux intentions humaines, ouvrant la voie à des collaborations plus naturelles et efficaces dans des scénarios complexes.