Inferring World Belief States in Dynamic Real-World Environments

1. Problématique et Contexte

L'article s'attaque au problème de l'estimation de l'état de croyance (belief state) d'un humain par un robot dans un environnement dynamique, en 3D et partiellement observable (ex. : un foyer domestique).

• Définition de l'état de croyance : Il est défini comme le niveau 1 de la conscience situationnelle, c'est-à-dire la compréhension qu'a une personne des objets de son environnement et de leurs emplacements.
• Enjeu : Dans le travail d'équipe humain-robot, un "modèle d'équipe" permet une coordination fluide sans communication explicite constante. Cependant, les robots actuels peinent à inférer ce que l'humain sait ou ignore, surtout lorsque l'environnement change (objets déplacés) et que le robot ne voit pas tout (obstruction, champ de vision limité).
• Défis majeurs :
  1. Observabilité partielle : Le robot ne dispose que d'une caméra embarquée.
  2. Environnements dynamiques : Les objets et les personnes bougent, créant des occlusions.
  3. Permanence des objets : Le robot doit se souvenir des objets même lorsqu'ils sont déplacés ou cachés.
  4. Portabilité : La représentation de l'état de croyance doit être utilisable pour des tâches en aval (raisonnement, assistance active).

2. Méthodologie

L'approche proposée repose sur une théorie de l'esprit récursive et une architecture modulaire composée de deux sous-systèmes principaux :

A. Algorithme d'État de Croyance (Belief State Algorithm)

• Représentation : L'état de croyance $\beta$ est une carte sémantique contenant un ensemble d'objets, leurs classes et leurs positions moyennes (nuages de points).
• Mise à jour : Le robot maintient son propre état de croyance ($\beta_{robot}$) et infère celui de l'humain ($\hat{\beta}_{human}$).
  • Le robot met à jour $\beta_{robot}$ en observant directement les objets.
  • Pour inférer $\hat{\beta}_{human}$, le robot simule ce que l'humain a pu voir en se basant sur sa trajectoire estimée, sa position et sa direction de regard (gaze).
• Résolution d'objets : L'algorithme utilise une correspondance minimale des coûts (basée sur la distance L2) pour mapper les objets observés aux instances connues dans la carte, en supposant une correspondance 1:1.

B. Stack de Perception

• Détection : Utilisation de OWLv2 pour la détection d'objets à vocabulaire ouvert (permettant des classes personnalisées) et de SAM2 pour la segmentation d'images.
• Localisation 3D : Combinaison des données RGB et de profondeur (Depth) pour projeter les objets dans les coordonnées globales du robot.
• Suivi Humain :
  • Détection de la personne avec un seuil de confiance bas pour réduire les faux négatifs.
  • Estimation de la pose 3D via RTMPose et MMPose.
  • Approximation de la direction du regard par le vecteur normal entre les hanches et les épaules (plus fiable que la tête à distance).
• Inférence de trajectoire : Utilisation de l'algorithme A* pour estimer le chemin parcouru par l'humain entre deux observations, permettant de mettre à jour l'état de croyance de l'humain même lorsqu'il est hors de vue (périodes d'occlusion).

C. Métrique d'Évaluation : SMCC

Les auteurs proposent une nouvelle métrique, le SMCC (Summed Minimum Cost by Class), pour évaluer la précision de l'état de croyance inféré par rapport à la vérité terrain.

• Elle calcule la somme des distances minimales pour mapper les objets d'une classe de l'ensemble inféré vers l'ensemble réel.
• Elle est normalisée par le nombre d'objets pour donner une erreur moyenne en mètres.

3. Contributions Clés

1. Première approche complète : C'est la première étude à adresser simultanément les quatre défis (partiellement observable, dynamique, permanence des objets, portabilité) sans informations privilégiées (privileged information).
2. Représentation explicite et portable : Contrairement aux approches "boîte noire" (représentations latentes), cette méthode produit une structure de données explicite (carte sémantique) utilisable directement pour le raisonnement.
3. Validation sur simulateur et réel : Le système est testé dans VirtualHome (simulation réaliste) et déployé sur un robot physique Stretch RE2.
4. Application en aval (Assistance Active) : Démonstration d'un cas d'usage où le robot identifie les objets déplacés que l'humain ignore et les lui signale pour l'aider dans une tâche (ex: cuisine, nettoyage).

4. Résultats Expérimentaux

• Performance de Perception : Dans la simulation, la stack de perception (utilisant des modèles "off-the-shelf" en zero-shot) a obtenu des résultats quasi-identiques à ceux de la perception "vérité terrain" (Ground Truth), avec une erreur moyenne d'inférence d'environ 0,35 m.
• Étude d'ablation : Les erreurs proviennent principalement des limites du simulateur (pose de caméra approximative) et de l'algorithme de résolution, plutôt que des composants de perception individuels.
• Scénario "Parents are Out" :
  • L'erreur de croyance de l'humain (par rapport à la réalité) est initialement élevée car il croit que la maison est rangée.
  • L'erreur d'inférence du robot (par rapport à la croyance réelle de l'humain) fluctue mais reste faible, montrant que le robot suit bien la mise à jour mentale de l'humain.
• Tâche d'Assistance Active :
  • Le système utilise un LLM (Qwen2.5-32B) pour sélectionner les objets à signaler.
  • La méthode "Single Chain-of-Thought" (questionner chaque objet individuellement avec raisonnement) a montré la meilleure précision (0,77), ce qui est crucial pour éviter de donner de mauvaises recommandations à l'utilisateur.
  • Toutes les méthodes surpassent largement le hasard.

5. Signification et Perspectives

• Impact : Ce travail pose les bases pour des robots capables de comprendre l'état mental de leurs partenaires humains, facilitant une collaboration plus naturelle et proactive.
• Limitations actuelles : La dépendance à des simulateurs imparfaits (VirtualHome) et l'hypothèse d'une perception humaine parfaite (l'humain voit tout ce qui est dans son champ de vision) sont des simplifications.
• Travaux futurs :
  • Développement de simulateurs plus robustes avec API de navigation sémantique.
  • Intégration de données réelles de suivi oculaire pour personnaliser le modèle de perception humaine.
  • Création de jeux de données réels sur la conscience situationnelle dans les foyers.
  • Exploration de scénarios industriels complexes (alerte sur dangers invisibles).

En résumé, cet article présente une architecture robuste et portable permettant à un robot de maintenir un modèle mental de ce qu'un humain sait de son environnement, ouvrant la voie à des systèmes d'assistance robotique plus intelligents et contextuellement conscients.