Model Reconciliation through Explainability and Collaborative Recovery in Assistive Robotics

Résumé Technique : Réconciliation de Modèles par l'Explicabilité et la Récupération Collaborative en Robotique d'Assistance

Énoncé du Problème
Dans la robotique d'assistance et les scénarios de contrôle partagé, un comportement inattendu du robot provient souvent d'une divergence entre le modèle mental du monde de l'utilisateur humain et le modèle interne du robot. Lorsqu'un robot échoue à exécuter une tâche (par exemple, saisir un objet), l'utilisateur peut ne pas comprendre le raisonnement du robot, ce qui entraîne une rupture de la confiance et de la collaboration. Les approches de réconciliation de modèles existantes supposent souvent que le robot possède un modèle formel complet de l'état mental de l'humain, ce qui est irréaliste dans les environnements d'assistance dynamiques. De plus, bien que les explications puissent clarifier pourquoi un échec s'est produit, elles ne fournissent pas intrinsèquement de mécanisme permettant à l'humain de corriger les croyances erronées du robot pour remédier à l'échec.

Méthodologie
Les auteurs proposent un cadre de réconciliation de modèles qui exploite les modèles de fondation (spécifiquement les grands modèles de langage [LLM] et les modèles de langage-vision [VLM]) pour combler l'écart entre les modèles mentaux de l'humain et du robot sans nécessiter de modèle formel prédéfini de l'utilisateur. Le cadre fonctionne en trois étapes :

1. Démarrage et Génération d'Explications :

   • Le processus est initié par une requête en langage naturel de l'utilisateur (par exemple, « Pourquoi ne peux-tu pas saisir la tasse verdâtre ? »).
   • Un flux de travail LLM extrait les entités sémantiques (objets, actions, adjectifs) de la requête.
   • Le système effectue une recherche en quatre étapes contre les modèles internes du robot :
     • Vérification de la base de données d'objets : Vérifie si l'objet existe dans la base de connaissances statique du robot.
     • Vérification du modèle d'action (Passage 1) : Détermine si l'action est théoriquement possible compte tenu de l'état actuel du monde.
     • Vérification du modèle du monde : Vérifie si l'instance spécifique de l'objet est actuellement perçue et localisée par le robot.
     • Vérification du modèle d'action (Passage 2) : Identifie si l'action est bloquée par des préconditions non remplies (par exemple, un préhenseur qui n'est pas libre) ou si l'action n'est simplement pas entraînée.
   • Sur la base de cette recherche, le système prédit le type spécifique de divergence de modèle (par exemple, le robot ne sait pas que l'objet existe vs le robot voit l'objet mais ne peut pas agir) et génère une explication en langage naturel.

2. Récupération Collaborative :

   • Si l'explication révèle une divergence que l'utilisateur peut corriger (par exemple, le robot a manqué un objet ou a une croyance erronée sur un état), l'utilisateur fournit une réfutation (par exemple, « Mais le tiroir est fermé ! »).
   • Arbitrage VLM : Un modèle de langage-vision agit comme un « oracle » pour valider l'affirmation de l'utilisateur par rapport au flux vidéo du robot.
     • Pour les erreurs de perception (DSO) : Si l'utilisateur affirme qu'un objet est présent, le VLM tente de le faire correspondre dans l'image. En cas de succès, il suggère des mouvements du robot (par exemple, déplacer le fauteuil roulant) pour améliorer la vue afin de faciliter la détection. Si le VLM ne peut pas confirmer mais que l'utilisateur insiste, le système peut écraser le modèle du monde pour y inclure l'objet.
     • Pour les erreurs d'état (DSA) : Si l'utilisateur corrige un état (par exemple, « Le micro-ondes est ouvert »), le système fait correspondre cette correction en langage naturel au modèle du monde symbolique (PDDL) et met à jour le graphe d'action en conséquence.

3. Implémentation :

   • Le cadre a été implémenté sur un manipulateur mobile basé sur un fauteuil roulant conçu pour les personnes souffrant de déficiences motrices.
   • Le système utilise un VLM local à poids ouverts (Mistral-Small-3.2-24B-Instruct) avec des techniques de Chaîne de Pensée (Chain of Thought) et de Few-Shot Prompting pour gérer l'ancrage sémantique et le raisonnement.

Contributions Clés
Le papier présente des contributions à trois niveaux :

1. Théorique : Un cadre de réconciliation de modèles pour le contrôle partagé en robotique d'assistance qui englobe une mise à jour bidirectionnelle : le robot met à jour l'humain via l'explication, et l'humain met à jour le robot via la correction.
2. Méthodologique : L'intégration de flux de travail de modèles de fondation augmentés par des données de modules robotiques récupérées (bases de données d'objets, modèles du monde, graphes d'action). Cette approche élimine la nécessité pour le robot de modéliser explicitement l'état mental complet de l'utilisateur tout en prédisant les différences dans les bases de connaissances.
3. Expérimentale : Une implémentation complète et une évaluation impliquant un vrai robot d'assistance et son jumeau numérique, démontrant la capacité du système à gérer des scénarios de la vie quotidienne.

Résultats
Les auteurs ont mené une étude pilote sur un robot réel et deux expériences (B1 et B2) sur un jumeau numérique à l'aide d'un ensemble de données de 40 épisodes (120 conversations de sortie au total).

• Précision : Le cadre a atteint une précision comprise entre 78 % et 100 % à travers différents tests unitaires. Plus précisément, il a atteint 100 % de précision pour expliquer les échecs de localisation d'objets, 78,79 % pour communiquer des erreurs d'état symbolique, et 78,12 % pour générer des suggestions de récupération.
• Comparaison : Dans l'expérience B1, la méthode proposée a nettement surpassé une ligne de base VLM « naïve » qui n'avait pas accès aux modèles internes du robot, démontrant que la capacité du LLM à récupérer et synthétiser les données spécifiques des modules du robot est cruciale pour des explications précises.
• Ancrage Sémantique : L'expérience B2 a montré que fournir un dictionnaire de traduction pour les termes spécifiques au robot peu communs (par exemple, mapper « ikea bagganas » à « cabinet ») a augmenté la précision de la réconciliation d'action de 78,8 % à 92,4 %.
• Limites : Les auteurs notent que les suggestions de mouvement de récupération (raisonnement spatial) ont montré une précision plus faible, probablement en raison des limitations du VLM spécifique utilisé. De plus, les adjectifs dans les requêtes ont parfois causé de la confusion, et l'étude était limitée à un ensemble spécifique de scénarios de la vie quotidienne.

Signification
Le papier affirme que ce travail fournit un flux de travail pratique pour expliquer le comportement inattendu d'un robot et permettre une récupération collaborative en robotique d'assistance. En utilisant les modèles de fondation pour prédire et expliquer les divergences de modèles, le système permet aux humains de comprendre les croyances du robot et de les corriger activement, rétablissant ainsi une compréhension partagée sans nécessiter de modélisation utilisateur complexe et prédéfinie. Les auteurs soulignent que, bien que l'implémentation actuelle soit modeste et limitée à des scénarios spécifiques, elle établit un pipeline viable pour la transparence et la confiance dans les équipes homme-robot, ouvrant la voie à des travaux futurs sur l'optimalité des plans, le désalignement des objectifs et des instances d'objets plus diversifiées.