Mixed-Initiative Dialog for Human-Robot Collaborative Manipulation

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous préparez un grand dîner avec un ami. Vous êtes un chef étoilé pour la cuisine, mais vous n'êtes pas très doué pour ouvrir les bouteilles de vin. Votre ami, lui, est un expert du vin mais il déteste éplucher les pommes de terre.

Dans un scénario idéal, vous ne vous contentez pas de suivre un menu rigide. Vous discutez : « Hé, tu peux ouvrir ce vin pendant que je coupe les légumes ? » ou « Attends, je suis fatigué, tu peux t'occuper de la salade ? ». C'est ce qu'on appelle la collaboration mixte : chacun prend l'initiative selon ses forces et ses envies du moment.

Le papier que nous allons explorer parle d'un robot nommé MICoBot qui essaie de devenir ce genre d'ami idéal dans votre cuisine.

Le Problème : Les Robots Trop Rigides

Jusqu'à présent, la plupart des robots domestiques fonctionnent comme des robots de l'espace dans un film des années 80 : ils attendent qu'un humain leur donne un ordre précis (« Prends la cuillère »), et ils obéissent aveuglément. S'ils ne peuvent pas le faire, ils bloquent ou échouent. Ils ne savent pas dire : « Je ne peux pas ouvrir ce bocal, mais je peux t'apporter un torchon pour que tu aies une meilleure prise ».

De plus, les robots actuels ne comprennent pas que les humains changent d'humeur. Si vous êtes pressé, le robot devrait faire plus de choses. Si vous êtes détendu, il peut vous laisser faire.

La Solution : MICoBot, le Partenaire de Conversation

MICoBot (pour Mixed-Initiative Collaborative roBot) est un système conçu pour discuter avec vous, pas seulement pour vous obéir. Il utilise le langage naturel pour négocier qui fait quoi, à chaque étape d'une tâche complexe (comme préparer un repas ou assembler un jouet).

Voici comment il fonctionne, en trois étapes simples, comme un chef d'orchestre :

1. Le Stratège (Le Meta-Planificateur)

Imaginez un directeur de projet intelligent qui écoute votre conversation.

Son rôle : Il analyse ce que vous dites (« Je suis pressé », « Je n'aime pas les tâches sales ») et transforme cela en un plan d'action flexible.
L'analogie : C'est comme un ami qui vous dit : « Ok, on a une liste de courses. Toi, tu es pressé, donc je vais faire la moitié, et toi tu fais juste le reste. On s'adapte en temps réel. »

2. Le Calculateur (Le Planificateur)

C'est le cerveau mathématique qui prend des décisions rapides.

Son rôle : Il se demande : « Est-ce que je peux faire ça ? Est-ce que l'humain a envie de le faire ? ».
La magie : Le robot a une « carte de compétences » (ce qu'il sait faire physiquement) et une « carte de l'humeur humaine » (basée sur ce que vous avez dit précédemment).
- Si le robot sait que vous êtes d'accord et que c'est facile pour vous, il vous le demande.
- Si le robot sait qu'il est incapable de faire une tâche (par exemple, couper du fil de fer), il ne s'obstine pas. Il dit : « Je ne peux pas faire ça, mais je peux t'apporter les ciseaux ! »
L'analogie : C'est comme un co-pilote de voiture qui regarde la carte et dit : « La route est bloquée, je ne peux pas passer. Je vais te proposer de prendre la route de contournement, ou alors tu conduis toi-même sur ce tronçon difficile. »

3. L'Exécutant (L'Actionneur)

C'est le bras et la voix du robot.

Son rôle : Il fait ce que les deux autres ont décidé. Soit il bouge ses bras pour saisir un objet, soit il parle pour négocier avec vous.
L'analogie : C'est le musicien qui joue la note que le chef d'orchestre a choisie.

Pourquoi c'est révolutionnaire ?

Dans les tests réels avec 18 humains, MICoBot a été un succès total comparé à des robots basés uniquement sur des intelligences artificielles classiques (les LLM) :

Succès : Il a réussi la tâche 78 % du temps, contre seulement 28 % pour les autres.
Satisfaction : Les humains l'ont préféré à 78 %. Pourquoi ? Parce qu'il ne les a pas frustrés en essayant de faire des choses impossibles, et il a su demander de l'aide au bon moment.
Flexibilité : Il a su dire « Non » à une demande humaine s'il savait qu'il ne pouvait pas la satisfaire, et a proposé une alternative.

En Résumé

MICoBot change la donne en passant d'une relation Maître-Serviteur (l'humain commande, le robot obéit) à une relation Partenaire-Partenaire.

Au lieu d'être un outil rigide, MICoBot est comme un partenaire de danse qui écoute le rythme, s'adapte à vos mouvements, et vous propose de changer de pas si vous trébuchez. Il ne cherche pas seulement à finir la tâche, mais à le faire ensemble, en respectant vos capacités et votre humeur. C'est le premier pas vers un robot de maison qui ne vous dira pas « Je ne peux pas », mais plutôt « Comment pouvons-nous régler ça ensemble ? ».

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les systèmes robotiques destinés à la collaboration à long terme avec des humains doivent s'adapter à une grande variété de partenaires humains. Les comportements physiques, la volonté d'aider et la compréhension des capacités du robot peuvent varier au fil du temps.

Les approches actuelles souffrent de deux limitations majeures :

Dialogues à initiative unique : La plupart des systèmes (chatbots, assistants) attendent que l'humain initie l'interaction, ou les robots suivent des plans fixes sans capacité de négociation dynamique.
Hypothèses rigides : Les systèmes de collaboration humain-robot (HRI) supposent souvent une conformité totale de l'humain et des capacités robotiques fixes, ce qui limite la flexibilité et l'adaptation aux préférences et aux contraintes réelles.

L'objectif est de créer un système capable d'un dialogue à initiative mixte, où l'humain et le robot peuvent tous deux proposer, accepter ou refuser des tâches, négocier la répartition du travail et s'adapter dynamiquement pour maximiser le succès de la tâche tout en minimisant l'effort humain.

2. Méthodologie : Le Système MICoBot

MICoBot (Mixed-Initiative Collaborative roBot) est un système hiérarchique qui intègre le dialogue naturel ancré dans le monde physique pour la répartition des tâches. Il fonctionne selon une boucle de décision à trois niveaux :

A. Formulation du Problème (MDP)

Le problème est modélisé comme un Processus de Décision Markovien (MDP) où les agents (humain et robot) partagent un espace d'états et d'actions.

Actions : Combinent des actions physiques (manipulation d'objets) et des actions verbales (dialogue libre).
Objectif : Allouer les étapes d'un plan de tâche entre l'humain (H) et le robot (R) pour maximiser la probabilité de succès tout en minimisant l'effort humain, tout en respectant les contraintes issues du dialogue.

B. Architecture Hiérarchique à Trois Niveaux

Planificateur Méta (Meta-Planner - L1) :
- C'est un modèle de langage (LLM, GPT-4o) qui agit comme un "codeur".
- Il analyse l'historique du dialogue et l'état symbolique du monde pour générer du code adaptatif.
- Ce code définit la stratégie de collaboration globale, notamment comment intégrer les préférences de l'humain sous forme de contraintes pour l'optimisation et comment choisir les prochaines actions (dialogue ou physique).
Planificateur Itératif (Iterative Planner - L2) :
- Exécute le code généré par le planificateur méta.
- Optimisation : Il résout un problème d'optimisation contraint pour déterminer la meilleure allocation des étapes restantes ( $G^*$ ).
- Fonction Objectif : Il maximise une valeur Q combinée qui pondère le temps d'exécution et la probabilité de succès, ajustée par un facteur $\alpha$ (valeur de l'effort humain) et une probabilité estimée $p_{H,t}$ (volonté de l'humain d'aider).
- Estimation des capacités :
  - Robot : Utilise un modèle d'affordance pré-entraîné sur un simulateur (OmniGibson) pour estimer le temps et le taux de succès des actions.
  - Humain : Estime le temps nécessaire via un LLM et la distance de déplacement, ajusté dynamiquement par l'analyse de sentiment du dialogue pour prédire $p_{H,t}$ .
- Gestion des contraintes : Si une allocation optimale n'est pas possible (ex: l'humain demande au robot de faire l'impossible), le planificateur relâche itérativement les contraintes et explique ses limites à l'humain.
Exécuteur d'Actions (Action Executor - L3) :
- Réalise l'action primitive sélectionnée.
- Physique : Génère des trajectoires de navigation et de bras (ROS, Grounding DINO, cinématique inverse) pour manipuler les objets.
- Verbale : Utilise un LLM avec quelques exemples (few-shot learning) pour générer des énoncés naturels ancrés dans le contexte de la tâche (demandes d'aide, négociations, réponses).

C. Dialogue à Initiative Mixte

Le système permet des transitions fluides entre :

Initiative du robot : Demander de l'aide, proposer de partager une tâche, expliquer une incapacité.
Initiative de l'humain : Demander au robot de faire quelque chose, proposer de prendre une tâche, refuser une demande.
Le système négocie en temps réel pour trouver le point d'équilibre optimal.

3. Contributions Clés

Nouveau cadre de problème : Intégration du dialogue à initiative mixte dans les interactions humain-robot physiques, permettant une négociation bidirectionnelle.
Cadre d'optimisation novel : Une fonction objectif unifiée qui équilibre succès de la tâche, effort humain et préférences exprimées verbalement, en utilisant des fonctions Q apprises et des estimations dynamiques de la volonté humaine.
Environnement de simulation collaboratif : Basé sur MiniBehavior, avec des humains virtuels contrôlés par LLM pour tester divers comportements (humeur, volonté).
Système robotique réel (MICoBot) : Une implémentation complète validée sur un manipulateur mobile TIAGo, capable de gérer des tâches à long horizon dans un environnement domestique réel.

4. Résultats Expérimentaux

Les évaluations ont été menées avec 18 participants humains sur trois tâches ménagères complexes (verser un paquet dans un bol, assembler une voiture jouet, emballer un cadeau) et comparées à une base de référence purement LLM et à d'autres modèles d'allocation.

Succès de la tâche : MICoBot a atteint un taux de réussite global de 77,8 %, contre seulement 27,8 % pour la base LLM (différence statistiquement significative, p < 0,01).
Complétion des étapes : 93,8 % des étapes du plan ont été complétées avec MICoBot contre 58,2 % pour la base LLM.
Effort humain : Bien que MICoBot sollicite plus l'humain (40,5 % des étapes contre 18,2 % pour la base LLM), cela est nécessaire car le robot évite de tenter des tâches qu'il ne peut pas réussir. Le système optimise le rapport succès/effort bien mieux que les bases de référence.
Expérience utilisateur :
- Préférence : 77,8 % des participants ont préféré MICoBot à la base LLM.
- Satisfaction : Scores significativement plus élevés pour la satisfaction globale, la capacité de communication et la conscience des limites du robot.
Analyse du dialogue : MICoBot a généré plus de changements d'initiative (2,4 par essai contre 1,1) et a augmenté le taux d'acceptation des demandes d'aide de 55 % à 86 % grâce à la négociation, là où la base LLM échouait souvent à demander de l'aide ou à refuser des demandes irréalistes.

5. Signification et Impact

Ce travail représente une avancée significative vers des robots domestiques véritablement collaboratifs. En passant d'un modèle de commande "humain-dépendant" ou "robot-autonome rigide" à un modèle de négociation dynamique, MICoBot démontre que :

La communication verbale n'est pas seulement informative, mais décisionnelle : elle permet de réallouer les tâches en temps réel.
La modélisation de la volonté humaine (via l'estimation de probabilité $p_{H,t}$ ) est cruciale pour éviter les impasses et l'insatisfaction.
L'approche hybride (LLM pour la stratégie et le langage + optimisation mathématique pour l'allocation + contrôle bas niveau) est robuste face à l'incertitude et aux capacités limitées du robot.

En conclusion, MICoBot établit un nouveau standard pour les systèmes robotiques capables de travailler avec des humains dans des environnements non structurés, en s'adaptant non seulement aux objets, mais aussi aux intentions et aux préférences changeantes de leurs partenaires humains.