🤖 machine learning

Moving Out: Physically-grounded Human-AI Collaboration

Cet article introduit « Moving Out », un nouveau banc d'essai pour la collaboration humain-IA ancrée dans la physique qui répond aux limites des ensembles de données discrets ou non physiques existants, et propose la méthode BASS pour améliorer la capacité des agents à s'adapter à divers comportements humains et à des contraintes physiques complexes.

Auteurs originaux : Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

Publié 2026-06-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Pourquoi déplacer un canapé est difficile pour les robots

Imaginez que vous et un ami essayez de sortir un canapé lourd et encombrant d'un appartement. Vous ne pouvez pas simplement le pousser en ligne droite. Vous devez l'incliner, le faire pivoter autour d'un angle étroit dans un couloir, et coordonner votre force pour ne pas le faire tomber ou rester coincés.

C'est ce que l'article appelle la « collaboration ancrée physiquement » (physically-grounded collaboration). Il s'agit de robots (IA) travaillant avec des humains dans le monde réel, où la physique compte. Les objets ont un poids, une forme et de la friction. Si vous poussez une table ronde, elle roule ; si vous poussez une boîte carrée, elle glisse. Si vous poussez un objet lourd, vous avez besoin de deux personnes.

Le problème est que la plupart des entraînements actuels de l'IA se déroulent dans des « mondes en grille » (comme un échiquier ou un jeu vidéo simple). Dans ces jeux, il suffit de cliquer sur une case pour se déplacer. Il n'y a ni poids, ni élan, ni angles complexes. Les auteurs soutiennent que pour construire un robot capable d'aider réellement à déplacer des meubles, nous devons l'entraîner dans un monde qui ressemble au monde réel.

La solution : « Moving Out » (Le Benchmark)

Les auteurs ont créé un nouvel environnement de test appelé Moving Out. Considérez cela comme un simulateur de jeu vidéo en 2D qui fonctionne sur un moteur physique réaliste.

Le Jeu : Deux agents (une IA, et un humain ou une autre IA) doivent déplacer divers objets (étoiles, cercles, polygones) d'un point de départ vers une « zone d'arrivée ».
Le Twist : Les objets ne sont pas de simples icônes ; ils ont une masse (certains sont lourds, d'autres légers), des formes (certains se coincent dans les coins, d'autres roulent) et des tailles (certains nécessitent une personne, d'autres deux).
L'Objectif : L'IA doit apprendre à comprendre : « Oh, cette boîte est lourde, je dois demander de l'aide à mon partenaire », ou « Ce couloir est étroit ; nous devons tourner la table sur le côté pour passer ».

Les deux grands défis

L'article présente deux tests spécifiques pour voir si l'IA est assez intelligente pour gérer la vraie vie :

Le test du « Nouveau Partenaire » (S'adapter aux humains) :
Imaginez que vous jouez à un jeu avec un ami qui marche toujours du côté gauche de la pièce. Ensuite, vous jouez avec un autre ami qui marche toujours du côté droit. Un bon coéquipier s'adapte.

Le Test : L'IA est entraînée sur des données provenant de 36 joueurs humains différents. Ensuite, elle est testée contre un humain qu'elle n'a jamais rencontré. Peut-elle comprendre comment travailler avec le style unique de cet inconnu ?
Le Résultat : La plupart des IA échouent ici car elles mémorisent les mouvements spécifiques de leurs partenaires d'entraînement. Elles sont confuses lorsque le partenaire fait quelque chose d'un peu différent.

Le test du « Nouvel Objet » (S'adapter à la physique) :
Imaginez que vous vous êtes exercé à déplacer une petite chaise en bois. Puis, soudainement, vous devez déplacer un énorme coffre-fort en acier.

Le Test : L'IA est entraînée sur des objets ayant des poids et des formes spécifiques. Ensuite, elle est testée sur des objets avec de nouveaux poids et de nouvelles formes qu'elle n'a jamais vus.
Le Résultat : L'IA doit comprendre le concept de « lourdeur » ou de « forme », et non pas seulement mémoriser comment déplacer une boîte spécifique.

La nouvelle méthode : BASS (Behavior Augmentation, Simulation, and Selection)

Pour résoudre ces problèmes, les auteurs ont inventé une nouvelle méthode appelée BASS. Voici comment elle fonctionne, en utilisant une analogie culinaire :

1. Behavior Augmentation (Le chef du « Et si ? »)
Habituellement, si vous enseignez à un robot en lui montant des vidéos d'humains déplaçant des meubles, le robot se contente de copier exactement ce qu'il voit. Mais les humains sont désordonnés ; parfois nous trébuchons, parfois nous poussons fort, parfois nous attendons.

L'astuce de BASS : L'IA prend les vidéos d'entraînement et crée de « fausses » nouvelles vidéos. Elle échange des parties du mouvement d'un humain avec des parties d'un autre, mais seulement si les points de départ et d'arrivée correspondent parfaitement.
Analogie : Imaginez que vous apprenez à danser. Vous regardez la vidéo d'un danseur. BASS prend le jeu de jambes d'un danseur d'une chanson et ses mouvements de bras d'une autre, mais seulement si le rythme correspond. Cela crée des milliers de nouvelles routines de danse valides afin que l'IA apprenne à gérer de nombreux styles différents, et pas seulement un.

2. Simulation (La « Répétition Mentale »)
Avant de faire un mouvement, l'IA ne se contente pas de deviner. Elle effectue une « simulation mentale ».

L'astuce de BASS : L'IA se demande : « Si je pousse cette boîte de cette façon, et que mon partenaire pousse de cette façon, que va-t-il se passer ? » Elle prédit l'état futur des objets.
Analogie : Avant d'essayer de glisser une valise dans un compartiment supérieur, vous faites une vérification mentale rapide : « Si je l'incline à gauche, est-ce qu'elle passera ? Si je pousse vers le bas, est-ce que je vais heurter la lumière ? » BASS effectue ce calcul instantanément pour chaque mouvement possible.

3. Selection (Le « Meilleur Choix »)
Après avoir simulé le futur, l'IA choisit le mouvement qui semble le plus susceptible de réussir.

L'astuce de BASS : Elle choisit l'action qui rapproche l'objet le plus possible du but sans qu'il reste coincé.
Analogie : Vous avez trois façons d'ouvrir une porte coincée. Vous essayez mentalement les trois, voyez laquelle fonctionne le mieux dans votre imagination, puis vous faites physiquement celle-là.

Les résultats : Est-ce que ça a marché ?

Les auteurs ont testé BASS contre d'autres méthodes d'IA standards (comme la simple copie ou les algorithmes classiques de jeu).

Contre des Humains Inconnus : BASS était bien meilleure pour travailler avec des inconnus. Elle ne perdait pas ses moyens quand le partenaire humain agissait différemment de ce qui était prévu.
Contre de Nouveaux Objets : BASS gérait beaucoup mieux les nouvelles formes et les nouveaux poids. Elle comprenait qu'un objet lourd nécessite plus de force, même si elle n'avait jamais vu cet objet lourd spécifique auparavant.
Feedback Humain : Lorsque de vrais humains ont joué avec l'IA BASS, ils ont rapporté qu'elle semblait plus utile et « humaine ». Les humains ont eu le sentiment que l'IA comprenait quand ils avaient besoin d'aide et quand elle devait les laisser travailler seuls.

Résumé

L'article soutient que pour construire des robots qui peuvent réellement nous aider dans le monde réel (comme déplacer des meubles), nous ne pouvons pas simplement les entraîner sur des jeux de grille simples. Nous devons les entraîner dans des environnements basés sur la physique où le poids et la forme comptent.

Ils ont construit un nouveau jeu appelé Moving Out pour tester cela et ont créé une nouvelle méthode d'IA appelée BASS. BASS fonctionne en « imaginant » différents scénarios et en s'entraînant avec de nombreux styles de partenaires différents. Le résultat est une IA qui est bien meilleure pour collaborer avec les humains, même lorsque les humains sont imprévisibles ou que les objets sont étranges.

Résumé Technique : Moving Out : Une collaboration Humain-IA ancrée dans la physique

Définition du Problème

Les benchmarks existants pour la collaboration humain-IA, tels qu'Overcooked-AI, reposent largement sur des espaces d'actions discrets, symboliques ou au niveau de la tâche. Ces environnements simplifient les dynamiques d'interaction, échouant à capturer les complexités du monde physique où les agents opèrent dans des espaces état-action continus. Dans les environnements physiques, la collaboration est contrainte par des variables continues (position, orientation), des attributs d'objets (masse, forme, taille) et des dynamiques de contact (friction, collisions). Ces facteurs créent un espace de configuration de haute dimension où de légères variations dans les actions humaines (par exemple, les angles de rotation, les forces appliquées) peuvent radicalement altérer les résultats.

Le papier identifie une lacune critique : les méthodes actuelles peinent à s'adapter simultanément à la diversité des comportements humains et aux contraintes physiques inconnues. Plus précisément, les agents entraînés par auto-jeu (self-play) échouent souvent à se généraliser à des partenaires humains ayant des schémas comportementaux différents, et les modèles entraînés sur des attributs physiques fixes ne peuvent pas se généraliser à de nouvelles propriétés d'objets (par exemple, des masses ou des formes différentes). Les auteurs définissent le problème comme un processus de décision de Markov décentralisé (Dec-MDP) où l'agent IA doit optimiser sa politique contre une distribution inconnue de politiques humaines ( $D$ ) tout en naviguant à travers des contraintes physiques ( $\Gamma$ ) qui limitent les transitions d'état réalisables.

Méthodologie : BASS

Pour relever ces défis, les auteurs proposent BASS (Behavior Augmentation, Simulation, and Selection — Augmentation de Comportement, Simulation et Sélection), un nouveau cadre conçu pour améliorer la diversité des agents et la compréhension des actions dans des environnements physiques continus.

1. Augmentation de Comportement

L'augmentation de trajectoire standard (par exemple, l'ajout de bruit) est insuffisante pour la collaboration multi-agents car elle peut briser la cohérence requise pour la coopération. BASS emploie deux stratégies spécifiques pour générer des données augmentées valides :

Perturbation de Pose : Un petit bruit gaussien est ajouté à la pose du partenaire ( $\tilde{p}_{partner} = p_{partner} + \epsilon$ ) tout en gardant les autres variables d'état inchangées. Cela imite les variations naturelles du mouvement humain et améliore la robustesse aux petites déviations.
Recombinaison de Sous-trajectoires : La méthode identifie des segments dans deux démonstrations différentes où l'Agent A commence et finit dans des états presque identiques (à une tolérance $\epsilon_{pose}$ près). Elle échange ensuite les sous-trajectoires correspondantes de l'Agent B entre les deux démonstrations. Cela garantit que l'intention de l'Agent A reste cohérente tout en exposant le modèle à des comportements de partenaires divers, augmentant efficacement la diversité des stratégies collaboratives sans créer d'états physiquement invalides.

2. Simulation et Sélection d'Action

Puisque le déploiement dans le monde réel manque d'accès à un moteur de physique pour l'essai-erreur, BASS entraîne un modèle de dynamique latent pour prédire les états futurs.

Architecture : Le système utilise deux auto-encodeurs (VAE) pour encoder les états dans un espace latent. Un modèle de dynamique ( $f$ ) prend l'état latent actuel ( $z_t$ ), l'action de l'agent ( $a_t$ ) et une action prédite du partenaire ( $a^{(p)}_t$ ) pour prédire l'état latent suivant ( $z_{t+1}$ ).
Prédiction de l'Action du Partenaire : Un prédicteur dédié (partageant l'architecture avec la politique) anticipe l'action du partenaire basée sur l'état actuel.
Sélection d'Action : Au moment de l'inférence, la politique génère plusieurs actions candidates. Le modèle de dynamique simule le résultat de chaque candidate (en considérant l'action prédite du partenaire) pour estimer l'état futur résultant. L'agent sélectionne ensuite l'action qui maximise une fonction de récompense basée sur la Distance Finale Normalisée (NFD) — la réduction de la distance entre les objets et la région cible. Cela permet à l'agent de choisir l'action la plus efficace pour la collaboration sans avoir besoin d'un simulateur en temps réel.

Contributions Clés

Benchmark Moving Out : L'introduction d'un environnement continu basé sur la physique, construit sur un moteur de corps rigides en 2D. Contrairement aux benchmarks précédents, il présente des contraintes physiques réalistes (friction, masse, forme) et nécessite que les agents naviguent dans des passages étroits et coordonnent leurs forces.
Deux Défis Nouveaux :
- Défi 1 (S'adapter à des Comportements Humains Divers) : Évalue la généralisation à des stratégies humaines inédites en utilisant un jeu de données de plus de 1 000 démonstrations humain-humain provenant de 36 participants.
- Défi 2 (Se Généraliser à des Contraintes Physiques Inconnues) : Évalue la généralisation à de nouveaux attributs d'objets (masse, taille, forme) en utilisant 720 démonstrations de 4 experts sur des cartes aux propriétés physiques randomisées.
Cadre BASS : Une méthode qui surpasse significativement les bases (MLP, GRU, Diffusion Policy, MAPPO) en combinant l'augmentation de comportement pour la diversité et la sélection basée sur la simulation pour le raisonnement physique.

Résultats Expérimentaux

Les auteurs ont évalué BASS par rapport à plusieurs bases (MLP, GRU, Diffusion Policy, MAPPO) dans des contextes IA-IA et Humain-IA.

Adaptation à des Comportements Humains Inconnus (Défi 1) : BASS a démontré une robustesse supérieure. Testé contre des comportements humains non vus (évaluation croisée de groupes), BASS a montré la plus faible chute de performance en Taux d'Achèvement de Tâche (TCR) et en Distance Finale Normalisée (NFD) par rapport aux bases. Par exemple, alors que la Diffusion Policy (DP) standard a chuté de 20,72 % en TCR, DP/BASS n'a chuté que de 14,07 %.
Généralisation à des Contraintes Physiques Inconnues (Défi 2) : BASS a systématiquement surpassé les bases en TCR et NFD. La sélection basée sur la simulation a permis à l'agent de mieux s'adapter aux variations de masse, de taille et de forme des objets, là où les bases peinaient face aux nouvelles configurations physiques.
Collaboration Humain-IA : Dans des études utilisateurs avec 32 participants humains, BASS a significativement amélioré l'achèvement des tâches (TCR : 0,6512 contre 0,3855 pour DP) et réduit le temps d'attente. Les participants ont jugé BASS plus élevé sur l'« Utilité » et la « Compréhension de la physique », indiquant un meilleur alignement avec les intentions humaines.
Études d'Ablation : Le retrait du composant de simulation multi-agents ou de l'augmentation de comportement a considérablement dégradé les performances, confirmant que la modélisation de la dynamique du partenaire et l'augmentation de comportements divers sont toutes deux critiques pour le succès.

Signification et Revendications

Le papier affirme que Moving Out fournit le premier benchmark avec des jeux de données collectés par des humains spécifiquement conçus pour étudier le contrôle de mouvement continu de bas niveau sous contraintes physiques. Il soutient que les modèles existants sont insuffisants pour la collaboration physiquement ancrée car ils ne parviennent pas à prendre en compte l'espace état-action continu et l'impact des attributs physiques sur les dynamiques d'interaction.

Les auteurs positionnent BASS comme une étape fondamentale vers l'amélioration de l'adaptabilité des modèles. Ils affirment qu'en modélisant explicitement le résultat des actions par la simulation et en augmentant le comportement pour couvrir diverses stratégies de partenaires, les agents peuvent collaborer plus efficacement avec des partenaires IA et humains inconnus. Le travail suggère que la recherche future doit aller au-delà des environnements symboliques ou discrets pour traiter les complexités de l'interaction physique réelle, incluant le besoin d'une meilleure compréhension théorique de la collaboration humain-IA et l'intégration de canaux de communication explicites.

Le papier conclut modestement, reconnaissant que bien que BASS réduise les taux d'échec (passant d'environ 0,8 à environ 0,34), traiter efficacement tous les schémas d'échec dans la collaboration physique continue reste un défi substantiel pour la recherche future.