🤖 AI

GroundAct: Can LLM Agents Ground Actions in Environmental States?

L'article présente GroundAct, une évaluation complète démontrant que les agents LLM éprouvent des difficultés à ancrer les actions dans les états de l'environnement lorsque les instructions omettent des détails de faisabilité, révélant ainsi que ce défi multidimensionnel ne peut être résolu par la seule mise à l'échelle et nécessite des capacités spécifiques en raisonnement sur les attributs, les outils et la coordination.

Auteurs originaux : Zixuan Wang, Dingming Li, Hongxing Li, Yanrui Miao, Shuo Chen, Yuchen Yan, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zixuan Wang, Dingming Li, Hongxing Li, Yanrui Miao, Shuo Chen, Yuchen Yan, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagez un assistant robot très intelligent pour vous aider à nettoyer votre maison. Vous lui donnez un ordre simple : « Nettoyez le établi. »

Un humain regarderait instantanément le désordre et réaliserait trois choses :

Cette tasse à café est assez légère pour être soulevée.
Cette bobine de câble de 50 kg est trop lourde pour une seule personne ; vous avez besoin d'un ami pour vous aider.
Cette tache de café nécessite un chiffon pour être essuyée ; vous ne pouvez pas simplement la saisir à mains nues.

L'article GroundAct soutient que, bien que les modèles d'IA actuels (LLM) soient excellents pour suivre des instructions lorsque la réponse est évidente, ils échouent souvent lorsqu'ils doivent déduire eux-mêmes les règles du monde physique. Ils pourraient essayer de soulever le câble lourd seul, échouer, puis simplement dire : « D'accord, j'ai terminé », sans réaliser qu'ils avaient besoin d'un outil ou d'un partenaire.

Les auteurs appellent cette compétence manquante « Ancrage de l'action » (Action Grounding). C'est la capacité de regarder l'environnement, de comprendre les contraintes cachées (comme le poids, la température ou les besoins en outils) et de décider ce qui est réellement possible à faire.

Les trois types d'« Ancrage »

Les chercheurs ont décomposé cela en trois compétences spécifiques, en utilisant une analogie ingénieuse avec un jeu vidéo :

Raisonnement sur les attributs (La compétence de « Comparaison ») :
- Le Scénario : « Prenez la boîte la plus lourde. »
- Le Défi de l'IA : L'IA ne peut pas simplement chercher une boîte étiquetée « Lourde ». Elle doit examiner toutes les boîtes, comparer leurs poids (qui sont des nombres, pas seulement « lourd » ou « léger ») et faire les calculs pour trouver la gagnante.
- La Métaphore : C'est comme si on vous demandait de trouver la personne la plus grande dans une foule. Vous ne pouvez pas simplement chercher un panneau « Grand » ; vous devez mesurer tout le monde les uns par rapport aux autres.
Raisonnement sur les outils (La compétence de « Déverrouillage ») :
- Le Scénario : « Nettoyez la tache. »
- Le Défi de l'IA : L'IA ne commence pas avec un bouton « Nettoyer ». Elle doit réaliser : « Je ne peux pas nettoyer à mains nues. Je dois d'abord trouver un chiffon. » Une fois qu'elle a saisi le chiffon, elle « déverrouille » la capacité de nettoyer. Si elle laisse tomber le chiffon, elle perd cette capacité.
- La Métaphore : Pensez à un jeu vidéo où vous ne pouvez pas ouvrir une porte verrouillée tant que vous n'avez pas trouvé la clé. L'IA doit réaliser que la porte est verrouillée, trouver la clé, puis savoir que la clé lui permet désormais d'ouvrir la porte.
Raisonnement sur la coordination (La compétence de « Travail d'équipe ») :
- Le Scénario : « Déplacez le piano. »
- Le Défi de l'IA : L'instruction ne dit pas « Demandez de l'aide ». L'IA doit regarder le poids du piano, réaliser qu'il est trop lourd pour un seul robot, et volontairement demander à un deuxième robot de l'aider.
- La Métaphore : C'est comme essayer de déplacer un canapé. Si vous essayez de le soulever seul et échouez, une personne intelligente réalise : « J'ai besoin d'un pote », et en appelle un. Une personne moins intelligente continue simplement d'essayer de le soulever seule jusqu'à ce qu'elle abandonne.

Le nouveau test : GroundAct

Pour tester si l'IA possède ces compétences, l'équipe a créé une vaste suite de tests appelée GroundAct.

Le Montage : Au lieu d'un vrai robot 3D (qui est lent et coûteux), ils ont construit une simulation basée sur le texte. Imaginez une description textuelle très détaillée d'une pièce, listant chaque objet, son poids, sa couleur et sa position.
L'Échelle : Ils ont créé 1 500 « pièces » différentes et plus de 16 000 tâches différentes, allant de commandes simples (« Posez la tasse ici ») à des énigmes complexes (« Nettoyez la table la plus lourde, mais vous avez besoin d'un chiffon et d'un partenaire »).
La Surprise : Les instructions ne disent jamais à l'IA les limites de poids ou le besoin d'outils. L'IA doit le déduire de la description de l'environnement.

Ce qu'ils ont découvert

Les chercheurs ont testé 15 modèles d'IA différents (des petits aux super-intelligents massifs) et ont trouvé des résultats surprenants :

Être « intelligent » ne signifie pas être « ancré » : Un modèle peut être incroyable en mathématiques et en logique (Raisonnement sur les attributs) mais terrible pour réaliser qu'il a besoin d'un outil ou d'un partenaire. Inversement, un modèle peut être excellent en travail d'équipe mais mauvais pour comparer les poids. Ce sont des compétences différentes, pas simplement « plus d'intelligence ».
Savoir tout peut être une mauvaise chose : Lorsqu'ils ont donné à l'IA une « feuille de triche » avec la carte complète de la pièce (ne cachant rien), elle s'est améliorée pour trouver des outils (car elle n'avait pas à chercher). Mais elle est devenue pire en travail d'équipe ! Pourquoi ? Parce que voir chaque détail l'a distrait du fait simple que « cet objet est trop lourd ». Elle s'est perdue dans le bruit.
L'entraînement a des limites : Ils ont essayé d'« enseigner » à un petit modèle d'IA en lui montrant des exemples de la manière d'accomplir des tâches. Le modèle s'est beaucoup amélioré pour suivre des ordres directs (comme « prenez la tasse »). Mais il s'est à peine amélioré pour comprendre quand demander de l'aide. Il a appris quoi faire, mais pas quand changer de stratégie.

La grande conclusion

L'article conclut que simplement rendre les modèles d'IA plus gros ou les entraîner sur plus de données ne suffit pas pour les rendre véritablement « incarnés » (capables d'interagir avec le monde physique).

Pour construire un robot capable de vous aider réellement dans une maison en désordre, nous devons lui apprendre à ancrer ses actions dans la réalité. Il doit apprendre que le monde a des règles (gravité, poids, besoins en outils) qui ne sont pas écrites dans le manuel d'instructions, mais sont cachées dans l'environnement lui-même. Tant que l'IA ne pourra pas faire cela, elle restera une conversatrice brillante mais terrible pour réellement faire le travail.

Résumé Technique : GroundAct

Énoncé du Problème

Les agents actuels de modèles de langage à grande échelle (LLM) démontrent des taux de réussite élevés (85–96 %) sur des tâches où les instructions spécifient entièrement les actions requises. Cependant, les performances chutent précipitamment (29–53 %) lorsque la faisabilité des actions dépend d'états environnementaux non explicitement mentionnés dans l'instruction. Les benchmarks existants (par exemple, ALFRED, BEHAVIOR-1K, PARTNR) résolvent souvent ces contraintes à l'avance en fournissant des variables d'état discrètes, des espaces d'action statiques ou des directives de collaboration explicites. Par conséquent, ils évaluent l'exécution des actions sous des contraintes pré-ancrées plutôt que la capacité à inférer des contraintes à partir de l'environnement lui-même.

Les auteurs identifient une capacité manquante appelée ancrage de l'action : la capacité à inférer à partir d'états environnementaux structurés si une action est faisable, quelles prérequis font défaut, et si elle dépasse la capacité individuelle. Cette capacité est décomposée en trois dimensions :

Raisonnement sur les attributs : Inférer des cibles basées sur des propriétés d'objets continues (par exemple, poids, température) nécessitant une comparaison plutôt qu'une recherche de prédicat.
Raisonnement sur les outils : Inférer des prérequis basés sur la disponibilité dynamique des capacités (par exemple, saisir un outil étend l'ensemble des actions ; le relâcher les retire).
Raisonnement sur la coordination : Inférer la faisabilité basée sur les limites de capacité individuelle (par exemple, reconnaître quand le poids d'un objet dépasse la limite de charge d'un agent unique, nécessitant une collaboration sans instruction explicite).

Méthodologie

Le Cadre GroundAct

Les auteurs introduisent GroundAct, un benchmark conçu pour évaluer ces trois dimensions de raisonnement indépendamment et en combinaison. Le cadre se compose de deux composants principaux :

GA-Sim (Simulation d'Environnement) :
- Représentation : Les environnements sont modélisés comme des graphes orientés ( $G_t = (V_t, E_t, A_t)$ ) utilisant des représentations structurées basées sur le texte plutôt qu'une simulation 3D continue. Les nœuds représentent des pièces, des objets et des agents ; les arêtes encodent les relations spatiales.
- Capacités Dynamiques : Contrairement aux benchmarks statiques, GA-Sim implémente une liaison dynamique outil-capacité. Saisir un outil étend dynamiquement l'ensemble des actions d'un agent, et le relâcher retire ces capacités.
- Collaboration Émergente : La collaboration est déclenchée par des contraintes physiques (par exemple, limites de poids) plutôt que par des directives explicites. Le système valide les préconditions pour tous les agents afin d'assurer des interactions multi-agents réalistes.
GA-Bench (Matrice d'Évaluation) :
- Échelle : 1 500 scénarios validés répartis sur 11 domaines (par exemple, laboratoire, bureau, industriel) contenant 64 057 objets interactifs et 6 381 types d'attributs distincts.
- Taxonomie des Tâches : Les tâches sont organisées en sept catégories selon deux axes : complexité cognitive (L0–L2) et configuration d'agent (unique vs multi-agent).
  - L0 (Suivi d'Instruction) : Commande Directe (DC) et Collaboration Explicite (EC).
  - L1 (Raisonnement Dimensionnel) : Utilisation d'Outils (TU), Raisonnement sur les Attributs (AR) et Collaboration Implicite (IC).
  - L2 (Tâches Composées) : Raisonnement Composé (CR) et Collaboration Composée (CC).
- Pipeline de Génération : Un pipeline automatisé en quatre étapes combine une génération pilotée par LLM avec une validation basée sur des règles et une vérification humaine en boucle pour assurer la cohérence physique et la solvabilité.

Configuration Expérimentale

Les auteurs ont évalué 15 LLM représentatifs (allant de 3B à 671B de paramètres), incluant des modèles propriétaires (GPT-4o, Claude-Opus-4.6), des modèles de base open-source (Qwen2.5, Llama3.1, Deepseek-V3) et des modèles spécialisés dans le raisonnement (Deepseek-R1).

Protocole : Les modèles ont opéré sous observabilité partielle, nécessitant une exploration pour découvrir les emplacements et les propriétés des objets.
Analyse du Fine-tuning : Une expérience de fine-tuning supervisé (SFT) a été menée sur Qwen2.5-3B en utilisant des trajectoires distillées à partir de Qwen2.5-72B pour évaluer la transférabilité des capacités de raisonnement.
Ablation : Une condition "Graphe du Monde" a été testée où le graphe complet de l'environnement était exposé, séparant les goulots d'étranglement liés à la recherche des goulots d'étranglement liés au filtrage des contraintes.

Résultats Clés

1. Modèles Diagnostiques dans les Performances des Modèles

Corrélation Faible des Dimensions : Le raisonnement sur les attributs est faiblement corrélé au raisonnement sur les outils et à la coordination ( $r \in [-0.03, 0.02]$ ). Les modèles présentent des profils de capacités distincts ; par exemple, GPT-4o excelle dans le Raisonnement sur les Attributs (77,8 %) mais lutte avec la Collaboration Composée (32,0 %), tandis que DeepSeek-R1 montre un motif inverse.
Les Scores Agrégés Masquent les Différences : Les modèles avec des taux de réussite globaux similaires (par exemple, GPT-4o à 74,7 % contre DeepSeek-R1 à 73,9 %) possèdent des modes d'échec qualitativement différents. Les métriques agrégées échouent à capturer ces différences structurelles.
Effets de l'Échelle et de l'Entraînement au Raisonnement :
- Échelle : L'augmentation de la taille du modèle (série Qwen2.5 de 3B à 72B) améliore significativement le suivi d'instructions (de 0,6 % à 89,7 %) mais produit des rendements décroissants pour le Raisonnement sur les Attributs (n'atteignant que 57,4 %).
- Entraînement au Raisonnement : Les modèles spécialisés dans le raisonnement (Deepseek-R1) améliorent la collaboration et les tâches composées mais performent moins bien sur le Raisonnement sur les Attributs par rapport à leurs homologues de base, malgré l'utilisation de significantly plus de tokens par trajectoire.

2. Analyse des Goulots d'Étranglement

Impact de l'Observabilité : Exposer le graphe complet de l'environnement (Graphe du Monde) améliore les performances d'Utilisation d'Outils (jusqu'à +27,6 %) en supprimant l'étape de recherche. Inversement, cela dégrade les performances de Collaboration Implicite (jusqu'à -22,9 %) car l'état complet introduit des attributs non pertinents pour la tâche qui obscurcissent la nécessité physique de collaboration. Cela indique que l'Utilisation d'Outils est "limitée par la recherche" tandis que la Collaboration Implicite est "limitée par le filtrage des contraintes".
Limites du Fine-tuning : Le fine-tuning supervisé sur Qwen2.5-3B a considérablement amélioré les performances de Commande Directe (de 0,6 % à 76,3 %) mais a eu un impact minimal sur la Collaboration Implicite (de 1,5 % à 5,5 %). Cela suggère que l'apprentissage par imitation transfère les schémas d'exécution mais échoue à enseigner les déclencheurs latents de quand la collaboration est physiquement requise.

3. Défis des Tâches Composées

Les performances sur les Tâches Composées (L2) chutent significativement par rapport aux tâches L1. Par exemple, GPT-4o moyenne 78,4 % sur les catégories L1 mais tombe à 32,0 % sur la Collaboration Composée. Cela indique que les tâches L2 ne sont pas simplement des versions plus difficiles des tâches L1, mais représentent un régime où plusieurs dimensions d'ancrage interagissent, créant de nouveaux goulots d'étranglement.

Signification et Revendications

Le papier établit l'ancrage de l'action comme un défi multidimensionnel qui est irréductible à une simple mise à l'échelle ou à un entraînement uniforme au raisonnement. Les auteurs affirment que :

L'Ancrage de l'Action est Distinct : Ce n'est pas une compétence monolithique mais un ensemble de capacités distinctes (raisonnement sur les attributs, les outils et la coordination) qui nécessitent des interventions architecturales ou d'entraînement spécifiques.
Les Benchmarks Actuels sont Insuffisants : Les benchmarks existants évaluent l'exécution sous des contraintes pré-ancrées, échouant à diagnostiquer les échecs de raisonnement spécifiques qui se produisent lorsque les agents doivent inférer des contraintes à partir de l'environnement.
Le Diagnostic Requiert de la Granularité : Les progrès dans la compétence des agents nécessitent des benchmarks qui varient les demandes d'ancrage indépendamment. Les taux de réussite agrégés cachent le "profil d'apprenabilité gradué" à travers les dimensions, où certaines capacités (comme le suivi d'instructions) sont facilement apprises via SFT, tandis que d'autres (comme les déclencheurs de collaboration implicite) restent résistantes.

Les auteurs concluent que les progrès futurs dans les agents incarnés nécessiteront des interventions ciblées pour des dimensions d'ancrage spécifiques plutôt qu'une mise à l'échelle uniforme, et que diagnostiquer ces progrès nécessite des benchmarks qui isolent ces dimensions.