🤖 AI

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

EgoBench introduit le premier benchmark multimodal interactif pour les agents utilisant des outils, comprenant 1 045 tâches vidéo égocentriques et un environnement utilisateur simulé pour évaluer rigoureusement la synergie entre la perception, le raisonnement et l'interaction dynamique, révélant que les modèles les plus avancés actuels éprouvent des difficultés significatives face à ces capacités complexes.

Auteurs originaux : Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un majordome robot comment vous aider à préparer le dîner ou à faire les courses alors que vous portez une caméra sur votre tête. Vous voulez que le robot non seulement voit ce que vous faites, mais aussi réfléchisse à ce qu'il doit faire ensuite, utilise des outils pour consulter une base de données (comme un livre de recettes ou une liste de prix), et vous réponde s'il est confus.

L'article présente EgoBench, qui est essentiellement un « examen final » gigantesque et très difficile pour ces majordomes robotiques. Voici une décomposition de ce que fait l'article, en utilisant des analogies simples :

1. Le Problème : Les Tests « Trop Faciles »

Imaginez que vous entraînez un chien. Si vous ne le testez qu'en lui demandant de « s'asseoir » sur un terrain calme et vide, il pourrait sembler être un génie. Mais dans le monde réel, le chien doit s'asseoir alors qu'une voiture klaxonne, un écureuil passe en courant, et que vous lui donnez un ordre complexe comme « assieds-toi, puis rapporte la balle, mais seulement si elle est rouge ».

Les auteurs affirment que les tests actuels pour les agents IA sont comme ce terrain calme. Ils sont trop simples. Ils ne testent pas si l'IA peut :

Voir ce qui se passe dans une vidéo désordonnée et en mouvement (comme une vue à la première personne de vos mains en train de cuisiner).
Réfléchir à travers un puzzle logique à plusieurs étapes (par exemple, « Si la tomate est rouge, vérifie le réfrigérateur ; si elle est périmée, achète-en une nouvelle »).
Parler à un humain qui pourrait être impatient, oublieux, ou donner des indices confus.

2. La Solution : EgoBench (Le « Parcours du Combattant »)

EgoBench est un nouveau terrain d'essai construit spécifiquement pour voir si les agents IA peuvent gérer le chaos de la vie réelle. Il comporte trois parties principales :

La Vidéo (Les Yeux) : Au lieu d'images statiques, l'IA regarde de courtes vidéos à la première personne (comme des images GoPro depuis votre tête). C'est comme si l'IA portait vos lunettes. Elle doit comprendre : « Oh, c'est une tomate à gauche, et je viens de la saisir. »
Les Outils (Les Mains) : L'IA ne peut pas simplement deviner. Elle doit utiliser des « outils » (comme un annuaire téléphonique numérique ou une base de données) pour trouver des informations cachées. Par exemple, la vidéo montre une bouteille de vin, mais la vidéo ne dit pas si elle est périmée. L'IA doit utiliser un outil pour vérifier la base de données.
L'Utilisateur Simulé (La Bouche) : C'est la partie ingénieuse. L'article a créé un « faux humain » (un programme informatique agissant comme une personne) pour parler à l'IA. Ce faux humain peut être :
- Facile : Posant simplement des questions poliment.
- Difficile : Étant impatient, donnant des informations non pertinentes (« Au fait, il fait beau ! »), ou se mettant en colère si l'IA est trop lente.
- Statique : Donnant toutes les instructions d'un coup dans un seul grand paragraphe.

3. Le Système de Notation : Pas de Triche Autorisée

Dans de nombreux tests d'IA, un ordinateur intelligent (une autre IA) lit la réponse et dit : « Ça a l'air bien ! » C'est subjectif.

EgoBench utilise un système de notation déterministe. Pensez-y comme à un score de jeu vidéo :

Vérification du Processus : L'IA a-t-elle appelé les bons outils ? (A-t-elle vérifié le prix ? A-t-elle vérifié la date de péremption ?)
Vérification du Résultat : L'état final de la base de données correspond-il à l'objectif ? (L'article est-il réellement dans le panier d'achat ? La recette est-elle mise à jour ?)
Si l'IA dit « Je l'ai fait » mais que la base de données ne montre pas le changement, elle obtient un zéro. Pas de discussion avec le professeur.

4. Les Résultats : La « Vérification de la Réalité »

Les auteurs ont testé 8 des modèles d'IA les plus intelligents et les plus avancés disponibles aujourd'hui sur cet examen.

Le verdict ? Ils ont échoué lamentablement.

Même le meilleur modèle n'a obtenu environ 19 % à 30 % des tâches correctes, selon la difficulté du « faux humain ».
Dans le scénario le plus facile (Commerce/Achats), le meilleur modèle n'a toujours obtenu que 30 % de bonnes réponses.

Pourquoi ont-ils échoué ? L'article a constaté que les agents IA avaient du mal avec :

L'interprétation erronée de la vidéo : « Je pensais que c'était une tomate, mais c'était en fait un poivron rouge. »
Les hallucinations : Inventer des faits qui n'étaient ni dans la vidéo ni dans la base de données.
Mauvaise Logique : Se tromper sur les règles « Si/Alors ».
Actions Risquées : Faire des choses que l'utilisateur n'a pas demandées, comme supprimer des articles d'une liste.

Résumé

L'article soutient que, bien que l'IA s'améliore pour parler et regarder des images, elle est toujours très mauvaise pour combiner ces compétences afin de réellement faire des choses dans un environnement réel et désordonné où elle doit parler à un humain, utiliser des outils et suivre des règles complexes. EgoBench est la nouvelle règle que nous utilisons pour mesurer exactement combien de chemin il nous reste à parcourir.

Note Importante : L'article ne présente que cette référence et les résultats des tests. Il ne prétend pas que ces agents IA sont prêts à être utilisés dans les hôpitaux, pour les voitures autonomes, ou dans toute autre application réelle spécifique pour le moment. Il dit simplement : « Voici un test, et voici à quel point les meilleurs modèles actuels s'en sortent mal dessus. »

Résumé Technique : EgoBench

Énoncé du Problème

Alors que les agents IA passent de flux de travail structurés et basés sur le texte à des environnements ouverts du monde réel, ils nécessitent une intégration synergique de la perception multimodale, de l'appel d'outils avec un raisonnement multi-sauts et de l'interaction utilisateur dynamique. Les benchmarks existants échouent à évaluer conjointement ces capacités en raison de trois défis principaux :

Couplage des Capacités : Il est difficile de concevoir des tâches qui exigent véritablement l'utilisation simultanée de la compréhension visuelle, du raisonnement logique et de l'appel d'outils, car les modèles exploitent souvent des raccourcis ou s'appuient sur une seule capacité.
Simulation d'Interaction Réaliste : Générer un retour utilisateur qui soit à la fois naturel et strictement aligné avec les objectifs de la tâche est un défi, compte tenu de l'imprévisibilité du comportement de l'agent.
Évaluation Objective : Extraire des métriques quantifiables à partir d'interactions dynamiques et subjectives (par exemple, un dialogue) est difficile, pourtant essentiel pour une évaluation reproductible.

Les benchmarks actuels manquent souvent d'ancrage multimodal, d'interaction utilisateur dynamique ou de validation objective basée sur les résultats, laissant un vide dans l'évaluation des agents pour des scénarios situés et à la première personne (égocentriques).

Méthodologie

Les auteurs introduisent EgoBench, le premier benchmark interactif multimodal pour les agents utilisant des outils, ancré dans des vidéos égocentriques. Le benchmark est construit via un pipeline synergique en trois étapes et évalué par un cadre de validation conjointe déterministe.

1. Construction du Benchmark

Collecte de Vidéos Egocentriques (Étape 1) : Le jeu de données comprend 1 045 tâches réparties sur quatre scénarios quotidiens : Repas, Opérations de Cuisine, Commande de Nourriture et Vente au Détail. Les vidéos (82,4 % auto-collectées via des lunettes intelligentes/téléphones, 17,6 % issues d'Ego4D) comportent des indices spatio-temporels explicites et sont limitées à 10–30 secondes pour refléter l'usage d'appareils portables.
Bibliothèque d'Outils et Base de Données (Étape 2) : Une bibliothèque d'outils spécifique au scénario est conçue avec des principes de fonctionnalité et de flou de paramètres (permettant des correspondances partielles). Crucialement, un écart d'information visuo-données est introduit : les attributs visibles sont extraits des vidéos, tandis que des données invisibles mais contextuellement pertinentes (par exemple, informations nutritionnelles, durée de conservation) sont stockées dans une base de données structurée. Cela force les agents à utiliser des outils pour récupérer des informations non visibles dans la vidéo.
Conception des Tâches (Étape 3) : Les tâches sont conçues pour imposer une chaîne de dépendance en quatre étapes :
1. Perception multimodale de la vidéo.
2. Récupération d'informations invisibles via des outils.
3. Raisonnement logique (branchements conditionnels, filtrage multi-attributs).
4. Modification de l'état de la base de données via des outils.
  La vérité terrain est définie comme une séquence d'appels d'outils clés et l'état final de la base de données, annotés par des humains avec des contrôles de qualité rigoureux.

2. Utilisateur Simulé Multi-Agents

Pour évaluer l'interaction dynamique, EgoBench emploie un utilisateur simulé multi-agents avec une structure Acteur-Évaluateur-Récapitulateur :

Acteur : Génère des réponses utilisateur basées sur l'historique du dialogue et les objectifs de la tâche.
Évaluateur : Évalue la sortie de l'Acteur selon quatre critères binaires : Cohérence du Rôle, Respect des Instructions, Résilience face aux interférences de l'agent, et Robustesse Contextuelle. Les violations déclenchent une régénération.
Récapitulateur : Maintient un résumé compact de l'historique pour suivre les progrès de la tâche.
Le benchmark prend en charge trois modes d'interaction : Statique (toutes les informations d'un coup), Dynamique Facile (tour de parole multi-tours standard) et Dynamique Difficile (introduisant l'impatience, le bruit et des distractions hors sujet).

3. Cadre de Validation Conjointe

L'évaluation est déterministe et objective, évitant les juges LLM subjectifs. Le succès est mesuré par :

Validation Basée sur le Processus : Vérifier si la séquence d'appels d'outils de l'agent couvre tous les appels de vérité terrain nécessaires ( $\tau^* \subseteq \tau$ ).
Validation Basée sur le Résultat : Vérifier si l'état final de la base de données correspond à l'état de vérité terrain via un hachage.
Taux de Succès Conjoint : La métrique principale, exigeant à la fois la couverture du processus et l'équivalence des résultats.

Contributions Clés

Benchmark EgoBench : Un jeu de données complet de 1 045 tâches ancrées dans des vidéos égocentriques couvrant quatre scénarios du monde réel, évaluant conjointement la perception multimodale, le raisonnement multi-sauts et l'interaction dynamique.
Génération de Tâches Synergique : Un pipeline garantissant que chaque tâche nécessite l'application intégrée de la perception visuelle et du raisonnement augmenté par des outils, empêchant l'exploitation de raccourcis.
Simulation Utilisateur Haute Fidélité : Un cadre multi-agents générant des réponses utilisateurs robustes et alignées sur les objectifs, supportant des complexités d'interaction variables (Statique, Dynamique Facile, Dynamique Difficile).
Évaluation Déterministe : Un cadre de validation conjointe garantissant une évaluation objective par l'équivalence processus-résultat, couplé à une analyse d'erreur multidimensionnelle catégorisant les échecs en cinq modes (mauvaise interprétation perceptive, hallucination, non-conformité structurelle, sophismes logiques, opérations à risque).

Résultats Expérimentaux

Les auteurs ont évalué huit modèles vidéo-MLLM de pointe (incluant Gemini-3.1-Pro, Qwen3.5 et Doubao-Seed-2.0-Pro) sur EgoBench.

Plafond de Performance : Les modèles actuels présentent des limitations sévères. Le modèle le plus performant, Gemini-3.1-Pro, a atteint un Taux de Succès Conjoint de seulement 30,62 % dans le scénario Vente au Détail (le scénario le plus facile) et une moyenne de 19,43 % sur les quatre scénarios.
Modes d'Interaction : Les modèles ont obtenu les pires résultats en Mode Dynamique Difficile, révélant des déficiences dans la gestion robuste des dialogues et le suivi d'état résistant aux interférences. De manière surprenante, le Mode Statique n'a pas significativement amélioré la précision pour de nombreux modèles, suggérant que le mécanisme d'interaction multi-tours du Mode Dynamique Facile compense parfois les déficits de planification en décomposant les tâches.
Analyse d'Erreur : Les échecs ont été principalement causés par des Mauvaises Interprétations Perceptives Multimodales et des Sophismes Logiques. Bien que les modèles aient généralement respecté les formats de sortie (conformité structurelle), ils ont eu du mal à résoudre les références spatiales/temporelles dans les vidéos égocentriques et à exécuter une logique conditionnelle complexe.
Efficacité : La consommation de tokens était négativement corrélée aux taux de succès ; les modèles les plus performants (comme Gemini-3.1-Pro) ont obtenu de meilleurs résultats avec moins de tokens, indiquant un raisonnement plus efficace et une exploration moins redondante.

Importance

L'article positionne EgoBench comme une étape critique vers l'évaluation des agents IA pour un déploiement dans le monde réel. En exposant un écart substantiel entre les capacités actuelles des modèles et les exigences d'une complétion de tâche fiable et de bout en bout dans des environnements ouverts, le benchmark met en lumière des goulots d'étranglement spécifiques — en particulier l'ancrage multimodal et le raisonnement complexe — qui doivent être résolus. Les auteurs affirment qu'EgoBench fournit un cadre rigoureux et objectif pour guider le développement futur des modèles, allant au-delà des évaluations textuelles uniquement ou statiques pour évaluer les agents dans des contextes situés, interactifs et médiatisés par des outils.