💬 NLP

Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks

Cet article présente Agent-X, une référence à grande échelle comprenant 828 tâches multimodales du monde réel réparties dans six environnements diversifiés, ainsi qu'un cadre d'évaluation fine au niveau des étapes pour évaluer le raisonnement approfondi des agents centrés sur la vision, révélant que les modèles de pointe actuels peinent à atteindre le succès de la chaîne complète dans des scénarios complexes et multi-étapes.

Auteurs originaux : Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un assistant robotique ultra-intelligent. Vous lui donnez une caméra, un cerveau et une boîte à outils remplie d'outils (comme une loupe, une calculatrice ou un navigateur web). Vous lui demandez de résoudre une énigme complexe, telle que « Trouvez le vol le moins cher pour Paris, vérifiez la météo sur place et dites-moi si j'ai besoin d'un parapluie ».

Pendant longtemps, nous avons testé ces robots avec des énigmes simples et factices qui ressemblaient à des niveaux de jeu vidéo. Mais le monde réel est désordonné, implique des vidéos et exige que le robot réfléchisse en plusieurs étapes, pas seulement en une seule.

Voici Agent-X. Considérez ce document comme la création d'un nouveau « parcours d'obstacles » extrêmement difficile, conçu spécifiquement pour évaluer dans quelle mesure ces assistants robotiques peuvent réfléchir en profondeur et utiliser leurs outils dans le monde réel.

Voici le détail de ce qu'ils ont fait, en utilisant quelques analogies du quotidien :

1. Le Problème : Le « Jeu Vidéo » vs Le « Monde Réel »

Les tests précédents ressemblaient à donner à un robot un niveau de jeu vidéo où les règles sont écrites sur le mur : « Utilisez la clé rouge pour ouvrir la porte bleue ». Le robot suit simplement l'instruction.

Mais dans la vie réelle, personne ne vous dit quel outil utiliser. Vous dites simplement : « Réparez le robinet qui fuit ». Le robot doit déterminer : Ai-je besoin d'une clé à molette ? Dois-je chercher un tutoriel vidéo ? Dois-je appeler un plombier ?

Les auteurs affirment que les robots actuels ressemblent à des élèves excellents pour mémoriser les réponses à un test spécifique, mais qui se figent lorsqu'on leur demande de résoudre un problème qu'ils n'ont jamais rencontré. Ils peinent à enchaîner plusieurs étapes de réflexion.

2. La Solution : Le « Parcours d'Obstacles » Agent-X

L'équipe a créé Agent-X, une vaste collection de 828 défis du monde réel.

Les Scénarios : Au lieu d'images factices, ils ont utilisé de vraies photos, vidéos et captures d'écran provenant de six différents « quartiers » de la vie :
- Conduite : Regarder une vidéo d'une voiture et déterminer si un piéton s'apprête à traverser.
- Surveillance : Examiner des images de vidéosurveillance pour repérer une personne suspecte.
- Sports : Analyser une vidéo de match pour compter les joueurs ou prédire le vainqueur.
- Navigation Web : Naviguer sur un site web pour trouver des informations spécifiques sans qu'on vous dise exactement quels boutons cliquer.
- Mathématiques et Logique Générale : Résoudre des équations trouvées dans des images ou comparer plusieurs images.
La Surprise : Les robots ne reçoivent pas une liste de contrôle. Ils doivent regarder l'image, réaliser ce qui manque, choisir le bon outil dans leur boîte à outils, l'utiliser, examiner le résultat, puis décider de la suite.

3. Le « Juge » : Comment ils notent les robots

C'est la partie la plus importante. Habituellement, nous vérifions simplement si le robot a trouvé la bonne réponse finale (comme un enseignant corrigeant un test de mathématiques).

Agent-X introduit un juge étape par étape. Imaginez un enseignant qui ne regarde pas seulement la réponse finale, mais qui observe le brouillon de l'élève.

Ont-ils choisi le bon outil ? (Par exemple : Ont-ils utilisé une calculatrice au lieu d'une loupe ?)
Ont-ils utilisé l'outil correctement ? (Par exemple : Ont-ils saisi les chiffres dans le bon ordre ?)
Leur logique est-elle cohérente ? (Par exemple : Ont-ils tiré une conclusion sans examiner les preuves ?)

Si un robot devine la bonne réponse mais y arrive en hallucinant (en inventant des choses) ou en sautant des étapes, Agent-X lui attribue une note d'échec. C'est comme un chef qui prépare un gâteau délicieux mais avec les mauvais ingrédients ; le gâteau a bon goût, mais le processus était défectueux.

4. Les Résultats : Les Robots Apprennent Encore

Les auteurs ont testé 12 des modèles d'IA les plus intelligents disponibles (y compris des noms connus comme GPT-4, Gemini et Qwen).

Le Verdict : Même les robots les plus « intelligents » peinent.

Le Score : Les meilleurs modèles ont obtenu moins de 50 % des tâches entièrement correctes du début à la fin.
Le Goulot d'étranglement : Les robots sont bons pour voir l'image et parler d'elle, mais ils sont terribles pour planifier. Ils ont souvent tendance à :
- Oublier d'utiliser un outil dont ils ont besoin.
- Utiliser un outil qu'ils n'ont pas (halluciner un outil qui n'existe pas).
- Se perdre lorsqu'ils doivent regarder une vidéo et suivre ce qui se passe au fil du temps.
- Se tromper dans la mise en forme de leurs réponses (comme écrire une lettre au lieu de remplir un formulaire).

5. La Conclusion

L'article conclut que, bien que ces agents d'IA soient impressionnants, ils ne sont pas encore prêts à être des travailleurs entièrement autonomes. Ils ressemblent à un stagiaire brillant qui connaît beaucoup de faits, mais qui a besoin d'une supervision constante pour comprendre comment faire le travail.

Les auteurs ont créé Agent-X comme un « test de résistance » qui nous montre exactement où ces robots échouent, afin que les chercheurs puissent réparer les parties spécifiques de leurs « cerveaux » qui gèrent la planification et l'utilisation d'outils. Ils ne demandent pas seulement : « Pouvez-vous répondre à cela ? » Ils demandent : « Pouvez-vous réfléchir votre chemin à travers cela ? » et jusqu'à présent, la réponse est « Pas encore tout à fait ».

Résumé Technique : Agent-X

Énoncé du Problème

Le raisonnement profond est essentiel pour résoudre des tâches complexes du monde réel exigeant une compréhension séquentielle et multimodale. Cependant, les benchmarks existants pour les systèmes agentiques souffrent de limitations significatives : ils reposent principalement sur des requêtes entièrement synthétiques et à tour unique ; ils manquent de support pour des modalités visuelles diverses (telles que la vidéo et les comparaisons multi-images) ; et ils échouent à fournir des cadres pour évaluer la qualité du raisonnement sur plusieurs étapes. Les évaluations actuelles se concentrent souvent uniquement sur l'exactitude de la réponse finale, négligeant l'interprétabilité, la cohérence logique et la fidélité à l'utilisation des outils requises pour un comportement agentique authentique dans des contextes réels.

Méthodologie

Pour combler ces lacunes, les auteurs présentent Agent-X, un benchmark à grande échelle conçu pour évaluer des agents centrés sur la vision dans des environnements multimodaux du monde réel.

Construction du Benchmark

Agent-X comprend 828 tâches agentiques dérivées de contextes visuels authentiques, incluant des images, des vidéos et des textes instructifs. La construction suit un pipeline semi-automatisé :

Génération de Requêtes : Les Modèles Multimodaux à Grande Échelle (LMM) génèrent des requêtes candidates initiales basées sur des entrées visuelles et un ensemble d'outils prédéfini.
Raffinement Humain : Des annotateurs humains affinent ces requêtes pour garantir le réalisme, la clarté et la nécessité d'un raisonnement multi-étapes. Crucialement, les requêtes sont conçues sans références explicites à des outils spécifiques ou à des séquences d'étapes, forçant les agents à planifier de manière autonome.
Création de Traces de Raisonnement : Les LMM génèrent des traces de raisonnement initiales (appels d'outils étape par étape, entrées, sorties et réflexions). Des examinateurs humains vérifient et corrigent ensuite rigoureusement ces traces pour assurer la cohérence logique, l'exactitude factuelle et l'utilisation appropriée des outils.
Vérité Terrain : Chaque tâche inclut une trace de raisonnement de vérité terrain, une réponse finale et une justification.

Portée des Tâches et Outils

Le benchmark couvre six environnements agentiques majeurs :

Raisonnement Visuel Général
Navigation Web
Sécurité et Surveillance
Conduite Autonome
Sports
Raisonnement Mathématique

Les tâches nécessitent l'intégration de 14 outils exécutables (par exemple, OCR, SceneDescriber, ObjectCounter, Calculator, WebSearch, CodePlotter) couvrant les domaines de la perception, de l'opération visuelle, des mathématiques et de l'art. L'ensemble de données comprend 716 entrées d'images et 112 entrées de vidéos.

Cadre d'Évaluation

Agent-X introduit un cadre d'évaluation granulaire au niveau des étapes qui évalue les agents selon trois modes :

Étape par Étape : Évalue la qualité du raisonnement intermédiaire à l'aide de métriques telles que le Score d'Ancrage ( $G_s$ ), la Précision de l'Outil ( $T_p$ ) et la Précision de l'Outil ( $T_a$ ).
Raisonnement Profond : Évalue la cohérence et la cohérence logique de l'ensemble de la chaîne de raisonnement en utilisant la Fidélité ( $F_{acc}$ ), le Score de Contexte ( $C_s$ ), la Précision Factuelle ( $F_p$ ) et la Précision Sémantique ( $S_{acc}$ ).
Résultat : Mesure l'exactitude de la réponse finale (Précision de l'Objectif, $G_{acc}$ ) et l'exactitude globale de l'ensemble d'outils utilisé (Précision de l'Ensemble d'Outils, $T_{sacc}$ ).

L'évaluation emploie plusieurs juges (GPT-4o, Qwen-14B et des annotateurs humains) pour assurer la robustesse et minimiser les biais.

Contributions Clés

Benchmark Agent-X : Le premier benchmark à grande échelle combinant des entrées multimodales du monde réel (images, vidéo, texte) avec une évaluation de raisonnement par étapes augmentée par des outils à travers six environnements divers.
Métriques Granulaires : Une nouvelle suite de métriques évaluant non seulement le résultat final, mais également les étapes intermédiaires de raisonnement, la précision de la sélection des outils et la cohérence logique, distinguant le raisonnement authentique de la confabulation.
Évaluation Complète : Une évaluation extensive de 12 Modèles Multimodaux à Grande Échelle (LMM) de l'état de l'art, incluant des modèles propriétaires (GPT-4o, Gemini-2.5-Pro, OpenAI-o4-mini) et des modèles open-source (Qwen2.5-VL, InternVL, VideoLLaMA3).

Résultats

L'évaluation révèle des défis significatifs pour les modèles actuels dans les tâches agentiques centrées sur la vision :

Faible Succès de la Chaîne Complète : Même les modèles les plus performants atteignent moins de 50 % de Précision de l'Objectif ( $G_{acc}$ ). Le meilleur performer, OpenAI-o4-mini, atteint 45 %, tandis que la plupart des modèles open-source obtiennent moins de 30 %.
Raisonnement vs Exécution : Les modèles dotés de fortes capacités de raisonnement (haute $F_{acc}$ , $F_p$ ) tendent à mieux performer sur les résultats finaux, mais l'appel aux outils et la prédiction des arguments restent des goulots d'étranglement centraux.
Limites de l'Utilisation des Outils : Les métriques liées aux outils montrent une large variation. Les modèles hallucinent fréquemment l'utilisation d'outils, produisent des formats JSON invalides ou échouent à chaîner correctement les outils. Par exemple, Gemini-1.5-Pro présente un taux élevé d'erreurs JSON (44,5 %), tandis que GPT-4o lutte avec des interprétations visuelles erronées (18,5 %).
Progrès Open-Source : Bien que les modèles propriétaires soient actuellement leaders, les meilleurs modèles open-source comme Qwen2.5-VL-7B montrent des performances compétitives sur des métriques spécifiques, indiquant un rétrécissement de l'écart.

Importance

L'article affirme qu'Agent-X constitue une avancée critique dans l'évaluation des systèmes agentiques en déplaçant le focus de l'exactitude superficielle des réponses vers un raisonnement profond et interprétable. Les résultats soulignent que les LMM actuels peinent avec l'interaction complexe entre perception, planification et exécution d'outils requise pour les tâches du monde réel. En identifiant des goulots d'étranglement spécifiques — tels que le raisonnement temporel dans les vidéos, le respect des schémas d'outils et l'application de sorties structurées — le benchmark offre des perspectives exploitables pour orienter les recherches futures visant à développer des agents multimodaux plus robustes et centrés sur le raisonnement. Les auteurs postulent qu'Agent-X stimulera les avancées dans le raisonnement multimodal et l'intégration robuste d'outils, servant de référence pour suivre les progrès dans les cadres agentiques centrés sur la vision.