AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios
Ce document présente AgentIF-OneDay, un nouveau benchmark comprenant 104 tâches quotidiennes diverses à travers l'exécution de workflows ouverts, l'inférence d'instructions latentes et le raffinement itératif, conçu pour évaluer la capacité des agents IA généraux à suivre des instructions en langage naturel et à produire des résultats tangibles basés sur des fichiers, révélant que les agents basés sur des API et ceux améliorés par l'apprentissage par renforcement dominent actuellement le domaine.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La vue d'ensemble : Le test de la « journée type » pour les assistants IA
Imaginez que vous engagiez un nouveau nouvel assistant personnel. Vous ne voulez pas seulement voir s'il peut répondre à une question de culture générale ou écrire un poème. Vous voulez voir s'il peut gérer votre journée entière — de l'organisation de votre emploi du temps de travail à la planification d'un voyage en famille, tout en suivant vos instructions spécifiques, parfois confuses.
Cet article présente AgentIF-OneDay, un nouvel « examen final » pour les agents IA, conçu pour tester précisément cela. Il s'éloigne des tests basés sur des énigmes de codage complexes ou de la recherche scientifique profonde pour demander : « Cet IA peut-elle réellement aider une personne ordinaire à gérer sa vie quotidienne et son travail ? »
Les trois types de « tâches quotidiennes »
Les chercheurs ont créé 104 scénarios différents pour tester l'IA. Ils ont regroupé ces tâches en trois catégories, qui sont comme trois manières différentes de demander de l'aide à votre assistant :
1. Le test de la « Recette à suivre » (Exécution de flux de travail ouvert)
- L'analogie : Vous donnez à votre assistant une recette très spécifique et étape par étape pour un plat complexe. Vous dites : « D'abord, vérifie la température du four. Ensuite, regarde le minuteur. Puis, mélange ces trois ingrédients. Ne saute pas l'étape 3. »
- Ce que cela teste : L'IA peut-elle suivre une liste d'instructions longue et détaillée sans s'embrouiller, oublier une étape ou inventer des choses ? Cela teste si l'IA peut s'en tenir au plan que vous lui avez donné, même si le plan est long et compliqué.
2. Le test du « Lire entre les lignes » (Inférence d'instructions latentes)
- L'analogie : Vous remettez à votre assistant un dossier de vieux documents et dites : « Fais un nouveau rapport qui ressemble exactement à ceux-ci. » Vous n'écrivez pas les règles (comme « utilise des titres bleus » ou « place la date en bas à droite »). Vous attendez que l'assistant observe les anciens documents, comprenne les règles de style cachées et les applique au nouveau rapport.
- Ce que cela teste : L'IA peut-elle regarder un fichier (comme un PDF ou un tableur) et comprendre les règles implicites ? Il s'agit de repérer des modèles et des contraintes implicites que vous n'avez pas explicitement formulés à voix haute.
3. Le test de « l'Édition et de l'Amélioration » (Raffinement itératif)
- L'analogie : Votre assistant prépare l'ébauche d'une présentation. Vous la regardez et dites : « La police est trop petite, et la deuxième diapositive n'a pas de graphique. Aussi, rends l'arrière-plan plus clair. » Vous ne demandez pas une nouvelle présentation de zéro ; vous voulez qu'il corrige l'existante tout en conservant les bonnes parties.
- Ce que cela teste : L'IA peut-elle se souvenir de ce qu'elle vient de faire, comprendre votre retour et apporter des modifications précises sans casser le reste du travail ? Cela teste la capacité de l'IA à « se souvenir » de l'état du projet.
Comment ils ont noté l'IA
Au lieu de simplement demander « Est-ce que ça a marché ? », les chercheurs ont utilisé une grille d'évaluation très stricte (comme le corrigé d'un professeur).
- Le « Juge » : Ils ont utilisé une IA très intelligente (Gemini-3-Pro) pour noter les résultats, mais ils l'ont confrontée à des juges humains pour s'assurer de l'équité. Ils ont constaté que l'IA juge était d'accord avec les humains environ 80 % du temps.
- Les fichiers : Le test ne portait pas uniquement sur du texte. L'IA devait manipuler de vrais fichiers — PDF, feuilles Excel, images et code — tout comme le ferait un humain.
Ce qu'ils ont trouvé : Les résultats
Ils ont testé quatre des meilleurs agents IA disponibles aujourd'hui. Voici l'essentiel à retenir :
Le débat « API » vs « Spécialisé » :
- Certaines entreprises construisent des agents IA en branchant simplement un chatbot puissant à un ensemble d'outils (comme un généraliste).
- D'autres construisent des agents avec un « entraînement cérébral spécialisé » (Apprentissage par renforcement) spécifiquement pour accomplir des tâches.
- La surprise : L'article a révélé que les deux types sont presque aussi performants l'un que l'autre. L'« entraînement spécialisé » ne donne plus un avantage majeur. Il semble que l'« intelligence » de base pour gérer des tâches est désormais intégrée aux modèles d'IA principaux eux-mêmes.
Les gagnants :
- Manus arrive en tête de façon générale. Il était particulièrement doué pour suivre des flux de travail longs et complexes.
- Genspark excellait dans le suivi d'instructions et la gestion des contraintes négatives (comme « ne faites pas X »).
- ChatGPT-Agent était le meilleur pour les tâches liées au travail.
- Minimax-Agent était le plus lent, prenant beaucoup de temps pour réfléchir, bien qu'il soit bon en logique.
La faiblesse :
- La partie la plus difficile pour toutes les IA a été l'Inférence d'instructions latentes (lire entre les lignes). Même les meilleurs agents ont eu du mal à identifier parfaitement les règles cachées dans un fichier sans qu'on leur dise explicitement quoi chercher.
Conclusion
Cet article soutient que nous devons cesser de tester l'IA uniquement sur sa capacité à résoudre des énigmes « intelligentes ». À la place, nous devons tester son utilité dans la vie réelle.
La bonne nouvelle est que les agents IA deviennent très bons pour gérer les parties « ennuyeuses » mais essentielles de notre journée — gérer des fichiers, suivre des flux de travail complexes et éditer du travail. La mauvaise nouvelle est qu'ils ont encore parfois du mal à « lire l'ambiance » ou à déchiffrer les règles cachées dans les documents sans un peu plus d'aide de notre part.
L'avenir de l'IA ne consiste pas seulement à rendre le modèle plus intelligent ; il s'agit de construire de meilleurs produits qui nous aident à naviguer dans nos vies quotidiennes, spécifiques et désordonnées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.