💬 NLP

AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios

本論文は、オープンなワークフローの実行、潜在的な指示の推論、および反復的な洗練にわたる104種類の多様な日常タスクで構成される新しいベンチマークであるAgentIF-OneDayを導入するものであり、これは自然言語による指示に従い、具体的なファイルベースの結果を生成する汎用AIエージェントの能力を評価するために設計されており、APIベースのエージェントと強化学習（RL）によって強化されたエージェントの双方が現在、分野をリードしていることを明らかにしている。

原著者： Kaiyuan Chen, Qimin Wu, Taiyu Hou, Tianhao Tang, Xueyu Hu, Yuchen Hou, Bikun Li, Chengming Qian, Guoyin Wang, Haolin Chen, Haotong Tian, Haoye Zhang, Haoyu Bian, Hongbing Pan, Hongkang Zhang, Hongyi Z

公開日 2026-02-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kaiyuan Chen, Qimin Wu, Taiyu Hou, Tianhao Tang, Xueyu Hu, Yuchen Hou, Bikun Li, Chengming Qian, Guoyin Wang, Haolin Chen, Haotong Tian, Haoye Zhang, Haoyu Bian, Hongbing Pan, Hongkang Zhang, Hongyi Zhou, Jiaqi Cai, Jiewu Rao, Jiyuan Ren, Keduan Huang, Lucia Zhu Huang, Mingyu Yuan, Naixu Guo, Qicheng Tang, Qinyan Zhang, Shuai Chen, Siheng Chen, Ting Ting Li, Xiaoxing Guo, Yaocheng Zuo, Yaoqi Guo, Yinan Wang, Yinzhou Yu, Yize Wang, Yuan Jiang, Yuan Tian, Yuanshuo Zhang, Yuxuan Liu, Yvette Yan Zeng, Zenyu Shan, Zihan Yin, Xiaobo Hu, Yang Liu, Yixin Ren, Yuan Gong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文の内容を、比喩を用いて分かりやすく、日常的な言葉で説明したものです。

大きな全体像：AIアシスタントへの「一日テスト」

新しいパーソナルアシスタントを雇ったところを想像してみてください。あなたは、その人が単にトリビアに答えたり詩を書いたりできるかどうかだけを見たいのではありません。あなたの仕事のスケジュール管理から、家族旅行の計画まで、あなたの具体的で、時には支離滅裂な指示に従いながら、あなたの一日全体をこなせるかどうかを知りたいのです。

この論文は、まさにそれをテストするために設計された、AIエージェントのための新しい「最終試験」、AgentIF-OneDayを紹介しています。これは、AIを難しいコーディングのパズルや深い科学研究でテストすることから脱却し、「このAIは、一般の人々が日常生活や仕事をこなすための本当の助けになるか？」と問いかけるものです。

3つの「日常タスク」のタイプ

研究者たちは、AIをテストするために104種類の異なるシナリオを作成しました。これらのタスクは、アシスタントに助けを求める際の3つの異なるパターンとしてグループ分けされています。

1. 「レシピ通りに進める」テスト（オープン・ワークフロー実行）

比喩: あなたはアシスタントに、複雑な料理の非常に具体的でステップバイステップのレシピを渡します。「まず、オーブンの温度を確認して。次に、タイマーを見て。それから、この3つの材料を混ぜて。ステップ3を飛ばさないで」と言います。
何をテストするか: AIは、混乱したり、ステップを忘れたり、勝手に手順を捏造したりすることなく、長く詳細な指示のリストに従うことができるでしょうか？これは、プランが長く複雑であっても、与えられた計画を忠実に守れるかどうかをテストしています。

2. 「行間を読む」テスト（潜在的指示の推論）

比喩: あなたはアシスタントに古い書類のフォルダを渡し、「これと全く同じ見た目の新しいレポートを作成して」と言います。あなたはルール（例：「青いヘッダーを使う」や「右下に日付を入れる」など）を書き記しません。アシスタントが古い書類を「見て」、隠されたスタイルのルールを自ら理解し、それを新しいレポートに適用することを期待しています。
何をテストするか: AIは、ファイル（PDFやスプレッドシートなど）を見て、明文化されていないルールを理解できるでしょうか？これは、言葉に出して指示していない、パターンや暗黙の制約を見つけ出す能力をテストしています。

3. 「編集と改善」テスト（反復的な洗練）

比喩: アシスタントがプレゼンテーションの下書きを作成しました。それを見たあなたは、「フォントが小さすぎるし、2枚目のスライドにチャートが足りないよ。あと、背景をもっと明るくして」と言います。あなたはゼロから新しいプレゼンを作ってほしいのではなく、良い部分を残したまま、既存のものを修正してほしいのです。
تعتبر。
何をテストするか: AIは、自分が直前に行ったことを記憶し、あなたのフィードバックを理解し、他の部分を壊すことなく正確な変更を加えることができるでしょうか？これは、AIがプロジェクトの状態をどれだけよく「記憶」しているかをテストしています。

AIの採点方法

研究者たちは、単に「うまくいったか？」と聞くのではなく、非常に厳格な採点基準（先生の解答用紙のようなもの）を使用しました。

「判定員」: 結果を採点するために非常に賢いAI（Gemini-1.5-Pro）を使用しましたが、公平性を保つために人間の判定者と比較検証を行いました。その結果、AI判定員は人間の判定と**80%**の確率で一致することが分かりました。
ファイル: テストはテキストだけではありませんでした。AIは人間と同じように、PDF、Excelシート、画像、コードといった実際のファイルを扱う必要がありました。

分かったこと：結果

現在利用可能なトップクラスのAIエージェント4つをテストしました。ここでの要点は以下の通りです。

「API」対「特化型」の論争:
- ある企業は、強力なチャットボットに一連のツールを繋ぎ合わせることでAIエージェントを作っています（ジェネラリスト）。
- 他の企業は、タスクを実行するために特別に「脳のトレーニング（強化学習）」を行ったエージェントを作っています。
- 驚きの事実: この論文では、両方のタイプがほぼ同等の性能を発揮していることが分かりました。「特別なトレーニング」は、もはや大きなアドバンテージを与えていません。タスクを処理するための基本的な「知能」は、今やメインのAIモデル自体に組み込まれているようです。
勝者たち:
- Manusが総合的にトップとなりました。特に、長く複雑なワークフローに従うことに長けていました。
- Gensparkは、指示に従うことや、否定的な制約（例：「Xをしないで」など）を扱うことに優れていました。
- ChatGPT-Agentは、仕事関連のタスクにおいて最高でした。
- Minimax-Agentは、思考に時間がかかるため最も遅かったものの、論理面では優れていました。
弱点:
- すべてのAIにとって最も困難だったのは、「行間を読む（潜在的指示の推論）」ことでした。最高のレベルのエージェントであっても、何を探すべきか明示的に教えられない限り、ファイルから隠れたルールを完璧に把握することには苦戦しました。

まとめ

この論文は、AIを「謎解き」がいかに賢いかでテストするのをやめ、それが現実の世界でいかに「有用」であるかでテストする必要があると主張しています。

良いニュースは、AIエージェントは、ファイルの管理、複雑なワークフローの実行、作業の編集といった、私たちの日常における「退屈だが不可欠な」部分を扱うのが非常に上手くなっていることです。悪いニュースは、彼らはまだ、少しの手助けなしには「場の空気」を読んだり、文書内の隠れたルールを理解したりすることに苦労する場合があるということです。

AIの未来は、単にモデルをより賢くすることではなく、私たちの特定の、そして混沌とした日常生活をナビゲートするのを助ける、より優れたプロダクトを構築することにあります。