APEX–Agents 論文の技術的サマリー（日本語）

本論文は、AI エージェントが専門職（投資銀行アナリスト、経営コンサルタント、企業法務弁護士）が日常的に行う「長期的かつ複数アプリケーションにまたがるタスク」を実行できるかどうかを評価するための新しいベンチマーク**「APEX–Agents（AI Productivity Index for Agents）」**を提案し、その評価結果を報告したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

• 現状の課題: 既存の AI エージェント評価ベンチマークは、シミュレーションと現実の業務（Sim-to-Real Gap）に大きな乖離がある。多くのタスクは狭い範囲に限定され、人工的であり、単純な作業のみを含んでいるため、現実世界の専門職が直面する複雑な課題に対するエージェントの能力を十分に測定できていない。
• 目的: 投資銀行、コンサルティング、法務といった専門サービス分野において、AI エージェントが現実のワークフロー（ファイル操作、ツール利用、長期的な計画立案）を自律的に実行できるかを検証すること。

2. 手法とベンチマーク設計

APEX–Agents は、以下の 3 つの段階で構築されました。

2.1 ワールド（作業環境）の作成

• データセット: 33 の「ワールド（プロジェクトシナリオ）」から構成され、合計 480 のタスクが含まれます。
  • 内訳：投資銀行（10 ワールド、160 タスク）、経営コンサルティング（11 ワールド、160 タスク）、企業法務（12 ワールド、160 タスク）。
• 環境: 各ワールドは、実際のプロジェクトに基づき、専門家（元マッキンゼー、モルガン・スタンレー、ディズニー法務部など）が作成しました。
  • 各ワールドには平均 166 件のファイルが含まれます。
  • 9 つのアプリケーション（カレンダー、チャット、コード実行、ドキュメント、ファイルシステム、メール、PDF、スプレッドシート、プレゼンテーション）と 63 のツールが利用可能です（投資銀行分野では EDGAR などの金融データツールも追加）。
  • Web 検索はオフにして再現性を確保しています。

2.2 タスク設計

• 特徴: 各タスクは 1 回のプロンプトで提示され、ワールド内のファイルとツールのみを使用して実行する必要があります。
• 難易度: 経験豊富な専門家による推定で、1 タスクあたり平均 1.82 時間（1〜2 時間程度）を要する複雑なタスクです。
• 出力形式: コンソールへのメッセージ出力（422 件）または、スプレッドシート/ドキュメント/プレゼンテーションの作成・編集（58 件）が求められます。

2.3 評価基準（ルブリック）とゴールドアウトプット

• ルブリック: 各タスクには平均 4.06 個の判定基準（クリテリア）が設定されています。これらは「真/偽」で判定可能な具体的かつ独立した記述です。
• ゴールドアウトプット: 専門家によって作成された正解データであり、プロンプトとルブリックの整合性を保証しています。
• 評価モデル: 自動評価には「Gemini 3 Flash（Thinking=Low）」をジャッジモデルとして使用し、エージェントの出力がルブリックの全基準を満たすかどうかを判定します（精度 98.5%）。

3. 主要な貢献

1. 高品質な専門職向けベンチマークの公開: 480 件のタスク、プロンプト、ルブリック、ゴールドアウトプット、メタデータ、および関連ファイルを含む大規模データセットをオープンソース化しました（Hugging Face）。
2. 評価インフラの公開: エージェントの実行と評価を行うためのインフラ「Archipelago」をオープンソース化しました。
3. 現実的な評価アプローチ: 単なる知識テストではなく、ファイル操作、ツール利用、長期的な計画立案を含む「エンドツーエンド」のタスク実行能力を測定します。

4. 実験結果

8 つのモデル（4 つのクローズドソース、4 つのオープンソース）を評価しました。

4.1 パフォーマンス（Pass@1）

• トップモデル: Gemini 3 Flash (Thinking=High) が 24.0% で一位となりました。
• 上位モデル: GPT-5.2 (23.0%)、Claude Opus 4.5 (18.4%)、Gemini 3 Pro (18.4%) が続きます。
  • 上位 2 モデル間の差は統計的に有意ではありませんでした。
• オープンソースモデル: 評価されたオープンソースモデル（GPT-OSS-120B, Kimi K2 Thinking など）はすべて 5% 未満のスコアに留まり、クローズドソースモデルとの間に大きな格差がありました。
• 職種別:
  • 投資銀行：GPT-5/5.2 が 27.3%
  • 経営コンサルティング：GPT-5.2 が 22.7%
  • 企業法務：Gemini 3 Flash が 25.9%

4.2 一貫性と試行回数（Pass@8, Pass^8）

• Pass@8（8 回試行で 1 回でも成功）: トップモデルは約 40% まで向上し、エージェントには能力があるが一貫性がないことが示されました。
• Pass^8（8 回すべてで成功）: トップモデルでも 13.4% 程度に留まり、複雑なタスクの完全な安定実行は依然として困難です。

4.3 失敗分析とリソース使用

• 失敗要因: 多くの失敗は「ステップ数の上限（250 歩）超過（タイムアウト）」や「全基準を満たさない（0% 得点）」に起因します。特にオープンソースモデルや Kimi K2 は「ドゥームループ（無限ループ）」に陥りやすい傾向がありました。
• 効率性: 上位モデルの Gemini 3 Flash は、GPT-5.2 に比べてトークン使用量が約 5 倍、ステップ数も 54% 多いなど、効率は低いものの効果的であることが示されました。
• ツール使用: 成功したタスクでは、失敗したタスクに比べて「コード実行」の使用頻度が低く、「ファイル一覧取得」の使用頻度が高かったなど、より効率的なツール選択が見られました。

5. 意義と結論

• 現状の限界: 最先端の AI エージェントであっても、専門的な業務タスクを 1 回の実行で成功させる確率は 25% 未満であり、8 回試行しても 40% 程度です。これは、AI が専門職を完全に代替するにはまだ「頭脳（Headroom）」が十分に残されていることを示しています。
• 一貫性の課題: エージェントは複雑なタスクを実行する能力を持っているものの、その実行は不安定であり、ランダム性やループに陥るリスクが高いことが浮き彫りになりました。
• 今後の展望: 本ベンチマークは、AI エージェントの現実世界での実用性を測る重要な指標となり、研究コミュニティがより堅牢で効率的なエージェントを開発するための基盤を提供します。

---

総括:
APEX–Agents は、AI エージェントが「単なるチャットボット」を超えて、現実のビジネス環境で複雑なワークフローを自律的に処理できるかどうかを厳格にテストする画期的なベンチマークです。現在の最先端モデルでも 1 回の実行成功率は 24% 程度であり、専門職の完全な自動化にはまだ多くの技術的課題（特に一貫性と効率性）が残されているという重要な知見を提供しています。