技術概要：OSWorld-Human：コンピュータ使用エージェントの効率性ベンチマーク

1. 問題定義

生成 AI 駆動のコンピュータ使用エージェント（CUA）は、OSWorld などのベンチマークにおいて精度の向上を示しつつあるが、極端なエンドツーエンド遅延という重大なボトルネックに直面している。最先端のシステムは、人間のエキスパートが数秒から数分で完了できるタスクを完了するために、しばしば数十分を要する。この格差は、現在のエージェントを対話型または時間制約のあるワークフローにおいて実用的に使用不可能なものとしている。先行研究はタスク成功率の向上に主眼を置かれ、実世界での展開に必要な時間的効率性は largely 軽視されてきた。この遅延がどこに起因するか（例えば、特定のエージェントステップ、モデル呼び出し）、および人間の実行と比較してどの程度のステップ数が真に必要であるかについて、体系的な理解が欠如している。

2. 手法

著者らは、Ubuntu、Windows、MacOS 上の 9 つのアプリケーション（Chromium、GIMP、LibreOffice、VS Code など）にまたがる 369 タスクを網羅するOSWorldベンチマークを用いて、CUA の時間的パフォーマンスに関する初の体系的な研究を実施した。

2.1 遅延とステップ分析

本研究は、Agent S2およびGTA1という 2 つの主要なオープンソースフレームワークを用いて、エージェントの軌跡を詳細に分解した。

• 計装: 著者らは、情報検索、ステップ計画、ステップグラウンディング（座標の特定）、アクション実行、スクリーンショット取得、判定、および振り返りを含む特定のステップのプロファイリングを行った。
• モデル構成: Agent S2 は、計画と振り返りに GPT-4.1 を、グラウンディングに UI-TARS-7B-DPO を使用した。GTA1 は、計画と判定に o3 を、グラウンディングに GTA1-7B を使用した。
• 観測モダリティ: 本研究は、生スクリーンショット、アクセシビリティ（A11y）ツリー、およびセット・オブ・マーク（SoM）という異なる知覚入力の影響を分析した。
• コストと失敗分析: 著者らは、GTA1 についてトークン数、金銭的コスト、および失敗モード（特にループを引き起こすグラウンディングエラー）を分析した。

2.2 OSWorld-Human の構築

効率性の基準となる真の値を確立するために、著者らは以下の内容を含む手動注釈付きデータセットOSWorld-Humanを構築した。

• 最小人間軌跡: すべての 369 の OSWorld タスクについて、人間の注釈者は、検証済みの真の値ソースに基づき、成功した完了に必要な最小ステップ数を決定した。
• アクションのグループ化: このデータセットには、「グループ化されたアクション」軌跡が含まれており、単一の視覚的観測から実行可能な複数の連続アクション（例：クリック、入力、Enter キー押下）が単一のステップに統合されている。これにより、大規模言語モデル（LLM）呼び出しを削減する機会を特定する。

2.3 評価指標：重み付け効率スコア（WES）

著者らは、エージェントを人間軌跡に対して評価するための新しい指標、**重み付け効率スコア（WES）**を提案した。

• 数式: $WES = WES^+ \cdot (1 - \frac{\bar{t}_{fail}}{S})$
  • $WES^+$: 成功したタスクにおける人間ステップ数とエージェントステップ数の平均比率（$t_{human} / t_{agent}$）。
  • ペナルティ乗数: 許容されるステップ予算の大部分を消費した後にタスクに失敗するエージェントにペナルティを課す（$\bar{t}_{fail}$は失敗したタスクで費やされた平均ステップ数；$S$は許容される最大ステップ数）。
• 目的: この指標は、少ないステップで成功するエージェントを報酬とし、非効率的に失敗するエージェントにペナルティを課すことで、精度と時間的効率性の両方を包括的に評価する。

3. 主要な知見と結果

3.1 遅延の発生源

• LLM 呼び出しがボトルネック: 計画、振り返り、判定のための大規模モデル呼び出しが、遅延の大部分を占めている。
  • Agent S2において、計画と振り返りは総タスク遅延の**76%–96%**を占める。
  • GTA1において、計画と判定は総遅延の**91%–96%**を占める。
• ステップ依存型遅延: エージェントがタスクを完了するために多くのステップを要するほど、各後続ステップの遅延は増加する。これは、プロンプトにすべての以前のステップが含まれる「履歴蓄積」メカニズムに起因し、より長いコンテキストウィンドウと高いトークン数をもたらす。
• 観測の影響: A11y ツリーを含めることは、ツリー生成時間とトークン量に起因して遅延を劇的に増加させ、必要なステップ数も増加させる傾向があるが、GIMP のような特定のアプリケーションではステップ数を削減できる場合もある。

3.2 効率性のギャップ

• 現在のエージェントの非効率性: 最良のパフォーマンスを示すエージェントであっても、人間軌跡と比較してタスクを完了するために必要なステップ数の2.7 倍から 4.3 倍を要している。
• WES スコア: OSWorld リーダーボードで最高パフォーマンスを示したエージェント（Agent S2 w/ Gemini 2.5）は、成功率41.4%を達成したが、単一アクション軌跡では15.6%、グループ化されたアクション軌跡では**9.6%**の WES しか得られなかった。
• 失敗分析: GTA1 において、失敗の**23%**は、計画は正確であったがグラウンディングモデルが誤った座標を生成し、エージェントがステップを繰り返したりループに陥ったりするグラウンディングエラーに起因していた。場合によっては、エージェントが単一のループ内で 72 以上のステップを浪費していた。

3.3 コストへの影響

• 計算コストは計画に大きく偏っている。GTA1 において、計画は総コストの**87%**を占め、判定は 13% を占める。コストは、並列計画ロールアウトと再試行メカニズムに起因して、ステップ数に対して二次的にスケールする。

4. 主要な貢献

1. 初の体系的遅延研究: OSWorld ベンチマークにおける CUA（Agent S2 および GTA1）の時間的パフォーマンスの詳細分析を行い、LLM 呼び出しを主要なボトルネックとして特定した。
2. OSWorld-Human データセット: すべての 369 の OSWorld タスクに対する最適人間軌跡とグループ化されたアクション軌跡を含む、手動キュレーションされクロス検証されたベンチマーク。
3. 新指標（WES）: 成功率とステップ効率の両方に基づいてエージェントを評価し、非効率的な失敗にペナルティを課す重み付け効率スコアの提案。
4. アクショングループ化分析: 単一の観測から実行可能なアクションをグループ化することで、必要な LLM 呼び出し数とステップ数を大幅に削減できることを実証。
5. 包括的評価: OSWorld-Human を用いた 16 の最先端エージェントの評価により、現在のシステムが人間ベンチマークと比較して著しく非効率的であることを明らかにした。
6. 失敗とコスト分析: 無駄なステップとループの主要な原因としてのグラウンディングエラーの特定、および現在のエージェントアーキテクチャに関連する金銭的コストの分解。

5. 意義と主張

本論文は、コンピュータ使用エージェントの時間的効率性をベンチマークし、分析し、改善するための初の統一フレームワークを確立すると主張している。著者らは、精度が重要である一方で、実世界での使用可能性にとって時間的効率性は同等に重要であると論じている。

本研究は、高い遅延と過剰なステップ数により、現在のエージェントが対話型シナリオにおいて実用的に使用不可能であることを浮き彫りにしている。OSWorld-Human と WES 指標を提供することで、著者らは将来の開発を以下の方向へ導くことを目指している。

• 計画、判定、振り返り呼び出しの遅延を削減する。
• アクショングループ化を通じてタスクあたりのステップ数を最小化する。
• ループと座標エラーを防止するためにグラウンディングメカニズムを改善する。
• トークンコストと遅延を管理するために履歴を圧縮する。

著者らは、彼らの研究とオープンソース化されたデータセットが、現在のエージェント能力と実用的な展開に必要な効率性の間のギャップを埋めるための新たな研究分野を促進すると結論付けている。