技術要約：Behavior Judgeによるコンピュータ操作エージェントのスケーリング

問題提起

コンピュータ操作エージェント（CUA）は、あらゆるオペレーティングシステムにおける日常的なデジタルタスクの自動化において大きな期待を集めています。しかし、長期的な展望を持つ複雑な問題に対する性能は、依然として信頼性に欠けます。核心となる課題は、単に個々のステップを解決することではなく、数十から数百におよぶインタラクションを通じて正当性を維持することにあります。エラーは時間の経過とともに累積し、フィードバックは遅延することが多く、環境のノイズ（UIの変化やレイテンシなど）が結果に高い分散をもたらします。

先行研究では、単一のロールアウト内でのスケーリング（例：ステップごとのBest-of-N）を試みてきましたが、これらは長期的なタスクにおいて限定的な進展しか得られていません。もう一つの選択肢は、「ワイド・スケーリング（wide scaling）」、すなわち複数のロールアウトを並列に生成して最良のものを選択するという手法です。しかし、このアプローチは根本的なボトルネック、すなわち評価に直面します。エージェントの軌跡（トラジェトリ）は情報密度が高く、マルチモーダルであり、しばしば複数の正解を許容します。複数の長期的な軌跡のうち、どれが正しいかを信頼性高く判断することは困難です。なぜなら、ほとんどの詳細はタスクの成功には無関係であり、スクリプトによる自動評価ではコンピュータ操作タスクのニュアンスを捉えきれないためです。

手法：Behavior Judge (BJudge)

評価のボトルネックを解消し、効果的なワイド・スケーリングを可能にするために、著者らは**Behavior Judge (BJudge)**を導入しています。このフレームワークは、高密度で生の形式のエージェントの軌跡を、コンパクトで解釈可能な表現へと変換することで、候補間の原理的な選択を容易にします。

1. ワイド・スケーリングのパラダイム

単一ロールアウトのスケーリングとは異なり、BJudgeは一連のベース・ポリシー $\{\pi_m\}$ を用いて複数の候補軌跡 ($\tau$) を生成します。これらのポリシーには、異なるモデルや、多様性を確保するための同一モデルによる確率的デコーディングが含まれます。目的は、タスク報酬 $R(\tau, I)$ を最大化する軌跡 $\hat{\tau}$ を選択することです。

2. 行動ナラティブ生成 (Behavior Narrative Generation)

第一の主要コンポーネントは行動ナラティブ生成器です。生のスクリーンショットやアクションを直接ジャッジに送るのではなく、システムは各遷移 $(s_i, a_i, s_{i+1})$ を「行動ナラティブ」($\phi_i$) に変換します。

• 事実抽出 (Fact Extraction): VLM（視覚言語モデル）がアクションの前後の状態を分析し、エージェントが実際に何を行い、それが環境にどのような影響を与えたかを示す事実を導き出します。
• 視覚的拡張 (Visual Augmentation): 特にポインター操作（クリック、ドラッグ）の正確性を確保するため、生成器はアクション前のスクリーンショットにマーカーをオーバーレイし、アクション後のスクリーンショットからズームされたクロップ画像を抽出します。これにより、ピクセルレベルの変化を検証し、アクションが成功したかどうかに関するハルシネーション（幻覚）を低減します。
• ナラティブ構築: 最終的なナラティブ $\tilde{\tau}$ は、初期状態、導出された事実のシーケンス、および最終状態で構成されます。これにより、タスクに関連するアクションと効果の要約を保持しつつ、無関係な詳細をフィルタリングします。

3. 比較行動評価器 (Comparative Behavior Evaluator)

第二のコンポーネントは比較行動評価器です。このモジュールは、軌跡を独立してランク付けするのではなく、行動ナラティブの直接的な比較を行います。

• メカニズム: VLM評価器に対し、単一ラウンドの多肢選択式（MCQ）形式を用いて、すべての候補ナラティブを同時に比較するようにプロンプトを与えます。
• 利点: このアプローチにより、ジャッジは候補間の特定の事実を引用し、対比させることが可能になり、独立したランキングよりも情報に基づいた選択が可能になります。また、マルチラウンドのトーナメント比較よりもトークン効率が高く、高速になるよう設計されています。

4. 改良されたエージェント・フレームワーク (Agent S3)

BJudgeをサポートするために、著者らはAgent S2をベースとした改良型ベースライン・フレームワークであるAgent S3を導入しています。主なアーキテクチャの変更点は以下の通りです。

• フラット・ポリシー (Flat Policy): 階層的なプランニングを廃止し、現在の指示と履歴に基づいていつでも再計画が可能なフラットなポリシーを採用しました。これは、現代の基盤モデルの強力なコンテキスト維持能力を活用しています。
• 統合されたコーディングエージェント: 特化したコーディングエージェントがGUIエージェントのアクション空間にネイティブに統合されています。直接的なGUI操作よりも効率的な場合（例：大量のファイル操作、構造化されたパースなど）、プログラムによる編集のために呼び出すことができます。これはサンドボックス化されたVM内の有界なインナーループ内で動作し、GUIポリシーに実行フィードバックを提供します。

主な貢献

1. ワイド・スケーリングのパラダイム: 本論文は、効果的な選択メカニズムが存在する場合、複数の並列な軌跡から注意深く選択することが、CUAの堅牢性とカバレッジを大幅に向上させることを確立しました。
2. Behavior Judge フレームワーク: 生の軌跡をコンパクトな行動ナラティブに変換し、比較評価を用いて最適なソリューションを選択する新しいシステムであり、ワイド・スケーリングの評価ボトルネックに対処します。
3. 新しいState-of-the-Art (SoTA): BJudgeをAgent S3ベースラインと組み合わせることで、OSWorldベンチマークにおいて新たなSoTAを達成しました。
4. 汎用性: 本手法は、異なるオペレーティングシステム（WindowsおよびAndroid）への強力なゼロショット汎用性を示しています。

実験結果

OSWorldのパフォーマンス

OSWorldベンチマーク（361タスク、100ステップ制限）において、提案手法は72.6%の成功率を達成しました。

• これは、従来のSoTA（63.4%）に対し、9.2%の絶対的な向上を意味します。
• 報告されている人間レベルのパフォーマンスである**72.36%**を上回っています。
• GPT-5とOpus 4.5のアンサンブルを使用することで、効果的なスケーリングがこれらのタスクにおいてエージェントの能力を人間のベンチマーク以上に押し上げられることを示しています。

効率性とアブレーション

• Agent S3の効率性: 階層的なAgent S2と比較して、Agent S3はタスクあたりのLLM呼び出し回数を52.3%削減し、タスク完了時間を62.4%短縮しながら、成功率を13.8%向上させました。
• 表現のアブレーション: 行動ナラティブは他の表現を大幅に上回っています。「スクリーンショットのみ」のベースライン（56.0%）および「軌跡サマリー」のベースライン（55.0%）と比較して、行動ナラティブは60.2%の成功率（GPT-5 Mini使用時）を達成し、3.4%の絶対的な利得がありました。
• 選択戦略: BJudgeは、様々なロールアウト予算において、適応された独立ランキング手法（WebJudgeなど）よりも優れた性能を示し、スケーラブルな選択には比較評価が必要であることを証明しました。

汎用性

• WindowsAgentArena: BJudge (N=3) は、Agent S3ベースライン（100ステップ時で56.6% vs 50.2%）に対して6.4%の向上を達成しました。
• AndroidWorld: BJudge (N=3) は、Agent S3ベースライン（71.6% vs 68.1%）に対して3.5%の向上を達成しました。

モデル・アンサンブル

モデルの混合アンサンブルを用いた実験により、多様性がタスクのカバレッジの鍵であることが明らかになりました。GPT-5とClaude Opus 4.5の組み合わせが最も高い成功率（71.6%）をもたらし、最も多様な混合（テストされたすべてのモデルを含む）は、最高のタスクカバレッジ（Pass@N）である80.5%を達成しました。

意義と主張

本論文は、コンピュータ操作エージェントをスケーリングする上での主要な障壁は、ソリューションの生成ではなく、それらの評価と選択であると主張しています。Behavior Judgeを導入することで、著者らはワイド・スケーリングを効果的にするための実用的なフレームワークを提供しています。

著者らは、効果的なスケーリングには、構造化された軌跡の理解と選択が必要であることを強調しています。堅牢なメカニズムなしに単に多くのロールアウトを生成するだけでは、収穫逓減に陥ります。BJudgeは、生のノイズの多い軌跡を高レベルの行動ナラティブへと抽象化することで、複雑で長期的な環境においても正しいパスを特定することを可能にし、この問題を解決します。

結果は、適切なフレームワークがあれば、CUAが複雑なデスクトップ自動化タスクにおいて人間のパフォーマンスに匹速するだけでなく、それを超えることができることを示しており、信頼性の高い自動化されたデジタルワークフローへの実行可能な道筋を示唆しています。なお、著者らは、これらの結果が独立したロールアウトが可能な制御された環境（仮想マシン）に依存していることを認め、ライブユーザーデスクトップへの直接的な展開には、状態の分離に関する追加の課題があることを付記しています。