技術要約: ENVS: 長期的なGUIエージェントのための環境ネイティブな検証付き探索

1. 問題提起

本論文は、マルチモーダルエージェントに実際のソフトウェアをグラフィカルユーザーインターフェース（GUI）を通じて制御させる際の課題に取り組んでいる。基盤モデルはインターフェースの理解において進歩しているが、ライブ・デスクトップ環境において、マウスやキーボードの精密な一連の動作を長期的に実行することは依然として困難である。主なボトルネックは以下の通りである：

• 希薄で遅延したフィードバック: OSWORLDのような環境では、フィードバックは通常、軌跡の最後におけるバイナリの成功/失敗信号としてのみ提供される。失敗した軌跡は、どの特定の中間アクションが失敗を引き起こしたのかを明らかにしない。
• ロールアウトの高コスト: フィードバックを得るには、ライブ仮想マシン（VM）内でアクションを実行する必要があり、これは計算コストが高く、時間がかかる。
• オンライン強化学習（RL）の非効率性: ARPO（Adaptive Reinforcement Policy Optimization）やSEEA-R1のようなツリー探索手法などの現在の手法は、多くの場合、軌跡の発見とポリシーの更新を結合させている。これにより、簡単なタスクが勾配信号を支配したり、長い軌跡が過剰に表現されたり、タスクや軌跡の長さに対するグローバルな勾配質量の割り当てを制御することが困難になるという問題が生じる。

2. 手法: ENVS

著者らは、軌跡の発見とポリシーの最適化を切り離すトレーニング時のフレームワークである**ENVS（Environment-Native Verified Search：環境ネイティブな検証付き探索）**を提案する。オンライン強化学習を使用する代わりに、ENVSはトレーニング開始前に、検証済みのバランスの取れた教師ありデータセットを構築する。

コア・パイプライン

1. 行動的不一致に基づくゲート付き探索（Behavioral-Disagreement-Gated Search）:
   • システムは、凍結されたベース・ポリシーを使用して、ライブOSWORLD VM内を探索する。
   • 各ステップにおいて、$K$ 個の候補アクションをサンプリングし、それらを粗い「行動指紋（behavioral fingerprints）」（例：アクションタイプ + 離散化された座標またはテキスト）に集約する。
   • 候補は指紋ごとにバケット化される。システムは、合意（多数派のアクション）が高い上位 $k$ 個のバケットを探索し、少数派のアクションを削減する。これにより、探索がトークンのノイズではなく、行動的に区別されたパスに集中することを保証する。
2. VM限定探索（VM-Bounded Search）:
   • 安価なシミュレーションを想定する古典的なモンテカルロ木探索（MCTS）とは異なり、ENVSは、状態の再訪問にコストがかかるライブデスクトップ上で動作する。
   • 適応的な選択（UCB/PUCT）の代わりに、明示的なコストゲート（タスクごとの分岐予算、ステップごとの上限、およびハードなステップ打ち切り）を使用する。学習された価値関数は使用しない。
3. 環境検証とフィルタリング:
   • 軌跡がリーフノードに到達すると、OSWORLDタスク・オラクルがバイナリ報酬（$R(\tau) \in \{0, 1\}$）を割り当てる。
   • 失敗した軌跡は破棄される。成功した軌跡は、ステップごとの教師あり例 $(x, o_{\le t}, a_t)$ に分解され、希薄な終端成功を密なアクションレベルの教師信号へと変換する。
4. 教師信号のグローバルなバランシング:
   • 収集されたデータセットは自然に不均衡になる（簡単なタスクは多くの成功を生み、難しいタスクは少ない成功しか得られない）。
   • ENVSは、トレーニング前に再重み付けスキームを適用する。タスク $i$ に対する重み $w_i$ は次のように計算される：
     $$w_i = \text{clip}\left(\frac{(1 - SR_i)^\beta}{T_i}, w_{\max}\right)$$
     ここで、$SR_i$ は探索成功率、$T_i$ はステップ数である。これにより、勾配の質量を困難なタスクへとシフトさせ、軌跡の長さに対して正規化することで、簡単なタスクがトレーニング信号を支配することを防ぐ。

OSWORLD-NOISY ベンチマーク

堅牢性を評価するために、著者らは、タスク実行中に回復可能なデスクトップ割り込み（例：ポップアップ、フォーカスの変更、バックグラウンドのダイアログ）を注入する動的なベンチマークであるOSWORLD-NOISYを導入した。

• 制約: 摂動は「非妨害的（non-sabotage）」であり、タスクに関連するファイルに触れたり、ターゲットウィンドウにインプットを届けたりすることはない。これにより、タスクの解決可能性が維持される。
• スケジューリング: トレーニング中、ノイズ強度はタスク成功率に応じてスケールする（難しいタスクほどノイズが少なくなる）。評価では、保持された（held-out）摂動の固定された決定論的なスケジュールを使用する。

3. 主な貢献

• ENVSフレームワーク: 環境そのものを使用して成功した軌跡を検証し、それらをグローバルにバランスの取れた教師ありデータに変換する、探索およびフィルタリングのパイプライン。これにより、発見と最適化を分離し、勾配割り当ての明示的な制御を可能にする。
• OSWORLD-NOISY: 現実的で回復可能なデスクトップ割り込みに対するGUIエージェントの堅牢性をテストするための新しいベンチマーク。元のタスクを維持しながら、動的な摂動を追加している。
• 効率性と堅牢性: 検証付き探索が、オンライン強化学習よりも少ない計算量で高い精度を達成できること、および視覚的推論能力を維持できることを実証した。

4. 実験結果

実験は、UI-TARS-1.5-7Bベースモデルを用い、300のOSWORLDタスクプール（訓練用86、保持用214）に対して行われた。

• クリーンな性能: ENVSは、クリーンなOSWORLDにおいて 30.3% pass@8 を達成し、ベースモデル（22.7%）およびARPO（26.7%）を上回った。
• ノイズへの堅牢性: OSWORLD-NOISYにおいて、ENVSは 29.0% pass@8 に達し、ベースモデル（20.3%）およびノイズのあるARPO（21.7%）を大幅に上回った。特筆すべきは、ノイズのあるARPOはクリーンなタスクで性能が低下したのに対し、ENVSは両方の条件下で高い性能を維持した点である。
• 計算効率: ENVSは、一致するARPOベースラインの 184–192 GPU時間 に対し、138–153 GPU時間 を必要とした。この効率性は、検証済みの軌跡を一度だけ収集して教師あり微調整（SFT）で再利用できることから生じており、ARPOは各トレーニングステップで新鮮なオンポリシーのロールアウトを必要とする。
• データ効率: 収集された探索データのわずか 30% を使用して、ENVSは 27.0% pass@8 に達し、全データセットで訓練されたARPOと同等またはそれを上回る結果を出した。
• 能力の保持: ノイズのある環境での訓練は、補助的な視覚的推論能力をより良く保持した。例えば、OSWORLD-G Refusalベンチマークにおいて、ノイズのあるENVSは 16.7% を記録したのに対し、クリーンなENVSは 1.9% であった。これは、割り込みが知覚と回復のための有用な教師信号を提供していることを示唆している。

5. 意義と主張

本論文は、ENVSが、軌跡の発見とポリシーの更新を切り離すことで、オンライン強化学習に対して構造的な優位性を持つと主張している。これにより、以下のことが可能になる：

1. グローバルな勾配制御: 過剰に表現された簡単なタスクを制限し、稀な成功タスクを増幅させる能力。これは、オンライン強化学習に固有の「二項分布の退化（binomial degeneracy）」と勾配の不均衡に対処する。
2. エントロピーの保持: アクション分布を狭める（エントロピー崩壊を起こしやすい）オンライン強化学習とは異なり、ENVSは多様な検証済み軌跡で訓練することで、より高いアクションエントロピーを維持し、より良い汎化を実現する。
3. コスト効率の高いトレーニング: 高価な環境との相互作用を検証済みデータセットに償却することで、ENVSは計算コストを削減しながら性能を向上させる。
4. 割り込みによる堅牢性: 結果は、動的な摂動が単なるストレス・テストではなく、エージェントが（クリーンなタスク完了を犠牲にすることなく）再び集中し、待ち、回復することを学習させるための教師信号となることを示唆している。

著者らは、環境ネイティブな訓練は、エージェントの訓練をより安価で再利用可能にできると結論付けているが、ノイズの合成的な性質や、OSWORLD環境の特定のインフラストラクチャ要件（並列VM、信頼できるリセットなど）に関する限界についても述べている。