技術要約：自律的評価を用いたコンピュータ操作エージェントのための強化学習

問題提起

コンピュータ操作エージェント（CUA）は、自然言語の指示に基づいてグラフィカルユーザーインターフェース（GUI）を自律的に操作するように設計されている。近年のアーキテクチャは、さまざまなアプリケーションやオペレーティングシステム（OS）への汎用性において有望な成果を示しているが、制約のない実世界の環境においては依然として信頼性に欠ける。最先端のエージェントであっても、OSWorldベンチマークでは約60%、macOSWorldでは約40%という成功率にとどまっている。

CUAに対する効果的な強化学習（RL）微調整を妨げている主要なボトルネックは、スケーラブルで機械判読可能な報酬信号の欠如である。ロボティクスのシミュレータやゲーム環境とは異なり、デスクトップタスクの目的は多くの場合、暗黙的であり、視覚的に根ざしており、かつ非構造的である。既存の解決策は、脆弱なタスク固有のヒューリスティック（例：DOMチェック）や、コストのかかる手動アノテーションに依存しているが、これらは多様なアプリケーションやOSにわたってスケールしない。さらに、視覚言語モデル（VLM）は自律的な評価手段を提供できる可能性があるものの、その出力は不完全であり、偽陽性（false positive）や偽陰性（false negative）を含んでいる。ノイズを含むこれらの出力をそのまま報酬信号として素朴に利用すると、バイアスが導入され、方策の最適化が不安定になる。

手法

著者らは、自律的なVLMベースの評価器をCUAのRLループに統合するための、原理に基づいたフレームワークを提案している。この核心となる革新は、評価器を「正解（ground truth）」の源泉としてではなく、ノイズを含むバイナリ報酬チャネルとして扱い、統計的に根拠のあるノイズ補正済み報酬推定量を導出することにある。

1. 自律的評価の設定

• 評価器: Qwen2-VL-7Bをゼロショット設定で使用する。これは最終的なGUIスクリーンショットと元の自然言語指示を受け取り、タスク完了を示すバイナリ信号 $\tilde{r}_i \in \{0, 1\}$ を出力する。
• ノイズの特性付け: 評価器の不完全性を条件付きエラー率によってモデル化する：
  • $e_+$: 偽陰性率 ($P(\tilde{r}=0 | r^*=1)$)。
    den $e_-$: 偽陽性率 ($P(\tilde{r}=1 | r^*=0)$)。
• 分離可能性: 本フレームワークは、分離定数 $D = 1 - e_+ - e_- > 0$ が存在することを前提とする。これにより、評価器がランダムな推測を超えた情報提供を行うことが保証される。

2. ノイズ補正済み報酬推定器

真の報酬 $r^*$ は観測不能であるため、著者らは漸近的に偏りのない（unbiased）推定値 $\hat{r}$ を導出する。

• 理論的導出: 関係式 $E[\tilde{r} | r^*] = e_- + D \cdot r^*$ に基づき、真の報酬は次のように推定される：
  $$\hat{r} = \frac{\tilde{r} - e_-}{D}$$
• 実践的な実装: 実際にはエラー率は未知である。著者らは、訓練セットとは分離された保持されたキャリブレーション・データセットから $\hat{e}_+$ と $\hat{e}_-$ を推定する。プラグイン推定器は以下の通りである：
  $$\hat{r}^\sharp = \frac{\tilde{r} - \hat{e}_-}{\hat{D}}$$
  ここで $\hat{D} = 1 - \hat{e}_+ - \hat{e}_-$ である。この推定器は、評価器の偽陽性と偽陰性によって導入されるバイアスを補正する。

3. 方策最適化

本フレームワークは 近接方策最適化（PPO） を利用する。

• 報酬構造: 報酬はエピソードの終了時（$T$）にのみ定義される終端報酬である。
• 目的関数: エージェントは期待リターン $J(\theta) = E[\gamma^T \hat{r}_i]$ を最大化する。ここで $\hat{r}_i$ はノイズ補正済み報酬である。
• アドバンテージ推定: 終端補正報酬は、軌跡を通じて逆方向に伝播され、アドバンテージ推定量を計算する。これにより、フィードバック信号のノイズにもかかわらず、安定した方策更新が可能となる。

4. 実験設定

• データセット: macOS、Windows、Linuxにわたる42のアプリケーションを用いた7,560の合成タスク・データセットを作成した。さらに、OmniAct、GUI-World、GUIDEからのタスク記述も組み込んだ。
• ベンチマーク: macOSWorld、Windows Agent Arena、およびOSWorldで評価を行った。
• ベースライン: ゼロショット・ベースラインと、以下の手法を用いたPPO微調整を比較した：
  1. 生の評価器報酬 ($\tilde{r}$)。
  2. 補正済み報酬推定器 ($\hat{r}$)。
  3. 統合型（クロスOS）対 OS別パラメータ化モデル。

主な結果

実験の結果、評価器のノイズを明示的にモデル化し補正することで、生の評価器信号を使用する場合と比較して、エージェントの性能が大幅に向上することが示された。

• 性能向上: ノイズ補正済み報酬推定器とOS別の微調整を組み合わせたものが、すべてのベンチマークにおいて最高の成功率を達成した：
  • macOSWorld: 0.084（ゼロショット）から 0.203 へ向上。
  • Windows Agent Arena: 0.331 から 0.442 へ向上。
  • OSWorld: 0.283 から 0.432 へ向上。
• 生の報酬との比較: 生の評価器報酬を使用した場合も中程度の改善が見られたが、補正済み推定器には一貫して及ばなかった。いくつかのケース（例：統合モデルを用いたOSWorld）では、生の報酬を使用するとゼロショット・ベースラインよりも性能が低下しており、補正されていないノイズによるバイアスが浮き彫りになった。
• 汎用性: 補正済み報酬を用いて微調整されたOS別モデルは、統合型のクロスOSモデルよりも優れた汎用性を示した。これは、OS固有のインターフェース慣習が堅牢な学習にとって重要であることを示唆している。
• 改善の規模: 補正アプローチは、ゼロショット性能に対して平均 12.6パーセントポイント、生の評価器による微調整に対して 5.1パーセントポイント の成功率向上を実現した。

意義と主張

本論文は、自律的評価が、その固有の評価器ノイズを明示的にモデル化し補正することを条件として、GUI環境におけるRLのための実用的かつスケーラブルな報酬信号として機能し得ると主張している。

• スケーラビリティ: このフレームワークは、手動の成功ラベルやタスク固有のヒューリスティックを必要とせず、多様なOSにわたる大規模なインタラクション・データを用いたRL微調整を可能にする。
• 堅牢性: 偏りのない報酬推定量を導出することで、不完全なフィードバックが存在する状況下での方策最適化を安定させ、CUA開発における中心的なボトルネックに対処している。
• 実用性: 補正メカニズムは、標準的な方策勾配法であるPPOにおける生の報酬の「ドロップイン・リプレイスメント（置き換え可能な代替手段）」であり、RLアルゴリズム自体に根本的な変更を必要としない。

著者らは、非定常なエラー率や疎な報酬といった課題は依然として残っているものの、このアプローチは、人間の監督なしにインタラクションから学習する汎用デスクトップエージェントのための実用的なRLパイプラインに向けた重要な一歩であると結論づけている。