技術要約：品質多様性を備えたウェブエージェント模倣のための投機的ロールバック補正（Speculative Rollback Correction）

1. 問題提起

インタラクティブなウェブおよびGUIエージェントの模倣学習におけるトレーニングは、「累積誤差」と「解の多様性」の間にある根本的な緊張関係に直面している。

• 累積誤差（露出バイアス）： 標準的な行動クローニングはエキスパートの軌跡に基づいて学習するが、デプロイ時にはエージェント自身の行動によって誘発された状態上で動作する。長期間のインタラクティブな環境では、初期のたった一つのミス（例：誤った要素をクリックする）が、エージェントをエキスパートの経路から遠く離れた状態分布へとシフトさせ、その後のエキスパートのデモンストレーションを無意味にし、失敗を引き起こす。
• 多様性と硬直性のトレードオフ： DAggerのような標準的なオンライン補正手法は露出バイアスを軽減するが、しば-しばエージェントを単一の「教師が好む」軌跡へと強制してしまう。しかし、多くのGUIタスクには複数の有効な解決パスが存在する（例：検索、ブラウジング、または異なるメニュー順序によるもの）。過剰な補正は、これらの有効な代替案を硬直したモードへと崩壊させ、一方で補正不足はループや低品質な探索を許容してしまう。
• 粒度の課題： 既存の補正戦略は、介入のタイミングにおいて困難に直面している。ステップレベルの即時的な監督はコストが高く、有用な探索を妨げる。一方で、事後的な補正（フル・トラジェトリが失敗した後に行うもの）は、エージェントがすでに回復不可能な状態までドリフトしてしまっているため、データ効率が低い。

2. 手法：投機的ロールバック補正（SRC）

著者らは、リセット可能なGUI環境向けに設計されたブランチレベルの模倣フレームワークである**投機的ロールバック補正（SRC）を提案している。SRCは、エキスパートの補正においてしばしば混同される3つの異なる役割、すなわち「局所的な進捗判断」、「最終的な成功検証」、および「品質多様性キュレーション」**を分離している。

コアメカニズム

1. 固定ホライゾン・ブランチ・レビュー： 各ステップで教師に問い合わせる代わりに、学生エージェントは$K$個の行動からなる「投機的ブランチ（speculative branch）」を実行する（短いホライゾン）。
2. 教師レビュアー（局所的な進捗）： ブランチの実行後、教師レビュアーは、そのブランチが目標に対する局所的な進捗を維持しているかどうかを評価する。
   • 受理（Accept）： ブランチが有効である場合（たとえ標準的なエキスパートの経路から逸脱していても）、すべての行動が確定される。
   • 拒絶（Reject）： ブランチに有害な逸脱（例：ループへの進入、誤ったページへの遷移、または回復不能な状態）が含まれる場合、教師は最も早い有害なインデックス$j$を特定する。
3. ロールバックと補正：
   • 環境は、有害な行動$j$の直前の状態へとリセットされる。
   • 有用なプレフィックス（行動$0$から$j-1$まで）は保持される。
   • 教師補正器（teacher corrector）が、回復された状態に対して単一の補正行動を提供する。
   • エージェントは、この補正された状態から実行を再開する。
4. マルチリーフ収集： 多様性を維持するため、拒絶された学生の継続部分は完全に破棄されない。「フォーク予算（fork budget）」が許す場合、これらの拒絶されたブランチは別個の論理的リーフとして扱われ、最後まで再生され、独立して検証される。
5. 品質多様性（QD）アーカイブ： 成功した軌跡は、ハード・ベリファイア（検証器）によってフィルタリングされ、軽量なアーカイブに保存される。
   • 品質制約： 軌跡は検証器を通過し、かつ効率性の制約（例：最大長、最大反復行動数、最大介入回数）を満たさなければならない。
   • 多様性記述子： 軌跡は行動記述子（例：パス長、支配的な行動タイプ、介入回数）によってビン分けされる。アーカイブは、異なるビンから高品質なエリートを保持することで、単一の最短パスに崩壊することなく、複数の解決モードをカバーすることを保証する。

学習目的

最終的な学習セット（$D_{sft}$）は、以下の混合物である：

• 局所的補正（$D_{corr}$）： ロールバックポイントから生成された次行動ラベル（学生の状態 $\to$ 教師の補正）。
• アーカイブされた軌跡（$D_{arc}$）： アーカイブ内の検証済みで多様な成功軌跡から抽出された次行動ラベル。
  モデルは、報酬モデリングや選好最適化を行うことなく、この混合物を用いた標準的な次行動教師あり微調整（SFT）を通じて学習される。

3. 主な貢献

1. 体系的なDAggerの適応： 現実的なインタラクション・シナリオにおける累積誤差問題に対処するため、視覚的な長期間のGUIおよびウェブエージェントに特化した、DAggerスタイルのオンライン・エキスパート補正の最初の体系的な実装。
2. 投機的ロールバックメカニズム： 学習の安定性とマルチソリューション学習を両立させる、新しいブランチレベルの学習戦略。投機的な短期間のロールアウトと精密な最小ロールバックを用いることで、有効な学生の探索を維持しつつ、状態のドリフトを防ぐ。
3. 品質多様性データキュレーション： 局所的な進捗判断と最終的な成功検証を分離し、効率的かつ行動的に異なる、検証を通過する複数の解決パスの収集を可能にするフレームワーク。

4. 実験結果

著者らは、WebArena-Infinity、WebArena-Lite、およびOSWorldのサブセットを用いてSRCを評価した。

• 性能向上： 最終的な教師レスのSRCモデルは、すべてのベンチマークにおいてベースラインのExpert SFTを大幅に上回った：
  • WebArena-Infinity： 成功率（SR）が+9.7%向上（Expert SFTの25.3%に対し35.0%）。
  • WebArena-Lite： SRが+3.5%向上。
  • OSWorld サブセット： SRが+12.9%向上。これは強力なクロスドメイン汎化性能を示唆している。
• 効率性とコスト： SRCは、ステップレベルの補正（LEAPスタイル）やランダムな切り替え（OECスタイル）と比較して、より少ない教師クエリで高い成功率を達成した。
  • レビューホライゾンのアブレーション： ホライゾン $K=3$ が最良のトレードオフを提供し、ステップレベル（$K=1$）よりも少ないクエリで51.9%の集計SRを達成し、より長いホライゾン（$K=7$）よりも優れた回復を実現した。
• データの構成： 学習データは教師の介入に支配されていなかった。ロールバック補正による例は約14.2%に過ぎず、大部分は受理された学生のブランチから得られた。
• 多様性の維持： アーカイブのカバー範囲は、収集ラウンドを通じて147から259の異なる行動ビンへと増加した。これは、本手法が単一のパスに崩壊することなく、多様な解決モードを保持していることを裏付けている。

5. 意義と主張

本論文は、SRCが視覚的インタラクションのシナリオにおける、長年の課題であったインタラクティブな模倣学習のギャップを埋めるものであると主張している。その意義は以下の通りである：

• 露出バイアスの軽減： 単なるエキスパートの状態（エキスパートによる状態）ではなく、ロールバックと補正を通じて、実際に学生が訪問した状態から学習することで、標準的な行動クローニングに固有の累積誤差問題を根本的に解決している。
• 安定性と多様性のバランス： 誤差の蓄積を防ぐことと、GUIタスクに内在する複数の有効な解決パスを保持することの間のトレードオフを解消している。
• スケーラビリティ： 本フレームワークはモデルおよびモダリティに依存せず、エージェントを受動的な模倣から自律的で信頼性の高い実行へと進化させるための一般的な学習パラダイムとして機能する。

著者らは限界についても認めており、現在のメソッドはリセット可能な環境を前提としていること（非リセット可能なワークフローへの適用を制限する）、および固定のレビューホライゾン $K$ を使用していること（すべてのサブタスクに対して最適とは限らない）を挙げている。今後の課題として、タスク構造に基づいた適応的なブランチレビューの探索が示唆されている。