技術概要：LEARNWEAK – 自動化されたドメイン特化のための弱点からの学習

問題定義

コンピュータ使用エージェント（CUA）は著しく進展したが、大規模なプロプライエタリモデルと、コンピュータ使用タスク向けに微調整された小規模なオープンソースモデルの間には、依然として大きな性能差が存在する。小規模モデルは、エッジ展開におけるコスト、レイテンシ、プライバシーの面で利点を有するが、固有の慣習やワークフローにより、LibreOffice や VSCode などのドメイン固有のソフトウェア環境では苦戦している。

この格差を埋める既存のアプローチは、主に 2 つの課題に直面している：

1. データ生成: 人間の軌跡を収集するにはコストがかかる。自動化された軌跡生成手法は、しばしば「弱点非依存」のデータを生成し、学生モデルの特定の欠陥をターゲットにできず、非効率的なトレーニングにつながる。
2. トレーニング目的: 広範なデータセットに対する単純な微調整は、破滅的な忘却を引き起こしたり、エージェントのネイティブな推論パターンを歪めたりする可能性がある。さらに、標準的なトレーニングはすべてのエラーを均一に扱う傾向があり、異なる修正シグナルを必要とする計画エラー（誤ったアクション選択）と実行エラー（誤ったパラメータまたは座標）を区別できていない。

手法：LEARNWEAK

著者は、弱点認識データ生成（LEARNWEAK-GEN）とエラー認識エージェントトレーニング（LEARNWEAK-DPO）という 2 つの結合された段階で動作する、完全自動化かつ注釈不要のドメイン特化フレームワークであるLEARNWEAKを提案する。

1. 弱点認識データ生成（LEARNWEAK-GEN）

この段階では、人間の注釈なしに学生モデルの特定の失敗を反復的に特定・対処することで、ターゲットを絞ったトレーニングデータセットを構築する。

• 教師 - 学生比較: より強力な「教師」方策（$\pi_T$）と「学生」方策（$\pi_S$）が同一環境でタスクを実行する。検証器は、教師が成功し学生が失敗するタスク（$v_T=1, v_S=0$）を特定する。
• 弱点要約: 検証器による学生失敗の診断結果を弱点レポート（$R_d$）に要約し、反復的な失敗モード（例：誤った要素の局所化、無効な引数）を捉える。
• スクリーンショット誘導クエリ合成: タスク生成器は、次の反復のための新しいクエリを以下の条件に基づいて合成する：
  • 弱点焦点合成: 弱点レポートを条件としたタスクで、特定された欠陥をターゲットにする。
  • 探索焦点合成: 代表的なスクリーンショットのみを条件としたタスクで、未探索の機能の網羅性を確保する。
• 反復プロセス: このサイクルを $N$ 回繰り返し、タスク分布を未解決の弱点へとシフトさせつつ多様性を維持する。

2. エラー認識エージェントトレーニング（LEARNWEAK-DPO）

この段階では、新しいエラー認識マスキング戦略を用いた直接選好最適化（DPO）によって学生を特化させる。

• ステップレベルの選好構築: 軌跡全体を単一の単位として扱うのではなく、教師の成功軌跡をステップごとに再生する。各ステップにおいて、学生方策に教師のコンテキストを照会する。選好ペアは、学生のツール実行が教師と異なるステップでのみ構築される。
• エラータイプの分離: 失敗は 2 種類に分類される：
  • 計画エラー（$\epsilon_{PLAN}$）: 学生が教師とは異なる関数タイプ（$f_t$）を選択する。
  • 実行エラー（$\epsilon_{EXEC}$）: 学生が同じ関数タイプを選択するが、パラメータ（$p_t$）が誤っている。
• マスキング DPO 目的関数: トレーニング損失は、トークン位置にバイナリマスクを適用する。重要なのは、計画エラーに対しては推論トークンとアクショントークンの両方に損失を適用し、実行エラーに対してはアクションパラメータに焦点を当てる点である。これにより、更新はシークエンス全体を再学習するのではなく、特定のエラータイプをターゲットとした行動的な精度を確保する。
• モジュールスケーラビリティ: ドメイン特化は、ベース学生を凍結し、各ドメインごとに軽量な LoRA アダプター（$\Delta_d$）をトレーニングすることで達成され、単一のベースモデルが複数の特化エージェントとして機能することを可能にする。

主要な貢献

1. 注釈不要の特化フレームワーク: LEARNWEAK は、教師 - 学生ループを用いてターゲットを絞ったトレーニングデータを自動的に合成することで、人間の軌跡注釈の必要性を排除する。
2. 学生認識データ生成: 量や多様性に焦点を当てる従来の自律生成手法とは異なり、LEARNWEAK はクエリ生成を学生が観察した失敗パターンに明示的に条件付けし、サンプルあたりの情報価値を高める。
3. エラー認識トレーニング目的関数: 本論文は、計画エラーと実行エラーを分離し、関連する行動スパンのみを更新するために選択的な監督マスクを適用する DPO 変種を導入する。
4. モジュール型ドメイン適応: このフレームワークは、LoRA アダプターを介して複数のドメインを処理するスケーラブルなアプローチを実証し、個別のフルモデル微調整の必要性を回避する。

実験結果

このフレームワークは、OSWorldベンチマーク内の8 つのドメインにおいて、ベース学生モデルとしてEvoCUA-8BおよびOpenCUA-7Bを用いて評価された。

• 性能向上: LEARNWEAK は、すべてのドメインにわたって、EvoCUA-8B で平均成功率11.6%、OpenCUA-7B で**11.1%**の向上を達成した。
• 教師モデルの凌駕: いくつかのドメイン（Gimp、Thunderbird、VSCode）において、特化された小規模な学生は 32B の教師モデルを上回った。これは、ターゲットを絞った修正監督が、単なる大規模モデルの模倣よりも効果的であることを示唆している。
• ベースラインとの比較:
  • LEARNWEAK は、既存の人間検証データセット（AgentNet）およびゼロショットベースラインを上回った。
  • 他のゼロ注釈生成パイプライン（AgentSynth、OS-Genesis、ZeroGUI）およびフィルタリング手法（WebSTAR）を大幅に上回り、弱点をターゲットにすることが汎用的なデータ拡張よりも優れていることを確認した。
  • 除去実験（アブレーションスタディ）により、弱点レポートまたは反復生成プロセスを除去すると性能が低下することが示され、学生認識ガイダンスの必要性が実証された。
  • エラー認識 DPO 目的関数は、標準的な SFT および標準的な DPO を大幅に上回り（平均 9.62 パーセントポイント）、その有効性が確認された。

意義と主張

本論文は、小規模 CUA の効率的なドメイン特化は、合成データの量のスケーリングではなく、学生固有の弱点の特定と修復に依存すると主張する。広範な一般化からターゲットを絞った修正へと焦点を移すことで、LEARNWEAK は小規模オープンモデルと大規模プロプライエタリエージェント間の性能差を縮小するための原理的な道筋を提供する。

著者は、このアプローチが、プライバシーやコストが制約となる実世界のソフトウェア環境において、小規模で特化したエージェントをより実用的な展開オプションにするものであると主張する。この研究は、データ合成とトレーニング目的の両方における「学生認識」の重要性を浮き彫りにし、将来の研究は静的なデータセットのスケーリングよりも、適応的で失敗駆動型の学習を優先すべきであることを示唆している。

著者が認める限界:

• このフレームワークは、それなりに信頼性の高い教師モデルの利用可能性を前提としている。教師が不安定または偏っている場合、監督はこれらのエラーを継承する可能性がある。
• 学生ベースモデルがすでにコンピュータ使用の基礎スキル（視覚的グラウンディング、アクション生成）を備えていることを前提としている。これらの能力を欠くモデルに対して、ゼロから教えるように設計されているわけではない。