技術的概要：LLM エージェントの時代における DAgger の再検討

問題定義

長期にわたる大規模言語モデル（LLM）エージェントは、ソフトウェアエンジニアリングやウェブブラウジングなど、マルチターン対話環境において動作します。これらの環境では、単一の初期エラーが状態分布を変化させ、エージェントが成功する専門家デモンストレーションの軌道から逸脱する原因となります。この現象は「共変量シフト」として知られており、ポストトレーニングアルゴリズムにとって重大な課題です。既存の手法はこの設定において構造的な限界に直面しています：

• 教師あり微調整（SFT）： 専門家によって誘発された状態でトレーニングされますが、デプロイ時には失敗します。なぜなら、学生モデルが自身の状態を生成するため、トレーニング分布とテスト分布の間にミスマッチが生じるからです。
• 検証可能報酬を用いた強化学習（RLVR）： 分布のミスマッチを避けるためにオンポリシーロールアウトから学習しますが、スパースな結果レベルの報酬に依存するため、クレジット割り当てが困難で計算コストが高くなります。
• オンポリシー蒸留（OPD）： オンポリシー状態カバレッジと教師による監督を組み合わせようと試みますが、トレーニング初期に弱い学生が非生産的な軌道を生成する「コールドスタート」のボトルネックに直面します。これにより、教師は失敗したプレフィックスを監督せざるを得なくなります。さらに、OPD は多くの場合、教師のログイットへのアクセスを必要とするため、ブラックボックスモデルとの利用が制限されます。

ここで扱われる中心的な問いは、「密なフィードバックを活用し、オンポリシー状態カバレッジを維持し、かつ成功する軌道への早期アクセスを提供する手法は存在するか？」というものです。

手法

著者らは、古典的な模倣学習アルゴリズムである**データセット集約（DAgger）**を再検討し、マルチターン LM エージェント向けに適応させました。その中核となる原理は、専門家によって誘発された状態だけでなく、学生が実際に訪問する可能性のある状態でトレーニングすることです。

教師交差ロールアウト

提案手法は、軌道収集中に学生と教師の方策の確率的混合を採用します。2 つの具体的なロールアウト戦略が導入されています：

1. DAgger 風（ターンレベル混合）： 各ターン $t$ において、行動は確率 $\beta_i$ で教師方策 $\pi_e$ によって実行されるか、確率 $1-\beta_i$ で学生方策 $\pi_\theta$ によって実行されます。混合パラメータ $\beta_i$ は、トレーニング反復を通じて 1.0 から下限（例：0.6）へと漸減（アニーリング）されます。
2. AggreVaTe 風（軌道レベル混合）： 学生が長さ $\kappa$ の初期プレフィックスを生成した後、教師が軌道の残りを完成させます。プレフィックス長さの分布は、時間経過とともに増加するようにスケジュールされます。

主要メカニズム： 特定の状態で行動を実行するのが学生か教師かに関わらず、各訪問状態において正しい行動のために教師に照会されます。その後、学生は実際に遭遇した状態におけるこれらの教師の行動を模倣するように、教師あり学習（交差エントロピー損失）を通じてトレーニングされます。

統合フレームワーク

本論文は、このアプローチを 3 つのコンポーネントによって定義される統合されたポストトレーニングフレームワークの中に位置づけています：

• コンテキスト分布（$p_s$）： 訪問される状態の分布（DAgger では学生と教師の混合、SFT では純粋な教師、RL では純粋な学生）。
• ラベル分布（$p_a$）： 行動ラベルのソース（DAgger では教師、RL/OPD では学生）。
• スコアリング関数（$w(s,a)$）： サンプルに割り当てられる重み（DAgger では一様、RL ではアドバンテージベース）。

混合コンテキスト分布に教師ラベルと一様重みを使用することで、この手法は SFT（密な監督、共変量シフト）と RL/OPD（オンポリシーカバレッジ、スパース/コールドスタート問題）の間のギャップを埋めます。

主要な貢献

1. アルゴリズムの適応： DAgger を長期 LLM エージェント向けに成功裡に適応させ、モデルが現実的なデプロイ状態から学習しつつ、教師から密なトークンレベルの監督を受けられるようにしました。
2. コールドスタートの緩和： OPD と異なり、教師交差アプローチは初期の軌道が教師によって誘導されることを保証し、トレーニング初期段階において学生が非生産的な状態に陥るのを防ぎます。
3. ブラックボックス互換性： この手法は、教師がログイットではなく行動ラベル（トークン）のみを提供することを必要とするため、ブラックボックス LLM（例：GPT、Gemini）と互換性があります。
4. 実証的検証： ソフトウェアエンジニアリングタスクにおいて、SFT、RL（GRPO）、およびオンポリシー蒸留に対して一貫した改善を示しました。

実験結果

この手法は、Qwen3-4BおよびQwen3-8Bの学生モデルとQwen3-30Bの教師モデルを用いて、SWE-Gym（トレーニング）およびSWE-Bench Verified（ドメイン外評価）で評価されました。

• 性能向上：
  • 4B モデル： SWE-Bench Verified で27.3%を達成し、最強のポストトレーニングベースライン（OPD）を+3.9 ポイント上回り、代表的な公開された 8B SWE エージェントシステムを上回りました。
  • 8B モデル： SWE-Bench Verified で29.8%を達成し、OPD を+3.6 ポイント上回り、32B スケールのSWE-Gym-32Bシステムを**+9.2 ポイント**上回りました。
• トレーニングの安定性： この手法は、特に初期段階（コールドスタート）において、SFT や OPD と比較してより安定したスケーリング軌道を示しました。
• 共変量シフトの低減： 逆 KL 発散の分析により、DAgger 風トレーニングは、トレーニングの進行に伴って発散が再発する SFT と比較して、学生のデプロイ分布と教師の分布間の発散を大幅に低減することが示されました。
• 行動の改善： 定性的分析により、DAgger によってトレーニングされたエージェントは構文エラーやランタイムエラーを少なくし、より優れた回復行動を示すことが判明しました。失敗モードは「受動的」なエラー（例：提出なし）から、コンテキストオーバーフローなどのより困難な制限へとシフトしました。

意義と主張

本論文は、教師交差 DAgger による明示的な状態分布の修正が、長期 LM エージェントのポストトレーニングにとって強力な要素であると主張しています。結果は以下を示唆しています：

• この手法でトレーニングされた小規模モデル（4B/8B）は、はるかに大規模なシステム（32B）の性能に近づき、あるいはそれを超えることができます。
• このアプローチは、SFT に固有のトレーニング - テスト分布のミスマッチを効果的に緩和しつつ、RL や OPD のスパースな報酬やコールドスタートの問題を回避します。
• この手法は、複雑なマルチターン環境において堅牢なツール利用エージェントをデプロイするための、実用的かつサンプル効率の良いレシピを提供します。

著者らは、この手法が信頼性とサンプル効率を向上させる一方で、これらのエージェントに残るボトルネックは、トレーニングアルゴリズムそのものではなく、長文脈容量（例：コンテキストオーバーフロー）に関連するものが増えていることを強調しています。