技術要約: TurnOPD

問題提起

オンポリシー蒸留（OPD）は、強力な教師モデルから、学生モデル自身の生成した軌跡における教師の分布を一致させるように学習する、言語エージェント訓練のための有望なフレームワークである。しかし、バニラなOPDを長期的（long-horizon）なエージェントタスク（マルチターン相互作用、ツール利用、環境の変化を伴うもの）に適用すると、訓練性能とリソース利用率を低下させる2つの決定的な非効率性が明らかになる：

1. 外部のミスマッチ（ロールアウトの深さ）: バニラなOPDは通常、固定されたフルホライゾンのロールアウトを使用する。著者らは、逆KLダイバージェンスによる教師信号が初期のターンに大きく偏っていることを指摘している。訓練が進み、軌跡が長くなるにつれて、「末尾」のターンは弱い、あるいはノイズが多く、情報量の少ないKL信号を提供することが多い。フルレングスのロールアウト計算を継続することは、これらの収益性の低いステップに対して、実時間（wall-clock）リソースを浪費することになる。
2. 内部のミスマッチ（損失の割り当て）: 標準的な軌跡レベルのKL目的関数は、トークン数に基づいて損失を正規化する。初期のターンはより多くのトークンを含み、初期のKLダイバージェンスも高いため、損失予算を支配してしまう。その結果、長期的な成功に不可しくは欠なものの、トークン数が少なく生のKLも低い、より深い意思決定のターンには、十分な監督が行き届かなくなる。著者らはこれを**「汚染による圧縮（contamination-compression）」メカニメント**として定式化している：コンテキストが増えるにつれて、次トークンの分布はフォーマットや反復的なパターンによって次第に「強制」されるようになり、真のポリシーの相違が存在する場合でも、観測可能なKLが圧縮されてしまう。これにより、初期の振る舞いが一致した時点で、深いターンが十分に訓練されないというシナリオが生じる。

手法: TurnOPD

これらのミスマッチに対処するため、著者らはロールアウトのホライゾンと損失の割り当ての両方を動的に管理する、ターンレベルの予算管理戦略であるTurnOPDを提案する。TurnOPDは、2つの適応型コントローラーで構成される：

1. 適応型ロールアウト深さ予算管理（Adaptive Rollout-Depth Budgeting）

このコントローラーは、低シグナルな末尾のターンへの計算浪費を避けるため、最適なロールアウト長（$H_{ctrl}$）を動的に決定する。これは2つの信号を合成する：

• 効率プロキシ（$H_{eff}$）: 生存者重み付き逆KL分布のセントロイド（重心）を算出する。KL信号を蒸留質量（distillation mass）の分布として扱い、意味のある修正信号が集中している場所にターゲットの深さをシフトさせる。
• カバレッジ下限（$H_{cov}$）: 特定の分位数（例：80%）の成功した軌跡をカバーするのに十分な深さを確保する。これにより、コントローラーがロールアウトを過度に攻撃的に切り捨てすぎることを防ぎ、学生が十分な成功完了を依然として観察できるようにする。
• メカニズム: コントローラーは、統計量を推定するための周期的なフルレングスのプローブ・ロールアウトを使用して、$H_{ctrl} = \max(H_{eff}, H_{cov})$ を更新する。一方で、通常の訓練ステップでは、この上限が設定されたホライゾンを使用する。

2. プログレッシブ・ターン正規化損失予算管理（Progressive Turn-Normalized Loss Budgeting）

このコントローラーは、損失の集計戦略を、トークンレベルからターンバランスの監督へと段階的に移行させることで、内部のミスマッチに対処する。

• 線形ブレンディング: ハードな切り替えではなく、標準的な軌跡レベルの重み（トークン数に比例する $q_{traj}$）と、一様なターンレベルの重み（$q_{turn}$）の間を線形補間する。
• 進行: ブレンディング係数 $\alpha$ は訓練の進行とともに線形に増加する。初期段階（$\alpha \approx 0$）では、安定性を確保するためにトークン質量に従う。訓練が進むにつれて $\alpha$ が増加し、複雑な意思決定の洗練に必要な十分な監督が行き届くよう、より深いターンへと重みをシフトさせる。

主な貢献

1. ターンレベルの診断: 本論文は、長期的設定におけるOPDの体系的な分析を提供し、監督信号と最適化予算がターン全体に不均一に分布していることを明らかにしている。また、コンテキストに起因する制約が、深いターンにおける観測可能なKLを人工的に抑制してしまう「汚染による圧縮」現象を特定している。
2. ミスマッチの定式化: 「外部のミスマッチ」（固定された深さと変化する信号の有用性）および「内部のミスマッチ」（トークン重み付き損失とターンレベルの重要性）を、バニラなOPDの非効率性の根本原因として定式化した。
3. TurnOPDフレームワーク: ロールアウトの深さと損失の正規化を同時に適応させ、エージェント間の相互作用のターン条件付きの性質に特化した、デュアルコントローラー・システムを提案した。
4. 実証的検証: ALFWorld、WebShop、Multi-Hop Searchの3つの代表的なベンチマークを用いて、TurnOPDが、バニラなOPDや他のベースラインと比較して、大幅に削減された訓練時間で優れた性能を実現し、精度と時間のフロンティアを前進させることを示した。

実験結果

著者らは、ALFWorld（身体化されたプランニング）、WebShop（ウェブナビゲーション）、Multi-Hop Search（情報検索）の3つの代表的なベンチマークでTurnOPDを評価した。様々な学生・教師ペア（例：Qwen3-8B/9Bの教師から蒸留されたQwen3-1.7B/4Bの学生）を使用した。

• 精度–時間フロンティア: TurnOPDは、一貫して最高の「最小時間（Least-Time）」精度（任意のメソッドが100ステップを完了するために必要な最小の実時間を要する中で、最も高い精度）を達成した。
  • ALFWorld-1.7Bにおいて、TurnOPDはSame-Step Avg@4を83.0（Vanilla OPD）から86.3に向上させると同時に、実時間を4.42時間から1.93時間へと短縮した（2.29倍の高速化）。
  • WebShopにおいて、精度を向上させつつ、時間を1.57時間から1.24時間に短縮した。
  • Multi-Hop Searchにおいて、共有された時間予算の下で、バニラなOPDを上回る最高のLeast-Time精度を達成した。
• アブレーション研究:
  • 適応型深さのみ（Adaptive Depth Alone）: 実時間を大幅に削減したが（約55%）、精度がわずかに低下した。これは、ロールアウトを短縮することが計算量を節約するものの、損失割り当ての問題は解決しないことを裏付けている。
  • 線形ブレンド正規化のみ（Linear Blend Norm Alone）: 深いターンへ損失を再配分することで精度を向上させたが、実時間の短縮には至らなかった。
  • 組み合わせ（Combined）: 完全なTurnOPDのアプローチは、効率性と最適化の両方のレバーを活用することで、最適なトレードオフを達成した。
• コントローラーの動態: 分析により、適応型コントローラーが診断信号を正常に追跡し、成功した軌跡が出現するにつれてロールアウトの深さを増加させ、効率性とカバレッジの制約のバランスをとっていることが示された。

意義と主張

本論文は、TurnOPDが長期的エージェントを訓練するための、より効率的かつ効果的なフレームワークを提供すると主張している。その主な意義は、監督のパラダイムを、進化する相互作用のトレース内における「平坦なトークン位置」から「ターン条件付きの意思決定」へとシフトさせたことにある。

著者らは以下の通り断言している：

• 長期的エージェントにとって、全軌跡にわたる標準的なKL監督および正規化は、特定された構造的なミスマッチのため不十分である。
• TurnOPDは精度–時間のフロンティアを前進させ、最大2.29倍速い訓練で、より高い性能レベルに到達することを可能にする。
• このアプローチは異なるモデルサイズやタスクタイプ間で堅牢であり、ターンを考慮した予算管理がエージェント訓練における汎用的な原則であることを示唆している。

結論として、TurnOPDは、バニラなシーケンス生成目的関数では解決できない、長期的エージェントタスクの特定課題に対処する、ターンを考慮した予算適応型訓練への道を切り開くものである。