技術要約：LLMエージェントのための結果検証型比較自己蒸留（OVCSD）

問題提起

大規模言語モデル（LLM）エージェントの最近の進展は、外部能力の引き出し（推論時に検索や外部ツールに依存すること）から、能力の内在化（スキルをモデルのパラメータに直接埋め込むこと）へと焦リオを移しています。オンポリシー自己蒸留（OPSD）は、特権的な教師（スキルを備えたモデル）を用いてスキルフリーの生徒（モデル）を監督することで、内在化への有望な道筋を提供しますが、既存の手法には以下の2つの決定的な限界があります。

1. 検証されていない教師の嗜好性: 現在の手法は通常、教師の局所的な嗜好に基づいて生徒のアクションをスコアリングします。しかし、高スコアのアクションが長期的なタスクの最終的な成功を保証するわけではなく、低スコアは正しい代替アクションを示さないこともあります。教師の嗜好性は、実際の環境結果によって検証されていません。
2. 活用されていない情報: 既存のアプローチは、生徒と教師の軌跡（trajectory）の関係を十分に活用できていません。これらは失敗した生徒のロールアウトを破棄したり、教師の軌跡を一律に扱ったりしており、生徒が失敗し、教師が成功した特定の状態を無視しています。また、修正すべき決定を特定するために、分岐点において軌跡を整合させるメカニズムを欠いています。

手法：結果検証型比較自己蒸留（OVCSD）

OVCSDは、単なる教師のスコアに頼るのではなく、成功した環境との相互作用を通じて特権的なガイダンスを内在化するように設計された、オンポリシー学習フレームメントです。この手法は、失敗した生徒のロールアウトの分析から得られた3つの主要な観察に基づいています。

1. 共有された状態構造: 失敗した軌跡は、最終的な失敗報酬が同一であっても、有効な中間プレフィックス（接頭辞）を共有していることがよくあります。
2. 状態および結果への依存性: インターベンション（介入）の有用性は到達した特定の状態に依存しており、教師のアクションは信頼されるために環境の結果によって検証される必要があります。
3. 整合性を考慮した比較可能性: 失敗した生徒のブランチと成功した教師のブランチの関係は、それらの最初の状態整合的な分岐点（state-aligned divergence）において変化します。この点より前は挙動は同一であり、分岐点において両者は異なり、その後は履歴が分離します。

コアコンポーネント

1. 適応型結果検証インターベンション

• プレフィックスツリーの構築: OVCSDは、失敗した生徒の軌跡をプレフィックスツリーに整理し、共有された中間状態を特定します。
• 適応型バックトラッキング: 固定された介入点ではなく、システムは有効な生徒の進捗を維持するためにツリーのより深いノードを優先します。教師が深い状態から回復できない場合、より浅い祖先へとバックトラッキングします。
• 結果検証: 特権的な教師（スキルコンテキストを持つ凍結されたポリシー）が、復元された生徒の状態から行動を開始します。極めて重要な点は、教師の継続が環境報酬に従ってタスクを正常に完了した場合のみ受理されることです。これにより、監督が単なる尤度ではなく、実行可能な成功に基づいていることが保証されます。

2. 整合性を考慮した比較学習
OVCSDは、検証された教師の継続と失敗した生徒のブランチの間の分岐点（$d$）に基づき、2つの補完的な目的関数を採用します。

• 局所的分岐修正: 最初の状態整合的な分岐点において、OVCSDは局所的な比較目的関数を適用します。これは、検証された教師のアクションの確率を高め、失敗した生徒の代替アクションの確率を下げることで行われます。これは、教師のアクションが正のアドバンテージを受け取り、失敗した生徒の代替アクションが負のアドバンテージを受けるように計算される正規化されたアドバンテージ信号によって実現されます。
• 分岐後サフィックス蒸留: 分岐点以降の教師の残りの軌跡（サフィックス）は、KLダイバージェンス目的関数を用いてスキルフリーの生徒ポリシーに蒸留されます。これにより、正しい決定がなされた後に、タスクをどのように完了させるかを生徒に教えます。

3. 学習と推論
総学習目的関数は、局所的なアドバンテージ更新とサフィックス蒸留損失を組み合わせたものです。推論時、OVCSDは、スキル検索、プレフィックスツリー構築、または教師との相互作用を行うことなく、結果として得られたスキルフリーのポリシーを展開します。

主な貢献

1. 結果検証型自己蒸留: 単なる未検証の教師スコアではなく、成功した環境との相互作用を通じて特権的なガイダンスを内在化するフレームワークであるOVCSドロ（OVCSD）を導入しました。
2. 整合性を考慮した学習: マルチターン・タスクにおいて、成功した教師の挙動と失敗した生徒の探索から学習するための決定的なメカニズムとして、状態整合的な比較を特定し、修正決定と完了挙動を分離しました。
3. 最先端のスキルフリー性能: OVCSDが、複数のモデルスケールおよびベンチマークにおいて、最高のスキルフリー成功率を達成することを実証しました。

実験結果

実験は、3つのモデルスケール（Qwen3-1.7B, Qwen2.5-3B, Qwen2.5-7B）を用い、ALFWorld（家庭内タスク）およびWebShop（eコマース検索）に対して行われました。

• 性能向上: OVCSDは一貫して最も強力なベースラインを上回りました。
  • ALFWorldにおいて、最強のベースライン（SDAR）に対し、最大29.7ポイントの絶対的な成功率向上を達成しました。
  • WebShopにおいて、最大5.4ポイントの向上を達成しました。
  • 向上は、複数の依存関係のある決定を必要とする構成的なタスク（例：Heat, Cool, Pick2）で特に顕著でした。
• 効率性: この手法は、学習中に加える特権的な相互作用（環境ステップ）を3%未満に抑えました。累積環境アクションと比較した場合、OVCSDはGRPOの最終成功率に達するまでに2.1倍少ないアクションで済み、この利得が単なるサンプリング予算の増加によるものではないことを示しています。
• アブレーション研究:
  • 局所的なアドバンテージ更新またはサフィックス蒸留のいずれかを取り除くと、性能が大幅に低下し、両方の信号の必要性が確認されました。
  • 結果検証を取り除くか、ランダムな介入アンカーを使用すると、学習プロセスの効率性と検証されたブランチの数が減少しました。
  • ポリシー分析により、OVCSDは分岐点において特に教師のアクションに対して局所的な嗜好を誘導する一方で、標準的なGRPOにはそのような集中が見られないことが示されました。

意義

本論文は、長期的なタスクにおける教師の嗜好の脆弱性に対処することで、OVCSDが能力の内在化に対する効果的なアプローチを提供すると主張しています。失敗をプレフィックスツリーに整理し、結果検証を強制することにより、この手法は生徒が仮説的な嗜好ではなく、実行可能で成功した挙動から学習することを保証します。修正決定（分岐）と完了挙動（サフィックス）を分離することで、より精密かつ効率的な学習が可能になり、推論時に外部の検索に頼ることなく、複雑な多段階タスクを高い成功率で実行できるスキルフリーのエージェントを実現します。