🤖 AI

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

Agentic-DPOは、エキスパートの軌跡を状態条件付きのアクション選好へと変換することで、LLMエージェントが単なる模倣を超えた最適な意思決定を学習することを可能にする、軽量なオフライン方策最適化手法であり、環境へのロールアウトや報酬モデルを必要とすることなく、オンライン強化学習に匹敵する性能を実現します。

原著者： Yixiong Chen, Alan Yuille

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yixiong Chen, Alan Yuille

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボット執事に散らかった部屋の掃除方を教えていると想像してください。かつてのやり方である**教師あり微調整（SFT）**は、人間に掃除をしているビデオを見せ、「見たままを正確にコピーしなさい」と伝えるようなものです。ロボットは一連の動きの「シーケンス」を学習します：靴下を拾い、それをハンパーに入れ、塵取りを掴む、といった具合です。しかし、ここに落とし穴があります。ロボットは、なぜそれらの動きが選ばれたのかという「理由」を実際には学んでいないのです。もし靴下が実はゴミだったとしても、ロボットは単にビデオをコピーしているだけなので、自分が犯したかもしれない間違いについて考えることなく、依然として靴下を拾い上げてしまうかもしれません。

この論文は、これを解決するための、より軽量な手法であるAgentic-DPOを紹介しています。単にコピーするのではなく、ロボットが自分自身の潜在的な失敗を見つけられるように、学習データを「選択型アドベンチャーゲーム」へと変えるのです。

コアとなる考え方：「ただコピーするのではなく、比較せよ」

著者らは、エキスパートの経路を単に暗記すべき一本のテキストの列として扱うのではなく、あらゆるステップを一つの意思決定ポイントとして見るべきだと提案しています。どの瞬間においても、ロボットはエキスパートの正しい動きを選択することもできれば、「もっともらしい間違い」を選択することもできるのです。

Agentic-DPOは次のように機能します：

セットアップ： エキスパートの履歴における特定の瞬間（「状態」）をロボットに見せます。
テスト： 「今、あなたならどうしますか？」とロボットに問いかけます。
比較： もしロボットがエキスパートとは異なる行動を提案した場合、「エキスパートの動き（正解）」対「ロボットの推測（不正解）」というペアを作成します。
レッスン： ロボットに対し、自分の起こりうる間違いよりも、エキスパートの動きを好むように教えます。

これは大きな転換です。論文では、従来の手法は単にコピーするか（SFT）、あるいは実際に環境の中で何度もゲームをプレイして学習しようとする（強化学習）かのどちらかであり、後者は時間がかかり、コストが高く、複雑なスコアリングシステムを必要とすると述べています。Agentic-DPOは、実際にゲームをプレイしたり、あらゆる動きに対して人間の判定者を雇ったりすることなく、間違いから学ぶメリットを得られることを示唆しています。

「魔法のトリック」：ルールを明確に保つ

ロボットを教える際には、厄介な問題があります。ロボットは、意味の内容ではなく「どのように書かれているか」によって混乱してしまう可能性があるのです。例えば、「ツールを呼び出す（Call the tool）」という指示が、call_tool() と書かれることもあれば、{"tool": "call"} と書かれることもあるでしょう。もしロボットが単にエキスパートのテキスト形式を好むように学習してしまうと、形式が変わったときに失敗してしまいます。

これを解決するために、著者らは巧妙なテクニックである**ポリシー保存型拡張（PPA）**を導入しています。数学の問題を解いている生徒に教えている場面を想像してください。同じ問題を英語で、次にスペイン語で、次にコミック風のスタイルで見せますが、*解法（数学的な内容）*は全く同じままです。PPAはこれをロボットに対して行います。つまり、核心となる決定は同一に保ったまま、エキスパートの行動を多くの異なる「方言」やフォーマットへと書き換えるのです。これにより、ロボットは特定の言葉遣いではなく、選択の「論理」を学ぶよう強制されます。

数字が示すもの

著者らは、ロボットがツール、ユーザー、またはウェブサイトと相互作用する必要がある3つの異なる「遊び場」でこのアイデアをテストしました：

StableToolBench： ツール使用をテストする場所。
τ-bench (tau-bench)： ロボットが顧客とチャットを行う小売シミュレーション。
Mind2Web： ロボットが実際のウェブサイトをナビゲートするタスク。

結果は、Agentic-DPOがさまざまなサイズのロボットにおいて、標準的な「コピー」手法（SFT）を一貫して上回っていることを示しています：

τ-bench の小売タスクにおいて、90億パラメータのモデルは、標準的なコピーによる**21.7%の成功率から、Agentic-DPOによって41.4%**へと跳ね上がりました。
StableToolBenchでは、より小さな20億パラメータのモデルが**57.1%から90.9%**へと向上しました。
Mind2Webでは、ステップの平均成功率は**45.6%から64.4%**へと上昇しました。

興味深いことに、論文では、Agentic-DPOが、ロボットに実際に何千回もゲームをプレイさせて学習させるGRPOと呼ばれるはるかに高価な手法と同等の性能を発揮したと指摘しています。しかも、Agentic-DPOは学習ステップ中に実環境と一度も相互作用することなくこれを実現しました。

この手法が「できないこと」

この手法が解決できると主張していないことも知っておくことが重要です。論文では、この手法がエキスパートが見たことのない「新しい状況」を発見できるという考えを明確に否定しています。なぜなら、これはエキスパートの既存のビデオに存在する「状態」からのみ学習するため、エキスパートが入ったことのない部屋を探索することはできないからです。これはトレードオフであることを示唆しています。つまり、既知の決定ポイントに対しては非常にうまく機能する、より安価で高速な学習手法を得る代わりに、既定のルートを外れて新しい解決策を見つけ出す能力は失われるということです。

まとめ

著者らは、エキスパートのデモンストレーションをあらゆるステップにおける「正解 vs 不正解」の選択へと変え、さらに「フォーマットのシャッフル」というトリック（PPA）を用いることで、ロボットを（単なる内容ではなく）論理に集中させることで、以前よりもずっと安価に、より賢いエージェントを訓練できると示唆しています。それは、ロボットを単なる「オウム返しをする物知り」から、「なぜ自分が間違っている可能性があるのか」を実際に考える学生へとアップグレードするようなものです。しかも、膨大なコンピューティングパワーを投じて果てしないシミュレーションを実行することなく実現できるのです。

技術要約: Agentic-DPO

1. 問題提起

大規模言語モデル（LLM）エージェントは、多くの場合、エキスパートの軌跡を用いた教師あり微調整（SFT）を通じて訓練されます。SFTは単純で低コストですが、マルチターンのエージェント行動を単なるテキストの模倣として扱ってしまいます。このアプローチは、行動クローニング（Behavior Cloning）の限界を継承します。つまり、モデルはエキスパートのトークン列を模倣することを学習しますが、特定の状態において妥当な間違いに直面した際に、正しいアクションを選択する方法を学習することができません。

これに対処するための既存の手法（選好学習や強化学習など）は、高コストな環境へのロールアウト、報酬モデル、または学生モデルによるフル・トラジェトリの探索を必要とすることが多いです。さらに、エージェントのアクションに対して選好学習を素朴に適用することは問題があります。なぜなら、アクション文字列は、潜在的な意思決定（policy decision）と、スキーマ固有のレンダリング（例：JSON形式かReAct形式か）を混在させているからです。制御が行われない場合、モデルは基礎となる意思決定ではなく、レンダリングのスタイルに対して最適化されてしまう可能性があります。

核心となる課題は、オンライン強化学習の計算オーバーヘッドや外部報酬モデルを必要とせずに、エキスパートの軌跡を「状態に条件付けられたアクションの選好（state-conditioned action preferences）」へと変換し、エージェントが自身の起こりうる間違いを回避できるように教えることです。

2. 手法: Agentic-DPO

著者らは、軽量なオフライン・エージェント・ポリシー最適化手法である Agentic-DPO を提案しています。これは、エキスパートのアクションを、同じ状態における現在の学生ポリシーからサンプリングされた「妥当だが誤ったアクション」と対比させることで、エキスパートの軌跡を選好監督へと変換します。

コアメカニズム

状態条件付き選好の構築:
- 軌跡内の各エキスパートステップ $(s_t, u^+_t)$ について、本手法はエキスパートのアクションを「好ましい（preferred）」選択として扱います。
- 同じ状態 $s_t$ において、現在の学生ポリシー ( $\pi_{\theta_{student}}$ ) からワンステップのアクションをサンプリングします。
- 学生がサンプリングしたアクションは、潜在的な意思決定へとパースされます。もしそれがエキスパートのアクションと等価（同じツールおよび引数）であれば、それは破棄されます。もしそれが異なる有効な意思決定である場合、それは「拒絶された（rejected）」サンプル ( $u^-_t$ ) として機能します。
- これにより、モデルがエキスパートのアクションを、学生が犯しやすい特定の間違いよりも好むように学習する、選好トリプル $(s_t, u^+_t, u^-_t)$ が作成されます。
損失関数:
- 本手法は、生成されたアクション・トークンのみに対して最適化される、Direct Preference Optimization (DPO) スタイルの損失を使用します。
- 異なるツールやGUI操作によるアクション長の変動を扱うため、トークン数によって長いアクションが単純に勾配を支配してしまうのを防ぐために、長さスケールされた選好係数 $\beta_{eff}$ が使用されます。

安定化戦略

モデルが表面的なフォーマットではなく意思決定ロジックを最適化するようにし、安定性を確保するために、Agentic-DPOは2つの主要なコンポーネントを導入しています。

SFT アンカー:
- 訓練は、学生が有効なアクション形式を理解することを保証するためのSFTウォームアップから始まります。
- DPO訓練中、SFT段階の凍結された参照ポリシー ( $\pi_{ref}$ ) が使用されます。
- 総損失は、DPOの対照項とSFT項の組み合わせとなります ( $L_{train} = L_{ADPO} + \lambda L_{SFT}$ )。このアンカーは、選好損失がエキスパートのアクションの確率を過度に抑制することを防ぎ、ポリシーを有効な構文の近くに保ちます。
ポリシー保存型拡張 (Policy-Preserving Augmentation, PPA):
- PPAは、同じ潜在的な軌跡を複数のスキーマビュー（例：ツール名の変更、ReActとJSON形式間の切り替え、あるいはリカバリ・コンテキストの注入）の下でレンダリングします。
- 訓練中に、同一の潜在的選好ペアに対して異なるビュー $\phi$ をサンプリングすることで、スキーマ固有の形式に関連する勾配 ( $H_\theta$ ) を平均化し、モデルが潜在的な意思決定の境界（latent decision margin, $G_\theta$ ）を最適化するようにします。

訓練手順

訓練は「リフレッシュ・ラウンド」で行われます。各ラウンドにおいて、現在の学生ポリシーを使用して、エキスパート・データのサブセットに対して新しいネガティブ・アクションをサンプリングします。これにより、ネガティブ・サンプルが学生の向上に合わせて進化することが可能となり、環境との相互作用を必要とせずに、動的な「ハード・ネガティブ」信号を提供できます。

3. 主な貢献

Agentic-DPO: エキスパートのアクションを現在の学生のワンステップ・ネガティブと比較することで、状態条件付きのアクション選好を構築する、軽量なオフライン・ポリシー最適化手法。これにより、オンライン環境へのロールアウトや報酬モデルの必要性を排除します。
Policy-Preserving Augmentation (PPA): 潜在的な軌跡を複数のスキーマの下でレンダリングし、スキーマに支配された選好勾配を減少させ、アクションレベルのDPOを安定させる技術。
実証的検証: Agentic-DPOが、多様なベンチマーク（ツール利用、長期間のユーザー対話、およびWeb-GUIグラウンディング）およびモデルスケールにおいて、標準的なSFTを上回り、オンラインRLと同等の性能を示すことを実証しました。

4. 実験結果

著者らは、Qwen3.5モデル（2B, 4B, 9B）およびGemma3-4Bを用い、3つのベンチマーク（StableToolBench（ツール利用）、 $\tau$ -bench retail（長期間のユーザー介在型インタラクション）、Mind2Web（Web-GUIグラウンディング））でAgentic-DPOを評価しました。

性能向上: Agentic-DPOは、すべてのモデルスケールにおいて、SFTおよび他のベースライン（PPA+SFT, DFT, ETO, GRPO）を一貫して上回りました。
- $\tau$ -bench retail において、Agentic-DPOは9Bモデルの精度を 21.7% (SFT) から 41.4% に引き上げ、オンラインGRPO（40.0%）の性能に匹敵しましたが、オンラインRLのロールアウトは不要でした。
- StableToolBench において、2Bモデルの性能を57.1% (SFT) から 90.9% に向上させ、強力なベースラインを凌駕しました。
- Mind2Web において、保持された分割（held-out splits）で平均ステップ成功率64.4%を達成しました。
効率性: Agentic-DPOはオンラインRLよりも大幅に安価です。 $\tau$ -benchにおいて、Agentic-DPOのステップあたりの実時間はSFTの 1.6倍 ですが、GRPOはマルチターン・ロールアウトのため 13.6倍 かかります。
アブレーション研究:
- SFTウォームアップを削除すると、パーサーの拒絶により性能が0.0%に崩壊しました。
- 訓練中のSFTアンカーを削除すると、分散が高まり精度が低下しました。
- PPAを削除すると、標準的な精度（canonical accuracy）は維持されましたが、標準的なケースと摂動を加えたケース（out-of-distribution）の間の差が大幅に拡大しました。これは、PPAが堅牢性に不可欠であることを示しています。
スケーリング: サンプリングされるネガティブ・サンプルの数 ( $K$ ) が2〜4を超えると収穫逓減が見られ、主な利点はフル・ロールアウト分布を近似することではなく、たった一つの 妥当な局所的な間違いを見つけることにあることが示唆されました。また、非常にデータ効率が高く、エキスパート・データの25%のみでも良好なパフォーマンスを発揮します。

5. 意義と主張

本論文は、その状態・アクション構造を直接利用することで、エキスパートの軌跡が低コストなエージェント・ポリシー最適化をサポートできることを主張しています。エキスパートの軌跡を状態レベルのアクション選好へと変換することにより、Agentic-DPOは、単純な模倣（SFT）と高コストなオンライン強化学習の間の溝を埋めます。

著者らは、Agentic-DPOが「学生を意識した（student-aware）」訓練信号を提供していることを強調しています。つまり、RLの支配的なコスト（繰り返されるフル・トラジェトリの環境ロールアウトや報酬モデルの訓練）を負うことなく、モデルが自身が犯しやすい間違いを回避するように教えているのです。Agentic-DPOは、エキスパート・データに存在する状態に限定されるオフライン手法（新しい状態を探索できるオンラインRLとは異なる）ではありますが、その結果は、様々なインタラクション・パラダイムにおいてエージェントの意思決定を向上させるための、非常に効果的かつ実用的なアプローチであることを示唆しています。