🤖 machine learning

Latent On-Policy Self-Distillation

本論文は、ツール利用やコード生成といった自己進化型タスクにおいて、エージェントが優れた性能とデータ効率を達成することを可能にするため、手作業で作成された特権的アーティファクトを、検索された経験から導出される学習可能な潜在トークンに置き換える新しいフレームワークである、Latent On-Policy Self-Distillation (LOPD) を導入する。

原著者： Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guibin Zhang, Jiayang Lyu, Ran Sun, Xinlei Yu, Haoyu Zhao, Qibing Ren, Shuicheng Yan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

=== 要約 ===
あなたがロボットに複雑なビデオゲームの遊び方を教えているところを想像してみてください。昔は、各レベルに対して完璧な「ガイド」を手動で書き込み、「どのボタンを押すべきか」を正確に指示しなければなりませんでした。しかし、もしロボットが自分自身でゲームをプレイし、自分のリプレイを見て、何がうまくいったのかを自ら解明できるとしたらどうでしょうか？これが「オンポリシー自己蒸留（On-Policy Self-Distillation）」と呼ばれる分野の核心です。これは、ロボットが自分自身の教師として振る舞うようなものです。ロボットは一回戦（「生徒」）をプレイし、次に、より賢いバージョンの自分自身（「教師」）がそのリプレイを見て、「おい、ここでためらったね。代わりにこうしてみて」と教えてくれるのです。この魔法は、教師が単に最後に勝ったか負けたかだけでなく、生徒が行った「あらゆる動き」に対して非常に詳細なフィードバックを与えることで起こります。

しかし、そこには落とし穴があります。優れた教師になるためには、ロボットには「特権的な」ガイド、つまり、まだ生徒が持っていない完璧な解決策や秘密の戦略のようなものが必要です。通常、人間はこれらのガイドを手作業で作る必要があり、それらをプレーンテキストや特定のルールとして書き出します。しかし、もしロボットが、過去の冒険から最も有用な部分を自動的に引き出し、教師だけが理解できる「秘密の言語」へと変えることで、自分自身のガイドを自動的に作成することを学べるとしたらどうでしょうか？それが、この論文が取り組んでいる大きな問いです。私たちは、人間がルールを書くのをやめて、AIが自らの経験を完璧で目に見えないガイドへと要約する方法を学べるようにできるのでしょうか？

本論文：潜在的オンポリシー自己蒸留 (Latent On-Policy Self-Distillation: LOPD)

本論文では、潜在的オンポリシー自己蒸留 (Latop-On-Policy Self-Distillation: LOPD) と呼ばれる新しい手法を紹介します。デザイナーがロボットの教師が読むための特定の「ガイド」（テキストによる回答や特定のスキルの説明など）を書く代わりに、LOPDはロボットに自分自身のガイドを学習させる方法を教えます。

その仕組みを、遊び心のある比喩を使って説明します：

迷路を解こうとしている生徒ロボットを想像してください。ロボットは壁にぶつかり、方向転換し、最終的に出口を見つけます。

従来の方法: 人間が迷路を見て、「赤いドアのところで左に曲がれ」というメモを書きます。教師ロボットはそのメモを読み、「君は左に曲がるべきだったんだ」と生徒に伝えます。しかし、このメモは硬直的です。もし迷路が少し変わってしまったら、そのメモは役に立たなくなるかもしれません。
LOPDの方法: ロボットは書かれたメモを使用しません。代わりに、ロボットには「メモリー・コンポーザー（記憶の構成器）」があります。このコンポーサーは、似たような迷路を通ってきたロボットの過去の成功例を観察します。そして、最も重要な瞬間を掴み取り、それらを小さく目に見えない「秘密のコード」（潜在トークンと呼ばれます）へと圧縮します。このコードは、圧縮されたハイテクな「ささやき」のようなもので、教師ロボットにしか聞こえません。

教師ロボットは、生徒ロボットがプレイしているのを見守りながら、この秘密のささやきを聞き取ります。教師はこの秘密のコードを持っているため、生徒が各ステップで何をすべきだったのかを正確に把握できます。そして生徒に対し、「ただ推測するのではなく、ここには君が取るべき密で詳細な経路があるんだ」と教えるのです。

最も素晴らしい点は？ロボットはゲームの遊び方を学ぶと同時に、この秘密のコードの書き方も学ぶということです。ロボットは、過去の冒験のうち、どの部分が本当に有用で、どれが単なるノイズであるかを見極めていきます。それは、人間が書いた教科書を無理やり読まされるのではなく、自分自身で発明した言語を使って、自分自身のノートを取る方法を学ぶようなものです。

研究結果

研究者たちは、これら2つの非常に異なるタイプのタスクでテストを行いました：

エージェンティック・ツール利用 (Agentic Tool Use): ロボットに一連のツール（計算機、検索エンジン、データベースなど）を与え、フライトの予約やスケジュールの管理といった多段階の問題を解決させます。
コード生成 (Code Generation): ロボットに動作するコンピュータプログラムを書かせます。

彼らは、人間が「ガイド」（完璧なテキスト回答や特定のスキル要約など）を手作業で作る他の手法と、LOPDを比較しました。

結果:

優れたパフォーマンス: LOPPは他の手法を一貫して上回りました。ツール利用のテストでは、スコアが大幅に向上しました。例えば、EnvScalerと呼ばれるテストでは、小さなモデルでスコアを61.8から63.7へ、大きなモデルでは60.2から66.4へと引き上げました。コーディングテストにおいても、人間が設計した最高のメソッドを打ち破り、トップに立ちました。
超効率的: ロボットはより速く学習しました。論文によれば、LOPDは、GRPOやSkill-SDといった他のトップ手法が必要とする「ロールアウト予算（練習ゲームの回数）」の30%未満で、これらの結果を達成しました。これは、友達が10時間勉強している間に、わずか3時間の勉強で数学のテストでA+を取るようなものです。
「秘訣」は学習可能である: 論文は、秘密のコード（潜在的なコンテキスト）は必ず学習されるべきものであることを証明しました。コードの固定された（変更不可能な）バージョンを使用した場合、ロボットの学習はうまくいきませんでした。しかし、ロボット自身にコードを調整させたところ、完璧に機能しました。

否定されたこと

本論文は、ロボットをより賢くするために、より複雑で人間が書いた「ガイド」（特定の推論プロセス、完璧な回答、あるいは硬直したスキルの記述など）を次々と発明し続ける必要があるという考えに対し、明確に反論しています。彼らは、これらの手作業で作られたメモはあまりにも硬直しているため、しばしば失敗することを示しました。ある状況で役立つメモが、別の状況ではロボットを混乱させてしまうこともあるのです。LOPDは、進むべき道は、ロボットに「何を記憶し、どのように圧縮するか」を強制することではなく、それを自ら発見させることにあると示唆しています。

信頼性はどの程度か？

著者たちは、3つの異なるロボットモデル（Qwen3-4B, Qwen3-8B, Olmo3-7B）と7つのベンチマークにわたってテストを行ったため、これらの発見に非常に自信を持っています。結果は単なる偶然ではなく、一貫して維持されました。また、秘密のコードの「学習」の部分こそが成功の真の理由であり、単なる計算能力の増加ではないことを証明するために、特定の実験も行いました。彼らはAIの進化の全容を解明したと主張しているわけではありませんが、データは、AIに独自の「特権的なコンテキスト」を学習させることが、自己改善を継続できるエージェントを実現するための大きな一歩であることを強く示唆しています。

技術要約: Latent On-Policy Self-Distillation (LOPD)

1. 問題提起

本論文は、AIエージェントが経験から学習し、それを自身のポリシーへと内面化させることで自己進化を実現するという課題に取り組んでいる。On-Policy Self-Distillation (OPSD) は、「特権的（privileged）」なセルフティーチャーを用いて、学生（student）の自身の軌跡に対して密な教師信号を与えるという有望な経路を提示しているが、既存の手法には根本的な限界がある。それは、設計者が指定した特権的アーティファクト（例：固定された回答、推論プロセス、スキル、または検索された軌跡）に強く依存している点である。

これらの手作業で作成されたコンテキストは、システムを設計者が選択した特定の情報形式に制約してしまう。これでは、ティーチャー（teacher）が、現在の学生の軌跡を監督するために、過去の経験の「どの側面」が実際に有用であるかを学習したり、その経験の表現を特定のタスクや学習状態に適応させたりすることを妨げてしまう。本論文は、自己進化するAIがスケールするためには、経験の有用な内容も、その表現方法も、人間のヒューリスティックによって固定されるべきではないと主張している。

研究課題： 特権的コンテキスト自体を経験からエンドツーエンドで学習可能にすることで、セルフティーチャーが「どの経験的知識を保持すべきか」、そして「それを密なオンポリシー監督のためにどのようにエンコードすべきか」を決定できるようにできるか？

2. 手法: Latent On-Policy Self-Distillation (LOPD)

LOPDは、特権的コンテキストを事前に定義されたテキスト形式のアーティファクトとしてではなく、**学習可能な潜在的基質（learnable latent substrate）**として再定義する。このフレームワークは、以下のコンポーネントを通じて機能する。

A. 学習可能な潜在的特権コンテキスト

LOPDは、ティーチャーに固定されたテキストアーティファクトを入力する代わりに、検索された経験から連続的かつ微分可能なコンテキストを構築する。

経験の検索（Experience Retrieval）： オフラインの経験バンクに、成功したロールアウト（タスク記述 + コンパクトな行動・結果のトレース）を保存する。現在のタスクに対し、高密度リトリーバーが関連する上位 $J$ 個の軌跡をフェッチする。
潜在的コンポーザー（Latent Composer）： 学習可能なモジュール（ $\Phi_\phi$ $Φ_{ϕ}$ ）が、これらの検索された軌跡をコンパクトな連続的潜在トークンの集合へと変換する。
- エンコーダー（Encoder）： 学習可能なLoRAパラメータによって拡張された凍結されたバックボーンが、タスクと経験のペアを隠れ状態へとエンコードする。
- コンプレッサー（Compressor）： 学習されたクエリを持つQFormerスタイルのモジュールが、可変長のこれらの状態を、経験あたりの固定数（ $K$ ）の連続的潜在トークンへと圧縮する。
- コンテキスト形成（Context Formation）： これらのトークンを結合して特権的コンテキスト $c_\phi$ を形成し、これを特殊トークンとしてティーチャーの入力ウィンドウに注入する。

B. オンポリシー自己蒸留プロセス

学習ループは標準的なOPSDに従うが、学習可能なコンテキストを用いる点が異なる。

学生のロールアウト（Student Rollout）： 学生ポリシー（ $\pi_S$ ）は、タスクとインタラクション履歴のみに基づいて軌跡を生成する（特権的コンテキストは使用しない）。
ティーチャーによる評価（Teacher Evaluation）： 同一のバックボーンから初期化された凍結されたティーチャーモデル（ $\pi_T$ ）が、学生の軌跡の訪問済みプレフィックスを再評価する。極めて重要な点として、ティーチャーは検索された経験から導出された学習された潜在的コンテキストによって条件付けられる。
蒸留目的関数（Distillation Objective）： 学生は、上位 $M$ 個のロジットとテールバケットに対する逆KLダイバージェンスを用いて、ティーチャーのトークンレベルの分布に一致するように最適化される。これにより、学生はティーチャーの豊かなコンテキストによって支持される行動に集中することが促進される。

C. 特権マージン制約（Privileged-Margin Constraint）

ティーチャーが単に学生を模倣してしまう（これにより潜在的コンテキストが情報を持たなくなる）という「崩壊（collapse）」を防ぐため、LOPDは特権マージン目的関数を導入する。

結果の整合性（Outcome Alignment）： システムは、ティーチャのトークンレベルのアドバンテージを、軌跡の検証済み結果に紐付ける。
制約（Constraint）： デュアル変数 $\beta$ がマージン $m$ を強制し、成功した軌跡において、ティーチャーの学生に対するログ確率のアドバンテージが閾値を超えなければならないとする。
効果： これにより、学習されたコンテキストが情報性を維持し、検証可能なアドバンテージを提供することを保証し、コンポーザーを「些細な解決策」ではなく「成功した行動を支持する証拠」へと導く。

D. 推論（Inference）

訓練後、学生ポリシーのみが保持される。経験バンク、リトリーバー、コンポーザー、および潜在的コンテキストは破棄される。学生はガイドを内面化しており、デプロイメント時には外部データベースや特権的入力は不要となる。

3. 主な貢献

コンテキストの再定式化： 本論文は、特権的コンテキストのパラダイムを、事前定義され設計されたテキスト形式のアーティファクトから、エンドツーエンドで学習可能な潜在的基質へとシフトさせた。これにより、ティーチャーが生の軌跡からタスクに関連する監督信号を自動的に抽出することが可能になった。
提案手法（LOPD）： 特権的コンテキスト（コンポーザー経由）と学生ポリシーを共同で最適化するフレームワークを提案した。また、学習されたコンテキストが情報性を維持し、ティーチャーが学生へと崩壊することを防ぐための特権マージン制約を含んでいる。
実験的検証： LOPDは、既存の手法と比較して優れた性能と効率性を実証した。

4. 実験結果

著者らは、3つのモデルバックボーン（Qwen3-4B, Qwen3-8B, Olmo3-7B）と、エージェント的ツール利用（EnvScaler, BFCL-v3, ACEBench）およびコード生成（LiveCodeBench, EvalPlus）をカバーする7つのベンチマークを用いて、LOPDを評価した。

パフォーマンス： LOPDは、すべての10組のバックボーン・ベンチマーク比較において最高の集計結果を達成した。
- EnvScaler（Qwen3-8B使用）において、LOPDは66.4に達し、最強のベースラインであるSkill-SD（60.2）を上回った。
- ACEBenchにおいて、LOPDは62.7に達し、OPSD（52.7）やSDPO（52.0）を大幅に上回った。
- コード生成において、LOPDはLiveCodeBenchおよびEvalPlusにおけるpass@1スコアを向上させ、GRPOやSkill-SDといったベースラインを一貫して上回った。
サンプル効率： LOPDは、GRPOやSkill-SDの30%未満のロールアウト予算で、それらを凌駕する性能を発揮し、早い段階で強力なパフォーマンスに到達した（例：320回の生成後に平均報酬0.61を超えるなど）。
アブレーション研究：
- 共同最適化（Joint Optimization）： コンテキストを共同学習することは必要である。凍結されたコンポーザーを使用したり、マージン制約を削除したりすると性能が低下したことから、利得は単なるパラメータの追加ではなく、表現の学習に由来することが確認された。
- 学習可能 vs 固定（Learnable vs Fixed）： 固定コンテキストの手法（SDPOやOPSDなど）は、時としてバニラモデルよりも性能を低下させたが、LOPDは一貫してバニラ・ベースラインを上回った。これは、学習可能な表現が多様なタスクや学習状態により良く適応することを示している。
- 行動の内面化（Behavioral Internalization）： 分析により、LOPDの学生は、潜在的コンテキストへのアクセスがない状態でも、よりシーケンシャルなプランニング行動（ステップあたりのツール呼び出しが少なく、第一歩目のレスポンスが短い等）を採用していることが示された。これは、ガイダンスが内面化されたことを証明している。

5. 意義と主張

本論文は、LOPDがエージェント進化のための、よりスケーラブルで自己主導的なパラダイムへの一歩を象徴していると主張している。

設計原則： コアとなる主張は、経験の表現は、それらが改善すべきポリシーのためにエンドツーエンドで最適化されるべきであり、人間が作成した一連の精緻な経験形式に依存すべきではない、ということである。
スケーラビリティ： 「特権的コンテキスト」を学習可能にすることで、新しいドメインやタスクタイプごとにアーティファクトを手作業で作成するというボトルネックを回避できる。
内面化： この手法は、生の軌跡を学習可能な監督基質へと変換することに成功しており、エージェントが「何を」保存すべきか、そして「どのように」エンコードすべきかを自ら発見することを可能にし、経験学習を真にエンドツーエンドのものにしている。

著者らは、検索だけでは不十分であり、制約のない最適化は崩壊を招く可能性がある一方で、潜在的コンポジションと特権マージン制約の組み合わせが、コンテキストを取り除いた後も持続する生産的な監督を可能にすると強調している。