🤖 AI

Instruction-Conditioned Exploration with Asymmetric Reinforcement Learning and Self-Distillation

本論文は、LLMの探索を強化し、多様な振る舞いをテスト時のポリシーへと転移させるために、指示条件付き探索（Instruction-Conditioned Exploration: ICE）を非対称強化学習および自己蒸留の目的関数と組み合わせた手法を提案しており、数学的推論タスクにおいて大幅な性能向上を実現している。

原著者： Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

公開日 2026-08-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに難しいパズルを解かせようとしていると考えてみてください。あなたには「強化学習（Reinforcement Learning: RL）」という強力なツールがあります。これはビデオゲームのコーチのようなものです。ロボットは動きを試し、「よくできました！」や「もう一度やってみて」という信号を受け取り、少しずつ勝ち方を学んでいきます。しかし、ここに落とし穴があります。大規模言語モデル（LLM）——文章を書いたり数学の問題を解いたりするAIの脳——の世界では、「動き」は「ジャンプ」や「撃つ」といった単純なボタンではありません。それは「言葉」なのです。そして、何万もの単語から選ぶ必要があります。

ただロボットに「ランダムに試して」と指示して学習させようとすると、大抵は支離滅裂な内容になってしまいます。文章の中の単語をランダムに入れ替えることは、部品を適当に投げつけて車のエンジンを直そうとするようなもので、成功することはめったにありません。そのため、ロボットは自分がすでに知っている限られたやり方に固執してしまい、より巧妙で新しい解決策を見逃してしまう傾向があります。科学者たちの大きな疑問はこうです。「どうすれば、AIの脳がデタラメなことを言い出すことなく、新しく多様な思考方法を探索できるようにできるのか？」この論文は、まさにその問題に取り組んでいます。彼らは、学習中にロボットに異なる「戦略」を試させるように強制し、その後、ヒントがなくなった時でもその戦略を使えるように教える、巧妙な方法を提案しています。

「秘密の指示」戦略

サウサンプトン大学のジム・ディルクス氏率いる研究チームは、**「指示条件付き探索（Instruction-Conditioned Exploration: ICE）」**と呼ぶ手法を考案しました。このように考えてみてください。チェスのプレイヤーを訓練しているとします。単に「ゲームをプレイして」と言うのではなく、練習するすべてのゲームに対して、異なる「秘密の指示」を与えるのです。ある紙には「今日はキングサイドへの攻撃だけに集中せよ」、別の紙には「ポーンを死守せよ」と書かれています。

論文の手法では、数学の問題にいくつかの異なる「行動指示」を付加します。これらは答えではありません。単なる「この問題の対称性に注目せよ」や「問題を小さな部分に分解してみよう」といった、ちょっとしたヒントです。AIにこれらの異なる「帽子」を被せて回答を生成させることで、モデルは自力で行うよりもはるかに幅広い種類の解決策を探索することになります。これは、学生に同じ数学の問題を5通りの方法で解かせて、どれが一番定着するかを確認させるようなものです。

先生と生徒

ここからが魔法の始まりです。AIモデルは、実際には「先生（Teacher）」と「生徒（Student）」という2つの役割を同時に演じています。

先生（The Teacher）: このバージョンのAIは「秘密の指示（instructions）」を受け取ります。これらのヒントを使って問題を解こうとします。非常に優れた回答に到達したとき、報酬が得られます。
生徒（The Student）: このバージョンのAIが、私たちが後で実際に使いたい「本物」のモデルです。このモデルは指示を一切見ません。生の数学問題だけを見ます。

チームは、Asymmetric-RL/SDと呼ばれる特別なトレーニング技術を使用しています。これは、熟練のシェフ（先生）が秘密のスパイスを使いながら美味しい料理を作るようなものです。生徒（生徒）は、シェフが料理を作る様子を観察し、完成した料理を味わい、秘密のスパイスを使わなくても、基本の材料だけでその美味しさを再現できるほど上手く料理する方法を学ぼうとします。

研究者たちは、先生がヒントを使って探索し、その知識を生徒に「蒸留（distilling）」（転移）させることで、生徒が自力で問題を解く能力が大幅に向上することを発見しました。

研究結果

チームは、この手法をQwen3-1.7B（ノートパソコンやスマートフォンでも動作する「小型」モデル）が数学の問題を解くテストに使用しました。彼らは、この新しい手法をDAPOと呼ばれる標準的な学習技術と比較しました。

結果: 「秘密の指示」を用いた手法（ICE）と「先生から生徒への」転移（Asymmetric-RL/SD）を用いて訓練されたモデルは、標準的な手法と比較して、数学の問題を初回で正しく解く確率が5.0%向上しました。
証明: これは偶然ではありません。彼らは異なるランダムシード（サイコロを振るようなもの）を用いて実験を5回行いましたが、彼らの手法は5回すべてにおいて勝利しました。この向上は一貫しており、研究者たちはこれが単なる運ではなく、実在する効果であると強く確信しています。
長期的な視点: 彼らは長い回答（8Kコンテキスト長）についてもテストを行いました。そこでもモデルは改善しましたが、向上幅は少し小さくなりました。

しかし、限界もあります。より大きなモデル（4Bパラメータ）で試したところ、この手法は標準的なトレーニングと比較して結果を改善させることができませんでした。これは、この「指示」によるトリックが、問題解決の境界線上にいる、ちょうど力を伸ばそうとしている段階の小型モデルに対して最も効果的であることを示唆しています。

なぜこれが重要なのか

最も素晴らしい点は、トレーニングが終われば、もう指示は必要なくなるということです。「生徒」モデルは、追加の指示なしで、自力で数学の問題を解く準備ができています。これは、膨大なヒントのリストを持ち歩くことなく、スマートフォンやノートパソコン上で、より賢く、より有能なAIを利用できることを意味します。これは、AIが一生を通じてより優れた問題解決者になれるよう、学習期間中に、より創造的で徹底的に考えられるように教える方法なのです。

研究者たちは、大きなモデルではうまくいかなかったことから、これがどこまで通用するかについてはまだ探っている最中であると認めています。しかし、私たちのデバイスを動かしている日常的な小型AIモデルにとって、この「指示条件付き探索」は、既成概念にとらわれずに考える（outside the box）ための、有望な新しい道筋となっています。

技術要約：非対称強化学習と自己蒸留を用いた指示条件付き探索

1. 問題提起

強化学習（RL）によるポストトレーニングは、検証可能な結果を伴うタスクにおいて、大規模言語モデル（LLM）を強化するための標準的な手法となっている。しかし、著者らは、古典的なRLの探索手法（ $\epsilon$ -greedyやノイズ注入などの確率的なアクション選択に依存するもの）は、LLMには適していないと主張している。LLMにおいて「アクション」とは、膨大な語彙から生成されるトークンであり、それらは一貫したシーケンスを形成しなければならない。ランダムなトークンレベルの摂動は、斬新で実行可能な軌跡を生むのではなく、通常は意味をなさないテキストを生じさせてしまう。

さらに、近年の研究によれば、RLによるポストトレーニングはモデルの出力分布を「鋭利化（sharpen）」させる傾向があり、既知の正解の確率を高める一方で、多様な振る舞いのカバレッジ（サポート）を減少させる（サポート収縮）。これは、モデルが新しい推論戦略を発見する能力を制限する。既存の探索手法は、トークンレベルで動作するか（セマンティックな多様性に対処できない）、あるいはコンテキストによる媒介に依存しているが、訓練時の振る舞いをテスト時のポリシーへと明示的に転送するメカニズムを欠いている。核心となる課題は、推論時における無条件ポリシーの性能を損なうことなく、訓練中に多様な探索をどのように誘発するかである。

2. 手法

本論文では、訓練時の多様性のための**指示条件付き探索（Instruction-Conditioned Exploration: ICE）と、振る舞い転送のための非対称RL/SD（Asymmetric-RL/SD）**という2部構成のフレームワークを提案している。

2.1 指示条件付き探索 (ICE)

ICEは、「サポート組成（support composition）」のためのテンプレートベースのアプローチである。ランダムなトークン摂動に頼る代わりに、ICEはタスクプロンプト $x$ に対して、固定された集合 $\mathcal{I} = \{I_1, \dots, I_N\}$ からサンプリングされた振る舞い指示 $I$ を補完する。

教師ポリシー (Teacher Policy): 訓練中、モデル（教師として機能）は $x + I$ に条件付けられたロールアウトを生成する。これらの指示は、高レベルなガイダンス（例：「問いかけよ：この問題にはどのような対称性があるか？」）を提供し、モデルを異なる問題解決戦略へと押し進める。
複合ポリシー (Composite Policy): 訓練ポリシーは混合物となる： $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$ 。これにより、単一のタスクプロンプトに対する生成テキストの分布のサポートが拡大される。
トレードオフ: これにより戦略のカバレッジは増加するが、精度を低下させるような、役に立たない指示が導入されるリスクがある。

2.2 非対称RL/SD (Asymmetric-RL/SD)

指示条件付きの教師が学習した振る舞いを、無条件のテスト時ポリシーへと転送するために、著者らは強化学習と知識蒸留を組み合わせた自己蒸留目的関数である非対称RL/SDを導入する。

教師 ( $\pi^T_\theta$ ): 指示条件付きポリシー。
生徒 ( $\pi^S_\theta$ ): テスト時に使用される無条件ポリシーであり、教師とパラメータ $\theta$ を共有する。
目的関数: 訓練目的関数 $J(\theta)$ $J (θ)$ は以下を組み合わせる：
1. RL項: 教師ポリシーに対する報酬最大化項（GRPOのDAPOバリアントを使用）。
2. 蒸留項: 教師の「正しい」ロールアウトへと生徒のポリシーを牽引する前方KLダイバージェンス項 ( $J^{KL}_S$ )。
非対称性: 両方のポリシーに対して報酬のバランスを取ることが多い標準的な自己蒸留とは異 달리、非対称RL/SDでは生徒の報酬ウェイトを $\alpha=1$ （教師のみの報酬最大化）に設定し、教師のロールアウトを正しい答えを持つもの（ $R=1$ ）のみに絞り込んでKL項を適用する。これにより、生徒は、教師が誤った経路を探索したことによってペナルティを受けることなく、教師によって発見された有用かつ検証済みの振る舞いを複製することを学習できる。

3. 主な貢献

指示条件付き探索 (ICE): 高レベルな振る舞い指示に生成を条件付けることで、RLポストトレーニング中の多様なロールアウトを誘発し、訓練中のポリシーのサポートを拡大する新しい手法。
非対称RL/SD目的関数: 指示条件付きの教師によるRLと、無条件の生徒への前方KL自己蒸留を組み合わせた新しい訓練目的関数。これにより、指示条件付き探索の恩恵をテスト時のポリシーへ明示的に転送する。
実証的検証: さまざまなモデルスケール（1.7B, 4B）およびコンテキスト長（4K, 8K）にわたるマルチシード研究を通じて、数学的推論タスクにおける本手法の有効性を実証した。

4. 結果

実験は、数学的推論ベンチマーク（AIME, HMMT, MATH-500）を用いてQwen3モデルに対して行われた。

1.7B / 4K 設定:
- ICEを用いたAsymmetric-RL/SDは、DAPOベースラインに対してpass@1を5.0%向上させた。
- この構成は、95%のブートストラップ信頼区間においてゼロを除外する形で、5/5のベンチマーク勝利を達成した。
- 指示なしのRL単独（蒸留項なし）と比較した改善は小さく、確信度も低かった。これは、明示的な蒸留信号が転送において極めて重要であることを示唆している。
- 多様な指示を含めても、訓練の収束が遅れることはなかった。
1.7B / 8K 設定:
- 3.5%（3/5の勝利）という、より小さいが持続的な改善が見られた。これは、本手法が長いコンテキストにも汎用できることを示しているが、得られる利得は弱まっている。
4B / 4K 設定:
- 本手法はDAPOに対して改善が見られなかった（-3.3%の変化）。著者らは、4Bのベースモデルはすでに十分な能力を備えている可能性があり、1.7Bモデルと比較して、探索的戦略が価値を提供できる「余地（ヘッドルーム）」が少ないことを指摘している。
カバレッジ vs 精度:
- 通常のRLポストトレーニングはpass@1を増加させる一方で、高い $k$ におけるpass@k（カバレッジ）を減少させる傾向があるが、Asymmetric-RL/SDはDAPOよりもpass@1を向上させつつ、同等のカバレッジを維持した。
- 推論時に振る舞い指示を用いてサンプリングを行うと（ベースモデルであっても）、高いカバレッジが回復した。これは、指示自体がRLプロセスとは独立して正しい解を表面化させていることを示唆している。

5. 意義と主張

本論文は、指示条件付き探索を明示的な自己蒸留転送メカニズムと組み合わせることで、小さな言語モデル（特に1.7Bスケール）の保持された推論能力を、DAPOのような標準的なRLベースラインを超えて向上させることができると主張している。

著者らが強調する主な含意は以下の通りである：

コスト効率: 本手法は推論コストを追加しない。テスト時のポリシーは無条件かつ標準的である。利得はすべて、修正された訓練プロセスを通じて達成される。
小型モデルの有用性: 消費者向けデバイス（スマートフォン、ノートPCなど）での展開において、小型モデルの性能向上は極めて重要である。
作用メカニズム: 結果は、パラメータ共有だけでは教師の振る舞いを転送するには不十分であり、教師の発見した戦略を取り込むためには、明示的な前方KL蒸留信号が必要であることを示唆している。

著者らは、得られた利得がテストされた条件下での4Bモデルには転送されなかったことや、研究がバイナリ報酬を用いた数学的推論に限定されていることを挙げ、範囲について慎重な姿勢を保っている。彼らは、本研究を、これらの利得がモデルのスケールやコンテキスト全体でどこまで成立するかを特徴づけるためのステップとして位置づけている。