💬 NLP

Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning

本論文は、外部の教師モデルや追加の推論コストを必要とせず、探索的な温度効果をモデルのパラメータ内に内在化させることで、エントロピー崩壊後の大規模言語モデルにおけるエントロピーの回復と推論能力の向上を実現する軽量な手法である、Temperature-Scaled On-Policy Self-Distillation (TS-OPSD) を提案している。

原著者： Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文**「Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning」**の内容を、簡単な言葉と日常的な比喩を用いて説明したものです。

問題点：「自信過剰」な生徒

あなたは、複雑な数学の問題を解くための優秀な生徒（AIモデル）を訓練していると想像してください。あなたは**強化学習（Reinforcement Learning）**という手法を用い、正解には「金メダル」を、間違いには「親指を下に向ける（ダメ出し）」を与えます。

最初は、生徒は素晴らしい状態です。彼らは間違いから学びながら、問題を解くために多くの異なる方法を試します。しかししばらくすると、奇妙なことが起こります。生徒が自信過剰になりすぎるのです。彼らは新しいアプローチを試すことをやめ、自分が完璧だと思っている唯一の解決策だけを繰り返すようになります。

論文では、これを**エントロピー崩壊（Entropy Collapse）**と呼んでいます。

比喩： 生徒の心を図書館だと考えてください。最初は、彼らは多くの通路を探索しています（多くのアイデアを探求しています）。しかし、「訓練」が進むにつれて、彼らは棚を見るのをやめ、自分が答えだと信じているたった一冊の本をじっと見つめるようになります。彼らは探索をやめてしまったのです。
結果： 新しいことを試すのをやめてしまうため、彼らは学習を止めてしまいます。難しい問題にぶつかったとき、彼らは新しい道を見つけ出すことができません。なぜなら、探索する方法を忘れてしまったからです。彼らは天井に突き当たり、それ以上上手くなることができなくなります。

旧来の解決策：「偽の」探索

科学者たちは、この問題を解決するために、生徒に対して「ねえ、もう少しランダムに動いてみて！」と伝える方法を試しました。

方法1： 生徒が自信を持ちすぎないように、採点システムにルールを追加しました。
方法2： 生徒に対し、「答えを選ぶときは、コイン投げをして少しランダムに決めてね」と伝えました。

欠陥： これらは、生徒のメガネに「ランダム・フィルター」を装着するようなものです。生徒は探索しているように「見えます」が、その奥底にある脳（モデルの内部の重み）は、依然として硬直しており、固まったままです。それは一時的なトリックであり、考え方そのものの真の変化ではありません。

新しい解決策：「ポリシー・リヒーティング（政策の再加熱）」 (TS-OPSD)

著者らは、TS-OPSDと呼ばれる新しい手法を提案しています。単に生徒にランダムに行動するように命じるのではなく、生徒の脳を自然にもう一度オープンマインド（開かれた心）にするために、実際に脳の配線をやり直します。

その仕組みは、以下のステップで行われます。

「セルフティーチャー（自己教師）」のトリック：
生徒が硬直した思考パターンに陥っていると想像してください。研究者たちは、生徒自身の思考を見つめ直させますが、その際、「霧がかかったレンズ（高い温度/High Temperature）」を通して見させます。
- 比喩： もし生徒が「答えは絶対に42だ」と考えているなら、霧のかかったレンズを通すと、「まあ、42はおそらく正解だが、41や43も可能性があるかもしれない」という風に見えるようになります。
- 重要なのは、生徒は新しい教師を必要としないことです。彼らは、この霧のかかったレンズを通して自分自身のアイデアを見つめることで、自分自身を教えているのです。
「リヒーティング（再加熱）」のプロセス：
次に、生徒は自分の通常の硬い脳を、この「霧がかかった」オープンマインドなバージョンの自分自身に一致させようと試みます。
- 比喩： これは、硬くなった粘土を再び温めるようなものです。単に粘土に「柔らかくなれ」と言うのではなく、実際に温めて、再び形を変えられるようにするのです。「柔らかさ（探索）」は、一時的なトリックではなく、粘土そのものの中に焼き付けられます。
結果：
生徒の脳が「再加熱」されると、彼らは再び通常の訓練に戻ります。脳が自然に柔軟になったため、外部のルールや乱数生成器に頼ることなく、再び新しい道を探索できるようになります。

なぜこれが優れているのか

論文は、この「リヒーティング」が従来のトリックよりも優れている理由を2つの観点から示しています。

それは永続的である： この柔軟性は、モデルのDNA（パラメータ）の一部となっており、単にオン・オフできる設定ではありません。
忘れることがない： モデルを「再加熱」しても、すでに学んだ数学のスキルを失うことはありません。
- 比喩： 創造性を失ってしまったシェフを想像してください。旧来の方法は、単に彼らに「もっと推測して」と言うだけでした。新しい方法は、玉ねぎの切り方や水の沸かし方を忘れさせることなく、彼らの創造性を優しく温め直します。彼らは依然として優れたシェフであり、かつ、新しいレシピを考案することも再びできるのです。

「エントロピーの跳躍」という驚き

研究者たちは、このリヒーティング中に起こる面白い現象に気づきました。

最初、モデルはわずかに柔軟になります。
その後、突然**「跳躍（ジャンプ）」**が起こります。
比喩： それは、水をせき止めているダムのようなものです。水圧はゆっくりと高まり（モデルが少しずつオープンになり）、そして突然、水が裂け目から一気に流れ出します。モデルは突然、以前は無視していた全く新しい経路を探索し始めます。
良いニュース： 荒唐無稽な間違いを始めるのではなく、彼らは以前は見逃していた「より良い解決策」を見つけ出すのです。

まとめ

この論文は、モデルが「行き詰まり」、自信過剰になってしまったAIを修正する方法を紹介しています。強制的にランダムにさせるのではなく、自己学習のトリックを用いて、柔軟性をモデルの脳に直接焼き付ける方法を研究者たちは提案しています。これにより、AIは通常であれば諦めてしまうような長い時間を経ても、学習と困難な数学問題の解決を続けることができるのです。

重要な教訓： 硬直したAIに単に「ランダムになれ」と言ってはいけません。自律的に学習し続けられるよう、再び「柔軟になれる」ように教えるのです。

技術要約：温度スケール・オンポリシー自己蒸留 (TS-OPSD)

1. 問題提起

検証可能な報酬に基づく強化学習（RLVR）は、特に数学や論理の領域において、大規模言語モデル（LLM）の推論能力を大幅に向上させてきました。しかし、この進展は**エントロピー崩壊（entropy collapse）**として知られる重大なボトルネックに直面しています。方策最適化が進むにつれ、モデルの出力分布はますます集中（鋭利化）し、以下の事態を引き起こします：

ロールアウトの多様性の減少： モデルが反復的な軌跡を生成するようになり、解空間の探索が制限される。
学習シグナルの減退： 有効な勾配情報が、決定的な推論の分岐点における少数の高エントロピー・トークンに集中してしまう。方策が崩壊すると、これらのシグナルは消失し、さらなる改善が停滞する。

既存の救済策は、以下のいずれかによってこれを緩和しようと試みています：

RL目的関数の修正： エントロピー正則化や適応型クリッピングの使用。これらの手法は外部的な制約を課すため、報酬最大化とのトレードオフが生じる可能性がある。
サンプリング温度の調整： ロールアウト収集中の温度上昇。これは振る舞い方策（behavior policy）を変更するが、モデルの基礎となるパラメータ化された分布自体は変更しないため、振る舞い方策と最適化される方策との間にミスマッチを生じさせる。

これらのアプローチは依然としてモデルのパラメータに対して外部的です。本論文は、温度による探索効果は、継続的なRLのためのより優れた初期化を提供するために、モデルの重みの中に直接内部化されるべきであると主張しています。

2. 手法：TS-OPSD

著者らは、外部の教師や特権データ、追加の推論コストを必要としない、軽量な「方策再加熱（policy reheating）」手法である**温度スケール・オンポリシー自己蒸餾（TS-OPSD）**を提案しています。

コアメカニズム

TS-OPSDは、RLステージ間の介入として機能します。エントロピーが崩壊したチェックポイント（ $\theta_{RL-collapse}$ ）から開始し、手法はセルフティーチャー（自己教師）を構築し、滑らかな分布を学生モデル（ $\theta_{reheat}$ ）へと蒸留します。

セルフティーチャーの構築： 学生の現在のロジット $z_\theta$ が与えられたとき、高温度のソフトマックス変換（ $T > 1$ ）をロジットに適用することで、セルフティーチャー分布 $p_T$ が生成される。決定的なのは、ティーチャーのロジットにはストップグラディエントが適用され、外部モデルは使用されないことである。
$p_T(v | x_{<t}) = \frac{\exp(z_{\theta,v}/T)}{\sum_u \exp(z_{\theta,u}/T)}$
オンポリシー蒸留： 学生は、自身からサンプリングされたオンポリシー・ロールアウトを用いて、現在の分布 $q_\theta$ と高温度のセルフティーチャー $p_T$ の間のカルバック・ライブラー（KL）ダイバージェンスを最小化するように訓練される。
$\mathcal{L} = D_{KL}(p_T \parallel q_\theta) \quad \text{(Forward KL)}$
$\mathcal{L} = D_{KL}(q_\theta \parallel p_T) \quad \text{(Reverse KL)}$

構造的特性

ランク保存（Rank Preservation）： $p_T$ は $q_\theta$ の単調な冪乗変換（ $p_T(v) \propto q_\theta(v)^{1/T}$ ）であるため、トークンのランキングは保持される。ティーチャーと学生は同じローカルなサポートと意味的な選好順序を共有しており、分布の鋭さのみが異なる。
内部化： 標準的なデコーディング温度の調整とは異なり、TS-OPSDはモデルの重みを更新して、より滑らかで高エントロピーな振る舞いを恒久的にエンコードする。これにより、訓練と推論のミスマッチを排除する。
勾配ダイナミクス：
- Forward KL (FKL): 勾配は $q_\theta(v) - p_T(v)$ の形式をとる。これは「構造化された平滑化（structured smoothing）」を実行し、モデル自身の事前判断に基づき、抑制されていた代替案の重みを再配分する。
- Reverse KL (RKL): 自己温度結合の下では、RKLの最小化は局所的にエントロピー最大化と等価であり、温度は勾配の大きさにスカラー倍として作用するのみである。

3. 主な貢献

方策再加熱フレームワーク： 温度による探索効果をモデルパラメータに内部化し、エントロピー崩壊後の介入として機能するTS-OPSDを導入した。
理論的洞察： 自己温度結合の下では、ティーチャーと学生のミスマッチが最小化され（ランク保存）、RKLが直接的なエントロピー最大化更新に還元されることを示した。
実証的検証： エントロピーが崩壊したチェックポイントを再加熱することが、標準的な継続学習やロールアウトレベルの温度調整と比較して、継続的なRLのための優れた初期化を提供することを示した。
ダイナミクスの分析： エントロピーの回復が二段階（緩やかな平滑化に続く急激な不連続なジャンプ）で起こる「エントロピー・ジャンプ」現象を特徴付け、これらのパラメータ更新の可逆性を分析した。

4. 実験結果

実験は Qwen3-4B-Base および Qwen3-8B-Base を用い、DAPO-Math-17Kデータセットで実施され、MATH-500、AIME24/25/26、およびOlymMATHで評価された。

パフォーマンスの向上： TS-OPSD（特にPR-FKL）は、標準的なDAPOベースラインおよびロールアウト再加熱（DAPO w/ RR）の両方を一貫して上回った。
- Qwen3-8B-Baseにおいて、PR-FKLは Avg pass@8 で 54.74 を達成し、これは標準的なDAPOの51.60、Rollout Reheatingの52.66と比較して高い数値である。
- 利得は、より困難なベンチマーク（AIME, OlymMATH）で最も顕著であった。
エントロピーの回復： 再加熱後、モデルはより高いエントロピーの初期化状態からRLを再開し、標準的なDAPOが抑制されたままの状態であったのに対し、より高い最終報酬を達成した。
ロールアウト再加熱との比較： ロールアウト中のサンプリング温度を上げる（RR）ことは非自明な利得をもたらしたが、方策再加熱（PR）の方が優れた結果をもたらした。これは、利得が単なるノイジーなサンプリングからではなく、より滑らかな方策分布自体が最適化のためのより良い基盤として機能していることに起因することを示唆している。
能力の保持： 分析により、TS-OPSDが**サポート保存型の確率再配分（support-preserving probability redistribution）**を行うことが示された：
- 中間表現： ベースモデルと再加熱後のモデル間の線形CKAスコアは、層に関わらず1.0に近い値を維持しており、内部表現がほぼ変化していないことを示している。
- 推論能力： MATH-500およびGPQAにおけるタスク精度は、蒸留プロセスを通じて安定しており、エントロピーの回復が推論スキルを低下させなかったことを裏付けている。
- 候補セット： Top-10トークンのオーバーラップおよび確率質量の保持率は1.0に近く、モデルの意味的な選好は保持されたまま、境界（マージン）が軟化されたことを示している。

5. 意義と主張

本論文は、エントロピーの回復がRLの目的関数から切り離すことが可能であり、方策が過度に決定論的になった際のモジュール式のステージ間操作として挿入できることを主張している。

モジュール的介入： TS-OPSDは、コアとなるRLアルゴリズムを変更することなく、推論指向のRLをエントロピー崩壊のボトルネックを超えて拡張するための、シンプルで軽量なメカニズムを提供する。
データが乏しい設定での安定性： データ量を削減した（2048プロンプト）実験において、標準的なRL訓練は深刻なエントロピー崩壊により不安定（勾配のスパイク、報酬の低下）となった。TS-OPSDは安定化メカニズムとして機能し、より長く安定した訓練を可能にした。
計算効率： 再加熱の介入は、総RL訓練時間に約15〜17%を加算する。バッチサイズで正規化した場合、サンプルあたりのコストは標準的なRLステップと同等か、それ以下である。
限界： 著者らは、実験が特定のモデルスケール（4B/8B）に限定されていること、および再加熱の停止基準（エントロピー閾値）が現在は原理的ではなく経験的なものであることを述べている。これらは、OPSDとRLを交互に行うカスケード・スケジュールの探索といった将来の研究を示唆している。

要約すると、TS-OPSDは、温度を自己蒸留を通じて「内部化」することが、崩壊した方策の探索能力を効果的に回復させ、獲得された推論構造を保持しながら、RLがより高いパフォーマンスの天井に到達することを可能にすることを実証している。