🤖 machine learning

RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

本論文は、正解と不正解のヒントを対比させることで学習信号をタスクに不可欠なトークンに集中させ、既存の手法と比較して数学的および論理的推論タスクにおいて優れた性能を達成する、オンポリシー自己蒸留における「特権によるスタイルドリフト」を軽減する新しい強化学習手法であるRLCSDを提案している。

原著者： Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

公開日 2026-06-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、学生に複雑な数学の問題の解き方を教えようとしていると想像してください。そこには「教師」（賢いAIモデル）と「学生」（あなたがトレーニングしているモデル）がいます。

かつて、研究者たちはOn-Policy Self-Distillation (OPSD) と呼ばれる手法を試みました。そのアイデアはシンプルです。まず、学生に問題を解かせます。次に、教師に「カンニングペーパー」（正解）を与え、同じ問題を再び解かせます。そして、学生は教師の思考プロセスを模倣しようとします。

問題点：「スタイルの漂流（Style Drift）」

この手法には、隠れた欠陥があることが判明しました。教師はカンニングペーパー（正解）を見ると、単に数学的に賢くなるだけでなく、その**性格（スタイル）**までも変えてしまうのです。

従来の方法： 正解を知っている教師は、非常に自信満々でぶっきらぼうになります。「うーん、考えてみよう……」や「待てよ、もしかしたら……」といった言葉を止め、「したがって、答えは5である」と即座に結論へと飛びつきます。
間違い： 学生はこの新しい、ぶっきらぼうな性格を模倣しようとします。その結果、学生は「考えること」をやめ、単に答えを叫ぶことを学習してしまいます。彼らは実際の数学の内容ではなく、答えの「スタイル」（短く、直接的で、自信に満ちたもの）に集中してしまうのです。
結果： 学生は混乱します。時には、一生懸命に自信を見せようとしすぎて、巨大で混沌としたエッセイを書き始めたり、逆に、難しい問題を解くために必要な長い思考を放棄して、回答を極端に短くしたりします。

著者らはこれを**「特権によるスタイルの漂流（Privilege-Induced Style Drift）」**と呼んでいます。それは、教師の筆跡を完璧に模倣することに集中するあまり、肝心のレッスン内容を忘れてしまうようなものです。

解決策：RLCSD（「対照的」なアプローチ）

これを修正するために、著者らは RLCSD を考案しました。彼らは、教師の「ぶっきらぼうさ」は、ヒントが正しくても間違っていても発生することに気づきました。教師は単に自信満々に振る舞いたいだけなのです。

そこで、ゲームのルールを変えました：

セットアップ： 教師に同時に2つのカンニングペーパーを与えます。
- 一つは正しい解法（正解）。
- もう一つは間違った解法（同じ形式で書かれた誤答）。
比較： 教師にこう問いかけます。「正しい答えを見た時と、間違った答えを見た時で、あなたの思考はどう変わりますか？」
魔法： 正解に対しても誤答に対しても、教師は「ぶっきらぼう」で「自信満々」に振る舞うため、「ぶっきらぼうさ」は両者を引き算した時に相殺されます。
- 「正解に対する自信」マイナス「誤答に対する自信」＝ 「自信のバイアス」はゼロ。
- 残るのは、実際に数学に関する部分だけです。

これはノイズキャンセリングヘッドホンのようなものです。「スタイル（ノイズ）」は両方の耳で同じなので、それらが打ち消し合います。そこでクリアに聞こえるのは、「タスク（音楽）」です。

実践における仕組み

単に学生に「教師を模倣せよ」と言う代わりに、RLCSDはこう命じます。

「正解に対する教師の反応と、間違いに対する教師の反応の『差』に注目しなさい。」
「教師が単に自信満々に振る舞っている部分ではなく、実際に数学に関心を持っている部分からのみ学びなさい。」

これに「検証器（Verifier）」（最終的な答えが正しいかをチェックする厳格な採点者）を組み合わせます。採点者は学生に「どちらの方向（上か下か）」へ進むべきかを伝え、この新しい「対照的な信号（Contrastive Signal）」が、学生に対して特定のステップを「どの程度強く」推し進めるべきかを伝えます。

結果

論文では、数学や論理パズルを用いて、いくつかのAIモデル（QwenおよびOlmo）でテストを行いました。

従来の手法： モデルは、支離滅裂なテキストを延々と書き続けるか、あるいは早々に諦めて（非常に短く怠惰な回答を書いて）暴走してしまいました。
RLCSD： モデルは冷静さを保ちました。彼らは長くて詳細な推論ステップを書き続け（これは難しい問題において重要です）、テストのスコアを大幅に向上させました。

要約の比喩

料理教室を想像してください。

従来の方法： シェフ（教師）がスープを味見し、レシピを確認して、「完璧だ！」と言います。学生はシェフの声のトーンを真似ようとします。その結果、学生は自信に満ちた話し方を学ぶだけで、スープにどう味付けをするかを学びません。
RLCSD： シェフは「正しい」レシピでスープを味見した後、「間違った」レシピ（塩が多すぎる状態）でスープを味見します。シェフの声のトーンはどちらの場合もわずかに変化しますが、「味の違い」は明白です。学生は、シェフの声ではなく、味の違い（塩分）にのみ集中することを学びます。

「正しいもの」だけをコピーするのではなく、「正しさと間違いの差」に焦点を当てることで、学生は教師の態度に惑わされることなく、実際のスキルを習得できるのです。

技術要約: RLCSD – 対照的オンポリシー自己蒸留を用いた強化学習

1. 問題提起: 特権によるスタイル・ドリフト（Privilege-Induced Style Drift）

本論文は、単一のモデルが教師と生徒の両方の役割を担い、教師には「特権的コンテキスト」（例：検証済みの解）へのアクセスが与えられるパラダイムである**オンポリシー自己蒸留（On-Policy Self-Distillation: OPSD）**における決定的な病理を特定している。

既存のOPSD手法（OPSD, SDPO, SRPO, RLSDなど）は、学生と特権的教師の間の分布間のギャップを最小化することで、トークンレベルの密な監督を提供することを目指しているが、著者らはこの学習信号が根本的に欠陥があることを示している。彼らはこの欠陥を**特権によるスタイル・ドリフト（privilege-induced style drift）**と呼んでいる。

メカニズム: 検証済みの解（特権的コンテキスト）で教師を条件付けることは、タスクに関わるトークン（例：数学演算子）に対する確信度を高める。しかし、同時に、正誤とは無関係な生成挙動の系統的なシフトを誘発する。特権的教師は、より短く断定的な出力を行う傾向があり、探索的なヘッジ（言葉の濁し）を抑制し、フォーマットや談話用トークン（例：「待ってください」「したがって」「\n\n」）へと確率質量を再配分する。
結果: その結果生じる学習信号（ $e_{c,t}$ ）は、答えを決定するタスクに関わるトークンではなく、これらのスタイル用トークンによって支配されてしまう。
観察された病理: この信号の偏りは、学習において2つの明確な失敗モードを引き起こす：
1. エントロピーの爆発と不安定性: OPSDやSDPOなどの手法は、エントロピーの無制限な増大を招き、レスポンス長の爆発や学習の崩壊を引き起こす。
2. 早期の長さの短縮: RLSDのような手法は、レスポンス長の劇的な減少を示し、長期的な推論能力を制限する。

2. 手法: RLCSD

特権的コンテキストによるスタイル・ドリフトに対処するため、著者らは**RLCSD（Reinforcement Learning with Contrastive On-Policy Self-Distillation）**を提案する。核心となる洞察は、同一のプロンプトテンプレートの下で提示された場合、特権的コンテキストによって誘発されるスタイルの変化は、正しいヒントと誤ったヒントの両方で共有されるという点である。正しいヒントと誤ったヒントを対照させることで、共有されたスタイルの成分を相殺し、タスクの正誤に集中した信号を残すことができる。

RLCSDのパイプラインは以下の3つのステージで構成される：

ステージ1: ロールアウト・サンプリングと分割

クエリ $x$ に対して、学生ポリシー $\pi_S$ は $G$ 個のロールアウトをサンプリングする。ルールベースの検証器が、これらを正しいサブセット（ $\mathcal{G}^+$ ）と誤ったサブセット（ $\mathcal{G}^-$ ）に分割する。標準的なGRPOの正規化下でアドバンテージがゼロになるため、結果が一様なグループ（すべて正解またはすべて不正解）は破棄される。

ステージ2: 対照的なトークンレベル信号の構築

単一の特権的ヒントを使用する代わりに、RLCSDは対照的な信号 $e_{ctr,t}$ を構築する：

ポジティブ・ヒント ( $y_c^*$ ): $\mathcal{G}^+$ からサンプリングされる。
ネガティブ・ヒント ( $y_{w,k}^*$ ): $\mathcal{G}^-$ からサンプリングされた $K$ 個のヒント。
対称的なプロンプティング: 両方のヒントは、同一のプロンプトテンプレート（問題 + リファレンス解 + 解答）でラップされる。これにより、教師が両方をグラウンドトゥルースのリファレンスとして扱うことが保証され、誘発されるスタイルの変化が同一になる。
信号: 対照的な信号は、正しいヒントの下での対数確率の差と、 $K$ 個のネガティブ・ヒントの下での平均対数確率の差として計算される：
$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$
洗練化: この手法は、異質なエラータイプに対する信号を安定させるためにネガティブ・ヒントに対する K-marginalization（K-周辺化） を採用し、また、教師が自身の生成に対して過剰に自信を持つのを防ぐために、ターゲットとなるロールアウト自体をヒントのプールから除外している。

ステージ3: 検証器にアンカーされた変調と損失

対照的な信号 $e_{ctr,t}$ は、単独の報酬としてではなく、GRPOから導出されたアウトカムレベルのアドバンテージ（ $A_{ORM}$ ）の**変調（modulation）**として使用される。

変調: $e_{ctr,t}$ はソフト正規化（ $\tanh$ を使用）およびリスケールされ、トークンレベルの変調項 $r_t$ を生成する。
符号保持クランプ: 変調は $A_{ORM}$ に加算されるが、更新の方向が検証器のアウトカム信号と矛盾しないよう、結果はクランプされる。
2パス損失: 最終的な目的関数は、2パスPPOスタイルのクリップ損失を集計する：
1. 対照的な信号が弱い（ノイズである）トークンのための非変調パス。
2. 信号が強いトークンのための変調パス。
  決定的なのは、変調された信号が大部分の非変調トークンによって希釈されるのを防ぐために、これらのパスが各ロールアウト内で独立して正規化されることである。

3. 主な貢献

特権によるスタイル・ドリフトの特性付け: 本論文は、特権的コンディショニングが学習信号をスタイルのトークンへとシフトさせ、学習の不安定化やレスポンス長の早期短縮を引き起こすという、OPSDにおける系統的なバイアスを特定し、定量化した。
RLCSDアルゴリズム: 正しいヒントと誤ったヒントの間の対称的な対照的相殺を通じて、このドリフトを軽減する新しい手法を提案する。これは、クリーンな信号を、検証可能な報酬（RLVR）における検証器にアンカーされたトークンレベルの変調として統合する。
対照的原理の汎用性: 著者らは、対照的な構築がメソッドに依存しないコンポーネントであることを示している。これは、既存のOPSDベースライン（OPSDやRLSDなど）に組み込んで性能と安定性を向上させることができ、この原理がオンポリシー蒸留に広く適用可能であることを示唆している。
クロスモデル蒸留への拡張: 本論文は、この洞察をクロスモデル・オンポリシー蒸留（OPD）に拡張し、スタイルの整合性が生の能力よりも重要となる場合がある、スタイルの面で一致しているが能力は低い教師が、スタイルの異なる強力な教師を上回る理由を説明している。

4. 実験結果

実験は、数学的推論（AMC23, AIME24, AIME25）および論理的推論（Knights & Knaves）において、Qwen3 (1.7B, 4B, 8B) および Olmo-3-7B-Think を用いて行われた。

パフォーマンス: RLCSDは、すべてのベンチマークにおいて、GRPOおよび従来のOPSD手法（OPSD, SDPO, SRPO, RLSD）を一貫して上回った。
- Qwen3-8B において、RLCSDはAMC23で 90.8 (GRPOの90.1に対し)、AIME24で 77.5 のmean@12を達成した。
- 論理的推論 (OOD) において、RLCSDは顕著な利点を示し、Knights & Knaves (4-8 roles) で 81.8 のpass@1に達し、GRPOを大きく引き離した。
学習の安定性: エントロピーの爆発やレスポンス長の短縮を示した競合するOPSD手法とは異なり、RLCSDは学習を通じて安定したエントロピーとレスポンス長を維持し、GRPOと同等の挙動を示した。
アブレーション研究:
- 対照的なメカニズムを除去した場合（片側ヒントのみを使用）、パフォーマンスが3.0〜5.4ポイント低下し、対照の必要性が確認された。
- K-marginalization またはヒントプールへの自己ロールアウトの混入を除去すると性能が低下し、設計の洗練が検証された。
- 2パス損失集計を除去した場合（単一のグローバル平均を使用）、パフォーマンスが大幅に低下し、変調されたトークンを分離する必要性が証明された。

5. 意義と主張

本論文は、RLCSDがオンポリシー自己蒸留を悩ませている不安定さに対する堅牢な解決策を提供すると主張している。タスクに関わる信号を、特権的コンディショニングに固有のスタイルのノイズから分離することで、RLCSDは、別の教師モデルを維持するメモリオーバーヘッドなしに、推論モデルの安定した高性能な学習を可能にする。

著者らは、対照的原理がオンポリシー蒸留のための一般的な洞察であると控えめに主張している。それは、特定のRLCSDアルゴリズムを改善するだけでなく、スタイルの整合性が生の能力よりも重要となるクロスモデル蒸留の設定において、教師を選択するための診断ツールとしても機能する。この研究は、将来の蒸留手法が、特権的コンテキストによって誘発される寄生的（parasitic）なスタイルの変化を考慮し、軽減しなければならないことを示唆している。