💬 NLP

ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains

本論文は、自己リフレクターを用いてエラーを特定し、エラー固有の蒸留を誘導することで、既存の方策内自己蒸留法の過学習と汎化性能の欠如という限界を克服し、ドメイン横断的な言語モデルの推論能力を向上させる「反射的方策内自己蒸留（ROSD）」というフレームワークを導入する。

原著者： Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが複雑な数学の問題を解く方法を学生に教える場面を想像してください。あなたは、自ら練習することで学習しようとする賢い教師（AI モデル）を持っています。

問題：「模倣者」教師

過去、この学生が間違いを犯したとき、彼らを教える標準的な方法は、教科書から完璧な最終解答を示し、「これを見なさい！あなたの解答全体を、これと全く同じように書く必要がある」と言うものでした。

この論文はこの方法を**オンポリシー自己蒸留（OPSD）**と呼んでいます。問題点は、学生が「模倣者」のように振る舞い始めることです。

修正ではなくスタイルを暗記する： 彼らがなぜ間違いを犯したのかを理解する代わりに、教師の具体的な言葉や書式をそのままコピーします。
既に正しい部分を壊す： 学生が解答の前半は正しく、後半で間違えた場合、教師は教科書に合わせるために全体を書き直すよう学生に強制します。これにより、学生が既に理解していた良い部分が偶然上書きされ、彼ら自身の有効な推論を忘れることになります。

これは特定の練習問題ではそれなりに機能しますが、学生が新しい種類の問題（異なる分野）に直面したとき、彼らは解答の「見た目」を暗記しただけで、論理を理解していないため失敗します。

解決策：ROSD（「内省的チューター」）

著者たちは、ROSD（Reflective On-Policy Self-Distillation：内省的オンポリシー自己蒸留）と呼ばれる新しい手法を提案しています。ROSD を、完成したエッセイを手渡す教師ではなく、拡大鏡を使う批判的な編集者と考えてください。

以下が、ROSD がステップごとにどのように機能するかです。

1. 「自己反省者」（探偵）
完璧な解答を単に示すのではなく、システムはまず探偵のように振る舞います。学生の誤った解答と正しい解答を並べて眺めます。

問いかけます： 「論理がどこで、具体的に破綻したのか？」
発見します： 学生が軌道から外れた具体的な文やステップ。
「修正アイデア」を作成します： その特定の間違いをどのように修正するかを説明する短いメモ（例：「ここで単位変換を忘れた」というような、解答全体を示すのではなく）。

2. 「誤り引用」（ハイライトペン）
システムは単に推測するのではなく、学生の解答内でエラーが発生した正確なテキストの断片を物理的にハイライトします。まるで教師が赤ペンを使って誤った文のみを囲み、ページの残りをそのままにしているかのようです。

3. 標的を絞った修正（手術）
ここで、「自己教師」が介入します。しかし、学生にエッセイ全体を書き直すよう命じるのではなく、教師はハイライトされた誤りに対してのみ指導を行います。

学生は、正しい導入部と有効な推論ステップ（「有効な接頭辞」）を維持します。
「修正アイデア」に導かれながら、間違った部分のみを書き直します。

比喩：壊れた車の修理

旧来の方法（OPSD）： あなたの車のタイヤがパンクしています。メカニックは車全体を分解し、エンジン、シート、タイヤを捨て、設計図に基づいてゼロから全く新しい車を組み立てます。機能はしますが、既に機能していたすべてのものを失ってしまいます。
ROSD： メカニックは車を見て、パンクしたタイヤ（エラー）を見つけ、「さて、エンジンとシートは問題ない。このタイヤだけ交換して、適切に空気を入れるようにしよう」と言います。

結果

この論文は、物理学、化学、コンピュータツールの使用など、さまざまな「科目」でこれをテストしました。

科目への理解向上： 学生は以前よりも材料を良く学びました。
新しい科目への適応力向上： 解答のスタイルを暗記するのではなく、エラーを修正する論理を学んだため、彼らは以前見たことのない問題を解く能力が格段に向上しました。
安定性： 旧来の方法は、学生があまりにも多くをコピーしようとして混乱するにつれ、時間とともに悪化することがよくありました。一方、ROSD は安定しており、常に改善し続けました。

要約： ROSD は、AI が最初から最後まで完璧なモデルをコピーすることを強制するのではなく、思考の良い部分を保持しながら、自らの間違いを外科的に修正することを教えます。

技術概要：反射的オンポリシー自己蒸留（ROSD）

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、検証可能な分野における大規模言語モデル（LLM）の最適化において効果的であることが証明されているが、GRPO などの標準的なアルゴリズムは、スパースな結果レベルの報酬に依存している。中間推論ステップに対するトークンレベルの監督の欠如は、モデルが推論の質を洗練させる能力を制限している。

オンポリシー自己蒸留（OPSD）は、正解に基づいて条件付けられた「自己教師」から密なトークンレベルの監督を提供することでこの課題に対処する。しかし、既存の OPSD 手法には、ドメイン内安定性とドメイン外（OOD）汎化の両方を阻害する 2 つの重大な限界が存在する：

模倣による修正の欠如：検証済みの解に基づいて自己教師を条件付けることは、学生モデルが自身の特定の誤りを修正することを学ぶのではなく、参照軌道の特定のパターンやドメイン固有の表現を模倣することを促す。
有効な推論の上書き：応答全体に蒸留損失を適用すると、モデルがすべてのトークンにわたって教師分布に整合することを強制される。これにより、有効な推論プレフィックスが上書きされ、正しいステップにトレーニングドメインの好みが注入され、過学習と低い汎化性能を引き起こす可能性がある。

手法：ROSD

著者は、参照解の模倣からターゲットを絞った推論の修正へと自己蒸留を移行させるためのフレームワークである**反射的オンポリシー自己蒸留（ROSD）**を提案する。ROSD は、2 つの主要なメカニズムを通じて機能する：

1. 誤り焦点型自己反省

ROSD は、教師のコンテキストとして正解を直接使用する代わりに、学生/教師と同じモデル重みを使用する自己リフレクターを用いて、学生のロールアウトと正解との不一致を分析する。

誤ったロールアウトの場合：リフレクターは、同じグループからの誤ったロールアウト（ $y^-$ $y^{-}$ ）と最短の正解ロールアウト（ $y^*$ $y^{*}$ ）を比較する。そして、2 つの出力を生成する：
- 修正アイデア（ $e$ ）：ロールアウトが失敗した理由と、論理を修復する方法の説明。
- 誤り引用（ $q$ ）：推論が初めて誤った区間をマークする、誤ったロールアウトからの正確な部分文字列。
正しいロールアウトの場合：リフレクターは、推論の有効性と正解の背後にある主要なアイデアを要約し、完全な解の直接的な模倣を避ける。

2. 引用局所化自己蒸留

自己教師は、完全な参照解ではなく**修正アイデア（ $e$ ）**に基づいて条件付けられる。これにより、教師が誤りに特化したガイダンスを提供することが保証される。

局所化：**誤り引用（ $q$ ）**は元の学生のロールアウトに再アライメントされ、誤りの開始トークンインデックス（ $k$ ）を特定する。
選択的損失：蒸留損失関数にマスクが適用される。モデルは、トークン $k$ 以降（誤った接尾辞）のみから教師分布に一致するようにトレーニングされる。有効な推論プレフィックス（トークン $< k$ ）は保持され、損失計算から除外される。
目的：トレーニング目的は、学生とマスクされた教師分布との間のトークンレベルのジェンセン・シャノンダイバージェンス（JSD）を最小化することであり、更新が修正を必要とするセグメントに制限されることを保証する。

主要な貢献

ROSD フレームワーク：参照解の模倣から選択的な推論の修正へと移行する、新規の反射的オンポリシー自己蒸留手法。
二重技術設計：
- 修正アイデアを抽出し、正確に最初の誤った区間を特定する誤り焦点型自己リフレクター。
- 有効な推論プレフィックスを保持しつつ、特定された誤りから始まる接尾辞にのみ監督更新を制限する誤り局所化蒸留。
実証的検証：ROSD がドメイン内の推論性能を向上させ、標準的な OPSD 手法で観察される OOD 汎化の崩壊を大幅に軽減することを示す広範な実験。

実験結果

著者は、Qwen3-4B および Qwen3-8B のバックボーンを用いて、5 つのデータセット（化学、物理、生物学、材料科学の 4 つの科学 QA ベンチマーク、およびツール使用データセット）で ROSD を評価した。

ドメイン内性能：ROSD は、両方のモデルスケール（4B で 72.83%、8B で 73.45%）において平均スコアが最高となり、GRPO および標準的な SDPO ベースラインを上回った。改善はほとんどのドメインで一貫しており、特定の分野での顕著なトレードオフは示されなかった。
ドメイン外汎化：ROSD は、SDPO に比べて大幅に優れた OOD 頑健性を示した。
- SDPO は、トレーニングドメインとテストドメインが著しく異なる場合（例：ツール使用でトレーニングし、科学 QA でテストする場合、SDPO は平均で約 2.88% まで低下）に深刻な劣化を被ったが、ROSD は強力な性能（約 41.31%）を維持した。
- これは、ROSD が完全応答蒸留に伴うノイズと過学習を効果的に軽減することを示唆している。
トレーニングダイナミクス：ROSD はベースラインよりも速く収束し、トレーニング全体を通じて安定した性能を維持した。対照的に、SDPO は初期の利益を示した後、性能が低下する傾向があり、トレーニングドメインの解のスタイルへの過学習を示していた。
アブレーション研究：リフレクションコンポーネントまたは局所化蒸留メカニズムのいずれかを除去すると性能が低下し、誤り焦点型ガイダンスと選択的監督の両方が必要かつ相補的であることを確認した。

意義と主張

本論文は、効果的な推論ポストトレーニングにとって誤りを認識し、選択的に適用される監督の重要性を強調していると主張する。有効なプレフィックスを保持しながら欠陥のある推論ステップを修正することで、ROSD はドメイン固有の参照軌道を模倣することに伴う落とし穴を回避する。

著者は、ROSD をドメイン間で汎化できるより頑健な推論モデルへの一歩として位置付けている。ただし、標準的な OPSD に対する OOD 性能を向上させるものの、すべての設定で GRPO の OOD 頑健性を完全に匹敵するものではなく、ドメイン間汎化を完全に強化するにはさらなる進展が必要であるという点を控えめに指摘している。この研究は、強力な推論能力には潜在的な誤用を防ぐための厳格な安全性アライメントが必要であることを強調している。