🤖 AI

Selective Off-Policy Reference Tuning with Plan Guidance

本論文は、計画ガイダンスを活用して参照解から修復更新を導出する手法である選択的オフポリシー参照チューニング（SORT）を導入し、これにより失敗したロールアウトを構造を考慮した学習信号に変換し、標準的な GRPO 手法と比較して、特に弱いモデルにおいて推論性能を大幅に向上させるものである。

原著者： Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Selective Off-Policy Reference Tuning with Plan Guidance (SORT)」を平易な言葉と創造的な比喩を用いて解説したものです。

大きな問題：「沈黙する」失敗

あなたが AI という学生に難しい数学の問題を解くことを教えていると想像してください。あなたは問題を与え、学生がそれを解こうとします。

良いシナリオ： 時々、学生は正解します。あなたは「よくやった！」と言い、学生はその成功から学びます。
悪いシナリオ： 時々、問題が難しすぎて、学生は解こうとして 8 通りの方法を試しますが、その 8 回のすべてが間違っています。

標準的な AI 学習手法（GRPO と呼ばれる）では、学生が難しい問題で毎回失敗すると、教師は混乱します。システムは、「まあ、彼らが何も正解しなかったのだから、思考のどの部分が良く、どの部分が悪かったかを判断する方法はない。だから、この問題は無視して次に進もう」と言います。

この論文は、これが大きな無駄であると主張しています。答えが間違っていたとしても、学生はしばしば「検証済みの参照解答（正解の解答用紙）」を持っています。問題は、単に解答用紙をコピーさせることが悪いことです。なぜなら、それは学生に「5 という数字を書く」や「カンマを追加する」といった退屈な部分を含めた解答全体を丸暗記させるだけであり、実際に失敗の原因となった難しい論理ステップを学ぶことを妨げるからです。

解決策：SORT（「計画」探偵）

著者たちは、SORT（Selective Off-Policy Reference Tuning with Plan Guidance）と呼ばれる新しい手法を提案しています。これは、学生が最初に問題を解こうとする方法を変更することなく、「沈黙する失敗」という問題を修正する、賢いチュータリングシステムのようなものです。

SORT の仕組みをステップごとに説明します。

1. 「バッファ」（失敗の保存）

AI が難しい問題に挑戦して毎回間違えた場合、SORT はその問題を捨て去るのではなく、特別な「待合室」（バッファ）に入れます。いくつかのこうした困難な失敗が溜まるまで待ち、その後、それらを別々に処理します。

2. 「計画」（設計図）

各失敗した問題について、SORT は正解の解答用紙を参照します。しかし、単に答えを読むのではなく、AI にその解答から**「計画」または「設計図」**を抽出させます。

比喩： 解答用紙がケーキの長い messy なレシピだと想像してください。「計画」は「オーブンを予熱する」「小麦粉を混ぜる」「卵を折り込む」といった重要な手順のリストに過ぎません。「カウンターを拭く」や「ゆっくりかき混ぜる」といった退屈な部分は無視されます。

3. 「二重チェック」（魔法のテスト）

これが核心的な革新です。SORT は AI を呼び出し、正解の解答用紙を2 回見るように求めます。

テスト A： 「これが問題です。さて、解答用紙のこのステップを見て、あなたがこのステップを推測できる可能性はどれくらいですか？」（AI には何の助けもありません）。
テスト B： 「これが問題です。そしてこれが『計画』（設計図）です。さて、解答用紙の同じステップを見て、あなたがそれを推測できる可能性はどれくらいですか？」

4. 「ひらめきの瞬間」（選択性）

SORT は 2 つの結果を比較します。

もし AI がすでにそのステップを推測するのが得意だった場合： 「計画」はあまり変化しません。これらは通常、数字を書くような退屈でルーティンなステップです。SORT は言います。「この AI に教える必要はありません。すでに知っているからです」。
もし AI がそのステップを推測するのが苦手だったが、「計画」によってそれが容易になった場合： これが「ひらめきの瞬間」です。AI は「ああ！もし『偶奇性をチェックする』という計画を知っていれば、このステップを推測できたのに！」と気づきます。
- これらは重要な推論ステップ（論理の欠落部分）です。
- SORT はこれらの特定のステップに学習において大きなブーストを与えます。AI に「ここにすべてのエネルギーを集中させろ！ここがあなたが失敗した場所であり、これを修正する鍵だ」と伝えます。

他の手法よりも優れている理由

標準的なコピー（SFT）： 学生に教科書のページをページごとコピーさせるようなものです。彼らは筆跡やフォーマットを学びますが、論理は学ばないかもしれません。
他の「ヒント」手法： 一部の手法は、AI が問題を解いている最中にヒントを与えます。これはテスト中の AI の思考プロセスを変えてしまいます。
SORT： SORT は AI の「思考プロセス（ロールアウト）」を完全にそのままにします。修正するのは「放課後のチュータリング（更新）」だけです。「計画」は、正解のどの単語が学習にとって最も重要かを特定するためにのみ使用されます。

結果

この論文は、小規模から大規模までの 3 つの異なる AI モデルと、8 つの異なる数学および推論ベンチマークでこれをテストしました。

勝者： SORT は標準的な手法を一貫して凌駕しました。
大きな勝利： それは最も弱いモデルを最も助けました。これは理にかなっています。なぜなら、弱いモデルほど失敗することが多く、つまり修正すべき「沈黙する失敗」をより多く持っているからです。
効率性： 他の手法によく見られる副作用である、AI が長くて支離滅裂な答えを書くことを招きませんでした。ただ、答えをより賢くしただけです。

要約の比喩

コーチがバスケットボール選手が連続して 8 回シュートを外すのを見ていると想像してください。

古い方法： コーチは「あなたはすべてを外した。このドリルは無視しよう」と言います。
悪い方法： コーチは「プロの選手がシュートを決める完璧なビデオを見ろ。靴を結ぶ方法さえ含めて、すべての動きをコピーしろ」と言います。
SORT の方法： コーチは「プロの選手のビデオを見てみよう。彼が膝を曲げた正確な瞬間と、ボールを離した正確な角度をハイライトしよう。それらがあなたが逃した 2 つのことだ。ビデオの残りは無視しよう。ただその 2 つの特定の動きだけを練習しよう」と言います。

選手が見落とした「構造的」な動きにのみ焦点を当てることで、SORT は AI が、特に状況が非常に難しい場合に、より速く、より賢く学ぶのを助けます。

技術概要：プランガイダンスを伴う選択的オフポリシー参照チューニング（SORT）

1. 問題定義

検証可能な報酬からの強化学習（RLVR）、特にグループ相対方策最適化（GRPO）は、正の成果をもたらすサンプリングされた解を強化することで、言語モデルにおける推論能力を向上させてきました。しかし、GRPO は「困難なプロンプト」において、サンプリングされたすべてのロールアウトが誤っているという重大な失敗モードに直面します。これらのシナリオでは、報酬にばらつきがない（すべてゼロである）ため、グループ相対アドバンテージはゼロに崩壊し、プロンプトは方策勾配更新に対して見えないものとなります。

これらの報酬ゼロのプロンプトは、欠落した推論構造を含む検証済みの参照解を伴うため、最も情報量の多いトレーニングシグナルであることが多いです。しかし、これらの参照を利用する標準的なアプローチ（均一な教師あり微調整（SFT）や完全軌道模倣など）は、核心的な推論決定を、日常的な代数、書式設定、表面的な言葉遣いと混合してしまうため失敗します。このような均一な模倣は、推論精度の向上なしに、方策の崩壊や冗長性をもたらす可能性があります。既存のガイダンス手法は、しばしばロールアウト分布を変更するか、外部の教師に依存しており、複雑さや分布のシフトを導入します。

2. 手法：SORT

著者は、報酬ゼロの GRPO グループに特化して設計された補助的な修復メカニズムである「プランガイダンスを伴う選択的オフポリシー参照チューニング（SORT）」を提案します。SORT は、主要な GRPO ロールアウト生成プロセスを変更することなく動作します。

中核メカニズム

バッファリングと遅延実行: プロンプトが誤ったロールアウトのみを生成した場合（報酬ゼロのグループ）、それは破棄されません。代わりに、そのプロンプトと検証済みの参照解がバッファされます。
プラン抽出: バッファされた各例について、現在のモデルが参照解から「推論プラン」を抽出します。このプランは、重要な推論決定（定理、ケース分割、制約伝播など）の順序付けられた概要ですが、生成のターゲットシーケンスとしては使用されません。
二重評価（診断コンテキスト）: モデルは、同じ方策の下で参照トークンを 2 回評価します。
- ベース条件: 問題プロンプトのみを条件としてトークンの確率が計算されます。
- プラン条件付き（ティーチャ）条件: 問題プロンプトに加えて、抽出された推論プランを条件としてトークンの確率が計算されます。
トークン重要度スコアリング: この手法は、プラン条件付き確率とベース確率との対数比を計算します。プラン条件化の下で確率が大幅に増加するトークンは、「構造的に情報豊富」であると特定されます（つまり、モデルが見落とした推論ステップを表しており、構造が明示されれば学習可能である）。日常的なトークン（代数、書式設定）はほとんど変化を示しません。
幾何学的重み付け: SORT は、幾何平均重みを用いた補助的損失を構築します。
$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$
この重みは、ダイナミック微調整（DFT）からのベースモデルのサポートの安定性と、プラン条件付きティーチャの選択性を組み合わせています。プランによってより予測可能になるトークンはアップウェイトされ、そうでないものはダウンウェイトされるか、変更されずに残されます。

理論的保証

著者は、真のプランモデルを用いて SORT を形式化しました。抽出されたプランが真の推論プランに近似するにつれて、SORT 重みが「オラクル」重みに収束し、構造的に重要なトークンを正確に強調することを証明しています。後悔の上限は、プラン抽出誤差（ $\gamma$ ）とベース確率に比例することが示されており、プラン抽出が不十分な場合でも、この手法が DFT 類似の挙動に優雅に劣化することを保証しています。

3. 主な貢献

ゼロアドバンテージ失敗の特定: この論文は、グループアドバンテージがゼロとなる GRPO における特定のボトルネックとして報酬ゼロのプロンプトを特定し、ロールアウト生成を変更することなくこれらを修復する SORT を導入しました。
同一モデルによるプラン条件付け: 強力なモデルからのオフポリシー軌跡を注入するか、外部のティーチャを使用する手法とは異なり、SORT は同じモデルを用いてプランを抽出し参照トークンをスコアリングすることで、外部依存を回避します。
幾何平均トークン重み付け: DFT 風のサポート認識とプラン条件付き選択性を統合する新規の重み付け方式であり、数学的にオラクル構造的トークン重み付けを近似することが証明されています。
実証的検証: 複数のモデルサイズとベンチマークにわたって、GRPO やガイダンスベースのベースラインに対して一貫した改善を示す包括的な実験。

4. 実験結果

この手法は、分布内数学タスク（AIME、AMC、MATH-500）と分布外推論（GPQA、MMLU-Pro）を含む 8 つのベンチマークにおいて、3 つのインストラクションチューニング済みバックボーン（Llama-3.2-3B、Qwen2.5-7B、Qwen3-4B）で評価されました。

性能向上: SORT は、バニラ GRPO や他のベースライン（LUFFY、ReLIFT、Scaf-GRPO）を一貫して上回りました。
- 最も弱いモデル（Llama-3.2-3B）において、SORT は分布内平均を 17.8% から 23.9% に、分布外を 22.5% から 33.8% に向上させました。
- より強力なモデルにおいても、SORT は報酬ゼロのグループが頻発しにくい場合でも、その有用性を確認する边际的かつ一貫した改善を提供しました。
ベースラインとの比較:
- SFT/ReLIFT 対比: 精度を向上させることなく（特に弱いモデルにおいて）応答の長さや冗長性を増加させることが多かった SFT や ReLIFT とは異なり、SORT は推論を強化しつつコンパクトな生成を維持しました。
- LUFFY 対比: より強力なオフポリシー軌跡を混合する LUFFY は、選択性が低く、分布外タスクにおいて性能が低下するケースがありました。
トレーニングダイナミクス: SORT は、他の手法で観察された長さの拡大なしに報酬スコアを向上させました。完全な軌道を模倣するのではなく、特定の推論トークンをターゲットにすることで、困難なプロンプトを効果的に修復しました。

5. 意義と主張

この論文は、SORT が RLVR の根本的な限界、すなわち探索が失敗する最も困難なプロンプトから学習できないという問題に対処すると主張しています。検証済みの参照をコピーすべき軌跡としてではなく、推論プランの証拠として扱うことで、SORT は「すべて誤り」の失敗を、構造化されたトークン選択的な学習シグナルに変換します。

著者は、SORT が元の GRPO ロールアウトプロセスを保持する保守的な補助的更新であることを強調しています。外部のティーチャ、合成された軌道、推論分布の変更は必要ありません。この手法は、報酬ゼロのグループが最も頻発する弱いモデルにとって特に重要であり、すべてのプロンプトに対して正しいロールアウトを生成する計算コストなしに推論能力を向上させる道筋を提供します。このアプローチは、容易で日常的なトークンを過剰に強調する落とし穴を避けつつ、推論の不確実で構造的に重要なステップに焦点を当てる「選択的な自己蒸留の形態」として位置づけられています。