技術要約：自己蒸留におけるフィードバック・アライメントの役割

問題提起

推論能力を持つ大規模言語モデル（LLM）のポストトレーニングは、通常、Group Relative Policy Optimization（GRPO）のような、検証可能な報酬に基づく強化学習（RLVR: Reinforcement Learning from Verifiable Rewards）に依存しています。RLVRは効果的ですが、スパースなクレジット割り当て（信用割り当て）という課題があります。つまり、最終的な回答に対する単一のスカラー報酬だけでは、モデルが推論プロセス（reasoning trace）のどこで誤ったのかを特定できません。一方で、知識蒸留（Knowledge Distillation）は、トークンレベルの密な監督を提供しますが、より強力な教師モデルのロジット（logits）へのアクセスが必要であり、それは多くの場合、利用不可能であったりコストがかかったりします。

自己蒸留（Self-distillation）は、同じモデルを、異なるコンテキスト下で学生（student）と教師（teacher）の両方として用いることで、このギャップを埋めようと試みます。学生は質問のみを条件とし、「自己教師（self-teacher）」は質問に加えて追加のコンテキスト（例：参照解法やフィードバック）を条件とします。しかし、先行研究の多くは、このコンテキストを固定された選択肢として扱っており、フィードバックの「構造」が学習信号にどのように影響するかについては調査していません。本論文は次のように問いかけます：どのような形式のフィードバックが、自己蒸留において最も効果的な自己教師を生み出すのか？

手法

著者らは、数学的推論ドメインにおける自己蒸留を研究するために、ソルバー・クリティック（solver–critic）構成を実装しました。

1. セットアップ: 学習可能なソルバー（$\pi_\theta$）が数学問題の推論トレースを生成します。凍結されたクリティック（$\pi_{critic}$）は、これらのトレースを分析してフィードバックを生成します。その後、ソルバーは自己蒸留を通じて更新され、その出力分布（質問のみを条件としたもの）と、自己教師の分布（質問とクリティックのフィードバックを条件としたもの）の間のダイバージェンスを最小化します。
2. 実験条件: 本研究では、3つの異なるフィードバック・コンテキストを比較しています：
   • GRPO: 自己蒸馏を用いない、バイナリ報酬（正解/不正解）を用いた標準的なRLVRベースライン。
   • RefSol (Reference Solution): 自己教師が、より強力なモデルからの正解の参照解法（思考の連鎖：Chain-of-Thought）を条件とする。
   • StepAlignFB (Step-Aligned Critique): 自己教師が、クリティックによって生成されたクリティーク（批評）を条件とする。決定的なのは、このクリティークがソルバーの特定の推論トレースと**構造的にアライメント（整合）**されている点です。クリティックは、ソルバーの正しいステップを逐語的にコピーし、エラーが発生した特定のステップのみを修正するようにプロンプトされており、正しい部分についてはソルバーのスタイルや表記を維持するように設計されています。
3. メカニズム分析: 著者らは、異なるフィードバックのタイプがモデルの挙動をどのように変化させるかを理解するために、「パー・トークン・アドバンテージ（per-token advantage）」（教師と学生の確率の対数比）を分析します。また、モデルがフィードバック内の逐語的な反復をどのように処理するかについて、「インダクション・ヘッド（induction heads）」（コンテキスト内のパターンをコピーするメカニズム）の役割を調査します。

主な貢献と知見

1. ステップ・アライメントされたフィードバックは参照解法を凌駕する

StepAlignFBの条件は、RefSol条件付きの自己蒸留およびGRPOの両方を上回る、最大の性能向上をもたらしました。

• 結果: OpenMathReasoningデータセット（Avg@12指標）において、StepAlignFBは35.83を達成しました。これに対し、RefSolは30.56、GRPOは19.72でした。
• 意義: 正解の導出過程を一度も見ることなく、StepAlignFBはRefSolを上回りました。これは、フィードバックが単に正しい解法であることよりも、ソルバーの特定の軌跡に対してどれだけ「アライメント（整合）」されているかの方が重要であることを示唆しています。

2. 構造的アライメントによる暗黙的なプロセス監督

パー・トークン・アドバンテージの分析により、StepAlignFBの成功の背後にあるメカニズムが明らかになりました：

• 局所化（Localization）: ステップ・アライメントされたフィードバックは、推論が失敗する箇所に特異的に分布の変化（負のアドバンテージ）を集中させます。そして、正しいステップを逐語的に保持することで、それらを強化します（正のアドバンテージを生成）。これは、別途報酬モデルを訓練することなく、自然言語のフィードバックのみからプロセス報酬モデル（PRM）の挙動を模倣するものです。
• RefSolにおける拡散（Diffusion）: 対照的に、参照解法を条件とすると、「拡散的な抑制信号（diffuse suppressive signal）」が生じます。ソルバーのステップが正しくても、参照解法が異なる言い回しや表記を用いている場合、自己教師はスタイルの相違によって正しいトークンに対してさえペナルティを与えてしまい、学習信号が希釈されてしまいます。

3. インダクション・ヘッドによるコピーの役割

論文では、クリティックのフィードバックにおける重要な設計パターンとして、**「忠実な書記（faithful-scribe）の慣習」**を特定しています：

• 完全な逐語的反復: もしクリティックが、エラーを含めてソルバーの試行全体を逐語的に繰り返すと、インダクション・ヘッドが誤ったトークンにアンカー（固定）され、教師がそのエラーを再現してしまいます。
• 省略: もしクリティックがソルバーの正しいステップを完全に省略すると、教師の分布はソルバーの正しい推論から離れてしまいます。
• 部分的反復（解決策）: 最適な戦略は、エラーが発生する箇所まではソルバーの正しいステップを逐語的に繰り返し、エラーの部分を修正に置き換え、その後を継続することです。これにより、インダクション・ヘッドによるコピーを利用して正しいプレフィックス（接頭辞）を強化しつつ、修正箇所がエラーの場所を制御することを可能にします。

意義と主張

本論文は、自己蒸留の主な利点は、単に追加のコンテキストにアクセスできることではなく、そのコンテキストの構造が学生の推論軌跡と一致していることにあると主張しています。

• 構造的アライメント ＞ フィードバックの質: 完全で正しい参照導出は強力な信号ですが、自己蒸留においては、表面的な形式においてソルバーのトレースと乖離するため、効果が限定的になります。ステップ・アライメントされたクリティークは、ソルバーの実際のトレースに対処し、推論が誤った場所に正確に信号を集中させるため、成功します。
• 暗黙的なPRM: ステップ・アライメントされたフィードバックは、ステップレベルの報酬モデルを訓練するという計算コストをかけることなく、エラーを局所化する一種の暗黙的なプロセス監督を提供します。
• 実用的なトレードオフ: StepAlignFBは優れていますが、高品質でステップ・アライメントされたフィードバックを生成するために、有能なクリティーク・モデルが必要であり、単純な参照解法条件付けやバイナリ報酬と比較して、訓練コストとシステム構成の複雑さが増すことを著者らは指摘しています。

本研究はOpenMathReasoningデータセットおよび数学的推論に限定されており、著者らは、これらの利点が他のドメイン、モデルサイズ、またはソルバー・クリティック構成に転移するかどうかを判断するには、さらなる研究が必要であると明言しています。