技術要約：多様な思考スキーマが大規模言語モデルの推論を向上させる

問題提起

大規模推論モデル（LRM）は、長い思考の連鎖（Chain of Thought）を生成することで、複雑な数学的問題を解決する顕著な能力を示してきました。しかし、現在のアプローチの多くは、厳密に定義された線形な連鎖や明示的に組織化された木構造など、過度に規定された推論構造に依存しており、これが認知的な柔軟性を制限する可能性があります。著者らは、推論プロセスにおける2つの重要かつ未探索の側面を特定しています。それは、推論の遷移（Reasoning Transitions）（例：「別の方法を試してみよう」といった、中間的な推論ステップ間の明確な転換）と、回答候補（Answer Candidates）（モデルが提案する解法パスや中間結論の多様性）です。本論文は、既存のモデルが狭い推論パターンに収束しやすく、解空間を十分に探索できていないことが、複雑なタスクにおけるエラーからの回復や最適解の発見を妨げていると主張しています。

手法：DiScOフレームワーク

これらの限界に対処するため、著者らは、学習および推論の両段階において「思考スキーマ」（遷移と解法パスを制御する潜在的な推論構造）の多様性を高めるように設計されたフレームワーク、DiScO (Diverse Schemata Policy Optimization) を提案します。このフレームワークは、以下の3つのコアコンポーネントで構成されています。

1. スキーマ認識型教師あり微調整 (SFT)

まず、モデルに「スキーマ認識」を装備させるため、自身の推論連鎖を明示的にアノテーション（注釈付け）するように訓練します。ここでは、2つの特殊なトークンが導入されます。

• \ReasoningTransition: 推論の視点や戦略の転換を示す。
• \AnswerCandidate: 最終的な回答の可能性や中間的な結論を示す。
  このステップにより、潜在的な思考構造が観測可能になり、分析可能なものとなります。なお、すべての学習ステップに対して外部の人間によるアノテーションを必要とせず、LLMアノテーター（具体的にはQwen3-Max）によってアノテーションが生成されます。

2. 多様性指向強化学習 (RL)

SFTに続き、モデルは修正されたGroup Relative Policy Optimization (GRPO) アルゴリズムを用いた強化学習を行います。核心となる革新は、正確性と多様性のバランスを取る複合報酬関数 ($R$) です。
$$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$$

• 多様性報酬 ($R_{div}$): 異なる推論の遷移および回答候補の生成を促進します。これは、遷移の数 ($N_{thought}$)、回答候補の数 ($N_{ans}$)、解のユニークさ ($N_{uniq}$)、および中間候補の正誤 ($N_{true}$) を測定します。報酬ハッキング（マーカーの繰り返しによる不正取得）を防ぐために、切り捨て上限（Truncation caps）が適用されます。
• 正確性報酬 ($R_{acc}$): 正解に対する標準的なバイナリ報酬です。
• フォーマット報酬 ($R_{form}$): モデルが要求されたアノテーションタグおよび最終回答の形式に従うことを保証します。

3. 推論時多様性強化 (ITDE)

推論時に、モデルが最終回答に到達せずに最大生成長に達した場合、さらなる多様性を促進するために2つの戦略が採用されます。

• 初期切り捨て (Initial Truncation): 最初の20%のトークンを破棄することで、「認知的リセット」をシミュレートし、モデルが新鮮な視点から問題を再構成できるようにします。
• 繰り返し排除を伴う切り捨て (Truncation with Repetition Elimination): 繰り返される推論パターン（例：同じ15語のフレーズ）を検出し、除去することで、局所的なループを打破し、新しいパスの探索を促します。

主な貢献

1. 概念の定義: 本論文は「思考スキーマ」という概念を導入し、それを観測可能な「推論の遷移」と「回答候補」を通じて定義しました。また、これらスキーマの多様性と、様々なLRMにおけるパフォーマンスとの間に正の相関があることを実証的に示しています。
2. DiScOフレームワーク: スキーマ認識型SFT、多様性指向RL、および推論時戦略を統合し、多様な推論を体系的に促進する新しいフレームワークを提案しました。
3. 実証的検証: 5つの数学的推論ベンチマークと3つのドメイン外（OOD）ベンチマークにおける広範な実験により、DiScOが標準的なGRPOおよび他の多様性指向のベースラインを一貫して上回ることを示しました。

実験結果

著者らは、DeepSeek-R1-Distill-Qwenの7Bおよび32Bスケールを用いてDiScOを評価し、最先端のプロプライエタリモデル（例：GPT-5, Claude 3.5）およびオープンソースのベースラインと比較しました。

• 性能向上: DiScOは、オープンソースモデルの中で一貫して最先端の結果を達成しました。例えば、DiScO-7BはMATH-500で95.6%、AIME 2024で**70.0%を達成し、他の7Bモデルを大幅に上回りました。DiScO-32Bは、ベンチマーク全体で平均精度83.5%**に達し、ベースとなるDeepSeek-R1-Distill-Qwen-32Bを凌駕しました。
• 困難なタスクでの改善: 改善は、大幅な向上の余地がある難易度の高い競技レベルのベンチマーク（AIME, AMC）で最も顕著でした。DiScO-32Bは、AIME 2024および2025において、ベースモデルに対し**6.7%**の絶対的な精度向上を示しました。
• 汎化性能: 数学的データのみで訓練されているにもかかわらず、DiScOはドメイン外のタスク（ARC-c, GPQA-diamond, MMLU-Pro）に対しても効果的に汎化しており、スキーマレベルの多様性が転移可能な推論行動を促進することを示唆しています。
• エラーからの回復: 人手によるアノテーション分析により、DiScOが誤った初期の試行からの回復能力（FWFC指標：First Wrong, Final Correctによって測定）を大幅に改善することが明らかになりました。DiScOモデルは、ベースラインと比較して、正しい中間回答を破棄する可能性が低く、自己修正を行う可能性が高いことが示されました。
• Pass@k パフォーマンス: DiScOはマルチアテンプト（複数回の試行）シナリオにおいて性能向上を示しており、これは単一ショットの分布を再形成しているのではなく、真の意味で推論の境界を拡張していることを示しています。

意義と主張

本論文は、思考スキーマの多様性が問題解決において極めて重要な役割を果たし、標準的なモデルのスケーリング（パラメータ数やデータ量）を補完する軸として機能すると主張しています。著者らは以下のように述べています。

• 多様性はスケーラブルなリソースである: 多様な思考スキーマを促進することで、モデルは代替となる推論経路を探索し、より効果的にエラーから回復できるようになります。これにより、必ずしもモデルサイズを増大させることなく、複雑なタスクにおける性能を高めることが可能です。
• トークンレベルの多様性を超えて: トークンレベルのエントロピーや、独立したロールアウトにおける軌跡レベルのサンプリングに焦点を当てた従来の手法とは異なり、DiScOは単一の推論軌跡の「内部」における多様性をターゲットとしています。これにより、人間のような問題解決を模倣した意味的な転換や視点の変化を促進します。
• 実用的な影響: 本フレームワークは、オープンソースの推論モデルを向上させ、最先端のプロプライエタリなシステムとの差を縮め、明示的なスキーマ・アノテーションを通じて推論プロセスの解釈性を高めるための実用的な道筋を提供します。

著者らは、LLMベースのアノテーションに伴うコスト、推論レイテンシのわずかな増加（約10%のトークン増）、および現在の焦点が数学的推論に限定されていることなどの限界も認めていますが、ドメイン外のタスクにおいても一貫した成果が得られていることも指摘しています。今後の研究として、より安価なアノテーション手法（例：隠れ状態のプロービング）や、これらの原理を他の推論領域へ適用することなどが挙げられています。