技術的概要：事前計画（PPC）による大規模言語モデルの数学的推論の強化

1. 問題定義

大規模言語モデル（LLM）における既存の計画ベースの推論手法は、「質問 → 計画 → 連鎖的思考（CoT）」というパラダイムを確立している。これは効果的ではあるが、著者らはこのアプローチに根本的かつパラダイムレベルのギャップが存在すると指摘している。すなわち、計画段階と実行段階の両方が「どのように」問題を解決するか（手順の整理と実行）を決定することに専念しており、「何を」解決するかという先行する問いは完全に暗黙のままだということである。

「何を解決するか」の段階には、問題の種類を認識し、適用可能なツールと概念を特定し、境界条件を警告し、落とし穴を予期することが含まれる。既存の手法は、この理解が計画生成中に暗黙的に現れると仮定している。しかし、誤り分析（図 1）は、現在の計画ベースの手法における失敗の大部分が計算誤りに起因するのではなく、問題の本質を正しく理解できないことに起因していることを明らかにしている（例：同次二次方程式を誤って特定し、非効率な解決経路に至るなど）。

2. 手法：PPC フレームワーク

このギャップを埋めるため、著者らは「事前計画（Preplan）」段階を導入し、「質問 → 事前計画 → 計画 → 連鎖的思考（CoT）」という新たなパラダイムを創出する PPC（Preplan-Plan-CoT）フレームワークを提案する。事前計画は、計算を行わない包括的な分析であり、「何を」解決するかを確定させ、「どのように」解決するかは後続の計画および実行段階に委ねる。

このフレームワークは、特定のパイプラインを通じて 2 つの主要な課題に対処する。

課題 1：データ構築（漏洩とネタバレの防止）

クリーンな事前計画の教師信号を生成することは困難であり、モデルは「どのように解決するか」という行動に戻りやすい傾向がある。

• 漏洩失敗（Leakage Failure）： 事前計画が、今後の計画のステップシーケンスを予行演習してしまう。
• ネタバレ失敗（Spoiler Failure）： 事前計画が分析の体裁を借りて中間計算を行ってしまう。

解決策： 著者らは、ネタバレ検出器（spoiler-score detector）によって守られた3 段階の合成パイプラインを設計する。

1. 3 段階生成： 軌道は厳密に左から右へ生成される：$y_{pp} \sim \pi_{pp}(\cdot|q)$、$y_p \sim \pi_p(\cdot|q, y_{pp})$、および $y_e \sim \pi_e(\cdot|q, y_p)$。事前計画のプロンプトは、導出、拡張された数式、計算された値を明示的に禁止する。
2. ネタバレスコアによるフィルタリング： ルールベースのスコア $s(\cdot) \in \{0, \dots, 6\}$ が、導出や答えの暴露のシグナル（「～に簡略化される」といったフレーズ、高い数式密度、長いインライン数式スパン、多桁の定数など）を集約する。軌道は、$s(y_{pp}) \leq \tau_s$（ここで $\tau_s=2$）かつ最終的な答えが正しい場合にのみ保持される。これにより、事前計画が単なる問題理解であり、偽装された解決策ではないことが保証される。

課題 2：学習時の遵守（有用性の確保）

クリーンなデータがあっても、モデルは表面上は正しい事前計画を生成しながら、計画段階ではそれを無視して学習する可能性がある。

解決策： 著者らは、構造的および意味的な整合性を強制する複合報酬関数 $R(y)$ を用いて、**グループ相対方策最適化（GRPO）**を拡張する。
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$（結果報酬）： 正解の二値判定だけでなく、LLM による解決経路の近接性に基づく部分的なクレジットを使用し、ニアミス軌道に対する勾配を提供する。
• $R_{adh}$（遵守報酬）： LLM クリティックが事前計画と計画間の戦略的整合性をスコアリングする。重要なのは、事前計画を無視する高品質な計画は低いスコアを受け取り、モデルが事前計画のガイダンスを真に追随することを強制する点である。
• $R_{fmt}$（フォーマットガード）： 出力が、箱入り（boxed）の答えと共に、順序通りに各タグ（<preplan>、<plan>、<execute>）を 1 つずつ正確に含むことを保証する。
• $R_{sty}$（スタイルペナルティ）： 学習中にネタバレスコア $s(\cdot)$ をペナルティとして再利用する。学習中に事前計画が再び計算内容へと逸脱した場合、報酬がペナルティされ、データ構築中に確立された概念的完全性が維持される。

3. 主要な貢献

• 概念的： 本論文は、既存の推論手法におけるパラダイムレベルのギャップを形式化する。すなわち、「どのように」解決するかを明示的にモデル化する対して、「何を」解決するかを暗黙的に処理するという点である。これに対処するため、「質問 → 事前計画 → 計画 → 連鎖的思考（CoT）」というパラダイムを提案する。
• 方法的：
  • 漏洩とネタバレ失敗に対してネタバレ検出器によって保護された、明示的な事前計画の教師信号を持つ最初の推論データセットの構築。
  • 計画と事前計画の整合性を明示的に強制する複合 GRPO 報酬の設計。これにより、モデルが事前計画を装飾的だが無視されるステップとして扱うことを防ぐ。
• 実証的： 4 つのバックボーン（Qwen3-4B、Qwen2.5-7B、Qwen2.5-Math-7B、Llama-3.1-8B）および 5 つの数学ベンチマーク（AIME25、Minerva-Math、OlympiadBench、MATH-500、GSM8K）にわたる広範な評価。

4. 実験結果

• 性能： PPC は、すべてのベンチマークおよびバックボーンにわたる 40 個の指標のうち 39 個で最良の結果を達成する。
• 改善： 最強のベースライン（Plan-Tuning、PTA-GRPO）と比較して、PPC は maj@16 を +2.23、pass@16 を +3.06 改善する。
• 効率性： 追加の段階を加えたにもかかわらず、PPC は完全な CoT よりも少ないトークンを生成し、PTA-GRPO よりも著しく少ないトークンを生成する。事前計画と計画は実行を単一の解決経路に制限し、制約のない CoT で一般的に見られる冗長な迂回路を回避する。
• 忠実性： 推論時の介入（事前計画の文をシャッフルする、不一致の事前計画を使用する、または一般的なプレースホルダーを使用する）は、深刻な性能低下を引き起こす（例：不一致の事前計画を用いた Qwen3-4B では、maj@16 が 97.2 から 46.8 に低下）。これは、モデルが単に事前計画を生成しているのではなく、その内容に真に依存していることを確認する。

5. 意義と主張

本論文は、現在の計画ベースの推論の主な限界が計画の欠如ではなく、問題理解に専念した段階の欠如にあると主張する。「何を解決するか」を事前計画を通じて明示化することで、モデルは解決経路にコミットする前に適切なツールと戦略を選択できるようになる。

著者らは、この改善が単なるプロンプティングによるものではないことを強調している（「Prompt-Only」ベースラインが劣ることで示されている）。これは、特定のデータ構築と複合報酬トレーニングを通じてパラダイムを学習することで初めて達成される。このフレームワークは、標準的な CoT と比較して追加のトークンオーバーヘッドを導入することなく、明示的な問題理解がより高い精度とより大きな推論効率を同時に生み出すことを実証している。