技術サマリー: PCL-Reasoner-V1.5

問題提起

数学的推論は、大規模言語モデル（LLM）にとって厳格なベンチマークであり、精密な論理的演繹と構造化された問題解決を要求します。DeepSeek-R1のような最近の画期的な成果は、強化学習（RL）を思考の連鎖（Chain-of-Thought: CoT）と組み合わせることで優れた推論を引き出せることを示しましたが、主流のパラダイムは依然としてオンラインRL手法（例：Group Relative Policy OptimizationまたはGRPO）に大きく依存しています。これらのオンラインアプローチは、推論と学習のループが密結合していることによる、学習の不安定性、報酬の崩壊、および高い計算オーバーヘッドといった重大な技術的課題をもたらします。さらに、リアルタイムのロールアウトと分散勾配更新のために必要な複雑なオーケストレーションは、エンジニアリングの複雑さと実験コストを増大させます。

メソドロジー

著者らは、Qwen2.5-32Bアーキテクチャに基づいた320億パラメータのLLMであるPCL-Reasoner-V1.5を導入します。このモデルは、教師あり微調整（SFT）に続く、斬新なオフラインRLアプローチを通じて洗練されます。

1. 教師あり微調整 (SFT)

• ベースモデル: Qwen2.5-32B。
• データ: AM-DeepSeek-R1-0528-Distilledの数学的サブセットから抽出された666K個のサンプル。データは、32Kトークンを超えるシーケンスを除去するためにフィルタリングされました。
• 学習設定: グローバルバッチサイズ128、学習率 $6 \times 10^{-5}$（コサイン減衰）、4エポック。著者らは、可変長サンプルを32Kシーケンスに連結してパディングの冗長性を排除するデータパッキングを利用しました。
• プロンプティング: 特定のテンプレートを使用してCoT構造を強制し、モデルに<thought>タグ内で推論を行い、<answer>タグ内で最終回答を出力することを要求しました。

2. オフライン強化学習

推論と学習を反復的に行うオンラインRLとは異なり、このアプローチは推論と学習をデカップル（分離）します。

• データキュレーション: データセットはNemotron-Post-Training-Dataset-v1から派生しました。著者らは、平均推論回答長が32Kトークンを超え、かつ8つの候補回答すべてが正解ではない質問を保持することで、高難易度のタスクを抽出しました。これにより、6,068個の高難易度問題が得られました。
• 推論フェーズ: SFTモデル（PCL-Reasoner-V1）は、Huawei Ascend 910C NPU上でサンプリングベースのデコーディング（top-k=40, top-p=0.95, temperature=0.6）を用い、質問ごとに8つの候補回答を生成しました。
• 検証とフィルタリング: 別の検証モデル（Qwen3-32B）がバイナリ報酬（正解なら $R=1$、不正解なら $R=-1$）を割り当てました。
  • GRPOの内部メカニズムを模倣するため、報酬の分散がゼロである質問（すべて正解、またはすべて不正解）は除外されました。
  • 長さバイアスを防ぐため、48Kトークルを超える正例は破棄されました。
  • 最終的なデータセットには、30,215個のサンプル（正例14,512、負例15,703）が含まれました。
• 学習目的: ポリシーモデルは、$\pi_\theta$ がトークンレベルの確率の幾何平均として定義されるとき、RL損失 $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$ を最小化するように学習されました。重要度サンプリング（Importance Sampling）は、LLMのRL設定における非効率性の知見に基づき、明示的に除外されました。
• インフラストラクチャ: 学習には8つの計算ノード（各ノードに8基のAscend 910C NPUを搭載）を使用し、MindSpeed-LLMフレームワークを介してテンソル並列度8、パイプライン並列度4を採用しました。

主な貢献

1. オフラインRLパラダイム: 本論文は、推論タスクにおけるオンラインRL（GRPO）に代わる、安定かつ効率的な選択肢としてオフラインRLを提案し、検証しています。推論と学習をデカップルすることで、不安定性を引き起こすフィードバックループを排除し、「一度推論して、何度も学習する」ワークフローを可能にし、実験コストを大幅に削減できると主張しています。
2. 最先端の性能: PCL-Reasoner-V1.5は、Qwen2.5-32Bでポストトレーニングされたモデルの中で、新たなSOTA（State-of-the-Art）の結果を達成しました。
3. ハードウェア効率: すべての実験はHuawei Ascend 910C NPU上で正常に実施され、大規模な推論モデル学習におけるこのハードウェアの実行可能性を実証しました。
4. オープンリリース: 著者らは、再現性を促進するために、モデル、学習データ、およびコード（データ処理および評価スクリプトを含む）を公開しています。

実験結果

モデルは AIME 2024 および AIME 2025 ベンチマーク（それぞれ30問）で評価されました。

• 精度 (pass@1):
  • AIME 2024: 90.9%
  • AIME 2025: 85.6%
  • これらの結果は、他のQwen2.5-32B派生モデル（例：AIME 2024において72.6%のDeepSeek-R1-Distill-Qwen-32B）を上回り、OpenAI-o3 (91.6%) や DeepSeek-R1-0528 (91.4%) といったより大規模なモデルとも競合しています。
• 行動分析:
  • 応答長: RL学習により、平均応答長が大幅に増加しました（AIME 2024において約22.5Kから約30.5Kトークンへ）。これは、モデルがより広範な推論を行っていることを示唆しています。
  • Long-CoT能力: 分離分析によると、SFTモデルは長いCoT（$\ge$32Kトークン）を必要とする問題に苦戦する一方で、RL学習後のモデルは、この範囲において劇的な精度の向上を示しており、持続的で複雑な推論能力が強化されていることを示しています。

重要性と主張

著者らは、オフラインRLがLLMの推論を進展させるための堅牢なパラダイムであり、オンライン手法に対して明確な利点を持つと主張しています。

• 安定性: 固定された静的なデータセットで学習することにより、動的な推論・学習間の相互作用によって頻繁に見られる報酬の崩壊や発散を回避できます。
• 効率性: デカップリングにより、推論（vLLMのような高スループットフレームワークを使用）と学習を独立して最適化でき、ハードウェアの利用率を最大化し、同期によるレイテンシオーバーヘッドを削減できます。
• 簡潔さ: 複雑なリアルタイム・オーケストレーション・フレームワークを必要としないため、エンジニアリングのワークフローを簡素化できます。

本論文は、オフラインRLは静的なデータセットの質に制約され、「R1-Zero」スタイルの自己修正のように新しい推論パスを反復的に発見することはできないものの、強力なベースラインを持つモデルを洗練させるには非常に効果的であると結論付けています。本研究は、高性能な推論のためにオンラインRLが必須であるという考えに疑問を投げかけ、安定し、計算効率の高いオフラインアプローチが、競争力のある最先端の結果を生み出せることを実証しました。