論文「Procedural Knowledge at Scale Improves Reasoning」の技術的サマリー

この論文は、大規模言語モデル（LLM）の推論能力を向上させるための新しいアプローチとして、**「Reasoning Memory（推論メモリ）」を提案するものです。従来のテスト時スケール（推論時の計算リソース増大）が個々の問題を孤立して処理し、過去の推論軌道からの手続き的知識（Procedural Knowledge）**を十分に活用できていないという課題に対し、大規模な手続き的知識の検索・再利用を可能にするフレームワークを構築しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

1.1 テスト時スケールの限界

近年、OpenAI の o1 シリーズや DeepSeek R1 などの「推論モデル」は、推論時にトークン予算を増やすことで（「より長く考える」ことで）数学、科学、コーディングタスクの精度を向上させる「テスト時スケール」が有効であることが示されています。しかし、既存の手法には以下の重大な限界があります。

• 知識の再利用不足: 各問題を孤立して処理しており、過去の推論軌道から得られた知識を体系的に再利用していません。
• 手続き的知識の軽視: 既存の検索拡張生成（RAG）は、定義や定理などの「事実的知識（Factual Knowledge）」の提供に焦点を当てがちです。しかし、難易度の高い推論タスクにおけるボトルネックは事実の欠如ではなく、「問題をどう再構成するか」「どのアプローチを選ぶか」「バックトラックするタイミング」などの**手続き的知識（Procedural Knowledge）**の欠如にあります。
• 文脈の不一致: 一般的なドキュメントベースの RAG を推論モデルに適用すると、モデルの現在の推論状態（サブクエリ）と検索された文脈の整合性が低く、むしろ精度が低下するケースさえあります。

2. 提案手法：Reasoning Memory

Reasoning Memory は、推論モデル向けに大規模な手続き的知識を抽出・検索・再利用する RAG フレームワークです。

2.1 手続き的知識データストアの構築

既存の推論軌道（Nemotron V1 コーパスなど）から、以下のプロセスで大規模なデータストアを構築します。

1. 分解（Decomposition）: 長い推論軌道を、自己完結型の「サブクエリ（Subquestion）」と「サブルーチン（Subroutine）」のペアに分解します。
   • サブクエリ: 軌道内の中間目標を捉えた簡潔な問題記述。
   • サブルーチン: そのサブクエリを解決するための高レベルな手順や戦略の要約（具体的な計算や数値は抽象化）。
2. 規模: このプロセスにより、約3200 万件のコンパクトな手続き的知識エントリ（サブクエリ - サブルーチンペア）からなるデータストアを構築しました。

2.2 推論中の能動的検索（In-Thought Active Retrieval）

推論時、モデルは以下のステップで知識を再利用します。

1. クエリ生成（Verbalization）: モデルの思考プロセス（Thinking Trace）内で、現在のサブクエリを自然言語の検索クエリとして「言語化（Verbalize）」させます。
   • 例：「現在のステップを解決するために、類似の基本的な問題を検索しよう。これを Google 検索クエリとして表現すると…」
2. 検索と注入: 生成されたクエリでデータストアから関連するサブルーチンを検索し、推論ストリームにヒントとして直接注入します。
   • 注入形式：[hint] 関連する問題「...」の解決手順：[サブルーチン内容] [end of hint]
3. 推論の継続: モデルは注入された手続き的知識を暗黙的な事前知識（Procedural Priors）として利用し、推論を継続します。

2.3 テスト時スケールとの統合

推論予算（サンプリング数）に応じて、検索された多様なサブルーチンに基づいて複数の推論軌道を生成し、フィルタリングを行います。

• 不確実性スコア: 生成された推論の長さ（トークン数）を不確実性の指標として使用します（一般的に、迷走やバックトラックが多いと長くなるため、短い軌道ほど自信があるとみなす）。
• フィルタリング: 複数のサブルーチンごとに生成された候補軌道をスコアリングし、高品質なものを最終回答として選択します。

3. 主要な貢献

1. 大規模手続き的知識データストアの構築: 3200 万件の「サブクエリ - サブルーチン」ペアからなる、推論タスクに特化した大規模データストアを初めて構築・公開しました。
2. 推論モデル向け RAG の設計: 一般的なドキュメント検索ではなく、モデルの思考プロセスと密接に連携する「推論中の検索（In-Thought Retrieval）」と、粒度の細かい「サブルーチン」の再利用を可能にする設計を提案しました。
3. 包括的な評価: 数学（AIME, MATH500）、科学（GPQA-Diamond）、コーディング（LiveCodeBench）の 6 つのベンチマークにおいて、既存の RAG 手法や検索なしのテスト時スケール手法と比較し、一貫した性能向上を実証しました。

4. 実験結果

4.1 主要な結果

• 性能向上: 6 つのベンチマーク全体で、Reasoning Memory は「検索なし（No RAG）」のベースラインに対して最大19.2%、計算リソースを同等にした最強のベースラインに対して最大**7.9%**の精度向上を実現しました。
• 他手法との比較:
  • ドキュメント RAG: 既存のドキュメントベース RAG（CompactDS など）は、指示従順モデルには有効ですが、推論モデルに対しては効果的ではなく、場合によっては精度を低下させました。
  • 軌道 RAG: 全文の推論軌道を検索しても、粒度が粗すぎて効果的ではありませんでした。
  • テンプレート RAG: 事前定義された少量のテンプレート库よりも、大規模なデータストアからの検索の方が優れていました。
• スケーラビリティ: 推論予算（サンプリング数）を増やすと、多様なサブルーチンに基づく探索（Diversity-First 戦略）が有効であり、性能がさらに向上することが示されました。

4.2 消融実験（Ablation Study）

• 分解の重要性: サブルーチンへの分解を行わず、元の質問で検索すると性能が大幅に低下しました。
• クエリ生成の重要性: 元の質問をそのまま検索クエリにすると、推論中の文脈に合わないため性能が低下しました。モデル自身が思考内でクエリを生成することが重要です。
• データストアの構成: 数学・科学・コーディングを混合したデータストアが最も効果的であり、ドメイン間での手続き的知識の転移が有効であることを示しました。

5. 意義と結論

この研究は、推論モデルの能力向上において、単に「長く考える」ことだけでなく、**「過去の成功体験（手続き的知識）を構造化して再利用する」**ことの重要性を浮き彫りにしました。

• RAG と推論の融合: 検索拡張生成（RAG）を、単なる事実の補完ではなく、推論プロセスそのものを導く「戦略的ガイド」として機能させる新しいパラダイムを示しました。
• 実用性: 追加のモデル微調整（Fine-tuning）なしに、既存のオープンウェイト推論モデル（DeepSeek-R1, Qwen など）の性能を大幅に向上させることが可能です。
• 将来展望: 手続き的知識の蓄積、検索、再利用を継続的に行うシステムは、AI の推論能力を長期的に進化させるための重要な方向性を示唆しています。

総じて、Reasoning Memory は、大規模な手続き的知識を推論プロセスに統合することで、テスト時スケールの限界を突破し、複雑な推論タスクにおけるモデルの性能を飛躍的に高める有効な手法です。