Infinite Problem Generator: Verifiably Scaling Physics Reasoning Data with Agentic Workflows

この論文は、実行可能な Python コードとして解を構築する「Formula-as-Code」パラダイムを採用したエージェント型フレームワーク「Infinite Problem Generator (IPG)」を提案し、物理学的推論の検証可能な高品質データセット「ClassicalMechanicsV1」を生成することで、複雑な推論能力を持つ大規模言語モデルの学習におけるデータ不足の問題を解決する手法を示しています。

要約

この論文は、**「AI（人工知能）に物理学の難しい問題を解く力を教えるための、新しい『無限に問題を作る工場』」**を紹介するものです。

これまでの AI は、物理の教科書にあるような複雑な計算や論理推理が苦手でした。それは、AI が勉強するための「高品質で正解が保証された問題集」が不足していたからです。

この研究チームは、その問題を解決するために**「IPG（無限問題生成器）」**というシステムを開発しました。以下に、専門用語を排して、身近な例えを使って説明します。

---

1. 従来の問題点：「嘘をつきやすい AI」と「足りない問題集」

• 従来の AI の弱点：
  普通の AI は、物理の問題を作る際、まるで「記憶力はあるが計算が苦手な生徒」のように振る舞います。言葉は上手に並べますが、計算過程で「幻覚（ハルシネーション）」を起こし、**「答えは合っているように見えるが、実は計算が間違っている」**という嘘をつくことがありました。
• データ不足：
  物理の勉強には、単に問題文と答えだけでなく、「どう考えてその答えに至ったか」という**思考の跡（ステップバイステップの解説）**が必要です。しかし、既存の問題集は「テスト用」に作られており、AI が学習するための「思考の跡」が大量にありませんでした。

2. 解決策：IPG（無限問題生成器）の仕組み

このチームは、AI に「言葉で問題を作る」のではなく、**「プログラム（コード）で問題を作る」**という発想の転換を行いました。

① 「公式をコードにする」魔法のレシピ本

通常、物理の公式（例：$v = u + at$）は、AI は「文字の羅列」として扱います。しかし、IPG はこれを**「Python というプログラミング言語で書かれた実行可能な関数」**に変換します。

• 例え話：
  料理を作る際、AI が「美味しいカレーのレシピ」を言葉で書くのではなく、「自動調理ロボットが実際に動かせるプログラム」としてレシピを作ります。
  もしプログラムに矛盾があれば、ロボットはすぐにエラーを出して止まります。これにより、「計算が間違っている問題」は最初から作れません。

② 3 つの工程で「正解確定」の問題を作る

IPG は以下の 3 つのステップを繰り返して、1 つの「種（元の問題）」から 10 個もの新しい問題を作ります。

1. 分析（料理の素材選び）：
   元の問題を分析し、「どの物理法則（公式）を使うか」「どんなシチュエーション（例：おもり、車、ロープ）に変えられるか」を決めます。
2. 生成（料理の作成）：
   AI が新しい問題文を作ります。ここで重要なのは、**「使われる公式は事前に決まっている」**こと。AI は勝手に新しい公式を捏造できません。
3. 検証（味見と試食）：
   作った問題に対して、自動で Python コードを実行して答えを計算させます。
   • コードがエラーになる？ → 捨てます。
   • 答えが「無限大」や「マイナスの質量」になる？ → 捨てます。
   • 正しく計算できた？ → OK！この問題は「正解確定」です。

このように、**「作ってから、機械的に正解を確認する」**というプロセスを徹底することで、嘘のない高品質な問題集を大量に生み出しました。

3. 発見された「複雑さの設計図」

この研究で面白い発見がありました。それは、「問題の難しさ」と「コードの長さ」が比例するという事実です。

• 発見：
  問題に使う物理公式が 3 つなら、コードは短く、5 つならコードは長くなります。
  • 例え話：
    家を建てる際、「壁の数が多ければ、必要な設計図（コード）も必然的に長くなる」のと同じです。
  • 意味：
    これにより、「コードの長さを見るだけで、問題がどれくらい難しいか」を正確に予測できるようになりました。これを使えば、AI のレベルに合わせて、あえて「簡単な問題」や「超難問」を自動で量産する「カリキュラム（学習計画）」が作れるようになります。

4. 成果：「ClassicalMechanicsV1」という問題集

このシステムを使って、専門家が作った165 個の元の問題から、1,335 個の新しい問題を生成しました。

• 質： すべて計算が正しく、物理的にあり得る問題です。
• 多様性： 「滑車」の問題を「タイヤ」や「釣り糸」など、様々なシチュエーションに変えて作られています。
• 公開： このデータセットと、問題を作るシステムのコードはすべて公開されており、世界中の研究者が AI の学習に使えるようになりました。

まとめ

この論文は、**「AI に物理を教えるには、ただ問題を増やすだけでなく、『計算機が正解を確認できる仕組み』を取り入れる必要がある」**と示しました。

まるで、**「生徒に問題を解かせる前に、先生（AI）が自分で答え合わせをして、間違っていなければ合格とする」**というシステムを、自動で何千回も繰り返す工場を作ったようなものです。これにより、AI が真の「論理的思考」を身につけるための、信頼できる土台が築かれました。

技術概要

論文「Infinite Problem Generator: Verifiably Scaling Physics Reasoning Data with Agentic Workflows」の技術的サマリー

この論文は、大規模言語モデル（LLM）の複雑な推論能力を向上させるための課題である「高品質で検証可能な学習データの不足」を解決するため、物理学分野に特化した**「Infinite Problem Generator (IPG)」**という自律的（Agentic）なデータ生成フレームワークを提案しています。特に、古典力学分野において、専門家が作成したシード問題から検証可能な大規模な問題セットを生成し、その難易度制御メカニズムを実証しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

• データの不足: 物理学や高等数学のような厳密な多段階推論が必要な分野では、Web 規模のコーパスは不十分であり、LLM の学習を阻害しています。
• 合成データの課題: 既存のテキスト拡張（Text Augmentation）手法は、幻覚（Hallucination）を誘発したり、論理的整合性が欠如したりする傾向があります。また、既存のベンチマーク（JEEBench など）は評価用として設計されており、微調整（Fine-tuning）に必要な「実行可能な推論トレース」を含む大規模な学習用コーパスが不足しています。
• 目標: 物理法則に基づき、数学的に厳密で、かつ実行可能なコードとして検証可能な問題セットをスケーラブルに生成すること。

2. 手法：Infinite Problem Generator (IPG)

IPG は、自然言語生成と数値推論を分離し、**「数式をコードとして扱う（Formula-as-Code）」**というパラダイムを採用した 3 段階のワークフローです。

2.1 核心となる設計思想

• 数式＝実行可能コード: 物理法則を単なるテキストトークンではなく、事前に定義された Python 関数（実行可能な公理）として表現します。これにより、生成された問題の解が数学的に実行可能であることを保証します。
• 生成 - 検証ループ: 問題生成と Python コードによる検証を密接に連携させ、実行エラーや物理的に不整合な値（例：負の質量、無限大の速度）を自動的にフィルタリングします。

2.2 3 つのフェーズ

1. フェーズ I: 問題分析と文脈拡張
   • 専門家によるシード問題（例：Verma の『Concepts of Physics』）から、核心的な物理原理を抽出。
   • 「章辞書（Chapter Dictionary）」を用いて、関連する物理概念や実世界のシナリオ（例：滑車→タイヤ、釣り糸など）をマッピングし、利用可能な数式ライブラリを構築します。
   • 変数の物理的範囲（例：摩擦係数 $\mu \in [0, 1]$）を定義し、制約条件を抽出します。
2. フェーズ II: 制約付き問題生成
   • 抽出されたシナリオと数式ライブラリに基づき、LLM が新しい問題文を生成します。
   • 難易度制御: 1 問題あたりに使用する数式の数（3〜5 個）を明示的に指定し、多段階推論を強制します。
   • 一意性チェック: 問題の「署名（Signature：使用された数式 ID の集合＋未知変数）」をハッシュセットで管理し、重複を排除します。
3. フェーズ III: コード実行による解の生成と検証
   • 生成された問題に対し、指定された数式ライブラリのみを使用して Python による解法コードを自動生成します。
   • 検証基準:
     1. 構文の正当性（実行エラーなし）。
     2. 数値的解の存在（NaN や無限大でない）。
     3. 物理的妥当性（時間 $t>0$、質量 $m>0$ など）。
   • 検証に合格した問題のみを最終データセットに含めます。

3. 主要な貢献

1. 自律的検証フレームワーク (IPG):
   • 物語の多様性とコード実行による検証を組み合わせ、合成データにおける数学的幻覚を大幅に低減するパイプラインを提案しました。
2. ClassicalMechanicsV1 データセット:
   • 165 個の専門家シード問題から、1,335 個の検証済み問題に拡張したデータセットを公開しました。
   • 各問題には実行可能な Python 解法コードと検証済み数値が含まれており、教師あり微調整（SFT）や強化学習（RL）に直接使用可能です。
3. 複雑性設計図 (Complexity Blueprint):
   • 問題の構造的特徴（使用される物理法則の数）と、それに対応する解決コードの長さの間に、**強い線形相関（$R^2 \approx 0.95$）**が存在することを発見しました。
   • これにより、コードの長さや構造的複雑さを指標として、人間の注釈なしに問題の難易度を精密に制御できることを実証しました。

4. 結果と分析

• データ品質:
  • 生成された 1,335 問題のうち、99.85% が検証をパスしました。
  • 平均して問題あたり 3.05 個の物理法則が使用されており、多段階推論（3 段階以上）が 70% 以上を占めています。
  • 単一チャプターに留まらず、異なる章（例：剛体力学＋運動エネルギー）からの概念を混合した問題が多数生成され、深い推論を要求しています。
• 複雑性と難易度の関係:
  • 使用される数式の数が増えるにつれて、解決コードの文字数が線形に増加することが確認されました。これは、LLM が無関係なロジックを付加せず、物理的必要性に基づいてコードを生成していることを示唆しています。
• 失敗モードの分析:
  • 難易度が低い（1〜2 数式）領域では 99% 以上の有効性を示しましたが、高難易度（4 数式以上）では「署名の不一致（中間値は正しいが最終変数への連鎖に失敗）」などのエラーが増加しました。これは、LLM の長期的な変数文脈維持の限界を示しており、このデータセットがその限界をテストする有効な手段であることを裏付けています。
• モデル評価:
  • 既存のベンチマーク（JEEBench）と比較し、生成されたデータセットで Qwen3-14B を評価した結果、より低い精度を示しました。これは、生成された問題が単なるパターンマッチングではなく、真の物理推論を要求する高難度のもの임을示しています。

5. 意義と将来展望

• 研究の意義:
  • 従来の「テキストベースの生成」から「実行可能コードベースの検証」への転換により、物理学のような厳密な推論分野における高品質な学習データの作成を可能にしました。
  • 「Complexity Blueprint」は、学習曲線（カリキュラム）を自動で設計するための新しいメトリクスを提供します。
• 将来の課題:
  • 対象領域の拡大（電磁気学、光学など）。
  • 多モーダル対応（物理図面の自動生成）。
  • 高度な物理法則（保存則など）をより厳密に検証するための形式制約ソルバー（Z3 など）の統合。

結論

この論文は、LLM の推論能力を向上させるためのボトルネックである「高品質データの不足」に対し、**「数式をコードとして実行可能化し、自律エージェントによる検証ループを回す」**という革新的なアプローチを提示しました。これにより、物理学分野において、構造的に多様で、数学的に厳密な、かつ難易度が制御可能な大規模な学習データセットを生成する道筋を示しました。