CodePDE: 大規模言語モデル（LLM）駆動による PDE ソルバ生成のための推論フレームワーク

本論文は、偏微分方程式（PDE）の数値解法を「コード生成タスク」として再定義し、大規模言語モデル（LLM）を用いて実行可能なソルバコードを自動生成する新しい推論フレームワーク**「CodePDE」**を提案しています。従来の数値ソルバは専門知識と計算コストを要し、ニューラルネットワークベースのソルバは大量の学習データと解釈性の欠如が課題でした。CodePDE は、LLM の推論能力とテスト時のスケール戦略を組み合わせることで、これらの課題を克服し、高精度かつ解釈可能なソルバを生成することを目指しています。

以下に、論文の主要な内容を技術的に詳述します。

1. 背景と課題

• PDE 解法の現状: 科学技術における複雑な現象のモデル化に PDE は不可欠ですが、その数値解法の実装には深いドメイン知識と手動のチューニングが必要です。
• 既存手法の限界:
  • 伝統的な数値ソルバ: 実装が複雑で、専門家の介入が必要。
  • ニューラル PDE ソルバ (PINNs, Neural Operators など): 大量の事前学習データが必要であり、生成される解の過程がブラックボックス化しており、解釈性が低い。
• LLM の可能性: LLM は自然言語から構造化されたコードを生成する能力を持っていますが、単なるプロンプト入力だけでは、数値的に安定したソルバを生成することは困難です。特に、バグの修正や数値スキームの最適化には高度な推論と反復プロセスが必要です。

2. 提案手法：CodePDE フレームワーク

CodePDE は、LLM による PDE ソルバ生成を 5 つのステップで構成される構造化された推論パイプラインとして実装しています。

1. タスク仕様 (Task Specification):
   • PDE の支配方程式、領域、境界条件、初期条件を自然言語で記述し、LLM に入力します。
2. コード生成 (Code Generation):
   • Chain-of-Thought (CoT) プロンプティングを用いて、LLM に数値アルゴリズム（有限差分法、スペクトル法、Runge-Kutta 法など）の組み合わせを推論させ、ソルバの実装コードを生成させます。
3. デバッグ (Debugging):
   • 生成されたコードを実行し、エラーや数値的不安定性（NaN/Inf）を検出します。エラーメッセージと元の仕様を LLM にフィードバックし、自己修正（自己デバッグ）を反復的に行います。
4. 評価 (Evaluation):
   • 実行可能なソルバについて、基準解との誤差（nRMSE）、収束性テスト（グリッド解像度を上げた際の誤差減少）、計算時間を評価します。
5. ソルバの洗練 (Solver Refinement):
   • 評価結果（nRMSE など）を LLM にフィードバックし、精度向上や計算効率の改善を目的としたコードの改良（リファインメント）を指示します。

このフレームワークは、ローカルデプロイと API ベースの両方に対応し、モジュール設計により、新しいモデルやエージェントワークフローとの統合が可能です。

3. 主要な貢献

1. CodePDE の開発: PDE 分野の知識と LLM の自己改善・テスト時スケール能力を統合した、初の推論フレームワークの提案。
2. LLM による高品質ソルバ生成の実証: 自動デバッグ、自己洗練、テスト時スケール（Best-of-N サンプリング）を組み合わせることで、LLM が手動で作成された参照ソルバや専門的な PDE ソフトウェアと同等、あるいはそれ以上の性能を達成できることを示した。
3. 包括的な評価と洞察:
   • LLM 生成ソルバの精度、効率性、数値スキームの多様性、失敗モードを体系的に分析。
   • 「ソルバの信頼性」と「高度さ（複雑なスキームの使用）」の間のトレードオフの発見。
   • コード生成能力とコード洗練能力が LLM において異なるスキルであるという知見。

4. 実験結果と分析

5 つの代表的な PDE ファミリー（移流、バーガース、反応拡散、圧縮性 Navier-Stokes、ダルシー流）において、16 種類の LLM（GPT-4o, Claude 3.7, Gemini 2.5, DeepSeek-R1 など）を評価しました。

• 性能比較:
  • CodePDE（推論＋デバッグ＋洗練）は、バーガース方程式など多くのタスクで、手動作成の参照ソルバや既存のニューラルソルバ（FNO, PINN など）を上回る精度（nRMSE）を達成しました。
  • 例：バーガース方程式において、Gemini 2.0 Flash は洗練プロセスを経て nRMSE を $1.06 \times 10^{-4}$ まで改善し、参照ソルバ（$3.55 \times 10^{-4}$）よりも 70% 精度が向上しました。
• 自己デバッグの重要性:
  • 単発生成（Single-shot）ではソルバの成功率が平均 41% でしたが、最大 4 回の自己デバッグを行うことで 84% まで向上しました。特に複雑な CNS 方程式では、デバッグなしでは 16.6% しか成功しませんでした。
• テスト時スケール (Test-Time Scaling):
  • Best-of-N サンプリング（N を増やす）により、解の精度が向上することが確認されました。N=4 から N=16 付近で最も大きな改善が見られ、その後は収束傾向にあります。
• 失敗モードと限界:
  • 反応拡散方程式: 多くの LLM が反応項を離散化しようとし、参照ソルバが利用する「反応項の解析解」を活用する戦略を見逃す傾向がありました。これは、ドメイン知識の不足や、数値スキームの選択における失敗モードを示しています。
  • 信頼性 vs 高度さ: 一部のモデルは、複雑な高次スキームを避け、単純な一次元スキームを採用することで「失敗率」を低く保つ傾向があり、必ずしも高精度な解を生成しているとは限りませんでした。

5. 意義と将来展望

• 解釈性の向上: ニューラルソルバがブラックボックスであるのに対し、CodePDE は人間が読める Python コードを生成します。これにより、生成されたソルバの論理構造、数値スキーム、バグの原因を人間が検証・修正することが可能となり、科学計算における透明性が飛躍的に向上します。
• 科学計算の民主化: 高度な数値解析の専門知識を持たない研究者でも、自然言語で PDE を記述するだけで、高精度なソルバを生成・利用できるようになる可能性があります。
• 人間と AI の協調: 特定の難しいタスク（反応拡散方程式など）では、ドメイン専門家のヒント（ヒューマン・イン・ザ・ループ）を与えることで、LLM の性能が劇的に向上することが示されました。これは、将来的な AI 支援科学発見における人間と AI の協働の重要性を示唆しています。

結論として、CodePDE は、LLM を科学計算の強力なエージェントとして活用するための新たなパラダイムを提示し、自動デバッグ、自己洗練、テスト時スケールを組み合わせることで、従来の手法に匹敵する信頼性と精度を達成できることを実証しました。