🤖 AI

LLM-Based Scientific Equation Discovery via Physics-Informed Token-Regularized Policy Optimization

本論文は、階層的な物理的妥当性とトークンレベルの構造的簡潔性を強制することで、大規模言語モデルを記号回帰のための適応型生成器へと変容させ、それによって最先端の方程式発見を実現し、小規模モデルがクローズドソースの巨大なモデルを凌駕することを可能にする強化学習フレームワークであるPiT-POを導入する。

原著者： Boxiao Wang, Kai Li, Tianyi Liu, Chen Li, Junzhe Wang, Yifan Zhang, Jian Cheng

公開日 2026-08-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Boxiao Wang, Kai Li, Tianyi Liu, Chen Li, Junzhe Wang, Yifan Zhang, Jian Cheng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、指紋や足跡を探す代わりに、世界がどのように機能するかを支配する秘密の数学的レシピを追い求める探偵であると想像してください。この分野は「記号回帰（Symbolic Regression）」と呼ばれます。今日のほとんどのコンピュータプログラムは、理由を説明せずに答えを推測するだけの「ブラックボックス」のようなものですが、記号回帰は、データの山の中に隠された実際の数式、つまり「自然の法則」を見つけ出そうとするものです。これは、ただ鼻歌を歌うのではなく、曲を聴いてゼロから楽譜を書き起こそうとする作業に似ています。

長い間、科学者たちはこれらのレシピを見つけるために古風な手法を用いてきましたが、それらは時間がかかる上に、膨大な数の可能な数式の荒野の中で迷子になりがちでした。最近、「大規模言語モデル（LLM）」と呼ばれる新しい種類の「スーパーブレイン」がこのゲームに参入しました。これらは、物語を書いたりあなたとチャットしたりできるものと同じタイプのAIですが、これらは何百万冊もの科学の教科書も読み込んできました。そのため、これらは科学的な方程式がどのような形をしているか、その「推測」において非常に優れています。しかし、落とし穴があります。これらのAIモデルは通常、教科書を暗記しただけで一度もテストを受けたことがない学生のようなものです。彼らは、もっともらしく見え、数値に完璧に適合する数式を吐き出すことはできますが、物理法則を無視したり、不必要に複雑だったりすることがあります。まるで、シェフの気分で塩を一杯加えるような、不合理なレシピのようなものです。

ここで、新しい研究が登場します。Boxiao WangとKai Li率いる研究チームは、この「暗記癖」の問題を解決したいと考えました。彼らは「PiT-PO（Physics-informed Token-Regularized Policy Optimization：物理学に基づいたトークン正則化方策最適化）」と呼ばれるシステムを作り上げました。単にAIに推測を求めて期待するのではなく、PiT-POはAIを、リアルタイムで自分の間違いから学ぶ学生へと変貌させます。それは、優秀だが厳しい物理学の教師がAIのすぐ隣に立ち、「いや、その項は物理的に意味を成さないぞ」とか「材料を使いすぎだ、簡略化しろ！」とささやいているようなものです。

チームは巧妙なフィードバックループを構築しました。AIが候補となる方程式を生成すると、PiT-POはそれを2つの厳格なルールに照らしてチェックします。第一に、それは「物理的妥当性」を検証します。例えば、その方程式がエネルギーなしに流体が坂を登るように予測した場合、システムはその方程式にペナルティを与えます。第二に、「冗長性」をチェックします。その方程式は不必要な部分で膨れ上がっていないでしょうか？研究者たちは、「支持排除定理（Support Exclusion Theorem）」と呼ばれる数学的なトリックを使用して、単なるノイズである項を特定し、それをAIに含めたことに対して罰を与えました。

結果は素晴らしいものでした。テストにおいて、PiT-POは単にデータに適合する方程式を見つけただけでなく、たとえデータが乱れていても、正しい根底にある法則を見つけ出しました。ある特定のテストである「周期的な丘の上の流れ（Flow over Periodic Hills）」と呼ばれる空気の混沌とした流れに関する問題では、このAIは、従来の手法よりも現実に近い乱流のモデリング方法を発見しました。おそらく最もエキサイティングなことは、このシステムが非常にうまく機能したため、小規模なオープンソースのAIモデル（標準的なコンピュータで実行できるもの）でさえ、巨大で高価な「クローズドソース」の巨人を凌駕することができた点です。

AIに自身の探索プロセスから学ぶことを教え、物理学のルールを厳格に適用することで、PiT-POは静的な推測マシンを、適応力のある科学的発見者へと変貌させます。これは、宇宙の秘密を解き明かすためにスーパーコンピュータを待つ必要はないことを示唆しています。適切なトレーニングさえあれば、より小さく、より身近なAIツールが、流体力学から生物学的成長に至るまで、あらゆるものを動かしている根本的な方程式を解明する助けとなるのです。

技術要約：物理情報に基づくトークン正則化方策最適化による、LLMを用いた科学的方程式の発見

1. 問題定義

記号回帰（Symbolic Regression, SR）は、観測データから解釈可能な数学的方程式を抽出することを目指しており、物理法則を解明するための礎石となっている。近年の手法は、事前学習された科学的知識を活用するために、大規模言語モデル（LLM）を用いて方程式の仮説を生成する手法を用いているが、既存のフレームワークには以下の2つの決定的な限界がある：

静的な生成（Static Generation）: 現在の手法は、LLMを静的な生成器として扱っており、進化探索を誘導するためにプロンプトレベルのガイダンス（インコンテキスト学習）に依存している。このパラダイムは、検索フィードバックに基づいてモデルの内部表現を更新することができず、評価信号をモデルに内在化させたり、特定の問題構造に対して生成戦略を適応させたりすることを妨げている。
物理に無頓着な探索（Physics-Agnostic Search）: 既存のフレームワークは、物理的な妥当性よりも構文的な正しさを優先することが多い。厳格な制約がない場合、LLMは数値的にはデータに適合するものの、基本的な物理原則（例：次元の同次性）に違反したり、数学的に冗長な構造を含んだりする方程式を頻繁に生成してしまい、過学習や実用性の欠如を招く。

課題は、LLMを静的な提案者から、対象となるシステムの構造的および物理的特性に合わせて、その生成分布を動的に整合させることができる適応的な生成器へと変革することである。

2. 手法：PiT-PO

著者らは、PiT-PO (Physics-informed Token-Regularized Policy Optimization) を提案する。これは、LLMによる進化的な探索と厳格な検証を橋渡しする統一されたフレームワークである。このフレームワークは、2つの相乗的なメカニズムによって駆動される閉ループ型の進化プロセスを通じて動作する。

2.1 探索中のLLM進化（In-Search LLM Evolution）

LLMを固定したままにする標準的なアプローチとは異なり、PiT-POは進化探索の最中にLLMのパラメータを更新するために GRPO (Group Relative Policy Optimization) を採用している。

メカニズム: LLMはトークン列を生成する方策 $\pi_\theta$ として扱われる。GRPOは出力のグループをサンプリングし、それらを評価し、代理損失を最大化するように方策パラメータを更新する。
利点: この「探索中の」微調整により、モデルは効果的な記号パターンを定着させ、後続の探索をより効率的に誘導することができ、一般的な科学的知識をドメイン固有の専門知識へとオンザフライで変換することができる。

2.2 二重制約学習信号（Dual-Constraint Learning Signals）

生成される方程式が科学的に妥当であり、かつ構造的に簡潔であることを保証するために、PiT-POは微細なトークンレベルのフィードバックを生成する二重制約メカニズムを導入している。

A. 階層的物理制約

科学的妥当性を強制するために、階層的なフィルタリングを行う報酬システムを導入している。

一般レベルの制約: 物理的に不可能な構造（例：単位の不一致）を排除するために、次元の同次性 ( $P_{dim}$ ) および 微分可能性 ( $P_{diff}$ ) に対するペナルティを課す。
ドメイン固有の制約: 専門知識が誘導バイアスとして注入される。乱流モデリングの場合、これには 実現可能性（レイノルズ応力の正の固有値）、境界条件の一致性（壁面での応力の減衰）、漸近スケーリング（粘性底層における3次スケーリング）、および エネルギーの一貫性 に関する制約が含まれる。
ゲート付き活性化: 物理的ペナルティは、候補となる方程式がベースラインの適合精度閾値に達した後にのみ活性化される。これにより、厳格な遵守を強制する前に、初期段階での「自由な」探索を可能にする。

B. 定理に導かれた数学的制約

数学的な冗長性に対処するため、著者らは 支持排除定理 (Support Exclusion Theorem) を導入している。

理論: この定理は、他の基底関数からの内部および外部の干渉に対する適合係数の大きさに基づいて、誤った発見（冗長な項）を特定するための理論的保証を提供する。
トークンレベルのペナルティ: ある項が冗長であると判断された場合（その係数の大きさが導出された閾値を下回る場合）、その項を構成する特定のトークンに対して トークンレベルのペナルティ ( $P_{tok}$ ) が適用される。このペナルティは対数的であり、係数が小さい項に対してより強いペナルティを課す。

2.3 トークンを意識した方策更新（Token-Aware Policy Update）

標準的なGRPOは、シーケンス内のすべてのトークンに一様なアドバンテージを割り当てる。PiT-POは、グローバルな報酬とトークンレベルのペナルティを合成することでこれを洗練させている。

トークン認識型アドバンテージ ( $\hat{A}_{i,k}$ ): $k$ 番目のトークンのアドバンテージは、グローバルな報酬を標準化したものから、そのトークンが冗長な項に属している場合にローカルなトークンペナルティを差し引くことで計算される。
効果: これにより、「二重の圧力」を持つランドスケープが形成される。グローバルな報酬は物理的に一貫した方程式へと方策を導き、一方でローカルなペナルティは冗長な項を外科的に除去し、方策が理論的に冗長な構造を明示的に抑制することを学習するようにする。

2.4 トレーニング・パイネライン

フレームワークは、早期収束を防ぐためにマルチアイランド・トポロジーを利用している。

アイランドベースの探索: 複数の孤立したアイランドが異なる方程式の系統を進化させ、探索の多様性を維持する。
探索中の進化: すべてのアイランドからの軌跡を集約し、効率性のためにLoRA (Low-Rank Adaptation) を用いて方策最適化を実行する。
階層的選択: 最も優れた候補を保持し、適合度の低いアイランドを高い適合度を持つシードでリセットする「適者生存」メカニズムを用いる。

3. 主な結果

3.1 ベンチマーク性能

PiT-POは、GPlearn、PySR、uDSR、RAG-SR、およびLLM-SRを含む最先端のベースラインと比較して、LLM-SR Suite および LLM-SRBench で評価された。

精度: PiT-POは、グラウンドトゥルースの方程式を最も多く回収するという、最先端の性能を達成した。LLM-SR Suiteにおいて、Oscillation 1では100%、Oscillation 2では99.99%の精度を達成した（8Bバックボーンを使用）。E. coli Growthにおいてベースラインを大幅に上回り、Stress-Strainにおいても競争力のある結果を出したが、後者については4o-miniのベースラインを凌駕するには至らなかった。
記号的精度: LLM-SRBench（239タスク）において、PiT-POはすべてのカテゴリ（化学、生物学、物理学、材料科学）で最高の記号的精度（SA）を達成した。これは、単に数値的に適合するだけでなく、正しい記号形式を回収する優れた能力を示している。
効率性: PiT-POは、より速い収束性と、ベースライン手法（LLM-SRなど）が低MSEで停滞してしまう領域を脱出する能力を示した。

3.2 小規模モデルのエンパワーメント

重要な知見は、PiT-POが小規模なオープンソースモデルを、特定の文脈において大規模なクローズドソースモデルに匹敵、あるいは凌駕させることを可能にした点である。

量子化されたLlama-3.2-1B モデルを使用した場合でも、PiT-POはOscillationタスクおよびE. coli Growthにおいて、Mixtral 8x7B や 4o-mini を使用したLLM-SRと同等またはそれ以上の性能を達成した。しかし、Stress-Strainタスクでは、1Bモデル（精度76.91%）は4o-miniのベースライン（85.33%）を下回った。これは、本フレームワークが能力の差を大幅に縮めるものの、あらゆる指標においてすべての独占的な巨大モデルを普遍的に凌駕するわけではないことを示している。
これは、探索中の方策最適化が小規模モデルを効果的に強化し、構造的発見が極めて重要となるタスクにおいて、消費者向けグレードのハードウェアで高性能な科学的発見ツールへのアクセスを民主化できることを示唆している。

3.3 実世界への応用：乱流モデリング

本フレームワークは、周期的な丘（Periodic Hills）上の流れにおけるレイノルズ応力の異方性に関する非線形構成関係の発見に適用された。

性能: 発見されたモデルは、直接数値シミュレーション（DNS）のリファレンスに近い異方的なレイノルズ応力を生成することで、従来のRANSアプローチ（特に $k-\omega$ SSTモデル）を改善した。
物理的忠実度: 学習されたモデルは物理的一貫性が向上しており、標準的なRANSや他のSRベースの手法と比較して、非物理的な極端な値を減少させ、流れの剥離泡や摩擦係数の予測精度を高めた。

3.4 アブレーション研究

アブレーション研究により、両方のコンポーネントの必要性が確認された。

物理制約を除去した場合（w/o Phy）、NMSEと汎化性能が大幅に悪化した。
トークン正則化を除去した場合（w/o TokenReg）、冗長な項が残り続け、イン分布（ID）とアウトオブ分布（OOD）データ間の汎化ギャップが拡大した。

4. 意義と主張

本論文は、PiT-POが科学的発見におけるLLMの役割を、静的な提案者から適応的で物理を理解した生成器へと根本的に転換させるものであると主張している。

科学的一貫性: 階層的な物理制約と定理に導かれたトークン正則化を統合することで、PiT-POは生成を数値的な適合度、科学的一貫性、および簡潔性と同時に整合させている。
民主化: 特定の発見タスクにおいて、小規模モデル（例：1Bパラメータ）をクローズドソースの巨人に匹敵させるPiT-POの能力は、膨大な計算リソースや独自のAPIに依存しない、自動化された科学的発見のための実用的な手法を確立している（ただし、性能はタスクの複雑さによって異なる）。
実用的有用性: 乱流モデリングへの適用成功は、発見された記号的な補正が、標準的な線形モデルでは不可能なレベルで流場予測を改善するという、実世界のエンジニアリングワークフローにおける具体的な価値を持つことを示している。

著者らは、このアプローチが記号回帰ベンチマークにおける新たな最先端を確立し、ドメイン固有の物理知識をLLMの学習ダイナミクスに統合するための堅牢な経路を提供するものであると結論付けている。