Symmetry-Constrained Language-Guided Program Synthesis for Discovering Governing Equations from Noisy and Partial Observations

この論文は、次元解析や群論的対称性を文法制約として組み込み、言語モデルによるプログラム合成と MDL ベイズモデル選択を統合した「SymLang」というフレームワークを提案し、ノイズや未観測変数を含む実験データから、従来の手法よりも高い精度で物理法則を正確に発見・特定できることを示しています。

要約

この論文は、**「SymLang（シンラング）」**という新しい AI 技術について書かれています。

一言で言うと、**「ノイズだらけで不完全な実験データから、AI が『物理の法則（数式）』を勝手に見つけ出し、しかも『これが正しいか、それとも他にも可能性があるか』まで正直に教えてくれる」**という画期的なシステムです。

専門用語を抜きにして、わかりやすい例え話で解説しましょう。

---

🕵️‍♂️ 従来の問題：探偵が迷子になる理由

科学者が実験データから「重力の法則」や「電気の法則」を見つけようとするとき、従来の AI は以下のような悩みを抱えていました。

1. ノイズ（雑音）に弱い: 実験データには必ず「誤差」や「ノイズ」が含まれています。従来の AI は、このノイズまで「法則だ！」と勘違いして、間違った複雑な数式を作ってしまうことがありました。
2. データが足りない: 観測できない部分（見えない状態）があると、AI は「とりあえず適当な数式」を作ってしまい、それが本当の法則かどうか判断できませんでした。
3. 「正解」を一つだけ押し付ける: 多くの AI は「これがベストな答えだ！」と自信満々に一つの数式を提示しますが、実はデータからは「A という法則」も「B という法則」も両方あり得る場合でも、無理やり一つに絞ってしまいます。これは科学者にとって危険です。

---

💡 SymLang の解決策：3 つの「魔法の道具」

SymLang は、この問題を解決するために、3 つの賢いアイデアを組み合わせています。

1. 📐 物理のルールブック（対称性制約）

まず、AI に「物理の法則は、こんなルールに従うはずだ」という**「ルールブック」**を与えます。

• 例え: 料理を作る際、「塩と砂糖を混ぜる」というレシピはあり得ても、「塩と石を混ぜる」というレシピはあり得ない、と最初から決めるようなものです。
• 効果: AI が考える「あり得る数式」の候補を、71% も減らしてしまいます。無駄な計算を省き、物理的にあり得ない間違った数式を最初から排除するのです。

2. 🧠 賢い提案係（言語モデル）

次に、**「70 億パラメータの AI（大規模言語モデル）」**を「提案係」として雇います。

• 例え: 料理のレシピを探しているとき、ただランダムに本を開くのではなく、「材料がこれだけあるなら、こんな美味しい料理が作れるはずだ」と、経験豊富なシェフに「候補レシピ」を提案させるようなものです。
• 効果: 候補を絞り込んだ中で、最も可能性の高い数式を素早く見つけ出します。

3. ⚖️ 厳格な審査員（MDL とブートストラップ）

最後に、見つけた数式を**「厳しく審査する」**工程があります。

• 例え: 料理の味見をする際、「本当に美味しいのか？」「材料が足りていないから味付けが不安定ではないか？」をチェックします。
• 効果:
  • 複雑すぎないか？: 単純な法則で説明できるのに、無理やり複雑な式を作っていないかチェックします。
  • 不安定ではないか？: データを少し変えても、同じ答えが出るか確認します。
  • 最も重要な点: もし「A と B のどちらが正しいか、データだけでは判断できない」という状況なら、「正解は一つではありません。A と B の両方があり得ます」と正直に報告します。

---

🚀 何がすごいのか？（実験結果）

このシステムを 133 種類の物理現象（振り子、電気回路、気体の動きなど）でテストしたところ、驚異的な結果が出ました。

• 高い精度: ノイズが 10% 含まれるデータでも、**83.7%**の確率で正しい法則を見つけました（従来の最高水準より 22% も高いです）。
• 外挿能力: 学習していない範囲（未来の予測など）でも、物理法則に反しない正しい予測ができます。
• 不完全なデータに強い: 観測できないデータが半分あっても、61% の確率で正解を見つけました。
• 正直さ: 「わからない」という状況を「自信を持って間違える」のではなく、「これは曖昧です」と報告できる唯一のシステムです。

---

🌟 まとめ：科学の「伴走者」

SymLang は、単に「答えを出す機械」ではありません。
**「データが不完全なとき、物理のルールを守りながら、最も可能性のある法則を提案し、かつ『ここは注意が必要です』と科学者に警告してくれる、頼れるパートナー」**です。

これにより、科学者は「AI が出した答え」を盲信するのではなく、「AI が示した複数の可能性」を検討し、次の実験をどうするかをより賢く計画できるようになります。

**「ノイズだらけの迷宮から、物理の法則という『正解の地図』を、確信を持って、かつ謙虚に引き出すための新しいコンパス」**と言えるでしょう。

技術概要

論文要約：Symmetry-Constrained Language-Guided Program Synthesis for Discovering Governing Equations from Noisy and Partial Observations

1. 概要と背景

SymLang（Symmetry-constrained Language-guided equation discovery）は、実験観測データから支配方程式（ Governing Equations）を自動的に発見するための統合フレームワークです。科学の重要な課題である「複雑な現象をコンパクトな記号法則（ニュートンの法則やマクスウェル方程式など）に圧縮する」ことに対し、以下の 3 つの現実的な課題を解決します。

1. ノイズ: 観測データにノイズが含まれ、微分推定が困難である。
2. 部分観測性: 重要な状態変数が観測されておらず、有効な動的システムしかアクセスできない。
3. 構造的不確実性: 統計的に同等の複数の記号構造が存在する場合、単一の「正解」を提示するのではなく、構造的不確実性を定量化する必要がある。

既存の手法（遺伝的プログラミング、SINDy、AI Feynman、深層記号回帰など）は、物理的制約の事前利用が不十分、単一点推定のみの出力、または部分観測への対応が限定的であるという課題を抱えていました。SymLang はこれらを克服し、物理的に整合性が高く、解釈可能で、不確実性が定量化された記号法則を導出します。

2. 手法：SymLang フレームワーク

SymLang は、5 つのモジュールからなるパイプラインで構成されています。

ステージ 1: 前処理と微分推定

生データから直接微分を行うとノイズが増幅されるため、スプライン平滑化（Smoothing Spline）または全変動正則化（Total Variation Regularization）を用いて、ノイズに頑健な微分値を推定します。

ステージ 2: 無次元化と単位制約

物理変数を無次元化し、バッキンガム・π 定理を適用可能にします。これにより、数値的な条件付けを改善し、文法生成の段階で「次元が整合しない式」を排除するハード制約を導入します。

ステージ 3: 対称性制約付き文法構築（中核的革新）

記号表現を生成する文法（CFG）に、物理的な対称性をハードルールとして組み込みます。これにより、探索空間を平均**71.3%**削減します。

• タイプ整合文法: 物理次元（質量、長さ、時間など）、パリティ（偶奇性）、対称性クラスを各ノードに付与。
• 制約の種類:
  • パリティ制約: 奇関数・偶関数の性質に基づき、不適切な項（例：復元力における偶数項）を排除。
  • 回転不変性: 座標成分ではなく、ノルムや内積などの不変量のみを生成。
  • 時間並進不変性: 自律系の場合、明示的な時間変数 $t$ を排除。
  • ガリレイ・ローレンツ不変性: 相対的な速度や変位のみを許容。

ステージ 4: 言語モデルによるプログラム合成

• データ要約: 観測データからスペクトル特徴、対称性スコア、保存量の候補などを抽出し、解釈可能な記述ベクトルを作成。
• 提案生成: 70 億パラメータのトランスフォーマー（LLM）を、物理システムのデータ要約と式ペアでファインチューニング。このモデルが、対称性制約付き文法内で、データに適合する可能性の高い式ツリーを効率的に提案します。
• 重複排除: 構造的に同等な式を正規化して除去。

ステージ 5: 定数フィッティングとモデル選択

• 定数フィッティング: 提案された式構造に対して、微分誤差最小化と物理的制約（保存量のドリット最小化など）を目的関数として最適化。
• MDL 正則化モデル選択: 最小記述長（MDL）原理に基づき、尤度と構造の複雑さ（ツリーの記述コスト）をバランスさせたスコアリングを行います。
• ブートストラップ安定性分析: データの再サンプリングを行い、どの式がデータの変動に対して安定して上位に来るか（構造的不確実性）を評価します。

3. 主要な貢献

1. 対称性制約と LLM の統合: 物理法則（次元解析、群論的不変性）を文法の「ハードルール」として事前定義し、LLM を「探索のガイド」として活用することで、探索効率と物理的整合性を両立させました。
2. 構造的不確実性の定量化: 単一の「最良の式」を返すのではなく、複数の候補とその確率的重み、およびブートストラップによる安定性を提示します。これにより、データが不十分な場合に「確信を持って誤った結論」を下すリスクを回避します。
3. 部分観測性への対応: 観測できない状態変数がある場合でも、有効な動的方程式（Effective Dynamics）の発見、または潜在変数を用いた拡張により、高い精度で回復を実現します。
4. 保存則違反の劇的削減: 発見された方程式が物理法則（エネルギー保存など）を破らないことを、文法レベルで保証します。

4. 実験結果

133 の動的システム（古典力学、電磁気学、熱力学、人口動態、非線形振動子）を用いたベンチマークで評価されました。

• 構造回復率:
  • 10% の観測ノイズ下で、**83.7%**の正確な構造回復率を達成（次点の PySR より 22.4 ポイント上）。
  • 50% の状態変数が隠された（部分観測）場合でも、**61.2%**の回復率（PySR は 38.4%）。
• 外挿性能と物理的整合性:
  • 訓練分布外（OOD）での予測誤差（NRMSE）は、PySR より61%、SINDy より**81%**低減。
  • 物理的ドリフト（保存則の違反）は、競合他社に比べて**98%**削減（$3.1 \times 10^{-3}$vs$187.3 \times 10^{-3}$）。
• サンプル効率:
  • 80% の回復率に達するために必要なデータ量は、PySR の 1/4 程度（約 4,800 時間ステップ vs 19,000 時間ステップ）。
• 不確実性の検出:
  • 非識別可能なシステムに対して、自信を持って誤った式を返すのではなく、**91.3%**の確率で「曖昧（Ambiguous）」として正しくフラグを立てました。

5. 意義と結論

SymLang は、データ駆動科学において「物理的制約の事前知識」と「データ適応的な探索」を統合した新しいパラダイムを示しています。

• 科学的誠実性: 単一の点推定に頼らず、データが示唆する構造的不確実性を明示することで、研究者が誤った結論を導くのを防ぎます。
• 解釈可能性と監査可能性: 発見された式は人間が読める記号形式であり、単位整合性や対称性を満たすことが保証されているため、物理的に監査可能です。
• 将来展望: このフレームワークは、実験計画の最適化（アクティブ学習）や、より複雑な物理系（量子系、確率微分方程式など）への拡張の基盤となります。

本論文は、ノイズの多い不完全なデータから、信頼性が高く解釈可能な物理法則を導出するための、原理的で再現性の高い道筋を提供しています。