技術要約：物理法則の記号回帰のための探索フリー・ファウンデーションモデル

1. 問題提起

記号回帰（Symbolic Regression, SR）は、観測データから解釈可能な閉形式の数学的法則を復元することを目的としている。科学的発見において極めて重要であるが、既存の手法は精度と速度の間の根本的なトレードオフに直面している。

• 探索ベースの手法（遺伝的アルゴリズム、GPU並列列挙など）は、クリーンで低次元のデータに対しては正確であるが、計算コストが高く、ノイズの多い現実世界のデータに対して脆弱であり、新しい問題ごとに組み合わせ爆発的な式空間を再探索する必要がある。
• エンドツーエンドのディープラーニング手法（Transformerなど）は、速度には優れているが、通常、SRをシーケンス翻訳タスクとして扱う。これらはデータの分布をモデル化することには長けているが、数式の空間そのものに対する明示的な事前知識を持っておらず、物理法則の構造に関する明示的な事前知識を欠いている。その結果、物理的発見に必要とされる、離散的で非平滑かつ超指数関数的に増大する式の空間を扱うことに苦慮している。

本論文は、現在のデータ駆動型アルゴリズムが、予測すべき「数式の空間」のモデルをエンコードしていないために、現実の物理学の構造化された関係性を推論できていないと断じている。

2. 手法：PISR (Physics-Informed Symbolic Regression)

著者らは、事前学習されたコントラスティブに整列された数式–データ多様体（formula–data manifold）内での生成問題として記号回帰を再定義する、探索フリーのファウンデーションモデルであるPISRを提案する。核心となる仮説は、現実の物理法則は、次元の一貫性と繰り返される構成的モチーフによって形作られた、あらゆる式の膨大な空間の中の、構造化された低複雑度の低次元部分多様体に位置しているというものである。

アーキテクチャと学習

• 共有潜在多様体: PISRは、対称的なInfoNCEコントラスティブ目的関数（CLIPスタイル）を介して整列された2つのエンコーダを採用している。
  1. データエンコーダ ($E_d$): 置換不変なエンコーダ（16個の学習済みシードトークンを用いたプーリング付きマルチヘッドアテンション）であり、点群 $\{(x_i, y_i)\}$ を潜在ベクトル $z_d$ に写像する。
  2. 数式エンコーダ ($E_f$): 式の抽象構文木（AST）を潜在ベクトル $z_f$ に写像するグラフニューラルエンコーダ。
  • 整列（Alignment）: 学習中、ある数式とその数式が生成するデータは、潜在空間 ($\mathbb{R}^{640}$) 内の近接した点へと引き寄せられ、この近接性が関数的関係性のプロキシ（代理指標）となる。
• 構造的監督: モデルは、物理知識グラフで拡張された大規模な物理・数学コーパス（3,360万の式）を用いて学習される。構造損失項 ($L_{struct}$) は、親法則、前提条件、および導出DAGのエッジを利用して、式の構造に対する物理学に基づいた事前知識を強制する。
• モデル規模: フルモデルは約4億パラメータで構成され、これにはエンコーダ、フローマッチング・フィールド、およびデコーダが含まれる。

推論パイプライン（探索フリー）

PISRは、インスタンスごとの記号探索を行うことなく、単一の償却されたフォワードパスで動作する。

1. 潜在生成: フローマッチング・フィールド（DiTスタイルのもの）が、データの潜在変数 $z_d$ を候補となる数式の潜在変数へと輸送する。
2. 検索（Retrieval）: 40万個の実数式潜在変数のライブラリがインデックス化されている。$z_d$ の $k$-近傍が検索され、生成された候補を補完する非パラメトリックな要素として機能する。
3. 条件付きデコーディング: 条件付きのデータ表現に基づき、フロー生成および検索された潜在変数を、式のスケルトン（型付きトークン）へとデコーダがレンダリングする。
4. 選択: 候補となる式の自由定数は、非線形最小二乗法によって適合される。候補は保持された予測誤差のみによってランク付けされる（物理法則は構造的に複雑になり得るため、複雑さに対するペナルティは適用されない）。最も性能の高い式が返される。

3. 主な貢献と知見

数式多様体仮説

本論文は、学習された潜在空間において、現実の物理公式がランダムな式から線形分離可能であるという経験的証拠を提示している。

• 分離可能性: 線形プローブは、演算子の頻度や長さを制御した上で、実際の物理法則を構造が一致するランダムな式から区別する際、94.4% のROC-AUCを達成した。
• 幾何学: 現実の法則は、ランダムな式（10.5）とは異なる、豊かな拡張された構造（参加比 21.5）を形成しており、これは「法則領域」が単なる小さな部分集合ではなく、構成的な文法によって定義されていることを裏付けている。
• 次元解析: この分離可能性は、有効な法則を無次元数に制限するバッキンガムの$\pi$定理に基づいている。これにより、構文としては正当だが物理的には不可能な膨大な式の大部分が排除される。

ベンチマーク性能

PISRは、4つのベースライン（PySR, PSE, PhyE2E, GenSR）に対し、3つのベンチマークで評価された。

• 現実の物理ベンチマーク (797タスク): PISRは51.32% の構造精度を達成し、次に優れたモデル（PySR）を7.66ポイント上回った。
• クロスドメイン汎化 (270タスク): PISRは71.11% の精度を達成し、PySRを15.93ポイント上回った。これは、モデルが物理の分布だけでなく、法則のような数式の「構造」を学習したことを示唆しており、金融、経済、生物学への転移を可能にしている。
• ファインマン方程式 (119タスク): PISRは39.50% の精度に達し、GPU列挙ベースラインを6.73ポイント上回った。
• 効率性: PISRは遺伝的プログラミングよりも約2.4倍、GPU列挙よりも約2.5倍高速であり、反復的な探索を必要とするベースラインと比較して、単一のフォワードパス（1タスクあたり約12.25秒）のみを必要とする。

複雑な法則の復元

PISRは、すべてのベースラインが失敗したケース、特に以下のケースにおいて、名前付きの法則を特異的に復元した。

• 超越関数: ベースラインが代数的な近似（入れ子のべき乗や有理近似など）で代用してしまう場面で、指数関数や対数形式を正しく特定した。
• 変数指数: トランスフォーマーが固定指数で代用してしまう場面（例：$x^n$）で、変数指数を持つ形式を復元した。
• 特定のドメイン: 乱流データからのコルモゴロフの2/3法則、恒星カタログからのシュテファン＝ボルツマン関係式、およびレイノルズ応力閉鎖（古典的なモデルが失敗した箇所で $R^2 \approx 0.99$ を達成）の復元に成功した。

4. 意義と主張

本論文は、PISRが「法則を探索する」ことから、学習された物理学に基づいた多様体の中で「法則を生成する」ことへのパラダイムシフトを象徴していると主張している。

• 帰納バイアス: 法則のような数式の多様性に特化することで、モデルは現実の科学データに対して最先端の精度を実現すると同時に、抽象的な式空間の「構造フリー」な領域（これは設計上の意図的な特徴である）では性能が低下する。
• 汎化性能: 物理学用に訓練された単一のファウンデーションモデルが、非物理的な科学ドメイン（経済学、生物学など）にも汎化できることを示している。これは、これらのドメインが科学的法則と同じ「構成的文法」を共有しているためである。
• スケーラビリティ: 探索フリーのアーキテクチャにより、オープンな閉鎖問題（例：乱流モデリング）における大規模な仮説生成と検証が計算可能となり、この分野を既知の法則の復元から、新しい法則の提案へと移行させる。

著者らは、モデルの成功は、科学的法則が式空間における恣意的な要素ではなく、次元の一貫性と物理的モチーフによって定義される構造化された部分多様体を占めているという仮説に依存していると強調している。この事前知識こそが、現実世界の科学に特徴的な、ノイズが多く次元構造を持つデータを扱うための決定的な要因となっている。