Enhancing Symbolic Regression and Universal Physics-Informed Neural Networks with Dimensional Analysis

技術要約：次元解析による記号回帰とUPINNの強化

問題提起
工学および応用数学において、制御や最適化のために実験データから正確で解釈可能な数学的モデルを導出することは極めて重要である。記号回帰（Symbolic Regression, SR）は、事前定義された仮定なしにデータから直接閉形式の式を発見するための強力なツールとして台頭している。しかし、SRには大きな課題が存在する。SRはNP困難な問題であり、探索空間が膨大であるため、特にデータセットが限定的であったりノイズが含まれていたりする場合、計算コストの増大、収束の遅延、および過学習のリスクが高まる。さらに、標準的なSRアルゴリズムは、発見された方程式における物理的一貫性（次元の同次性）を強制することに苦慮することが多い。次元解析をSRに統合した先行研究はあるものの、それらは完全に既知の方程式に限定されているか、あるいは微分方程式のいくつかの項は既知で他の項は未知であるという「部分的な知識」が存在するシナリオにおいて、無次元化がもたらす利益を体系的に実証できていない。

手法
著者らは、次元解析（具体的にはバッキンガムの$\Pi$定理とIpsenの手法）を、記号回還およびUniversal Physics-Informed Neural Networks (UPINNs) と統合するフレームワークを提案している。本手法は主に2つのワークフローに分かれている。

1. 代数方程式の完全な発見:
   著者らは、バッキンガムの$\Pi$定理とPySR記号回帰アルゴリズムを組み合わせている。生の次元データを回帰前に無次元の$\pi$項へと変換することで、入力変数の数を削減できることを示している。このプロセスにより、探索空間が簡素化され、候補となる式が元の変数ではなく無次元群から構成されるようになるため、次元的に不整合な式が自動的に排除される。

2. 微分方程式における部分的な知識の発見（主要な貢献）:
   微分方程式が部分的に既知であるシナリオ（例：$du/dt = P(u,t) + Q(u,t)$で、$P$は既知で$Q$は未知の場合）に対し、著者らは以下の新しいパイプラインを導入する：

• Ipsenの手法による無次元化: 全体の$\pi$項の数を最小化するバッキンガムの$\Pi$定理とは異なり、Ipsenの手法では、未知の項$Q$に現れる入力変数の数を最小化するように、特定の無次元定数を具体的に選択することができる。これは、未知の成分から次元を反復的に排除することによって達成される。
• UPINNによる近似: 無次元化されたデータを用いて、隠れた項$Q$を復元するためにUniversal Physics-Informed Neural Networkが訓練される。UPINNは、関連する無次元群のみの関数として$Q$を学習し、これにより関数近似タスクの複雑さが大幅に軽減される。
• 記号回帰: UPINNの出力（近似された隠れた項）は、その後、閉形式の式を見つけるための記号回帰アルゴリズム（PySR）へと入力される。
• 復元: 最終的な無次元方程式は、元の次元変数へとマッピングすることで、支配方程式を復元することができる。

本フレームワークは、拡張ロジスティック成長モデル（一次微分方程式）、回転ビーズモデル（二次微分方程式）、および拡張ロトカ・ヴォルテラ系（連立微分方程式）の3つの異なるケースでテストされた。実験は、ノイズのない条件とノイズのある条件の両方で行われた。

主な貢献

• $\Pi$定理とSRの統合: バッキンガムの$\Pi$定理をPySRと組み合わせることで、代数方程式の回収精度が大幅に向上し、元の定式化が失敗する場合でも、多くの場合で正確な回収が可能になることを示している。
• 新しい部分知識パイプライン: 著者らは、Ipsenの手法、UPINNs、およびSRを統合したパイプラインを導入した。このアプローチは、未知の項を学習する前に未知成分の入力次元数を削減することにより、微分方程式の未知項の回収を特に対象としている。
• 体系的な検証: 本研究は、複数の微分方程式タイプにわたって、元のデータと無次元化されたデータのSR性能を体系的に比較し、誤差指標および方程式の回収率における一貫した改善を示している。

結果

• 代数方程式: 7つの方程式に適用した際、無次元化によってPySRは、ほとんどのケースで真の基礎となる方程式を正確に（無視できるほどのMSEで）回収できた。一方で、元の定式化は、汎化に失敗したり誤った式を生成したりすることが頻繁にあった。例えば、クーロンの法則のケースでは、無次元化によって問題が単一の$\pi$項に削減され、正確な回収が可能となった。
• 微分方程式（ロジスティック成長）: 拡張ロジスティック成長モデルにおいて、UPINNは次元形式と無次元形式の両方で隠れた項の回収に成功した。しかし、無次元データに対する記号回帰は真の式（$\alpha^2/(\alpha^2+1)$）を高精度で回収できたのに対し、元のデータに対するSRは、データ量を増やしても正しい形式を見つけることができなかった。この優位性は、ノイズ条件下（$\epsilon=0.05$ および $\epsilon=0.1$）でも維持され、無次元化アプローチは有意に低いMSEを示した。
• 微分方程式（回転ビーズ）: 回転ビーズモデルでも同様の結果が観察された。無次元化アプローチにより、PySRは真の方程式（$-\epsilon \sin \theta + \sin \theta \cos \theta$）を回収できたが、元の定式化では高いMSEと誤った式が生じた。
• 微分方程式（ロトカ・ヴォルテラ）: 拡張ロトカ・ヴォルテラ系において、未知の項は2つの無次元変数（$x, y$）のパラメータフリーな関数へと削減された。UPINNは両方のケースで隠れた項を正確に学習したが、PySRはどちらの定式化においても正確な有理関数を回収することに苦戦した。ただし、無次元化アプローチの方が依然として低い損失値を示した。著者らは、データセットが真の式と類似の式を区別するための十分な情報を持っていなかった可能性があると指摘している。

意義と主張
本論文は、次元解析を記号回帰と統合することが、特にデータが限られている場合やノイズが多い場合に、支配方程式の自動発見のための堅牢なフレームワークを提供すると主張している。無次元群に探索空間を絞り込むことで、計算コストを下げ、過学習を抑制し、物理的な解釈可能性を確保できる。著者らは、次元解析が統計的な圧縮手法（PCAなど）とは異なり、量間の不変な関係を保持することを強調している。

著者らは、本研究を概念実証（proof-of-concept）として控えめに位置づけている。彼らは、この手法が入力変数や次元行列が完全に既知であるという仮定に依存しており、実世界の適用には隠れた変数や未観測の変数の扱いが必要であることを認めている。また、パイプラインは性能を向上させるものの、あらゆる複雑なシナリオにおいて真の方程式の発見を保証するものではないことも述べている（ロトカ・ヴォルテラの結果に見られるように）。今後の課題として、これらの仮定の緩和、実世界のデータを用いたベンチマークの作成、および異なる無次元化戦略がアルゴリズムの性能に与える具体的な影響の調査が挙げられている。