Symbolic Density Estimators for Unnormalized Distributions

技術要約：非正規化分布のための記号的密度推定

問題提起
観測されたサンプルから確率密度関数（PDF）の記号的または解析的な形式を推定することは、統計および計算モデリングにおける根本的な課題である。深層生成モデル（正規化流やスコアベースモデルなど）は、複雑な分布からのサンプリングには優れているが、これらは「ブラックボックス」的な推定器として機能するため、基礎となるエネルギー関数やハミルトニアン（$H(x)$）の解釈可能な解析的表現を提供しない。対照的に、従来の記号回帰（SR）手法は、高次元データへのスケーリングに苦戦したり、分布が非正規化されている場合や探索空間が大きすぎる場合に失敗したりすることが多い。本研究が取り組む核心的な問題は、専門知識による関数形式の選択に大きく依存することなく、観測データから直接、非正規化分布の解析的かつ記号的な表現を自動的に推論することである。

手法
著者らは、深層生成モデリングと記号回帰を統合することで、教師なし密度推定問題を教師あり記号回帰問題へと変換する2段階のフレームワークを提案している。

1. 生成モデリング段階： フレームワークはまず、観測されたサンプルに対して深層生成モデルを学習させる。著者らは以下の2種類のモデルを利用している。

   • 尤度ベースのモデル（正規化流）： これらは負の対数尤度（$-\log p_\theta(x)$）を提供し、これが定数を除いたエネルギー関数のターゲットとなる。
   • スコアベースモデル： これらはスコア関数 $s(x) = \nabla_x \log p(x)$ を推定する。複雑な記号的スコアに伴う積分問題に対処するため、著者らはニューモラルネットワークを介してエネルギー関数 $H_\theta(x)$ を直接モデル化し、自動微分を用いてスコア $s_\theta(x) = -\nabla_x H_\theta(x)$ を得る手法を提案している。低密度領域における推定精度を高めるために、デノイジング・スコアマッチングが採用されている。

2. データ拡張： 堅牢な記号的推定を確実にするため、高密度領域のサンプルにノイズによる摂動（$x' = x + \epsilon$）を加える。これにより、SRモデルが高密度領域と低密度領域の両方のサンプルを学習できるようになり、安定した推定が可能となる。

3. 記号回帰（SR）段階： 生成モデルの出力（対数尤度またはスコア場）が、SRアルゴリズムのラベルとして機能する。SRのタスクは、これらのラベルを近似する簡潔な閉形式の表現 $\hat{H}(x)$ を見つけることである。本フレームワークでは、以下の2つのSRバックエンドを採用している。

   • PySR： 遺伝的プログラミングに基づくアルゴリズム。
   • EQL (Equation Learner)： 疎な正則化を伴う深層ニューラルネットワークベースのアプローチ。

4. 主要な帰納バイアス： 高次元システム（格子モデルなど）に対して扱いやすくするため、本フレームワークは以下の3つの戦略を組み込んでいる。

   • 局所分解： 物理系の空間的な局所性を利用し、グローバルなハミルトニアンを局所的なパッチ（例：$2\times2$ または $3\times3$）に分解する。SRは少数の変数に対する局所エネルギー関数 $\hat{h}(x_p)$ を推定し、これを合計することでグローバルなエネルギーを再構成する。
   • タスク固有のプリミティブ： 探索空間を、ドメイン固有のプリミティブ関数（例：XYモデルのための三角関数、$\phi^4$ 理論のための多項式）によって制約する。
   • マルチスケール摂動： 前述の通り、サンプルにノイズを加えることで状態空間のカバー率を向上させる。

主な貢献

• フレームワークの統合： 本論文は、深層生成モデルとSRを橋渡しするモジュール式のフレームワークを導入しており、事前のパラメトリックな形式の仮定なしに、観測データから解釈可能なエネルギー関数を導出することを可能にする。
• 分解によるスケーラビリティ： ハミルトニアンの局所分解を採用することで、記号的探索空間の次元を効果的に削減し、標準的なSRが失敗する高次元格子系（繰り込みの文脈における $d=64$ 以上など）におけるエネルギー関数の推定を可能にした。
• 非摂動領域への対応： 本フレームワークは、従来の摂動論的あるいは解析的な導出が困難または実行不可能である強い結合系（具体的には $\phi^4$ 理論の繰り込み）において、有効ハミルトニアンを正確に推定することに成功した。
• 誤設定に対する堅牢性： 実験により、プリミティブライブラリが誤設定されている場合（例：XYモデルから三角演算子を除去した場合）でも、本フレームワークは基礎となる相互作用の有意な多項式近似を依然として回収できることが示された。

実験結果
本フレームワークは、低次元のトイ分布から高次元の格子物理モデルに至るまで、いくつかのデータセットで評価された。

• トイ分布： 多変量ガウス分布および多峰性分布において、本フレームワークは次元 $d=2$ から $d=64$ にわたって真のハミルトニアンをほぼ完全に回収した（$R^2 \approx 1.0, \text{MSE} \approx 0$）。一般に、PySRはEQL（$10^5$ サンプル）と同等の結果を得るために、より少ないサンプル数（$10^3$）を必要とした。
• XYモデル： $8\times8$ 格子（$d=64$）において、本フレームワークはコサインに基づく相互作用項を正常に回収した。フローベースのモデルとPySRの組み合わせは、スコアベースの手法やEQLを上回り、偽の項を生じることなく高い精度と再現性を達成した。
• スカラー $\phi^4$ 理論： 本手法は、弱結合および強結合の両方の領域において、局所ハミルトニアンを正確に推定した。特筆すべきは、パッチサイズを大きくした場合（より多くの変数を導入した場合）でも、PySRは正しい近接相互作用を一貫して特定し、無関係な長距離依存性を効果的に抑制したことである。
• 繰り込み： 非摂動の設定において、本フレームワークは粗視化された格子（$32\times32$ から $8\times8$ まで）の有効ハミルトニアンを推定した。推定されたハミルトニアンは、物理的観測量（磁化、感受率）を高精度で再現しており（ヒストグラムの重複 $>98\%$）、解析的な導出なしに粗視化されたダイナミクスを捉える本手法の能力を検証した。
• 比較： 提案手法は、次元 $d>2$ で収束に苦しみ、しばしば偽の項を含む式を生成したベースラインのMeSSYを大幅に上回った。

意義と主張
著者らは、本研究を新しいSRアルゴリズムとしてではなく、科学的発見のための実用的なフレームワークとして位置づけている。主な意義は、複雑で高次元のシステムから、データから直接、解釈可能なエネルギー関数を自動的に導出できる能力にある。本論文は、このアプローチが、特に解析解が存在しない非摂動領域において、専門家による労力のかかるモデル構築に代わる実行可能な選択肢を提供すると主張している。

著者らは、本フレームワークが物理学に基づいた帰納バイアス（パッチサイズ、プリミティブライブラリ）に依存していること、および推定された式は基礎となるダイナミクスの厳密な表現ではなく「簡潔で解釈可能な記号的近似」であることを謙虚に述べている。また、スケーラビリティは現在、非常に多くの変数を扱うSRコンポーネントの能力によって制約されており、非常に大きなパッチを必要とするシステムにおける長距離または非局所的な相互作用の発見には限界があることも認めている。今後の課題として、生成モデルのモードカバー挙動への対処や、非平衡系への拡張が示唆されている。