技術要約：演算子誘導型および正則化シンボリックフォレストによる方程式発見のための確率的シンボリック回帰

1. 問題提起

シンボリック回帰（SR）は、入力と出力の関係をデータから直接、解釈可能な解析的表現として発見することを目指しており、科学的機械学習における中心的な課題である。既存のSR手法（遺伝的プログラミング、深層シンボリック回帰、圧縮センシング的手法など）は有望な成果を示しているが、以下のような統計的および計算的な課題に直面している：

• ヒューリスティックへの依存: 多くの手法は確率的な探索ヒューリスティックに依存しており、特にノイズが多くサンプル数の少ない科学的データセットにおいて、予測精度と式の複雑さのバランスを取ることに苦慮している。
• 不確実性の特性評価: 現在のアプローチはシンボリックな不確実性の特性評価が限定的であり、代替的な構造的説明の妥当性を定量化することなく、単一の「最良」の式のみを返すことが多い。
• 理論的ギャップ: シンボリック回帰に関する事後分布の収束率に関する理論的扱いは乏しく、特に誤設定（misspecification）や非識別性（代数的に異なる式が同一の予測を生む状況）の下での議論が不足している。

本論文は、シンボリックな式をシンボリックツリーのアンサンブル（森林）として扱うことで、完全な不確実性伝播と厳密な理論的保証を可能にする統一的な確率論的フレームワークを提案し、これらのギャップに対処する。

2. 手法：BayeSymX フレームワーク

著者らは、未知の回帰曲面 $f$ をシンボリックツリー（「シンボリックフォレスト」）のアフィン結合としてモデル化する BayeSymX (Bayesian Symbolic regression forests for eXpression discovery) という確率的フレームワークを導入する。

2.1 モデル構造

モデルは、観測値 $y_i = f(x_i) + \epsilon_i$ を想定する：
$$y_i = \beta_0 + \sum_{j=1}^K g(x_i; T_j)\beta_j + \epsilon_i$$
ここで、$g(x; T_j)$ は $j$ 番目のシンボリックツリー $T_j$ の評価を表し、$\beta$ は外側の回帰係数である。ツリーは、主要な特徴量と数学的演算子（単項および二項）のライブラリから再帰的に構築される。

2.2 事前分布の仕様

本フレームワークは、複雑さを正則化し、データ適応的な嗜好を学習するように設計された階層的ベイズ仕様を採用している：

• ツリー・トポロジー事前分布: 深さに依存する分割確率 $p_m = \alpha_0(1+m)^{-\delta_0}$ は深いツリーにペナルティを課し、より単純な表現を好むオッカムの剃刀の一形式を強制する。
• 演算子および特徴量事前分布: 固定重みアプローチとは異なり、BayeSymXはツリー固有の演算子および特徴量の割り当て重みに対してディリクレ事前分布を使用する。これにより、モデルはデータに適応した形で、どの演算子や特徴量が特定のツリーに関連しているかを学習できる。
• 回帰係数: 外側の係数 $\beta$ とノイズ分散 $\sigma^2$ に対して共役正規逆ガンマ（NIG）事前分布を配置することで、すべてのモデルパラメータにわたる完全な不確実性伝播を保証する。

2.3 事後推論

• 周辺化: 連続パラメータ $(\beta, \sigma^2)$ はNIG共役を用いて解析的に周辺化され、離散的なシンボリックフォレストの空間に対する結合周辺事後分布（JMP）が得られる。
• サンプリング: 離散空間を探索するために、メトロポリス・ウィズイン・パーシャリー・コラップスド・ギブス・サンプラー（Metropolis-within-partially-collapsed Gibbs sampler）が使用される。このサンプラーは、空間を移動するために7つの局所的なツリー移動（成長、剪定、部分木置換、削除、挿入、特徴量変更、演算子変更）を用いる。
• モデル選択 (Occam's Window): 単一の最良のツリーを選択する代わりに、BayeSymXは**オッカムの窓（Occam's window）**アプローチを利用する。複数の妥当なシンボリックモデルにわたる不確実性を捉えるために、高い事後確率を持つフォレストの集合 ($J_r$) を保持する。
• 精緻化: 事後MCMC精緻化ステップでは、ベイズ情報量基準（BIC）を用いて冗長なツリーを剪定し、最終的な式を代数的に簡略化する。

3. 主な貢献

3.1 理論的保証

本論文は、これまで厳密な理論的扱いが欠けていたシンボリック回帰において、新たな事後分布収束結果を確立している：

• 近似実現可能性: 緩やかな正則性仮定の下で、著者らは、事後分布が経験的な近似誤差と、新たに導出されたシンボリック複雑度スケール ($\mathfrak{C}_{K,S,n}$) の間のトレードオフによって支配されるレートで真のデータ生成関数 $f_0$ の周囲に収束することを証明している。
• 準パラメトリックレート: 有限のシンボリック表現が可能である場合、フレームワークは $O(n^{-1/2}(\log n \log \log n)^{1/2})$ の準パラメトリックな収束レートを達成する。
• 誤設定とオラクル不等式: シンボリックな誤設定（$f_0$ がモデルクラスに含まれない場合）の下で、本論文は鋭いオラクル収束結果を確立している。事後分布は、古典的な誤設定理論で通常必要とされる有限のカルバック・ライブラー最小化集合や特殊な検定条件を必要とせず、最適な集団近似誤差の周囲に収束する。
• 非識別性の取り扱い: 保証は予測関数のレベルで定式化されており、複数の異なるシンボリック構造が同一の関数を表現し得ることを認めている。

3.2 方法論的革新

• 演算子誘導型フォレスト: 単一のツリーではなくフォレスト（アンサンブル）を使用することで、解釈性を維持しながら加法的な科学的構造を可能にする。
• データ適応的学習: 演算子および特徴量の重みに対するディリクレ事前分布により、モデルは構造的な嗜好を適応的に学習でき、従来のベイズ的SR（例：BSR）に見られる固定重み事前分布の硬直した制約を回避できる。
• 不確実性を考慮した要約: オッカムの窓戦略は、単一の点推定ではなく、複数の競合する科学的仮説を原理的な方法で報告する手段を提供する。

4. 実証結果

著者らは、2つの異なるベンチマークにおいて、BayeSymXを最先端の競合手法（gplearn, operon, PySR, DSR, QLattice, SISSO++, BMS, BSRを含む）と比較評価している。

4.1 ファインマン方程式 (SRBench)

• 設定: ノイズレベルや構造的複雑性が変化する条件下での、ファインマン講義に基づく5つの物理法則の回収。
• 結果: BayeSymXは、予測精度（テストRMSEの低さ）、シンボリックな簡潔さ（コンパクトな式）、および正確な構造回収の間で、一貫して優れたバランスを実現した。競合手法は、正しい構造の回収に失敗するか、同等の精度を得るために過度に複雑な式を生成することが多かった。BayeSymXは、他の手法が著しく劣化するノイズレベルの上昇に対しても堅牢性を示した。

4.2 酸化物ペロブスカイト触媒の発見

• 設定: 触媒組成と酸素発生反応（OER）活性を結びつける「材料遺伝子（記述子）」の発見。
• 結果: BayeSymXは、既知の構造活性関係（許容因子 $\mu$ や電気陰性度 $\chi_A, \chi_B$ を含むもの）を回収する、コンパクトで科学的に解釈可能な記述子式（26〜40ノード）を特定した。対照的に、operonのような高精度な競合手法は、扱いにくい式（90〜104ノード）を生成し、PySRのようなコンパクトな手法は予測性能が低かった。BayeSymXは、精度と複雑さのトレードオフにおけるパレートフロントを占めた。

5. 意義と主張

本論文は、BayeSymXが以下の点で、確率的シンボリック回帰における重要な進歩であることを主張している：

1. 構造と不確実性の統合: 構造を共同で学習し、正則化を通じて複雑さを制御し、複数の妥当なモデルにわたる不確実性を定量化するフレームワークを提供する。
2. 理論的厳密性: 正確な表現可能性と誤設定の両方を扱う、シンボリック回帰のための初の事後分布収束保証を提供し、準パラメトリックレートと鋭いオラクル不等式を確立した。
3. 科学的有用性: 確率論的アプローチが、材料発見や物理学のような、ノイズが多くサンプル数が少ない領域において、解釈可能な科学的法則を回収する上で、ヒューリスティックや深層学習ベースの手法よりも優れていることを示した。

著者らは、本フレームワークが、特徴選択をガイドするドメイン知識が存在する一方で、基礎となる関数形式が未知であり、構造的不確実性の堅牢な処理が必要とされる科学的発見の設定に特に適していると結論付けている。