🤖 machine learning

Are you sure? A Comprehensive and Comprehensible Survey of Uncertainty Quantification in Symbolic Regression

本サーベイは、記号回帰における不確実性定量化（UQ）の決定的な欠落に対処するため、不可欠な概念を導入し、頻度論的、ベイズ論的、およびモデル選択的アプローチにわたる既存文献をレビューし、信頼できる実世界の意思決定を可能にするためのさらなる研究の必要性を強調するものである。

原著者： Julia Reuter, Fabricio Olivetti de Franca

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Julia Reuter, Fabricio Olivetti de Franca

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、手がかり（データ）を使って謎を解こうとしている探偵だと想像してください。あなたの目標は、それらの手がかりがどのように組み合わさっているかを説明する完璧な「ルール」や「公式」を見つけ出すことです。これが**記号回帰（Symbolic Regression: SR）**が行っていることです。SRは、膨大な数学的関数のライブラリの中から、データを最もよく説明するものを探し出します。

しかし、現実の世界では、手がかりが完璧であることは稀です。それらは、にじんでいたり、震える手で測定されたり、あるいは本質的にランダムであったりするかもしれません。ここで**不確実性定量化（Uncertainty Quantification: UQ）**が登場します。UQを、探偵の「信頼度メーター」だと考えてください。単に「ルールは $y = 2x$ です」と言う代わりに、UQを備えた優れた探偵は、「ルールはおそらく $y = 2x$ ですが、私は95%の確信しか持っていません。真の答えは $1.8x$ から $2.2x$ の間のどこかにある可能性があります」と言います。

この論文は、研究者たちが現在どのようにしてこれらの「信頼度メーター」を構築しようとしているかについての包括的な調査（大規模なレビュー）です。著者らは、SRはルールの発見については向上しているものの、そのルールをどれだけ信頼すべきかを伝えることに関しては、いまだに非常に拙いレベルにあると主張しています。

以下に、単純な比喩を用いて、この論文の主要なアイデアを解説します。

1. 二種類の「疑念」

論文では、探偵が確信を持てない主な理由が2つあると説明しています。

「乱れた手がかり」（偶然的不確実性 / Aleatoric Uncertainty）: 跳ねるボールの高さを測定しようとしている場面を想像してください。何度測定しても、跳ね方は毎回異なります。これは、データを増やしても取り除くことのできないノイズです。UQは、「おい、ボールは単に混沌としている。正確な跳ね方を予測することはできず、平均しか予測できないのだ」という気づきを与えてくれます。
「知識の欠如」（認識的不確実性 / Epistemic Uncertainty）: 秘密の暗号を推測しようとしているが、手がかりが3つしかない状況を想像してください。あなたはルールを知りません。なぜなら、まだ十分な例を見ていないからです。これは知識の不足です。もし手がかりが増えれば、この疑念を減らすことができます。UQは、「十分なデータを見ていないので、今は推測しているに過ぎない」という気づきを与えてくれます。

2. 信頼度を測定する3つの方法

論文は、現在の手法を、その信頼度メーターを計算するための3つの「思考の流派」に分類しています。

A. 頻度主義的アプローチ（「実験を繰り返す」クラブ）

比喩: あなたがケーキを焼き、それが完璧な味だったとします。それが本当に完璧なのか、それとも単に運が良かっただけなのかを知るために、100回ケーキを焼きます。もし95回が素晴らしい味であれば、あなたは自信を持てます。
仕組み: これらの手法は、一つの「真の」ルールが存在するが、私たちのデータにはノイズが含まれていると仮定します。これらは、最適な答えが位置する「丘」の形状を調べるために、数学（フィッシャー情報量など）を使用します。
- 鋭いピーク: もし丘が鋭いスパイクであれば、頂点がどこにあるかを正確に把握できます（高信頼度）。
- 平坦な台地: もし丘が平らなテーブルであれば、どこに立っていても「正解」であり得ます（低信頼度）。
ツール: 彼らは信頼区間（ルールの数値の範囲）や予測区間（将来の予測の範囲）を使用します。また、データが特定のパターンに従うことを前提とせずに、予測が一定の割合で当たることを保証するセーフティネットのような**共形予測（Conformal Prediction）**も使用します。

B. ベイズ的アプローチ（「信念を更新する」クラブ）

比喩: あなたは、ルールがどのようなものであるかについて、ある「事前の確信（直感）」を持っているとします。新しい手がかりを得るたびに、その直感を更新していきます。単に一つの最善のルールを探すのではなく、真である確率を持つ、あり得るルールの「雲」全体を頭の中に保持します。
仕組み: 単一の答えを見つける代わりに、これらの手法は可能性の「雲」全体をマッピングしようとします。
- 確信区間: これはベイズ版の信頼区間です。「真のルールがこの箱の中にある確率は90%である」といった具合に表現します。
- 課題: この「雲」を計算するのは困難です。論文では、領域全体を最終的にマッピングする酔っ払いの千鳥足のような**MCMC（マルコフ連鎖モンテカルロ法）や、より効率的に領域を探索するために粒子の群れを使用するSMC（逐次モンテカルロ法）**といった手法について論じています。
革新: 一部の研究者は、これらの手法を単にルールの「数値」を見つけるためだけでなく、ルールの「形」そのもの（例：それは直線か？曲線か？木構造か？）を見つけるために利用しようとしています。

C. モデル選択（「最高の探偵を選ぶ」クラブ）

比喩: あなたには、謎に関する10個の異なる理論があります。単純なもの（容疑者は一人）もあれば、複雑なもの（50人が関与する陰謀）もあります。データに適合しすぎてしまう「過学習（オーバーフィッティング）」に陥ることなく、どのように正しいものを選ぶのでしょうか？
仕組み: このセクションでは、**MDL（最小記述長）**などの手法について見ています。これは「圧縮」ゲームのようなものです。最善のルールとは、最も少ない言葉（ビット）でデータを説明できるルールです。もしルールが複雑すぎると、本を一行の文章に圧縮しようとするようなもので、意味が失われてしまいます。これらの手法は、探偵がランダムなノイズに騙されないよう、過度に複雑なルールに対してペナルティを課します。

3. 調査の結果

著者らは多くの研究論文を調査し、いくつかの重要な事実を見出しました。

新しい開拓地: 実際にこれを行っている論文はごくわずかです（主にここ数年のもの）。ほとんどの記号回帰の研究は、単に「最善の」答えを見つけることに焦点を当てており、私たちがどれほど確信を持てないかについては無視しています。
ベイズ派の普及: 記号回帰は非常に柔軟であるため、単純で安定したルールを前提とする「頻度主義」の数学を用いるのが困難です。そのため、多くの新しい研究は、その複雑さを扱うためにベイズ的手法を採用しています。
「構造」の問題: 数式の「数値」（例えば $2x$ の「2」の部分）に対して不確実性を計算するのは簡単です。しかし、数式の「形」（それは $x^2$ なのか $x^3$ なのか？）に対して不確実性を計算するのは、はるかに困難です。論文は、一部の研究者がこれを解決しようと試みているものの、依然として大きな課題であることを強調しています。
「ノイズ」の問題: 時には、データ自体が乱れていることがあります（y軸だけでなく、x軸にも誤差がある場合）。ほとんどの標準的な手法はこれを無視していますが、一部の高度な論文はこれを修正し始めています。

結論

この論文は、記号回帰は現在、自身の不確実性に対して「盲目」であると結論付けています。それは、左折するように指示は出すものの、道が封鎖されているか、あるいは地図が古くなっているかを教えてくれないGPSのようなものです。

著者らは、科学界に対し、単に「最善の」数学的ルールを探すだけでなく、そのルールをどれだけ信頼できるかを教えてくれるツールを構築することを求めています。彼らは、間違いが大きな代償を伴う現実世界の意思決定において、この「信頼度メーター」なしでは、これらの強力なAIツールを安全に使用することはできないと考えています。

テクニカル・サマリー：記号回帰における不確実性定量化に関する包括的かつ理解しやすい調査

問題提起

記号回帰（Symbolic Regression, SR）は、データセット内の潜在的な関係を正確に捉える数学的関数を発見するために設計された探索アルゴリズムの一種である。近年の進歩にもかかわらず、SRの採用は、不確実性定量化（Uncertainty Quantification, UQ）へのサポートが欠如していることにより、現実世界の意思決定プロセスにおける活用が制限されている。回帰分析において、UQはモデルの信頼性を評価し、データのノイズ（偶然的不確実性：aleatoric uncertainty）を考慮することで過学習を防ぎ、意思決定のための洞察を提供するために極めて重要である。

SRは主に2つの不確実性に直面する：

偶然的不確実性（Aleatoric Uncertainty）： データ生成プロセスにおける本質的なランダム性または測定の不正確さ。これは削減不可能であるが、誤差のノイズによる下限を推定するために定量化することができる。
認識的不確実性（Epistemic Uncertainty）： 真のモデルに関する知識の不足。これには以下が含まれる：
- モデルの不確実性： 真のモデル $h^*$ が仮説空間 $\mathcal{H}$ 内に存在しないリスク。
- 近似の不確実性： 特定の仮説 $h$ が $\mathcal{H}$ 内で最良であることに関する不確実性。これは、パラメータの不確実性（調整可能なパラメータ $\theta$ に関する不確実性）と構造的不確実性に分解されることが多い。

従来のSRの文献は、多峰性の探索空間を効率的に横断することに焦点を当てているが、不確実は明示的に扱われていないことが多い。本調査は、不可欠なUQの概念を紹介し、現在の文献をレビューすることで、信頼性の高いSRのためのUQ手法への意識を高め、進展を促進することを目的とする。

メソドロジーと理論的基礎

本レビューは、頻度論的（Frequentist）、ベイズ論的（Bayesian）、および**モデル選択（Model Selection）**という3つの研究方向に沿って構成されている。尤度関数とフィッシャー情報量を用いて理論的基礎を確立している。

1. 統計的基礎

尤度とフィッシャー情報量： 本調査では、尤度関数 $L_N(\theta)$ とその対数変換を定義する。パラメータの確実性を推定するために、対数尤度のヘッセ行列を利用する。負のヘッセ行列は観測フィッシャー情報量に対応し、情報の値が小さいことは尤度曲面が平坦（高不確実性）であることを示し、鋭いピークは精密な推定を示している。
頻度論的アプローチ： パラメータを固定されているが未知であると扱う。UQは、パラメータに対する**信頼区間（Confidence Interval, CI）および出力に対する予測区間（Prediction Interval, PI）を通じて達成される。本論文では、逆ヘッセ行列を用いた標準誤差の計算について詳述し、ガウス分布の仮定に依存する従来のPIとは対照的に、交換可能なデータに対して被覆を保証する分布フリーの手法である共形予測（Conformal Prediction, CP）**についても論じている。
ベイズ論的手法： パラメータを分布を持つ確率変数として扱う。UQは、事後分布 $p(h|D) \propto p(h)p(D|h)$ から導出される**信用区間（Credible Interval, CrI）を通じて達成される。本論文では、計算困難な事後分布を近似するためのマルコフ連鎖モンテカルロ法（MCMC）および逐次モンテカルロ法（SMC）について論じている。また、近似の不確実性を扱うためのベイズモデル平均化（Bayesian Model Averaging, BMA）**についても扱っている。
モデル選択： 本調査では、ベイズ因子（Bayes Factor）、分数ベイズ因子（Fractional Bayes Factor, FBF）（不適切な事前分布を扱うため）、およびモデルの複雑さとデータの適合性のバランスをとり、コードルングス（符号長）を最小化する**最小記述長（Minimum Description Length, MDL）**原理をレビューする。

2. SR特有のUQ文献の調査

著者らは、査読済みジャーナル、会議、およびプレプリントから、18の記事（ベイズ法11、非ベイズ法4、モデル選択3）を調査した。

SRにおけるベイズ的アプローチ

逐次モンテカルロ法（SMC）： 一連の研究（Bomaritoら、Leserら）は、SRのための遺伝的プログラミング（GP）にSMCを統合している。彼らは、局所最適化と選択の確率的な再定式化を提案している。この手法は、モデルを比較するために**正規化周辺対数尤度（Normalized Marginal Log Likelihood, NMLL）**を推定する。パラメータに関する積分を近似するためにSMCを使用しており、ラプラス近似よりも多峰性の事後分布をより良く扱う。最近の研究では、これを離散的なモデル構造に直接拡張し、記号モデルの集団を重み付き事後分布として扱っている。
構造的事前分布： GuimeraらおよびBartlettらは、モデル構造に対する情報的な事前分布を導入している。Guimeraらは、コーパス（Wikipedia）からの演算子の出現頻度を使用して事前分布を定義し、Bartlettらは、式ツリー内の文脈を捉えるために、祖先条件付きのノード確率をモデリングする言語モデル（n-gram）を使用している。
X軸の不確実性： BartlettとDesmondは、独立変数（ $x$ ）の測定誤差を組み込み、真の値を周辺化して修正された尤度関数を導出する尤度を定式化している。
アンサンブル手法： Agapitosらは、近似の不確実性を考慮するために、多様なモデルの集団に対してベイズモデル平均化を提案している。
線形ベイズフォレスト： Royらは、HierBOSSS（線形結合された記号ツリーのフォレスト）およびVaSST（ソフトな記号ツリーを用いた変分推論）を提案している。これらのアプローチは、線形係数のための共役性を利用しているが、ツリー構造に関する平均場近似に依存している。著者らは、線形性の仮定に関する限界と実験の再現性における潜在的な不一致について指摘している。
事後MCMC： ZhaoとZhaoは、最終的に見出されたモデルにMCMCを適用し、係数と予測の信用区間を計算する。

非ベイズ的アプローチ

分位点回帰： HoekstraとHengstは、条件付き分位点を推定するために、SRの適合度関数をピンボール損失に置き換え、効果的に予測区間を生成する。
プロファイル尤度： de FrancaとKronbergerは、パラメータの非対称な信頼区間を計算するためにプロファイル尤度を使用し、デルタ法近似が逃してしまうパラメータ間の依存関係を捉えている。
ブートストラップ法： ManziとVasileは、複数のサンプルを生成し、SRモデルを適合させ、パラメータ分布をヒストグラムで可視化して、構造的およびパラメータ的な不確実性を評価するブートストラップ法を適用している。
ノイズのための終端記号： SchmidtとLipsonは、非線形なノイズの関係を式内に直接モデル化するために、ランダムな終端記号を導入し、予測区間の範囲を最適化している。
SRにおける共形予測： Thuongらは、最良のモデルに対して事後的に、あるいは区間の幅を適合度関数に組み込む形でCPを統合しており、事後的な適用の方がより良い結果をもたらすことを発見した。

モデル選択

SRにおけるMDL： IbaらおよびNikolaevは、多項式モデル（STROGANOFF）や網羅的探索にMDLを適用し、コードルングスを使用して複雑さにペナルティを課している。Bartlettらは、関数の複雑さとパラメータの精度を離散化を通じて考慮した、列挙された式のための詳細なDL指標を提案している。

主な結果と知見

最新性： 調査された18論文のうち、2020年以前に発表されたものはわずか3件であり、SRにおけるUQが急速に台頭している分野であることを示している。
手法の多様性： 伝統的なUQ手法（CIなど）は存在するが、それらをSRに直接適用することは稀である。調査された研究の大部分（約60%）は、サンプリング手法（MCMC、SMC）を利用して本質的にUQを提供するベイズ的アプローチを用いている。
SMC vs. Laplace： SRのためのSMCベースの手法（Bomaritoら）は、ラプラス近似と比較して、多峰性の事後分布を捉える優れた能力を示しているが、計算コストは高くなる。
構造的事前分布： 言語モデルや演算子の出現頻度に基づく構造的事前分布を組み込むことは、モデル選択を助け、過学習を抑制するが、トレーニングコーパスに存在しない新しい表現の探索を制限する場合がある。
現行手法の限界：
- 多くのベイズ的SR手法（VaSSTなど）は、ノード間の依存関係を無視する平均場近似に依存しており、潜在的に劣ったグローバル構造を招く可能性がある。
- 線形ベイズフォレストは、パラメータに関して線形なモデルに限定される。
- 一部の提案手法（HierBOSSS、VaSSTなど）は、実験の再現性とコードの一貫性に課題を抱えている。
- 頻度論的アプローチは、柔軟なSRモデルは容易に過学習するため、特定の分散計算に必要な不偏推定量として適さないことがあり、困難に直面する。

意義と主張

本論文は、記号回帰におけるUQの問題を明確に扱った最初の調査であると主張している。その主な意義は以下の通りである：

ギャップの架け橋： 確立された統計的UQ概念（頻度論およびベイズ論）を、モデル構造の離散性や多峰性の探索空間といったSR特有の課題と結びつけている。
分類： 断片化された文献を、頻度論、ベイズ論、モデル選択という3つの整合性のある研究方向に整理している。
未探索領域の強調： 著者らは、SRにおけるUQは依然として大部分が未探索であり、その重要性は系統的に過小評価されていると結論付けている。
将来の方向性： 本論文は、将来の研究が、信頼できるモデルを構築するために、確立されたUQ手法をSRに採用し、データとノイズを注意深く分析する必要があると主張している。サンプリングベースのアプローチではUQが「無料」で得られることもあるが、現在の実装には計算コスト、構造的事前分布、および多峰性の処理に関する重大な限界があることを強調している。