🤖 machine learning

Deep Variational Inference Symbolic Regression

本論文は、表現木とその定数の両方に関する事後分布を推論し、スケーラブルかつ不確実性を考慮した記号回帰を可能にする深層記号回帰のバリエーションベイズ拡張である深層変分推論記号回帰（DVISR）を導入する。

原著者： James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

原著者： James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが探偵になって謎を解くと想像してください：手元には証拠（データ点）の山があり、その証拠がどのように結びついているかを説明する正確な数式を見つけることが目標です。

シンボリック回帰とは、この探偵ゲームの名前です。標準的な回帰分析が「直線であるはずだ」や「曲線であるはずだ」といったように、数式の特定の形状を推測することを強要するのに対し、シンボリック回帰は「形状はまだわからない。プラス、マイナス、掛け算、サイン、対数といった数学記号のあらゆる組み合わせを試して、証拠に完璧に合うものを見つけよう」と言います。

古い探偵たちの問題点

この論文では、これまで人々がこのゲームを解こうとしてきた主に 2 つの方法について論じています。

「最善の推測」探偵（深層シンボリック回帰、DSR）: この手法は、数式を生成するために賢い AI（ニューラルネットワーク）を使用します。数千もの数式を試して、データに最もよく合う単一の「最善」のものを選びます。
- 欠点: 答えを1 つしか提供しません。データにノイズや乱れがある場合、探偵は間違っていたとしても、その数式を 100% 確信して選び、不確実性について何も教えてくれません。
「遅くとも確実な」探偵（MCMC）: これは伝統的なベイズ法です。勝者 1 人を選ぶのではなく、考えられるあらゆる数式が正解である確率をマッピングしようとします。これにより不確実性の全体像を提供します。
- 欠点: 非常に遅いです。考えられる数式の数が急激に増えるにつれて、この探偵は渋滞に巻き込まれ、仕事を完了できなくなります。

新しい解決策：DVISR

著者たちは、DVISR（Deep Variational Inference Symbolic Regression：深層変分推論シンボリック回帰）を導入します。これは、AI の速度とベイズ法の不確実性チェックを兼ね備えた、超能力を持ち、早送りが可能な探偵のようなものです。

創造的な比喩を用いて、その仕組みを説明します。

1. 数式の「無限の図書館」

あなたが書き出すことのできるあらゆる数式を含む図書館を想像してください。これらの数式のほとんどは、sin(x) + 999 のような無意味なものです。ごく一部が傑作です。

従来の DSR は図書館に入り、1 冊の本を手に取り、それが合うか確認します。もしそれまでで最善であれば、その 1 冊だけを残して残りを捨てます。
DVISR は入り、図書館全体の精神的な地図を作ろうとします。1 冊の本を選ぶだけでなく、どの本が答えである可能性が高く、どの本がそうでないかを学習します。

2. 「魔法のコンパス」（報酬システム）

従来の AI 手法では、コンピュータは単にデータに「近い」ことで報酬を得ていました。
DVISR では、コンピュータはELBO（Evidence Lower Bound：証拠下限）と呼ばれる、より複雑な新しいコンパスを与えられます。

「この数式はよく合う」と言うだけでなく、このコンパスは「この数式はよく合う、かつ、複雑すぎず、かつ、すでに私たちが信じていることと整合している」と言います。
このコンパスに従うことで、AI は単一の最善のピークだけでなく、可能性の全体の地図を近似することを学習します。

3. 「変形する定数」

数式では、2x の 2 のような、調整が必要な数字（定数）をよく目にします。

従来の DSR は、これらの数字を固定されたダイヤルとして扱います。数式を見つけ、完璧な数字を得るためにダイヤルを回すのに余分な時間を費やします。
DVISR は、これらの数字を雲のように扱います。特定の数字（例：「正確に 2.5」）を推測するのではなく、AI は分布（例：「2.4 から 2.6 の間である可能性が高い」）を推測します。数式内のすべての数字について、その雲の形状を同時に学習します。

彼らは何を証明したか

著者たちは、新しい探偵が実際に機能するかどうかを実験で検証しました。

単純なケース: AI に単純なパズル（y = x の 2 乗 など）を与えました。
- 結果: AI は「真の」答えと完全に一致する地図を構築することに成功しました。正しい数式を見つけただけでなく、その数式が正しい確率を正しく計算し、理論的な数学と完全に一致しました。
「大きな図書館」テスト: 考えられる数式の図書館をどんどん大きくしました。
- 結果: 図書館が巨大になるにつれ、AI の地図はわずかに不完全になりました（すべての細かい詳細を捉えられなかったため）が、それでも小さな問題についてはそれなりに機能しました。
- 限界: 論文は、数式が長くなり複雑になりすぎると、古い遅い探偵と同様に AI も苦労し始めることを認めています。

結論

この論文は、コンピュータがデータセットに対する最良の数式を見つけるだけでなく、自らの不確実性を定量化することを可能にする新しいツールを提示しています。

「答えは間違いなく y = x^2 だ」と言う代わりに、DVISR は「答えは最も可能性が高いのは y = x^2 ですが、y = x^2 + 0.1 である可能性もわずかにあり、数字 0.1 が 0 から 0.2 の間にある確率は 95% です」と言うことができます。

著者たちは、これは AI をより透明で信頼性の高いものにするための重要な前進である一方で、どこでも使用できるようになるまで、さらに高速化し、はるかに大規模な実世界の問題を処理できるようになる必要があると結論付けています。彼らはエンジンを完成させました；今必要なのは、それを高速道路で走らせることです。

技術的概要：深層変分推論による記号回帰（DVISR）

問題定義

記号回帰（SR）は、事前に関数形を仮定することなく、独立変数と従属変数の間の明示的かつ解釈可能な数学的関係性を発見することを目的としている。遺伝的プログラミング（GP）や深層記号回帰（DSR）といった従来の手法は、単一の最良の適合式を特定することに成功しているが、候補モデル上の確率分布を推論する能力は欠いている。この限界は、ノイズの多いデータや限られた実世界データを扱う際に不可欠である不確実性の定量化を妨げている。

既存のベイズ的アプローチ、例えばマルコフ連鎖モンテカルロ（MCMC）は、事後分布から正確にサンプリングできるが、高次元空間におけるスケーラビリティに苦しみ、変分法に比べて計算速度が遅い。一方、変分推論（VI）は、より高速でスケーラブルな代替手段を提供するが、SR における応用は限定的であった。これまでに試みられた変分 SR は、計算上の扱いの難しさにより、多項式ニューラルネットワークに限定されていたか、表現空間の部分集合に限定されていた。表現木とその関連する定数の両方に対する事後分布を推論する、スケーラブルな変分ベイズ的アプローチが必要とされている。

手法

著者は、深層記号回帰（DSR）アルゴリズムの変分ベイズ的拡張である**深層変分推論による記号回帰（DVISR）**を提案する。DVISR は、記号式を生成するために再帰型ニューラルネットワーク（RNN）を利用し、最適化には REINFORCE 方策勾配法を採用する。

主要なアーキテクチャおよびアルゴリズム的修正

定数に対する分布: DSR が個別の手順を通じて下流で定数を最適化するのとは異なり、DVISR は RNN の出力を拡張し、定数値に対する正規分布のパラメータ（平均と分散）を含める。定数トークンがサンプリングされた際、その値はこの学習された分布から引き出される。
強化された入力コンテキスト: RNN のサンプリングを支援するため、ネットワークは、直前のトークン、親トークン、および兄弟トークン（存在する場合）を、以前にサンプリングされた定数の値とともに入力として受け取る。これにより、DSR においてネットワークが「すべての以前のトークンを認識できない」という限界が解決される。
報酬関数と目的:
- DSR: 単一の最良モデルを見つけるために、スラッシング関数で有界化された正規化根平均二乗誤差（NRMSE）に基づく報酬を最大化する。
- DVISR: NRMSE 報酬を**証拠下限（ELBO）**の被積分関数に置き換える。報酬関数は以下のように定義される：
  $R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$
  ここで、 $\mathcal{L}_\theta$ は尤度、 $p(f)$ は事前分布、 $q_\phi(f)$ は変分分布である。
- REINFORCE によるこの報酬の最大化を通じて、DVISR は変分分布 $q_\phi(f)$ と真の事後分布 $p(f|X, y)$ の間のカルバック・ライブラー（KL）ダイバージェンスを間接的に最小化する。
尤度の計算: 式 $f$ の尤度は、すべての以前にサンプリングされたトークンと定数に条件付けられた、そのトークンおよび定数の尤度の積として計算される。

主要な貢献

新規アルゴリズム: 表現木と連続的な定数パラメータの両方を含む、完全な記号回帰空間上で変分推論を行う最初のアルゴリズムである DVISR の導入。
事後分布の回復: 定数トークンを含む場合と含まない場合の両方で、DVISR が単純な設定において真の事後分布に正しく収束することを示した。
スケーラビリティ分析: 表現空間のサイズが増大するにつれて DVISR の性能がどのように劣化するかを検証し、現在のアーキテクチャの限界を特定した。

実験結果

著者は、DVISR の収束性とスケーラビリティを検証する実験を実施した。

1. 真の事後分布への収束（定数なし）

$y=x_0^2$ 、 $y=x_0$ 、および $y=0.5$ から生成されたデータを用いた単純な実験において、制限されたトークンライブラリを使用し、モデル空間は小さく有限であった。

結果: ELBO は証拠の対数に収束し、KL ダイバージェンスはゼロに近づいた。
検証: 表 1 は、10 回の試行において、中央値の変分確率が真の事後分布の値と 8 桁の小数点まで一致したことを示している。

2. 定数を含む場合の収束

実験には、 $x_0 \cdot c$ などの式を可能にする定数トークン（ $c$ ）がライブラリに含まれた。

手法: 真の事後分布は、数値積分器を用いて定数を周辺化することで計算された。
結果: 表 2 は、変分分布が定数で周辺化された真の事後分布に対して、8 桁の小数点まで正確に収束したことを示している。

3. スケーラビリティ

著者は、スケーラビリティをテストするために、最大表現サイズを 1 から 12 トークンの範囲で変化させた。

知見: 最大表現サイズが増大するにつれて、真の事後分布と変分分布の間に見積もられた KL ダイバージェンスが増加した。
限界: その規模での証拠の計算の計算上の困難さにより、サイズ 12 を超える実験は実施されなかった。これは、DVISR が小さな空間では機能するが、探索空間が拡大するにつれて性能が劣化することを示している。

意義と主張

本論文は、完全な記号モデルに対する不確実性の定量化を提供するスケーラブルなベイズ的記号回帰への重要な一歩として DVISR を位置づけている。

解釈可能性と不確実性: 単一点推定ではなく事後分布を推論することにより、DVISR は一部の回帰モデルの「ブラックボックス」性に対処し、ノイズやデータの限界を考慮する。
MCMC に対する進歩: 通常は遅く、高次元に苦しみやすいベイズ的 SR に対する MCMC の高速な代替手段を提供する。
限定的な範囲: 著者は、小さな表現サイズ、独立変数の数が少ないこと、実世界データセットの欠如といった現在の限界を認めている。複雑な実世界の問題における即座の優位性を主張するものではないが、DVISR が基礎的な枠組みを確立すると論じている。
将来の方向性: 本論文は、将来の研究がハイパーパラメータの掃引、高度なアーキテクチャ（例：Transformer）、またはより洗練された強化学習アルゴリズム（例：PPO）を通じてスケーラビリティを改善できる可能性を示唆している。