💻 computer science

Learned variable-support priors accelerate symbolic regression of physical laws

本論文は、物理法則の発見のための記号回帰を加速させ、かつ精度を大幅に向上させるために、バックエンドのソルバーに到達する前に無関係な変数をフィルタリングすることで可変サポート事前分布を学習する、ソルバーに依存しないフロントエンドであるDenoisedSRを導入する。

原著者： Chenxi He, Jingqiu Chen

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenxi He, Jingqiu Chen

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある謎を解こうとしている探偵だと想像してください。「このデータセットを支配している隠れたルールは何だろうか？」

物理学の世界では、このルールは通常、数学的な公式（$F=ma$のようなもの）です。この公式を自動的に見つけ出すことは、**記号回帰（Symbolic Regression）**と呼ばれます。問題は、これらの公式の「探索空間」が、数十億冊の本がある図書館のようなものであり、その中で正解が含まれているのはごくわずかであることです。ほとんどの本はナンセンスであり、さらに「紛らわしい変数（無関係な手がかり）」を次々と追加していくため、図書館は刻一刻と大きくなっています。

以下に、彼らの解決策である DenoisedSR がどのように機能するかを、簡単な比喩を用いて説明します。

1. 問題：干し草の山から針を探すこと

あなたは、干し草の山の中から特定の針を探していると想像してください。しかし、これは単なる普通の干し草の山ではありません。誰かが、針にそっくりな20個のガラクタ（藁、プラスチック、古い靴下など）を投げ込みました。

従来のソルバー（解決器）： これらは、ガラクタを一つひとつ無差別に拾い上げ、それを使って家を建てようとするロボットのようなものです。そして、たまに針を見つけ出します。しかし、それは遅く、ガラクタに惑わされて混乱してしまいます。
この論文のアプローチ： 彼らは、干し草全体を検索するより優れたロボットを作るのではなく、ロボットが探索を開始する前に作動する、非常に賢い**金属探知機（フロントエンド）**を作りました。

2. 解決策：「金属探知機」（DenoisedSR）

著者たちは、DenoisedSR と呼ばれるシステムを作り上げました。これは、手がかりの山（データ）を見て、次のように言う高度に訓練された助手のようです。

「ねえ、この20個の中にあるアイテムのうち、本当に重要なのはこの3つか4つだけだと96%の確信を持って言えます。残りは無視してください。」

この助手は、謎自体を解こうとはしません。ただ探索範囲を絞り込むのです。そしてメインの探偵に、「他の16個のアイテムに時間を無駄遣いしないで。この数個だけに集中して」と伝えるのです。

3. 仕組み（「二つの顔を持つ」探偵）

このシステムは、この予測を行うために2つの異なる考え方を使用します。

統計学者： 数値を見ます。「答えが上がるときに、この変数は上がるだろうか？彼らは一緒に動いているだろうか？」
グラフ探偵： 名前や関係性を見ます。「物理学において、『質量』と『重力』は通常一緒に存在するものだ。もし『質量』が見えるなら、おそらく『重力』も保持しておくべきだ。」

これらを組み合わせることで、システムは**「サポート・プライア（支持事前分布）」**を作成します。これは「有力な容疑者」のリストであり、真の変数（正解の変数）を見逃すことがほとんどないほど正確です。

4. 結果：より速く、よりスマートに

この「候補リスト」をメインの検索エンジン（バックエンド）に渡したところ、劇的な結果が得られました。

スピード： 探索は最大で6倍速くなりました。これは、探索を始める前に干し草の山のサイズを85%削減したようなものです。
精度： 正確な公式を見つける成功率は、42%から60%へと跳ね上がりました。
信頼性： データにノイズがあった場合（嵐の中でささやき声を聞き取ろうとするような状況でも）、「金属探知機」は正しい手がかりを見つけ出しました。

5. なぜ単なる「項目の削減」ではないのか

懐疑的な人は、「単に項目を少なくしているから上手くいっているだけではないか」と言うかもしれません。
これを否定するために、著者たちは対照実験を行いました。彼らは検索エンジンに対し、同じ数のアイテムを含むランダムなリストを与えましたが、その際は「金属探偵」を使用せずに選びました。

結果： ランダムなリストを用いた場合、検索エンジンのパフォーマンスは悪化しました。
結論： 魔法は単にアイテムを少なくすることではなく、正しいアイテムを選ぶことにあるのです。「金属探知機」は、単に山を小さくするのではなく、真のガイダンスを提供しているのです。

6. 「ブラックボックス」対「ホワイトボックス」

現代のAIのいくつかは、答えを一気に推測しようとします（答えを吐き出すブラックボックスのようなもの）。これらは材料は合っていても、混ぜ方を間違えることがあります（例：「力は質量×速度に等しい」と言うべきところを、「質量×速度＝重力」と言ってしまうようなケース）。

DenoisedSRの戦略： これは、「私は材料を見つけるのは得意だが、最終的な料理を作るのは苦手だ」と認めます。そのため、材料のショートリストを、伝統的で検証可能なシェフ（バックエンド・ソルバー）に渡し、最後のレシピを調理させます。これにより、最終的な答えが数学的に正しく、人間が理解可能な形式であることを保証しています。

まとめ

この論文は、科学的発見のためのスマートなフィルターとして機能するツールを紹介しています。これは検索エンジンに取って代わるものではなく、単に混乱を取り除くものです。関連する変数を高い精度で予測することで、既存のツールが、たとえデータが乱雑であったり、紛らわしい手がかり（レッドヘリング）に満ちていたりしても、より速く、より頻繁に、そして混乱することなく物理法則を見つけられるようにするのです。

技術要約：記号回帰のための学習された変数サポート・プライア（Learned Variable-Support Priors）

問題提起
記号回帰（Symbolic Regression, SR）は、観測データに適合するコンパクトな数式を見出すために、数学的表現の空間を探索することで、解釈可能な物理法則を発見することを目的としている。SRは、ブラックボックス型の予測器と比較して、次元の一貫性や外挿能力といった利点を持つ一方で、根本的な組合せ爆発の問題に直面している。入力変数の数や利用可能な演算子の数が増えるにつれ、候補となる式の木構造の数は指数関数的に増加する。物理学的な応用において、支配的な法則は通常、ごく一部の測定変数と限定された演算子のセットのみを使用するが、標準的なソルバーは、多くの無関係なブランチを含む膨大な探索空間を探索しなければならない。この非効率性は、特にデータセットに多数の「ディストラクター（妨害）」カラム（無関係な変数）が含まれている場合に、ソルバーが真の法則を見つけられなかったり、偽の過学習した式に収束したりする原因となる。

手法：DenoisedSR
著者らは、DenoiseSRを提案している。これは、ソルバーに依存しない学習済みのフロントエンドであり、支配的な法則に参加する可能性が高い入力変数のサブセット（およびオプションで演算子のサブセット）である「サポート・プライア（support prior）」を予測することで、SRを加速させる設計となっている。DenoisedSRは、数式を直接デコードしようとする（これはしばしば構造的なエラーを招く）のではなく、バックエンドのソルバーが開始する前に探索空間を絞り込む。

システムのアーキテクチャは以下の要素で構成される：

アンサンブル予測器： **グラフ・アテンション・ネットワーク（GAT）とランダムフォレスト（RF）**を組み合わせたモデル。
- GATは、ノードが入力カラムを表すグラフ上で動作する。ノードの特徴量には、統計的モーメント、ターゲットとの相関、単調性、および次元記述子が含まれる。エッジは、物理法則の知識グラフから学習された共起プライアをエンコードしており、これによりモデルは、どの変数が共に妥当な法則をサポートするかについて推論できる。
- RFは、カラムごとの統計量に基づいてカラムをスコアリングする。
- 最終的なスコアは、加重和 $s(col) = RF(col) + \sigma(GAT(col))$ として算出される。
閾値処理： 真の法則が到達可能な状態を維持するために、高い再現率（Recall）を優先し、スコアが低い閾値（ $\tau = 0.10$ ）を超える変数のみを保持する。
演算子プライア（オプション）： 同様のGATモデルが、物理的な変数名（例： $\theta$ と三角関数を関連付けるなど）に基づき、関連する演算子のサブセットを予測する。
統合： 予測されたサポートセットは、従来のSRバックエンド（例：PySR、gplemn、またはGPUベースの列挙法）に渡され、削減された変数および演算子のセットに対して最終的な探索が行われる。

主な貢献

ソルバーに依存しない加速： 本手法は、ソルバーの内部ロジックを変更することなく、あらゆる木探索や列挙バックエンドを向上させるプリプロセッシング層として機能する。
高再現率フィルタリング： モデルは外部の物理ベンチマークにおいて $\ge 0.96$ の再現率を達成しており、真の変数が失われることがほとんどないことを実証している。同時に、候補となるカラム数を大幅に削減している。
次元削減との区別： 著者らは、性能向上が単なる次元削減ではなく、「学習された探索ガイダンス」によるものであることを示しており、これは同サイズのランダムなサポートセットを用いたコントロール実験によって検証されている。

結果
論文では、4つの外部ベンチマーク（AI-Feynman、Strogatz、Nguyen、SRSD-Feynman）と、構造的に異なる3つのバックエンド（PySR、gplearn、PSE）にわたってDenoisedSRを評価している。

変数リカバリ： AI-Feynmanベンチマーク（118個の数式）において、アンサンブルは完全な再現率（1.000）を達成し、すべての真の変数を回収した。本モデルは、変数数のオラクル知識（正解を知っている状態）がある場合でも、真の変数を逃してしまう5つの古典的な特徴量選択法（ピアソン/スペアマン相関、相互情報量、ランダムフォレストの重要度、Lasso）を凌駕している。モデルは、相対的なガウスノイズが30%に達するラベルノイズに対しても堅牢である。
バックエンド性能（PySR）： 10秒間の固定予算の下で、PySRに変数プライアを提供すると、厳密な法則の回収率は $42 \pm 13\%$ から、シード安定した $60 \pm 0\%$ へと向上した。平均保持外 $R^2$ は $0.906 $から$ 0.980$ に改善した。候補カラムセットは85%削減され（約23個から約3.4個へ）、探索語彙も半分になった。
ディストラクターに対するスケーラビリティ： ガイド付き探索と非ガイド付き探索の性能差は、ディストラクター・カラムの数が増えるにつれて（5個から30個へ）単調に拡大する。PySRの完全な回収率がディストラクターの増加に伴い著しく低下する一方で、DenoisedSRは〜61–62%の安定した回収率を維持している。
解への到達時間： 不要なブランチを刈り取ることで、DenoisedSRは非自明な数式において最大6倍の高速化を実現し、中央値で約1.5倍の高速化を示した。フロントエンドの推論にかかる時間は、タスクあたりわずか約40ミリ秒である。
他のバックエンドへの汎用性：
- gplearn（古典的GP）： 厳密な回収率は3.3%から17.8%に向上した。
- PSE（GPU並列列挙法）： プライアによってサンプラーが情報の豊富な変数のサブセットを抽出できるため、厳密な回収率は0%から40%へと跳ね上がった。
ブラックボックス・データ： 24のPMLB/SRBenchブラックボックス・タスクにおいて、DenoisedSRは全探索と比較して平均保持外 $R^2$ を大幅に改善したが、ランダム・サポート・コントロールは性能を低下させた。これは、観測条件に基づいたガイダンスの価値を裏付けている。
特定の領域における限界： 物理的に妥当なダミー変数が少ないSRSD-Feynmanベンチマークでは、プライアはほぼ中立的であった。これは、本手法がディストラクター対真変数の比率が高い場合に最も効果的であることを示している。

意義と主張
本論文は、学習されたサポート・プライアが、記号回帰における「レバレッジが高く、リスクの低い介入」であると主張している。変数選択という困難なタスクを数式発見のプロセスから切り離すことで、Deno索SRは既存のソルバーをより効率的かつ確実に動作させることができる。著者らは、ニューラル・フロントエンドはまだ変数に数式内の特定の位置を割り当てる（「割り当てのギャップ」）ことはできないものの、どの量が重要であるかを特定することには成功していると強調している。このアプローチは、既存の物理学的なプライアや次元解析を補完するものであり、エンドツーエンドのニューラル数式生成を必要とせずに、より高速で堅牢な物理法則の発見への実用的な道を提供する。本手法は、現在のソルバーを強化するための即時利用可能な手段として提示されており、その失敗モード（再現率が高いことで真の法則が除外されないこと）は経験的に安全である。