技術的サマリー：優れた数式が低いスコアを得る場合

問題定義

記号回帰（SR）は、観測データから解釈可能な数学的数式を発見することを目的としています。現代の SR 手法の多くは、二階層最適化フレームワーク内で動作します。外側ループは離散的な数式構造（例：式木）を検索し、内側ループは与えられた構造に対して連続パラメータ（定数、係数）を最適化します。

本論文は、**「構造は正しいがスコアが悪い（Good Structure, Bad Score）」**と呼ばれる重要なボトルネックを特定しています。この現象において、構造的に正しい数式は、内側ループのパラメータ最適化が大域的最適解を見つけられないため、不適切な適合度スコアを受けます。この失敗は以下の要因に起因します：

1. 非凸なランドスケープ： 指数関数や三角関数などのネストされた非線形演算子は、多数の局所最小値を持つ高度に非凸な損失曲面を形成し、しばしば**「盆地の中の針（Needle-in-a-Basin）」**トポロジーとして記述されます。
2. 不適切なソルバー： 現在の SR システムは、初期値に敏感な高速な汎用局所ソルバー（例：BFGS、Nelder-Mead）に依存しています。これらのソルバーは頻繁に最適ではない局所最小値に収束するか、平坦な高原で停止し、正しい構造に対して不当に低いスコアを割り当てます。
3. 検索の誤誘導： 外側ループはこれらの低いスコアに誤導され、有望な候補を破棄してしまい、真の物理法則への収束を妨げ、計算リソースを浪費します。

著者らは、ボトルネックが有効な構造の生成から、それらを正確に評価することへと移行したと主張しています。

手法：SAGE-Fit

これに対処するため、著者らはSAGE-Fit（記号回帰のための構造認識および意味誘導評価器）を提案しました。これはプラグ＆プレイモジュールとして設計された統合パラメータ適合フレームワークです。SAGE-Fit は、記号式に固有の 2 つの「ネイティブ事前知識」を利用します。代数的構造と機能的意味です。

このフレームワークは、3 つの統合モジュールから構成されます：

1. 構造認識次元削減（モジュール 1）

• 概念： 代数的構造事前知識を利用します。数式内のすべてのパラメータが非線形であるわけではありません。一部は条件付き線形です（例：$a \sin(bx+c)$ における振幅）。
• メカニズム： システムは候補数式の抽象構文木（AST）を解析し、条件付き線形パラメータを特定します。その後、**変数投影法（VarPro）**を用いて、これらの線形パラメータ（$\alpha$）を非線形パラメータ（$\beta$）から決定的に分離します。
• 効果： 任意の固定された非線形パラメータ集合 $\beta$ に対して、最適な線形パラメータ $\alpha^*$ は線形最小二乗法により閉形式で解かれます。これにより、高次元の混合検索空間が、低次元の純粋な非線形多様体に縮小され、悪条件化を引き起こす冗長な線形 - 非線形結合が排除されます。

2. 意味誘導初期化（モジュール 2）

• 概念： 機能的意味事前知識を利用します。パラメータ空間における距離は欺瞞的です（例：$\sin(x)$ と $\sin(x+2\pi)$ はパラメータは異なりますが、関数は同一です）。ランダムなパラメータサンプリングは「盆地の崩壊（basin collapse）」を引き起こし、複数の開始点が同じ局所最小値に収束します。
• メカニズム： 著者らは**関数空間最遠点サンプリング（FS-FPS）**を導入します。
  1. 候補パラメータベクトルの過剰サンプリング集合を生成します。
  2. これらのベクトルを、訓練データ上での予測出力ベクトル（機能的指紋）にマッピングします。
  3. パラメータ空間ではなく、関数空間（出力の正規化ユークリッド距離）において最大に分離した多様な開始点群を選択します。
• 効果： これにより、複数の開始点が本質的に異なるアトラクタ盆地を探索することが保証され、初期化の悪さによる大域的最適解の見逃しリスクが大幅に低減されます。

3. SR 専用局所引力（モジュール 3）

• 概念： 縮小された多様体上であっても、ランドスケープは非凸のままです。標準的な勾配降下法は非効率です。
• メカニズム： SAGE-Fit は、トラスト・リージョン・リフレクティブ（TRF）減衰を備えた射影ガウス・ニュートン法を採用します。ヤコビアンは、線形パラメータが非線形パラメータに依存することを考慮して暗黙的に計算されます。
• 効果： これにより、不可約な非線形多様体上で曲率を考慮した降下が可能となり、モジュール 2 によって提供された高品質なシードから大域的最適解へ迅速に収束します。

主要な貢献

1. ボトルネックの診断： 本論文は、ランドスケープレベルの分析を提供し、正しい構造に対する「盆地の中の針」トポロジーと、部分的に正しい構造に対する多様で不安定な挙動として、SR 最適化の失敗を特徴づけます。
2. SAGE-Fit フレームワーク： 汎用オプティマイザーの限界を克服するために、構造事前知識（VarPro 経由）と意味事前知識（FS-FPS 経由）を統合した、新規のプラグ＆プレイ評価器です。
3. 実証的検証： 多様な SR パラダイム（遺伝的プログラミング、強化学習、LLM ベースの検索）にわたる広範な実験により、外側ループの検索ロジックを変更することなく、内側ループのオプティマイザーをアップグレードするだけで性能が大幅に向上することが示されました。

実験結果

著者らは、化学、生物学、物理学、材料科学の 4 つのドメインにわたる 128 の数式発見問題を含むLSR-Synthデータセット上で SAGE-Fit を評価しました。これを 4 つのベースラインシステム（PySR、uDSR、LaSR、LLM-SR）の内側ループオプティマイザーの代替としてテストしました。

• 記号精度（SA）： 「Plus」バリアント（ベースライン＋SAGE-Fit）は、ベースラインを一貫して上回りました。例えば、PySR+ は記号精度を 2.78% から 8.33% に向上させ（3 倍の改善）、uDSR+ は LSR-Synth データセットで 13.89% という最高 SA を達成しました。
• 数値忠実度： 「Plus」バリアントは、許容誤差内での精度（$Acc_{0.1}$）および正規化平均二乗誤差（NMSE）において大幅な改善を示しました。これは、検索が単に適合の良い誤ったものではなく、構造的に優れた形式へと誘導されたことを示しています。
• 評価器忠実度分析：
  • ロスト率： LLM-SR の軌跡において、元の評価器は材料科学分野で最大**61.79%**の「ロスト率」を引き起こしました。これは、不適切な適合により有望な候補が破棄されたことを意味します。SAGE-Fit はこれを大幅に削減しました。
  • 候補レベル分析： 構造進行バンク（200 の中間候補のベンチマーク）において、SAGE-Fit は「見逃された進行」の割合を、標準的なマルチスタート BFGS を使用した場合の 51.5% から**8.0%**に削減しました。
  • 対数比の改善： 元の評価器を SAGE-Fit に置き換えることで、NMSE における中央値の対数比改善は、生物学で 1.91、化学で 1.59、物理学で 0.69、材料科学で 5.67 となり、一部のドメインでは誤差が桁違いに減少したことを示しています。

意義と主張

本論文は、内側ループ評価器の忠実度が、特に LLM 誘導アプローチにおいて、閉ループ記号回帰における主要なボトルネックであると主張しています。この研究の意義は、以下の点を示すことにあります：

• 内側ループ最適化は独立したレバーである： パラメータ適合のみを強化するだけで、記号検索ロジック（新しい進化演算子や LLM プロンプトなど）の複雑な変更を必要とせず、主要な SR システムを大幅に強化できます。
• 事前知識が重要である： 記号式をブラックボックスとして扱うことは、重要な代数的および意味的情報を無視することになります。これらの事前知識を明示的に活用することで、「構造は正しいがスコアが悪い」現象が解決されます。
• 普遍的な改善： このアプローチは「プラグ＆プレイ」であり、最適化の失敗により構造的に正しい候補が早期に破棄されることを防ぐことで、進化型から LLM ベースまで多様な SR システムの性能を普遍的に向上させます。

著者らは、SAGE-Fit によって「盆地の中の針」の病理を緩和し、盆地の崩壊を防ぐことで、SR システムが複雑な科学法則を発見する際の潜在能力を最大限に発揮できるようになると結論付けています。