技術要約：LLMベースのモデル発見のための確率的フレームワーク

問題提起

科学的発見は、解釈と予測を可能にするために理論とデータを統合したメカニスティックなシミュレータモデルにますます依存するようになっている。しかし、これらのモデルの構築には多大な労力がかかり、高度なドメイン知識と反復的な手動の洗練を必要とする。大規模言語モデル（LLM）は、テキストによる定式化から実行可能なコードを直接生成・修正することで、このプロセスを自動化する経路を提供するが、既存のLLMベースの発見システムは、通常、手作業で作成されたヒューリスティック、エージェントの役割、および相互作用プロトコルによって操作的に定義されている。

これらの操作的なアプローチは、明示的な確率的定式化を欠いており、以下の3つの主要な制限をもたらしている：

1. 解釈性の欠如： 基礎となる推論問題が明示的に述べられていないため、失敗のモードが不明瞭になり、原理的な拡張を妨げている。
2. 理論的ギャップ： これらのシステムは、自然に理論的分析や収束保証を受け入れることができない。
3. 形式的な推論： 役割が緩やかに指定されている場合、特定のシステム構成要素の必要性や十分性を形式的に推論することが困難である。

本論文は、自動化されたモデル発見を、ヒューリスティックなワークフローとしてではなく、確率的推論問題として再定義すべきであると主張している。すなわち、観測データ $x_o$ を説明できるメカニスティックなモデル $m$（コードとして実装される）に関する未知の分布 $p(m|x_o)$ からのサンプリングとして捉えるべきである。

手法：ModelSMC

著者らは、この確率的フレームワークを具体化する逐次モンテカルロ（Sequential Monte Carlo: SMC）サンプリングに基づくアルゴリズムであるModelSMCを導入している。ModelSMCは、候補となるシミュレータモデルを「粒子（パーティクル）」として扱い、これらをLLMによって反復的に提案、洗練、および重み付けを行う。

コアアルゴリズム

ModelSMCは、$K$ 回のイテレーションにおいて、$N$ 個の粒子の集団を用いて事後分布 $p(m|x_o)$ を近似する。各イテレーション $k$ における各粒子 $i$ は、モデルコード $m^i_k$、重み $w^i_k$、およびコンテキスト・フィードバック $c^i_k$ のタプルを表す。プロセスは、各イテレーションにおいて以下の3つのステップで行われる：

1. リサンプリング（Resampling）： アルゴリズムは有効サンプルサイズ（ESS）を計算する。ESSが閾値 $\tau_{ESS}$ を下回った場合、系統的なリサンプリングが適用され、低重みの粒子を破棄し、高重みの粒子を複製することで、集団を再生させる。
2. 伝播（Propagation）： 各粒子は混合カーネルを介して伝播される。確率 $\alpha$ で、粒子は変更されずにクローンされ（計算リソースを保持するため）、確率 $1-\alpha$ で、新しいモデルの実装がLLMからサンプリングされる。LLMは以下を条件としている：
   • リサンプリングされた粒子の祖先モデル。
   • 前回のイテレーションからのコンテキスト・フィードバック（性能評価および診断）。
   • ドメイン知識と制約をエンコードした固定のタスク固有プロンプト ($c_{task}$)。
3. 重み付け（Weighting）： 各生成モデルには、観測データの周辺尤度 $p(x_o|m)$ に比例する重みが割り当てられる。真の尤度はしばしば計算困難であるため、ModelSMCは、明示的なパラメータ最適化や微分可能なモデルを必要とせずに尤度を近似するために、サロゲート密度推定器（具体的にはTabPFN基盤モデルを活用したNLE-PFN）を用いた**ニューラル尤度推定（Neural Likelihood Estimation: NLE）**を採用している。

理論的基礎

本フレームワークは、ModelSMCを古典的なSMC理論に結びつけている。理想的な仮定（厳密な尤度評価および事前分布に一致する提案分布）の下で、著者らはModelSMCがモデルの事後分布に対する漸近的に偏りのない粒子近似を提供することを証明している。実際のアルゴリズムではサロゲート尤度とコンテキスト条件付きのLLM提案を使用しているが、この理論的根拠により、ヒューリスティックなエージェント・ワークフローには存在しない、安定性と収束特性の形式的な分析が可能となる。

主な貢献

1. 確率的定式化： LLMベースのモデル発見を実行可能なプログラムに関する確率的推論として捉え、提案、洗練、および選択を単一の目的関数の下に統合した。
2. ModelSMCアルゴリズム： LLMが提案分布として機能する集団ベースのSMC手法を提案し、手作業による制限なしに、複雑でオープンエンドなモデル空間（数百行のコード）の探索を可能にした。
3. 実証的検証： 本手法は、合成タスクおよび神経科学（Hodgkin-Huxleyニューロン力学）と薬理学（腎臓のアルドステロン調節）における実世界のデータセットを用いて検証され、FunSearch+に対して競争力のある性能を示した。
4. 理論的分析： 自動化されたモデル発見を分析するために既存のSMC理論をどのように適用できるかを示し、収束とシステム構成要素の役割を理解するためのレンズを提供した。

実験結果

著者らは、ModelSMCを、FunSearch+（モデル発見のために適応された進化型探索法であり、パラメータ最適化を伴う）およびModelSMC N=1（単一の粒子を用いた逐次的かつ非確率的なバリアント）の2つのベースラインと比較評価した。

• 定量的性能： 合成タスク（SIR流行病モデル）および実世界のタスク（腎臓薬理学、Hodgkin-Huxley）において、ModelSMCはFunSearch+およびModelSMC N=1に匹敵する、競争力のある周辺尤度および条件付き尤度を達成した。
• メカニスティックな発見：
  • 腎臓モデル： ModelSMCは、限られたデータにもかかわらず、アルドステロンの欠落した調節ダイナミクスを正常に推論し、グラウンドトゥルースに酷似した狭い家族のフィードバックメカニズムを発見した。
  • Hodgkin-Huxleyモデル： アルゴリズムはベースラインモデルの構造的な欠陥を特定し、二次チャネル（例：持続性ナトリウム電流 $I_{NaP}$ またはHCN電流 $I_h$）を伴うM型遅延カリウム電流 ($I_M$) を含む拡張に対して、一貫して高い事後重みを割り当てた。
• 事後分布解析： 単一の点推定値を生み出す手法とは異なり、ModelSMCはモデルの事後分布を生成する。これにより、著者らは構造的な不備とパラメータの不確実性を診断し、頑健な結論（例：$I_M$ の必要性）を特定すると同時に、モデル空間における対称性と曖昧さを明らかにすることができた。
• アブレーション研究： 本フレームワークは、重み付けスキーム（MSE vs. 尤度）、シミュレーション予算、プロンプトの複雑さ、およびLLMバックボーン（Claude Sonnet 4.6 vs. GPT-5 mini）の変化に対して堅牢であった。

意義と主張

本論文は、LLMによるモデル発見を確率的推論として再定義することが、以下の点において統一されたフレームワークを提供すると主張している：

• 仮定の明確化： 推論問題を明示的に述べることで、失敗のモードと仮定を透明にする。
• 厳密性の実現： SMC理論から導出された、安定性と収束に関する原理的な保証を可能にする。
• 分析の容易化： システム構成要素に関する形式的な推論を可能にし、体系的なアブレーションや拡張をサポートする。
• 解釈性の向上： パラメータを周辺化し、重み付けされたモデルの集団を維持することで、どのメカニスティックな仮説が強く支持され、どの仮説が否定され、どの仮説が不確実なまま残っているかを明らかにする（単に「最良」のモデルを一つ選択するのではなく）。

著者らは、主要な貢献は方法論的なものであることを強調している。すなわち、科学的な新規性と妥当性に関する問いが意味のある形で提起できる、一般的な推論フレームワークを提供することである。彼らは、ModelSMCがすべてのケースで新しい科学的知見を生成することを保証するものではないとし、その結果は特定のアプリケーション、データ、およびモデリングの仮定に依存すると述べている。本フレームワークは、候補となるモデルが実行可能であり、信頼できる尤度近似が可能な設定において適用可能である。