🤖 machine learning

A Probabilistic Framework for LLM-Based Model Discovery

本文介绍了 ModelSMC，这是一个将基于大语言模型（LLM）的模型发现重新构建为顺序蒙特卡洛（Sequential Monte Carlo）推断的概率框架，旨在统一模型提议、细化与选择，从而实现从观测数据中发现可解释的机制模型。

原作者： Stefan Wahl, Raphaela Schenk, Ali Farnoud, Jakob H. Macke, Daniel Gedon

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefan Wahl, Raphaela Schenk, Ali Farnoud, Jakob H. Macke, Daniel Gedon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名侦探，正试图弄清楚一台神秘机器的工作原理。你无法看到机器内部，但你可以通过观察在输入不同指令时，机器会产生什么样的输出。你的目标是编写一套指令（一个计算机程序），能够完美地模拟这台机器的行为。

这篇论文介绍了一种让人工智能（特别是大语言模型，简称 LLM）扮演这种侦探角色的新方法。他们称之为 ModelSMC。

以下是其工作原理的拆解，使用了简单的类比：

问题所在：“试错法”陷阱

通常，当科学家使用 AI 来发现这些机器规则时，他们把 AI 当作一个非常聪明的实习生。他们给实习生布置任务，实习生写出一个程序，然后进行测试；如果错了，他们会说：“再试一次，但要更快一点。”于是实习生再次尝试。

问题在于，这个过程往往很混乱。这就像实习生只是凭直觉在瞎猜。这里没有明确的数学规则手册来告诉实习生为什么一个猜测比另一个更好，或者如何知道自己是否正在接近真相。很难判断实习生是真的在学习，还是仅仅运气好。

解决方案：“适者生存”团队

作者 Stefan Wahl 及其团队决定不再把 AI 当作单个实习生，而是将其视为一个探索者团队，执行一项生存任务。他们将这个框架称为 ModelSکMC。

把它想象成一场“热还是冷”的游戏，但有一个转折：

团队（粒子）： 与其让一个 AI 尝试解决谜题，不如从一开始就建立一个由 50 个不同的 AI “探索者”组成的团队。每个探索者都写了一套略有不同的指令（一个计算机程序），用以描述机器可能的工作方式。
测试（似然性）： 团队会对所有 50 个程序进行现实世界数据的测试。有些程序很糟糕（预测的输出错误）；有些还可以；有几个则非常出色。
淘汰（重采样）： 这是神奇之处。系统会查看得分情况。
- 得分最差的探索者会被送回家（它们的程序被丢弃）。
- 得分最高的探索者不仅能留下，还能进行“克隆”。现在，你拥有的不再是 50 个不同的想法，而是可能拥有 40 个最佳想法的副本和 10 个次佳想法的副本。
进化（传播）： 生存下来的探索者并不仅仅是复制粘贴代码。他们会根据所学到的知识要求 AI 进行“微调”。
- 类比： 想象一位做出了一道好汤的厨师。他并没有直接再次端上同样的汤，而是询问 AI：“我该如何让它更好吃？也许加一点盐或者改变一下火力？”AI 会建议一个具体的改动，然后厨师根据建议更新食谱。
重复： 这个循环会反复发生。团队规模会变得越来越小，但剩余成员会变得越来越聪明，最终收敛到那套能完美解释数据的单一最佳指令集。

为什么这种方法更好？

1. 它是一张地图，而不只是一个猜测
旧的方法像是拿着手电筒在黑暗中徘徊。ModelSMC 则像是拥有了 GPS。因为作者将其构建为一个“概率推断”问题，他们可以在数学上证明，只要我们持续运行这个过程，这个团队一定会找到正确答案（或给定数据下的最佳答案）。这不仅仅是魔法，这是数学。

2. 它处理不确定性
有时，数据并不清晰到足以断言“这一定是答案”。

旧方法： AI 可能会选出一个答案并宣称“就是它！”，即使它自己也不确定。
ModelSMC： 系统会保留一团“可能性云”。它可能会说：“我们有 80% 的把握认为答案涉及在机器中加入一个‘慢钾电流’，有 20% 的把握认为涉及‘钠电流’。”这为科学家提供了关于实际发生情况的更丰富的图景。

论文中的现实案例

团队在三个不同的“机器”上进行了测试：

肾脏（药理学）： 他们试图弄清楚肾脏如何调节钾离子。原始模型缺失了一个关键环节（醛固酮这一激素的作用）。ModelSMC 不仅做出了猜测，还发现了一个关于该激素作用的具体数学公式，能够完美匹配真实的患者数据。
神经元（神经科学）： 他们研究了脑细胞如何发放电信号。标准模型（Hodgkin-Huxley 模型）表现不错，但并不完美。ModelSMC 发现，通过添加两种特定类型的离子通道（M 型和 HCN 通道），可以使模型与真实的脑部记录匹配得更好。它不仅找到了一个修复方案，还表明添加 M 型通道是最可能的解决方案，而其他修复方案的可能性较低。
虚构数据（SIR 模型）： 他们创建了一个虚构的疾病传播模型，并且已知答案。ModelSMC 成功找到了他们隐藏的精确公式，证明了该系统的有效性。

核心结论

该论文认为，我们不应将 AI 模型发现视为一系列随机猜测，而应将其视为一种科学搜索。通过使用一种称为“序列蒙特卡洛”（本质上是一种为计算机代码设计的“适者生存”法）的方法，ModelSMC 不仅能让 AI 找到更好的模型，还能告诉我们对这些模型的信心程度。

它将 AI 从一个只会吐出代码的“黑盒”，转变为一个透明的、具有数学严密性的合作伙伴，帮助科学家理解自然界底层的运行规则。

技术摘要：一种基于 LLM 的模型发现概率框架

问题陈述

科学发现日益依赖于将理论与数据相结合的机制性模拟模型，以实现解释与预测。然而，构建这些模型是一项劳动密集型工作，需要大量的领域专业知识和迭代式的手动优化。虽然大语言模型（LLM）为通过从文本公式直接生成并修订可执行代码来自动化这一过程提供了路径，但现有的基于 LLM 的发现系统通常是通过手工设计的启发式规则、智能体角色和交互协议来定义的。

这些操作性方法缺乏明确的概率公式，导致了三个主要局限性：

缺乏可解释性： 底层的推理问题没有被明确阐述，掩盖了失效模式并阻碍了原则性的扩展。
理论差距： 这些系统无法自然地进行理论分析或收敛性保证。
形式化推理： 当角色定义较为模糊时，很难对特定系统组件的必要性或充分性进行形式化推理。

本文认为，自动模型发现不应被重新定义为一个启发式工作流，而应被视为一个概率推理问题：即从一个关于机制模型的未知分布 $p(m|x_o)$ 中进行采样，其中 $m$ 被实现为能够解释观测数据 $x_o$ 的代码。

方法论：ModelSMC

作者引入了 ModelSMC，这是一种基于**顺序蒙特卡洛（Sequential Monte Carlo, SMC）**采样的算法，它实例化了这一概率框架。ModelSMC 将候选模拟模型视为一个种群中的“粒子”，这些粒子通过 LLM 进行迭代式的提议、精炼和加权。

核心算法

ModelSMC 通过 $N$ 个粒子的种群，利用 $K$ 次迭代来近似后验分布 $p(m|x_o)$ 。每个粒子 $i$ 在第 $k$ 次迭代时是一个元组 $(m^i_k, w^i_k, c^i_k)$ ，代表模型代码、权重及其上下文反馈。该过程每轮包含三个步骤：

重采样（Resampling）： 算法计算有效样本量（ESS）。如果 ESS 低于阈值 $\tau_{ESS}$ ，则应用系统重采样，以丢弃低权重粒子并复制高权重粒子，从而使种群恢复活力。
传播（Propagation）： 每个粒子通过混合核进行传播。以概率 $\alpha$ $α$ ，粒子被原样克隆（以节省计算资源）。以概率 $1-\alpha$ $1 - α$ ，通过 LLM 采样一个新的模型实现。LLM 的条件约束包括：
- 被重采样粒子的祖先模型。
- 来自前几次迭代的上下文反馈（性能评估和诊断）。
- 编码了领域知识和约束的固定任务特定提示词 ( $c_{task}$ )。
加权（Weighting）： 每个生成的模型都被分配一个与其观测数据边际似然 $p(x_o|m)$ 成正比的权重。由于真实的似然函数通常是难以处理的，ModelSMC 采用了神经似然估计（Neural Likelihood Estimation, NLE），利用代理密度估计器（具体为基于 TabPFN 基础模型的 NLE-PFN）来近似似然，而无需显式的参数优化或可微模型。

理论基础

该框架将 ModelSMC 与经典的 SMC 理论联系起来。在理想化假设下（精确的似然评估且提议分布与先验匹配），作者证明了 ModelSMC 提供了模型后验的渐近无偏粒子近似。虽然实际算法使用了代理似然和条件上下文驱动的 LLM 提议，但这一理论基础使得能够对稳定性及收敛特性进行形式化分析，而这在启发式智能体工作流中是缺失的。

核心贡献

概率化表述： 本文将基于 LLM 的自动模型发现归纳为对可执行程序的概率推理，将提议、精炼和选择统一在一个单一目标之下。
ModelSMC 算法： 提出了一种基于种群的 SMC 方法，其中 LLM 作为提议分布，能够在不依赖手工设计限制的情况下，探索复杂的、开放式的模型空间（数百行代码）。
实证验证： 该方法在合成任务以及神经科学（Hodgkin-Huxley 神经元动力学）和药理学（肾脏醛固酮调节）的真实数据集上得到了验证，展示了优于基准方法的竞争性能。
理论分析： 展示了如何应用现有的 SMC 理论来分析自动模型发现，为理解收敛性和系统组件的作用提供了一个视角。

实验结果

作者将 ModelSMC 与两个基准进行了对比：FunSearch+（一种为模型发现调整的进化搜索方法，带有参数优化）以及 ModelSMC N=1（一种单粒子的序列非概率变体）。

定量性能： 在合成任务（SIR 流行病模型）和真实任务（肾脏药理学、Hodgkin-Huxley）中，ModelSMC 取得了与 FunSearch+ 和 ModelSMC N=1 相当的具有竞争力的边际似然和条件似然。
机制发现：
- 肾脏模型： ModelSMC 成功推断出了醛固酮缺失的调节动力学，发现了与真实情况高度吻合的狭窄反馈机制家族，尽管数据量有限。
- Hodgkin-Huxley 模型： 该算法识别了基准模型的结构缺陷，一致地为涉及 M 型慢钾电流 ( $I_M$ ) 结合次级通道（如持久钠电流 $I_{NaP}$ 或 HCN 电流 $I_h$ ）的模型扩展分配了高后验权重。
后验分析： 不同于仅产生单一点估计的方法，ModelSMC 生成的是模型后验分布。这使得作者能够诊断结构缺陷与参数不确定性，并识别出稳健的结论（如 $I_M$ 的必要性），同时揭示了模型空间中的对称性和歧义性。
消融研究： 该框架对权重方案（MSE vs. 似然）、模拟预算、提示词复杂度以及 LLM 底座（Claude Sonnet 4.6 vs. GPT-5 mini）的变化表现出了鲁棒性。

重要性与主张

论文声称，将 LLM 驱动的模型发现重新构架为概率推理，提供了一个统一框架，该框架能够：

明确假设： 明确阐述推理问题，使失效模式和假设变得透明。
实现严谨性： 允许利用 SMC 理论获得关于稳定性与收敛性的原则性保证。
促进分析： 支持对系统组件进行形式化推理，从而支持系统的消融实验和扩展。
提升可解释性： 通过对参数进行边缘化处理并维持一个加权模型种群，它揭示了哪些机制假设得到了强力支持，哪些被排除，以及哪些仍存在不确定性，而非仅仅选择一个“最佳”模型。

作者强调，其主要贡献在于方法论层面：提供了一个通用的推理框架，使得关于科学新颖性和有效性的问题可以被有意义地提出。他们并不声称 ModelSM 能够涵盖所有情况下的新颖科学见解，并指出这类产出取决于具体的应用、数据和建模假设。该框架适用于候选模型可以被执行且能够获得可靠似然近似的场景。