🤖 machine learning

LLM-ACES: Closed-Loop Discovery of Dynamical Systems with LLM-Guided Adaptive Search

本文介绍了 LLM-ACES，这是一个利用大语言模型来引导自适应数据采集和符号假设构建的闭环框架，在从有限且含有噪声的数据中准确且高效地恢复控制常微分方程方面，显著优于现有方法。

原作者： Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikhil Abhyankar, Sha Li, Sanchit Kabra, Naren Ramakrishnan, Yulia Gel, Chandan K. Reddy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解一台神秘机器秘密规则的侦探。你可以观察机器齿轮的转动和移动方式，但你并不知道驱动它们的数学公式。这就是科学家在试图发现自然系统（如病毒如何传播或行星如何运行）的“控制方程”时所面临的挑战。

这篇论文介绍了一种名为 LLM-ACES（LLM 引导的主动闭环方程搜索）的新方法。你可以把它想象成一个超级聪明的侦探团队，他们不仅是在观察机器，还在积极地提出问题，从而比任何人都更快、更准确地找出规则。

以下是它的工作原理，分为几个简单的步骤：

1. 问题所在：“盲点”

通常，科学家试图通过观察一组固定的数据（比如一段机器运行的视频录像）来猜测规则。问题在于，如果你只观察机器很短的时间或特定的位置，许多不同的规则书都能解释你所看到的内容。

类比： 想象你在看一辆车在直线上行驶。你可能会猜司机只是在踩油门。但如果你只看到了那一段直线，你就无法判断这辆车是否也配备了方向盘或刹车。你需要看到汽车转弯或停止，才能了解完整的规则。
问题所在： 旧的方法经常会陷入错误的规则猜测中，因为它们只看现有的数据。它们可能会找到一个完美契合视频的公式，但一旦条件改变，该公式就会失效。

2. 解决方案：“聪明侦探”（LLM-ACES）

LLM-ACES 通过使用大语言模型（LLM）——一种精通数学和科学的 AI——来改变游戏规则。它不仅仅是猜测最终答案，而是帮助设计寻找答案的“搜索过程”。

这个过程是一个循环，就像玩“热了还是冷了”的游戏：

步骤 A：AI 设定游戏规则
AI 查看问题，并建议一个可能的数学“成分清单”（例如加法、乘法、正弦波或指数），这些成分很可能包含在解决方案中。它还没有写出最终方程，它只是缩小了搜索范围，使搜索变得更聪明。
- 隐喻： 与其在干草堆里找针，不如让 AI 告诉你：“针可能就在这堆特定的干草里，而且它很可能是钢制的。”
步骤 B：团队进行猜测
系统根据该清单生成几个不同的候选方程。有些可能很简单，有些则很复杂。
- 隐喻： 团队写下了 5 种关于这辆车如何运作的不同理论。
步骤 C：“分歧”测试（核心秘诀）
这是最重要的一部分。系统查看所有 5 个理论，并问道：“这些理论在哪里分歧最大？”
- 如果理论 A 说汽车会加速，而理论 B 说汽车会停止，那么系统就知道这个特定时刻是测试汽车的最佳时机。
- 类比： 如果你的朋友们正在争论一座桥是能承载卡车还是摩托车，最聪明的做法就是开一辆重型卡车过去。这个测试会立即告诉谁是对的。
- 系统随后要求“先知”（模拟器或真实实验）在这些特定条件下运行机器，以获取新数据。
步骤 D：反馈循环
新数据会被反馈给团队。错误的理论会被剔除或修正，正确的理论会变得更强大。AI 随后会更新其下一轮的“成分清单”。
- 结果： 团队通过每一次测试变得越来越聪明，迅速锁定唯一的真实规则。

3. 为什么它更好

论文在 122 个不同的数学系统（如天气模型或化学反应）上测试了这种方法，并将其与现有的最佳方法进行了比较。

准确性： LLM-ACES 发现正确数学公式的频率远高于其他方法。虽然其他方法可能在特定数据上数值正确，但它们的公式结构往往是错的。LLM-ACES 则能找对结构。
效率： 它找到正确答案所需的数据量减少了 10 倍。它不需要观察机器数小时；它知道该看哪一段简短的片段就能解开谜团。
鲁棒性： 即使在数据存在噪声（如抖动的视频）的情况下，LLM-ACES 仍能找到真实的规则，而其他方法则会感到困惑并发明虚假的规则来拟合噪声。

总结

简而言之，LLM-ACES 是一个利用 AI 不仅仅是去“猜测”自然法则，而是去“设计实验”来证明这些法则的系统。它将科学发现视为一场对话：它做出一个猜测，提出一个特定的问题来测试这个猜测，从答案中学习，然后重复。这使得它能够比以往的方法更快、用更少的数据、以更高的准确度找到复杂系统的真实“秘密规则”。

技术摘要：LLM-ACES

问题陈述

从数据中恢复控制常微分方程（ODEs）是动力系统建模中的一个基本挑战。现有方法通常将此视为针对固定数据集的静态推理问题，假设观测到的轨迹具有足够的解释力。然而，动力系统往往在庞大的状态空间中演化，有限的数据可能导致结构迥异的方程在观测上难以区分。这导致了“可辨识性间隙”（identifiability gaps），即候选方程虽然能很好地拟合观测数据，但在新的初始条件或更长的时间跨度下会预测出错误的行为。当前的方法未能解决闭环发现的完整本质：它们要么是在静态数据上搜索方程（被动式），要么是在没有利用结构化符号假设来指导实验的情况下获取数据。

方法论：LLM-ACES

作者提出了 LLM-ACES（LLM引导的主动闭环方程搜索），这是一个联合优化符号假设构建与自适应数据获取的框架。其核心洞察在于，符号假设空间与获取的数据集应当通过迭代反馈实现协同演化。

1. LLM引导的假设生成

LLM-ACES 并非要求大语言模型（LLMs）直接输出最终方程，而是使用 LLM ( $\pi_\theta$ ) 来生成算子先验（operator priors）。

过程： 在每次迭代中，LLM 接收任务元数据、可用的算子词汇表以及包含来自前几次迭代反馈的经验缓冲池（experience buffer）。
输出： LLM 生成 $K$ 个算子先验（对一元和二元算子的约束，例如 $\sin, \cos, +, \times$ ）。这些先验定义了大型假设空间内的受限符号子空间。
策略： 一个先验利用来自经验缓冲池的高性能算子模式进行“利用”（exploitation），而其他先验则探索结构迥异的组合进行“探索”（exploration）。
拟合： 符号回归后端（如 PySR）在这些受限的子空间内拟合候选方程，以最小化预测误差和复杂度。

2. 假设驱动的数据获取

该框架采用一种预测偏差驱动的获取策略来解决可辨识性间隙。

偏差度量： 系统计算当前候选群体在预测时界内的多次展开（rollouts）之间平均成对预测分歧（归一化均方误差）。
选择： 通过最大化这种偏差来选择新的初始条件。目标是查询那些竞争性动力学假设分歧最显著的状态空间区域。
反馈循环： 新获取的轨迹被添加到数据集中。所有候选方程被重新评估，经验缓冲池也随之更新，其中包含高性能（强化有效算子）和低性能（抑制伪造结构）的候选方程。这为下一轮迭代精炼了假设空间。

3. 实现

该框架通过 LLM 后端（GPT-4o-mini 和 Qwen-3-32B）和基于 SciPy 的 ODE 求解器（作为 Oracle）进行实例化。它在一个闭环中运行：LLM 引导搜索空间，回归后端拟合方程，而候选者之间的分歧则驱动新数据的获取。

核心贡献

闭环方程发现： 一个统一的框架，将 LLM 引导的符号假设构建与自适应轨迹获取相结合，实现了假设空间与数据集的协同演化。
LLM 诱导的符号搜索空间： 利用 LLMs 构建领域知识驱动的算子先验，从而约束符号回归，将假设空间设计与方程拟合解耦。
偏差驱动的数据获取： 一种通过最大化候选者之间预测偏差来选择初始条件的策略，直接针对竞争性假设最难区分的区域。
实证改进： 在重建、泛化和分布外设置中，展示了优于被动式和主动式基准方法的性能。

实验结果

该方法在涵盖 ODEBench（63个系统）和 ODEBase（59个系统）共 122个 ODE 系统上进行了评估。

性能指标： 文中报告了归一化均方误差（NMSE）、符号准确度和表达式复杂度。
准确率： LLM-ACES 在所有设置（重建、泛化和分布外）中实现了最低的中值 NMSE，显著超越了现有的最先进基准方法（包括 SINDy、PySR、ODEFormer 以及像贝叶斯优化这样的主动方法）。
- ODEBench： 使用 GPT-4o-mini 时，重建任务的中值 NMSE 为 $1.33 \times 10^{-17}$ 。
- ODEBase： 使用 Qwen-3-32B 时，重建任务的中值 NMSE 为 $3.70 \times 10^{-15}$ 。
符号准确度： LLM-ACES 实现了最高的符号准确度，在 46.2% 的 ODEBench 案例中（GPT-4o-mini）和 52.4% 的 ODEBase 案例中（Qwen-3-32B）恢复了正确的函数形式。
样本效率： 即使在竞争方法拥有显著更大数据预算（高达 10 倍样本量）的情况下，LLM-ACES 依然表现出色。它仅需其他方法十分之一的数据量即可达到更好的性能。
鲁棒性： 这种基于反馈的获取方式使该方法对噪声具有鲁棒性，并防止了恢复那些虽然局部拟合数据但无法捕捉真实控制关系的伪项。

意义与主张

论文声称 LLM-ACES 解决了当前科学发现中的一个根本局限：方程搜索与数据采集的分离。通过将发现视为一个假设引导数据获取的主动推理过程，该框架解决了静态方法无法克服的可辨识性间隙。

科学影响： 结果表明，方程发现不应被视为一个静态的回归问题，而是一个假设与观测不断相互告知的迭代过程。
LLM 的角色： 论文强调，LLMs 最有效的用途不是直接生成方程，而是作为诱导结构化搜索空间以及基于数据驱动反馈进行算子组合推理的工具。
局限性： 作者指出，目前的框架专注于自主 ODE 系统，并依赖于能够访问模拟器或实验 Oracle。对于偏微分方程（PDEs）、随机动力学或数据获取成本高昂/受安全约束的场景，可能需要进行修改。此外，性能对 LLM 后端的选择和提示工程（prompt engineering）较为敏感。

研究结论认为，将基础模型与结构化先验及自适应实验相结合，能够实现更具解释性、数据高效且可靠的科学发现。