🤖 machine learning

LLM-PDESR: Robust PDE Discovery via Subdomain Weighted Residuals and LLM-Guided Symbolic Hypothesis Generation

LLM-PDESR 是一个将大语言模型引导的符号假设生成与鲁棒的子域加权残差以及 $C^4$ 连续样条微分相结合的新型框架，能够从噪声数据中准确发现控制偏微分方程，在结构恢复和噪声韧性方面显著优于现有方法。

原作者： Jinyang Du, Hao Ma, Xiaohu Shi, Bo Yang, Yanchun Liang, Heow Pueh Lee, Chunguo Wu

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinyang Du, Hao Ma, Xiaohu Shi, Bo Yang, Yanchun Liang, Heow Pueh Lee, Chunguo Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探：面对的是一组由复杂物理系统（如旋转的风暴或流动的河流）留下的嘈杂、混乱的线索（数据）。你的目标是找到解释该系统如何运动的隐藏“规则手册”（数学方程）。

长期以来，侦探们一直试图通过随机组合数学符号来解决这个问题，就像一只在键盘上乱敲乱撞的猴子，希望以此写出一篇小说。这被称为符号回归（Symbolic Regression）。但问题在于，数据中的“噪声”（就像收音机里的静电）就像一个恶作剧者。当侦探们尝试使用传统方法计算变化速度（导数）时，噪声会发生爆炸，使线索看起来像一张扭曲、不可能存在的地图。侦探们会迷失方向，去追逐那些看似很有希望、实则只是数学陷阱的假线索。

于是，LLM-PDESR 登场了——这是一个结合了超级聪明 AI 大脑和极其细致的防噪放大镜的新型侦探团队。

这个新侦探团队是如何运作的

这个团队并非仅仅进行随机猜测，而是使用了一个大语言模型（LLM）——一种接受过大量科学书籍训练的 AI——来充当“创意生成器”。你可以把 LLM 想象成一位天才物理学家，他能观察混乱的数据并说道：“嗯，也许这个规则涉及这里的曲线和那里的斜率，”从而提出一系列可能的方程骨架。

但 LLM 并不完美；它可能会建议一个看起来很酷、但在实际测量时会失效的数学结构。这就是团队中第二部分发挥作用的地方：防噪评估器（Noise-Proof Evaluator）。

果昔制作器（五次样条曲线/Quintic Splines）： 该方法不再关注单个、抖动的观测点（这会让噪声声嘶力竭），而是利用五次样条曲线将数据融合为一条平滑且连续的曲线。这就像是将一条颠簸、多石的道路平整成一条完美的公路，这样你就可以在汽车不会因震动而散架的情况下测量速度。这使得团队能够计算高达四阶的导数（变化率），而不会被噪声破坏数学计算。
噪声过滤器（子域加权残差/Subdomain Weighted Residuals）： 该团队不是在每一个微小的点上检查方程是否正确（那是噪声最严重的地方），而是在重叠的小型邻域内检查方程。他们使用一种特殊的“测试函数”（一种平滑的波形）来加权误差。这起到了低通滤波器的作用，自然地阻挡了高频静电，同时保留了真实的信号。这就像是在嘈ار闹的房间里听对话时，专注于说话的整体节奏，而不是麦克风发出的每一个细碎杂音。
帕累托教练（Pareto Coach）： 一旦 LLM 提出了一个方程，且防噪评估器对其进行了测试，团队就会使用“帕累托驱动的反馈循环”。想象一位教练在告诉 LLM：“那个方程很准确，但它太复杂了，充满了垃圾。试着找一个几乎一样好、但更简单的方程。”这能保持最终的规则手册简洁明了，避免“方程膨胀”（即为了拟合噪声而添加不必要的项）。

大考：它奏效了吗？

该团队通过一系列严苛的测试，以验证其新侦探方法是否真的能找到真相。

1. 标准演习（23 个典型方程）
他们在 23 个标准物理方程（例如著名的 Burgers 方程）上进行了测试，这些方程在科学界非常有名。他们加入了不同水平的噪声，从 0% 到 20%（这已经是非常大的静电量）。

结果： 在没有噪声时，新方法 100% 找到了正确的方程，并且即使在 20% 噪声的情况下也表现得极其稳健。
竞争对手： 其他方法，如 SGA-PDE、DISCOVER 和 WSINDy_PDE，随着噪声增加而开始表现糟糕。它们要么找不到方程，要么找到了错误的方程。另一种方法 EqGPT 表现尚可，但因为它使用了额外的步骤先对数据进行清洗；而 LLM-PDESR 直接处理原始、多噪的数据。

2. “从未见过”的挑战（5 个新颖方程）
为了确保 AI 不仅仅是在记忆训练数据中的答案，研究人员创建了 5 个全新的、奇特的方程，这些方程在任何教科书中都不存在。其中包括：

形态发生（Morphogenesis）： 一个描述生物学中模式如何形成的模型，包含一个复杂的“有理分式”（分子和分母都含有变量的分数）。
交通流（Traffic Flow）： 一个描述车辆在瓶颈处拥堵的模型，涉及剧烈、突然的变化。
捕食者-猎物（Predator-Prey）： 一个捕食者根据猎物密度梯度进行狩猎的系统。
结果：
- 对于形态发生和捕食者-猎物系统，LLM-PDESR 找到了精确的数学结构。
- 对于交通流模型，该方法碰壁了。数据中剧烈、突然的变化（冲击波）对于这种平滑方法来说过于“硬”（stiff）了，导致它无法找到精确的规则。这表明该方法在处理极端锯齿状数据时存在局限性。
- 对于其他两个新颖方程，它找到了一个捕捉了主要物理特性的“部分”解，即使它错过了一些微小的细节。
- 至关重要的一点是： 所有其他方法在这些新方程上都彻底失败了。它们要么陷入死循环，要么产生乱码，或者无法同时处理多个变量。

3. 实战任务：大气层
最后，他们将该方法带入现实世界，使用 ERA5 气候数据（一个庞大的地球天气数据集）。他们想要找到一个简单的规则来解释大气中风是如何运动的。

发现： AI 发现了一个新的、具有可解释性的方程，称为 1D-CACE。它不仅仅是一个随机猜测；它发现了一些具有物理意义的项，例如一个方向的风如何推动另一个方向的风，甚至发现了作为缺失 3D 效应（如地球自转）“闭合”项的特殊项。
证明： 他们在不同地点和时间的数据上测试了这个新规则（例如从北太平洋移动到南印度洋，或从一月移动到二月）。
- 当他们移动到西太平洋时，该规则仍然有效，准确度（R²）为 60.97%。
- 当他们移动到南印度洋（完全不同的半球和季节）时，它依然表现出色，达到了 72.54%。
- 这证明了 AI 并没有仅仅记住某一周的具体天气；它找到了大气运动中潜在的、不变的规律。

本论文排除了哪些可能性

作者非常明确地说明了该方法不是什么：

它不是解决所有问题的万灵药。它明确地在具有极端、近乎不连续的冲击波（如交通流示例）的方程上失败了，因为在这种情况下，数学变得过于“硬”，超出了平滑技术的能力范围。
它不是依赖于“手工构建”数学项（字典）的方法，像旧方法那样。那些列表过于僵化，无法处理 AI 发现的那些奇特的新形状。
它不是黑箱。不像那些只预测数字而不解释原因的深度学习模型，这种方法输出的是清晰、可读的方程。

我们有多大的把握？

论文并不仅仅是“建议”这套方法有效；他们通过广泛的测量来证实这一点。

他们运行了 23 个标准测试和 5 个新颖测试，并设定了特定的噪声水平。
他们使用严格的指标（如“结构成功率”——是否得到了精确方程；以及“相对系数误差”——数值有多接近）将结果与四种其他顶尖方法进行了对比。
这些结果是在真实数据（ERA5）上进行的模拟和测量，但针对新颖方程的“完美恢复”是基于专门生成的合成数据。
其“显著优于”现有先进方法的说法得到了数据的支持：在噪声测试中，新方法保持在接近 100% 的成功率，而其他方法则跌至接近 0%。

简而言之，LLM-PDESR 是一个强大的新工具，它利用聪明的 AI 来猜测规则手册的形状，并使用精密的数学过滤器来检查这个猜测是否真实，即使在数据非常混乱的情况下也是如此。这是向前迈出的一大步，但当数据变得过于锯齿状和混沌时，它仍然会遇到困难。

技术摘要：LLM-PDESR

问题陈述

从含噪声的观测数据中发现控制偏微分方程（PDE）仍然是科学机器学习领域的一个根本性挑战。传统的符号回归（SR）方法——从稀疏回归到遗传编程——面临两个关键瓶颈：

搜索空间限制： 它们难以在庞大的组合假设空间中进行扩展，并且缺乏架构灵活性，无法在不依赖僵化的、手工设计的函数库的情况下纳入特定领域的物理先验知识。
数值不稳定性： 依赖于逐点评估和离散有限差分（FD）方法来计算导数，这本质上会放大高频测量噪声。这种失真会产生具有欺骗性的适应度景观（fitness landscapes），从而误导优化过程，使算法无法区分真实的物理机制与数学伪影。

虽然大语言模型（LLMs）已成为生成具有物理合理性的结构假设的有力引擎，但由于上述数值不稳定性，将它们扩展到复杂的时变 PDE 的进程目前仍处于瓶颈阶段。向 LLM 反馈具有欺骗性的适应度得分会导致进化搜索失败。

方法论：LLM-PDESR

作者提出了 LLM-PDESR（大语言模型引导的偏微分方程符号回归），这是一个端到端的框架，它将 LLM 的结构假设生成能力与数学严谨且对噪声鲁棒的评估环境相结合。该框架通过一个包含三个核心模块的闭环流水线运行：

1. LLM 驱动的假设生成

LLM 充当自动化的结构架构师。给定物理观测数据（例如空间坐标和场变量），LLM 生成一组候选的可执行方程种群，这些方程以 Python 抽象语法树（AST）的形式表示。

约束： 为了防止出现语法或物理上无效的结构，搜索空间受到预定义约束的严格限制（例如，强制执行特定的导数算子 d_dx(u, order)）。
输出： LLM 仅生成符号骨架，利用参数占位符（例如 params[0]）表示数值系数，这些系数随后进行数值优化。

2. 鲁棒参数识别

为了解决导数噪声瓶颈，该框架使用连续的、对噪声鲁棒的数值流水线取代了标准的有限差分（FD）方法：

五次样条平滑（Quintic Spline Smoothing）： 使用 $C^4$ 连续的五次 B-样条对噪声空间场进行重建。这实现了高达四阶的解析、抗噪空间微分，避免了离散 FD 中固有的 $O(\sigma/(\Delta x)^k)$ 噪声放大问题。
子域加权残差（Subdomain Weighted Residuals, SWR）： 该框架不再使用逐点均方误差（MSE），而是通过在局部子域内针对光滑且紧支撑的测试函数进行积分来评估 PDE 残差。这种形式化方法充当了天然的低通滤波器，在计算误差前衰减了高频噪声。
优化： 使用拟牛顿 BFGS 算法优化参数，以最小化集成残差损失，确保在平滑的适应度景观上实现可靠收敛。

3. 帕累托驱动的评估与选择

该框架将方程发现建模为一个多目标优化问题，平衡预测精度（评分：$-MSE$）与结构简洁性（复杂度：AST 节点计数）。

反馈循环： 维护一个帕累托前沿（Pareto frontier）以追踪精度与复杂度之间的权衡。前 3 个精英解（最高分、最低复杂度以及平衡型）被序列化并反馈到 LLM 提示词中，以指导迭代优化。
自动化选择： 根据对数误差容限选择最终方程，即在全局最小误差的一个数量级范围内选择最简单的结构，从而有效地修剪不符合物理规律的冗余（bloat）。

核心贡献

框架集成： 提出了 LLM-PDESR，它将 LLM 的结构生成与连续、抗噪声的数值优化及进化搜索相结合，实现了 PDE 发现的自动化。
噪声解决： 通过 $C^4$ 连续五次样条和 SWR 评估解决了导数噪声瓶颈。这减轻了适应度景观的失真，同时通过帕累托驱动的反馈循环优化了精度与简洁性之间的平衡。
严格基准测试： 引入了一个包含 23 个典型 PDE 和 5 个结构新颖方程的综合基准测试。这些新颖方程（例如，地形约束趋化作用、跨趋化捕食者-猎物系统）经过专门设计，旨在排除数据集记忆效应，并验证真实的符号发现能力。
实际应用： 直接从带噪声的 ERA5 气候再分析数据中成功提取了一个可解释的 1D 动力学代理模型（1D-CACE），证明了该框架捕捉复杂现实系统中不变动力学机制的能力。

实验结果

该框架在三种机制下与最先进的方法（SGA-PDE, DISCOVER, WSINDy_PDE, 和 EqGPT）进行了对比评估：

典型 PDE： 在 23 个具有不同噪声水平（0% 到 20%）的基准 PDE 上，LLM-PDESR 在 0% 噪声时实现了 100% 的结构成功率，并在噪声增加时保持了持续的高鲁棒性。竞争对手则表现出严重的性能下降，许多在噪声条件下无法收敛。
结构新颖方程： 在五个设计为分布外（OOD）的方程（例如非多项式有理分式、高阶非线性、耦合多变量系统）上，传统基准方法普遍失败或产生了不符合物理规律的过拟合表达式。LLM-PDESR 成功恢复了形态发生（Morphogenesis）和耦合捕食者-猎物系统的精确数学骨架，并在所有五个系统中实现了最低的均方误差（MSE），即使在精确符号恢复仅为部分完成的情况下也是如此。
现实世界发现 (1D-CACE)： 应用于 ERA5 数据集的每小时风速数据，该框架提取了一个耦合的大气环流代理模型。
- 泛化性： 发现的结构骨架展示了强大的分布外（OOD）泛化能力。当将其冻结并针对不同的时空域（例如西太平洋、南印度洋以及不同月份）进行重新优化时，该模型保持了较高的预测保真度（ $R^2$ 范围在 58% 到 76% 之间），证实其捕捉到了不变的动力学机制而非局部统计伪影。
- 物理阐释： 发现的项（包括空间依赖的闭合项 $xv, xu $）被证明是作为宏观背景梯度的数学代理（类似于$ \beta$-平面近似），而非仅仅是过拟合。

意义与主张

论文声称，LLM-PDESR 在结构恢复、噪声韧性和避免伪复杂性方面显著优于现有的先进方法。通过将 LLM 的推理能力与连续、抗噪声的评估环境相结合，该框架克服了长期困扰 PDE 发现的离散数值微分限制。

作者强调，该框架能够发现结构新颖的方程并跨越不同的时空机制进行泛化，这验证了其具备真正的符号发现能力，而非仅仅是训练数据的记忆。成功应用于混沌的现实世界气候数据，表明该框架为从复杂物理系统中提取可解释的降阶模型提供了一条路径。

承认的局限性：
作者指出，该框架目前在处理表现出极端数值刚性或近乎不连续冲击波前沿（例如存在空间瓶颈的交通流）的 PDE 时仍存在困难，因为剧烈的梯度会破坏 SWR 集成和 BFGS 优化。此外，对迭代式 LLM 推理的依赖引入了计算开销，且目前的实现仅限于结构化网格上的 1D 系统。未来的工作旨在将框架扩展到 2D/3D 非结构化网格，并优化计算效率。