💻 computer science

A Search‑Free Foundation Model for Symbolic Regression of Physical Laws

该论文介绍了 PISR，一种无需搜索的基础模型，它利用物理启发、对比对齐的公式-数据流形以及流匹配技术，从数据中快速且准确地恢复可解释的物理定律，在多种科学和现实世界基准测试中，其速度和结构准确性均优于现有方法。

原作者： Chenxi He, Jingqiu Chen

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenxi He, Jingqiu Chen

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜题的侦探，但你的线索不是指纹或脚印，而是数字。在科学世界中，有一种特殊的谜题被称为“符号回归”（Symbolic Regression）。其目标不仅仅是预测接下来会发生什么（比如天气应用猜测是否会下雨），而是要找到解释其发生原因的“规则”。把这想象成通过品尝蛋糕屑来寻找精确的蛋糕配方。你想发现大自然正在使用的确切数学公式——比如 $E=mc^2$ 或万有引力定律。

长期以来，计算机在这方面表现得很糟糕。它们擅长发现数据中的模式，但通常会给你一个“黑盒”答案：一个复杂、难以理解的机器，它虽然有效，却无法讲述背后的故事。其他方法试图通过向墙上投掷数千种随机组合来观察哪些能粘住，这种方法既缓慢又笨拙，而且在面对杂乱的数据时经常失效。科学家们一直以来的核心问题是：我们能否构建一台计算机，它不仅仅是随机猜测，而是真正“理解”科学定律的形态，从而能够快速且正确地找到它们，即使是在充满噪声的现实世界数据中？

这就是名为 PISR（物理启发式符号回归，Physics-Informed Symbolic Regression）的新发明登场的地方。请不要把 PISR 想象成一个在图书馆里疯狂搜寻的侦探，而要把它想象成一位记住了整个烹饪史的大厨。PISR 背后的研究人员意识到，真正的科学定律并非随机的数学，它们生活在一个由所有可能方程构成的广袤宇宙中特定的、有组织的“社区”里。他们称这个社区为“公式流形”（Formula Manifold）。

PISR 不再是每次都从头开始搜索，而是学习这个社区的“地图”。它使用了一个巧妙的技巧：在大量的已知物理和数学定律上进行训练，学习识别出真实定律的“神韵”或“形状”。当你给它一组杂乱的数据（例如风的混沌运动或遥远恒星的轨道）时，PPI R 不会从零开始。它会将数据立即投影到其内部地图上，并询问：“这看起来像什么？”然后，它利用两个超能力来寻找答案：

流匹配（Flow Matching）： 它将数据点温柔地“流动”向地图上最近的已知定律，就像河流寻找入海口一样。
检索（Retrieval）： 它迅速从一个已经学习过的、包含 40 万个真实公式的图书馆中抓取最接近的邻居。

结果令人印象深刻。在测试中，针对一组困难的现实物理问题，PISR 在正确发现物理定律的数学结构方面达到了 51.3% 的成功率，击败了所有其他方法。它的速度也比最优秀的竞争对手快了约 2.4 倍。但真正的奇迹发生在研究人员将其应用于从未见过的领域时。PISR 成功地从金融、生物学和天文学等完全不同的领域的原始数据中恢复了著名的定律，包括复杂的湍流模式以及恒星亮度与温度之间的关系。

至关重要的是，论文表明 PISR 并不只是在死记硬背答案。研究人员证明了在计算机的“大脑”（其数学空间）中，真实的科学定律与随机的、无意义的数学是清晰分离的。这就像是一个房间，所有的真实定律都整齐地坐成一个圆圈，而随机的胡言乱语则散落在远处。因为 PISR 知道这个圆圈的存在，所以它可以忽略那些胡言乱语，只专注于有意义的模式。

然而，这并不是解决一切问题的魔杖。论文谨慎地指出，PISR 是为“闭式”（Closed-form）定律设计的——即你可以写在纸上的方程。它目前处理涉及随时间变化的速率（如微分方程）的方程方式并不相同。此外，虽然它擅长寻找看起来像科学公式的定律，但在处理不遵循物理规则的抽象数学问题时会遇到困难，因为它已经学会了忽略这些“偏离流形”的结构。

简而言之，PISR 代表了一种从“暴力搜索”向“智能模式识别”的转变。它表明，如果我们教会计算机理解宇宙书写其规则的底层结构，我们就能比以前更快、更准确地从杂乱的数据中找回这些规则。研究人员已经证明，科学定律占据了数学空间中一个特殊的、有结构的角落，通过学习如何航行在这个角落，我们可以仅凭一瞥便重新发现宇宙的奥秘。

技术摘要：一种用于物理定律符号回归的无搜索基础模型

1. 问题陈述

符号回归（Symbolic Regression, SR）旨在从观测数据中恢复出具有可解释性的闭式数学定律。尽管这对于科学发现至关重要，但现有方法面临着准确性与速度之间的根本权衡：

基于搜索的方法（例如遗传算法、GPU 并行枚举）在处理干净、低维数据时表现精确，但在面对噪声较大的现实世界数据时，存在计算成本高、脆弱性强以及需要为每个新问题重新探索组合表达式空间的问题。
端到端深度学习方法（例如 Transformer）提供了速度优势，但通常将 SR 视为序列翻译任务。它们学习的是建模数据分布，而非底层的公式空间，缺乏对物理定律结构的显式先验。因此，在处理物理发现所需的离散、非平滑且呈超指数级增长的表达式空间时，这类方法难以应对。

本文指出，当前的数据驱动算法之所以无法对真实物理关系的结构化关系进行推理，是因为它们没有对所预测的“公式空间”建立模型。

2. 方法论：PISR（物理启发式符号回归）

作者提出了 PISR，这是一种无搜索的基础模型，它将符号回归重新定义为在预训练的、通过对比学习对齐的**公式-数据流形（formula–data manifold）**内进行的生成问题。其核心假设是：真实的物理定律在庞大的所有可能表达式空间中，占据着一个由量纲一致性和重复出现的组合基元所塑造的、结构化的低复杂度子流形。

架构与训练

共享潜空间流形： PSR 采用两个通过对称 InfoNCE 对比目标（类似 CLIP）进行对齐的编码器：
1. 数据编码器 ( $E_d$ )： 一个置换不变的编码器（使用 16 个学习到的种子 token 进行聚合多头注意力），将点云 $\{(x_i, y_i)\}$ 映射到潜向量 $z_d$ 。
2. 公式编码器 ( $E_f$ )： 一个图神经网络编码器，将表达式的抽象语法树（AST）映射到潜向量 $z_f$ 。
- 对齐方式： 在训练期间，公式及其生成的对应数据被拉向潜空间（ $\mathbb{R}^{640}$ ）中的相近点，使得这种接近程度成为函数关系的代理指标。
结构化监督： 模型在包含 3360 万个表达式的大型物理/数学语料库上进行训练，并辅以物理知识图谱。一个结构损失项（ $L_{struct}$ ）利用父类定律、前提条件和推导 DAG 边，对表达式结构的物理启发式先验进行了约束。
模型规模： 完整模型包含约 4 亿个参数，包括编码器、流匹配场（flow-matching field）和解码器。

推理流水线（无搜索）

PISR 通过单次摊销前向传播运行，无需针对每个实例进行符号搜索：

潜空间生成： 一个流匹配场（类 DiT 结构）将数据潜向量 $z_d$ 向候选公式潜向量传输。
检索： 模型索引了一个包含 40 万个真实公式潜向量的库。通过检索 $z_d$ 的 $k$ -最近邻来为生成的候选者提供非参数化的补充。
条件解码： 一个自回归解码器根据数据表示，将生成的和检索到的潜向量渲染为表达式骨架（类型化 token）。
选择： 通过非线性最小二乘法拟合候选表达式的自由常数。候选者仅根据留出集的预测误差进行排名（不应用复杂度惩罚，因为物理定律在结构上可能是复杂的）。返回表现最好的表达式。

3. 核心贡献与发现

公式流形假设

本文提供了经验证据，证明真实的物理公式在学习到的潜空间中与随机表达式是线性可分的。

可分性： 一个线性探测器在区分真实物理定律与结构匹配的随机表达式（控制了算符频率和长度）时，实现了 94.4% 的 ROC-AUC。
几何特性： 真实定律形成了一个丰富的、延伸的结构（参与度比率为 21.5），明显区别于随机表达式（10.5），这证实了“定律区域”是由组合语法而非仅仅是更小的子集定义的。
量纲分析： 这种可分性植根于 Buckingham- $\pi$ 定理，该定理将有效的定律限制在无量纲组内，从而有效地剔除了绝大多数语法有效但物理上不可能的表达式。

基准测试表现

PISR 在三个基准测试上与四种基准方法进行了评估：遗传编程 (PySR)、GPU 并行枚举 (PSE)、领域专用 Transformer (PhyE2E) 以及潜空间生成式 SR (GenSR)。

真实物理基准（797 个任务）： PISR 达到了 51.32% 的结构准确率，超过了表现第二好的模型 (PySR) 7.66 个百分点。
跨领域泛化（270 个任务）： PSR 达到了 71.11% 的准确率，超过 PySR 15.93 个百分点。这表明模型学习到了定律类公式的结构，而非仅仅是物理分布，从而实现了向金融、经济和生物领域的迁移。
费曼方程（119 个任务）： PSR 达到了 39.50% 的准确率，领先于 GPU 枚举基准 6.73 个百分点。
效率： PSR 比遗传编程快约 2.4 倍，比 GPU 枚举快约 2.5 倍，仅需单次前向传播（每个任务约 12.25 秒），而基准方法则需要迭代搜索。

复杂定律的恢复

PISR 能够从原始数据中恢复出所有基准方法均失败的命名定律，特别是在涉及以下情况时：

超越函数： 正确识别出指数或对数形式，而基准方法会使用代数近似（如嵌套幂或有理近似）进行替代。
变量指数： 恢复了带有变量指数的形式（如 $x^n$ ），而 Transformer 会将其替换为固定指数。
特定领域： 成功从湍流数据中恢复了柯尔莫哥洛夫二分之三定律，从恒星目录中恢复了斯特藩-玻尔兹曼关系，以及恢复了雷诺应力闭合模型（在经典模型失效的情况下实现了 $R^2 \approx 0.99$ ）。

4. 重要性与主张

论文声称 PISR 代表了从“搜索”定律到在学习到的物理启发式流形内“生成”定律的范式转变。

归纳偏置： 通过专注于定律类公式的流形，该模型在处理真实科学数据时实现了最先进的准确率，同时避免了在抽象表达式空间中表现较差的“无结构”区域（这是其设计的特性而非缺陷）。
泛化能力： 模型展示了经过物理训练的单一基础模型可以泛化到非物理科学领域（如经济学、生物学），因为这些领域共享相同的“科学定律组合语法”。
可扩展性： 无搜索架构使得尝试大规模假设生成和验证（例如湍流建模中的开放闭合问题）在计算上变得可行，将该领域从已知定律的恢复转向了新定律的提出。

作者强调，模型的成功依赖于这样一个假设：科学定律并非表达式空间中的任意元素，而是占据着由量纲一致性和物理基元定义的结构化子流形。这一先验对于处理具有噪声和量纲结构的现实世界科学数据至关重要。