🔭 astrophysics

NestyNet. III. Symbolic Regression from Analytic Neural Surrogates

NestyNet-SR 是一种新颖的符号回归框架，它利用解析神经代理将复杂数据递归地分解为可分离的分量，随后将其提炼为精确的闭式表达式，在基准测试中实现了最先进的性能，并成功地从真实的天文数据中重新发现了基本的物理定律。

原作者： Rodrigo Ibata, Wassim Tenachi, Foivos Diakogiannis, Neil Ibata, Anirudh Shankar

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Rodrigo Ibata, Wassim Tenachi, Foivos Diakogiannis, Neil Ibata, Anirudh Shankar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

自然界常常将最简单的规则隐藏在复杂的面纱之后。一个物理定律在原始数据中看起来可能像是一团纠缠在一起的变量，但如果我们知道如何观察，它可能只是一个简洁、优雅的句子。几个世纪以来，科学家们一直依赖人类的直觉来寻找这种正确的观察方式，以解开这个结并揭示其下方的清晰结构。但随着宇宙向我们呈现出更多的数据和更复杂的系统，我们仅凭大脑往往难以识别其中的模式。问题在于，机器是否能帮助我们调查更广泛的可能性，发现那些能够完美拟合数据、甚至可能预测我们在从未见过的场景中事物如何表现的关系。这就是符号回归（symbolic regression）这一领域的目标：寻找描述世界的真实数学句子，而不仅仅是拟合图表上的曲线。

挑战在于，可能的句子的数量如此庞大，以至于逐一搜索是不可能的。这就像是在一个图书馆里寻找一本特定的书，而每一层书架都包含了所有可能的单词组合。为了解决这个问题，研究人员 Rodrigo Ibata 及其团队开发了一种名为 NestyNet-SR 的新方法。该系统并非通过随机猜测句子，而是首先使用一种人工神经网络构建一个高度精确且灵活的数据模型。这个模型充当了一个代理（surrogate），一个对数据了如指掌的替身。其核心创新在于，这个代理被设计为在数学上是透明的；它允许研究人员精确地计算当他们微调输入时，输出会如何变化，甚至可以精确到最细微的细节。通过研究这些变化，系统可以检测数据是否可以分解为更简单、独立的组成部分。它会提出这样的问题：这个系统的这一部分是否仅取决于温度，而另一部分则仅取决于压力？或者是否存在某种隐藏的变量组合，比如某个特定的比例或总和，使得整体行为变得简单？

一旦系统识别出这些更简单的构建模块，它就会进入第二阶段：将它们翻译回人类可读的语言。这正是该方法的闪光之处。它不仅仅是在寻找一个完美的公式，而是将结构的搜索与数字的搜索分离开来。想象一下，在不知道钥匙齿的具体尺寸的情况下尝试寻找钥匙的形状。系统首先找到形状——即方程的骨架——然后将其与精确的数字进行拟合。这种方法使其能够处理通常会让其他方法束手无策的复杂嵌套层级。它可以发现某种关系涉及正弦波、平方根或幂律，即使在数据存在噪声或来自多个不同实验时也能做到这一点。该系统对物理现实也非常严格；它会检查测量单位是否合理，确保公式不会意外地将“米”与“秒”相加。

团队在著名的 120 个物理方程集（被称为 AI Feynman 基准测试）上测试了他们的算法，这些方程旨在增加计算机求解的难度。在没有噪声的世界里，该系统成功地完全恢复了这 120 个方程中的每一个，这在同类基准测试中尚属首次。它是通过寻找那些让复杂方程看起来变得简单的隐藏内部坐标来实现的。当他们向数据中加入真实的噪声（模拟现实世界测量中的缺陷）时，系统仍然能够找到近一半问题的正确结构，并且能够告诉研究人员哪些部分的结构仍然是可靠的。这种区分“真实规律”与“运气好猜中”的能力是向前迈出的重要一步。

为了证明该方法在真实天文数据上的有效性，研究人员将其应用于来自 SPARC 调查的一组螺旋星系。他们只给了计算机关于气体和恒星对星系旋转贡献的独立部分，而没有告诉它如何将它们结合起来。系统被要求寻找支配这些星系旋转规律的规则。在没有任何预先指令的情况下，该算法发现旋转速度取决于一个来自气体和恒星的单一合并加速度度量。它找到了权衡恒星与气体的正确方式，匹配了已知恒星种群的质光比。此外，它证实了观测到的运动与这种合并加速度之间的关系遵循一种特定的、非唯一的形式，而这在天文学界已争论多年。系统还提供了关于该关系斜率的置信度统计度量，表明星系的深层、缓慢移动部分遵循与快速移动的外缘不同的规则。

这项工作表明，通过将精确的数学代理与智能的分层搜索策略相结合，我们可以从原始数据走向可解释的自然法则。该系统不仅预测数字，它还揭示了宇宙的结构，向我们展示了即使在星系的复杂舞动中，也存在着简单的、可被发现的规则，只要我们知道如何去观察。研究人员已经公开了他们的代码和数据，允许他人将这些方法应用于他们自己的问题中，无论是行星的运动还是流体的行为。从神经网络到闭式方程（closed-form equation）的路径不再是一个谜，而是一条通往理解支配我们世界的根本法则的实用路径。

技术摘要：NestyNet. III. 基于解析神经代理的符号回归

问题陈述
符号回归（Symbolic Regression, SR）旨在寻找能够拟合数据的闭式数学表达式，而不预设固定的模型类别。其根本挑战在于表达式空间的组合爆炸性，这使得该问题具有 NP 难特性。实用的符号回归方法必须依赖强大的归纳偏置（Inductive Biases）来缩小搜索空间。一种主要的偏置是可分离性（Separability）：即观察到许多物理定律可以分解为加法、乘法或复合坐标结构。然而，可靠地检测这些结构需要精确的函数值，更关键的是，需要精确的混合二阶导数。标准的神经代理（Neural Surrogates）通常缺乏这种必要的精度，导致衍生测试出现假阳性和假阴性，从而破坏下游搜索。此外，现有方法往往将结构搜索与系数拟合纠缠在一起，这意味着如果内部结构正确，但在常数也被找到之前，它无法获得任何信用评分。

方法论：NestyNet-SR 流水线
作者提出了 NestyNet-SR，这是一个两阶段框架，利用 NestyNet 代理（在论文 I 中引入）来提供高精度的解析导数。该流水线将结构发现与符号重写分离。

阶段 A：结构发现（分解）
- 训练一个 NestyNet 代理来拟合数据。
- 利用解析导数（梯度和海森矩阵/Hessian），系统测试加法可分离性（ $f = g(u) + h(v)$ ）、乘法可分离性（ $f = g(u)h(v)$ ）以及复合坐标依赖性（其中 $f = g(z(x))$ ）。
- 系统搜索内部坐标 $z(x)$ ，包括单项式、仿射组合、径向组和中心化坐标。
- 该阶段递归地将多元问题分解为低阶“神经原子”（一元或简单的多元函数）构成的树状结构。
- 广义对称性（GS）层： 一个新颖的组件，通过求解目标函数的李对称（Lie symmetries）确定方程来发现坐标族（单项式、仿射、径向等），从而从目标的梯度几何中提取坐标。该层可以恢复标准检测器会遗漏的具有非整数或斜率系数的坐标，并将它们直接注入搜索过程。
阶段 B：解析闭合（重写）
- 将阶段 A 中的神经原子重写为闭式表达式。
- 分层搜索： 系统首先应用一系列专门的、高置信度的重写规则（例如齐次性剥离、比例不变性）。如果失败，则升级到因子化符号搜索（FSS）。
- 因子化符号搜索 (FSS)： 这一核心创新将内部坐标（骨架）的搜索与外部映射的校准解耦。
  - FSS 不再搜索完整的表达式，而是提出无常数的“载体”（骨架）。
  - 对于每个载体，它拟合一组外部映射（多项式、幂律、正弦函数等）和加法残差。
  - 候选对象的评分基于最佳拟合外部映射的损失，而非完整表达式。这使得系统即使在外部常数尚未转化为离散标记（Tokens）时，也能奖励正确的内部坐标。
  - 搜索使用残差盆地（Residual Basins）（对候选对象的失效模式进行特征提取）和上置信界（UCB）策略来引导变异和修复，平衡对良好盆地的利用与对未充分访问区域的探索。
- 量纲分析： 在两个层面实施约束：单个操作的局部检查，以及全局“巴金汉-数独（Buckingham–Sudoku）”求解器，该求解器在整个表达式树中传播量纲约束，从而在拟合前剪枝掉不可行的候选对象。
- 多数据集精炼： 系统可以同时拟合多个数据集，区分类共享参数（如物理常数）和实验特定参数。

核心贡献

导数精确的分解： 通过利用 NestyNet 代理，作者实现了比标准 MLP 更高的精度，用于基于导数的各种可分离性测试，从而能够可靠地检测复杂的结构基元。
因子化符号搜索 (FSS)： 一种新的搜索策略，将内部坐标的发现与外部函数的校准分离。这避免了结构与常数的纠缠，允许系统基于单个骨架对整族表达式进行评分。
广义对称性层： 一种通过对代理梯度场进行李对称分析来发现内部坐标的方法，将搜索范围扩展到了标准整数系数基元之外。
统计审计与校准： 该框架包含严格的统计选择（使用密封审计集）和校准后的弃权机制，确保关于恢复定律的结论被限定在证书有效的领域内。

结果

AI Feynman 基准测试（无噪声）： 在 SRBench 标准化的 AI Feynman 数据集上，NestyNet-SR 实现了对所有 120 个无噪声方程的精确符号恢复。作者指出，这是首个报告在全套该基准测试中实现精确恢复的结果。在单个 CPU 核心上的中位墙钟时间为每方程 6 分钟。
AI Feynman 基准测试（有噪声）： 在加性高斯噪声下，系统成功恢复了显著比例的方程（例如，在 10% 噪声水平下约为 47%），并利用统计选择方法证明了哪些结构得以存续。
先验模式（FSS 隔离测试）： 在不使用阶段 A 分解或代理训练的情况下，针对 115 个具有 $\le 6$ 个变量的方程进行测试，因子化符号搜索利用精确梯度和 GS 载体种子恢复了 88 个方程 (76.5%)。这证明了该搜索方法本身的有效性。
天体物理缩影：
- 星系潮汐半径： 系统恢复了雅可比（潮汐）半径的精确定律 $r_J = [\mu/(4\Omega^2 - \kappa^2)]^{1/3}$ ，并从模拟数据中发现了各向异性潮汐不变量 $4\Omega^2 - \kappa^2$ 。
- SPARC 星系旋转曲线： 在仅给定独立的气体和恒星盘加速度分量的情况下，算法盲目发现了重子加速度坐标（ $z = g_{gas} + \Upsilon_d g_{disk}$ ）。它重现了已建立的质量-光度比（ $\Upsilon_d \approx 0.56$ ）、径向加速度关系（RAR），并提供了该定律局部斜率的后验分布，包括深层区域的 $1/2$ 斜率。

意义与主张
论文声称，解析导数提供了一条从神经代理到可解释的闭式经验定律的实用路径。作者强调，因子化符号搜索是一个真正的算法进步，特别是在常数被深度嵌套或正确的内部坐标被隐藏的情况下。他们认为，最有效的符号回归引擎应该是分层的：首先利用廉价、高置信度的科学基元，仅在必要时才升级到更广泛的因子化搜索。这项工作表明，符号回归可以超越恢复静态公式，进而揭示连接不同物理机制下各类经验定律的元结构。SPARC 数据的结果凸显了该方法进行“脱手式（hands-off）”理论发现的能力，既能重现既定结果，又能增加新的统计严谨性层级（如留出泛化能力和校准后的弃权机制）。

类似论文