技术摘要：一种用于求解方程的无数据符号回归方法

问题陈述

科学与工程领域中的许多方程（特别是涉及超越项或复杂微分算子的方程）无法通过现有的解析技术求解。因此，这些方程通常采用数值方法进行处理，虽然能产生近似解，但无法获得显式的符号表达式。虽然数值解在定量上是准确的，但它们往往掩盖了系统的底层函数依赖关系、对称性和定性行为。

现有恢复显式解的方法面临着权衡：

1. 解析求解器（Analytical Solvers）： 可以推导出精确的符号解，但受限于特定的方程结构（例如多项式系统或受限类 ODE）。
2. 符号回归（Symbolic Regression）： 可以发现具有解释性的表达式，但从根本上依赖于监督式的配对输入-输出数据，而当仅已知控制方程和边界条件时，这类数据通常是不可获得的。
3. 基于残差的神经方法（如 PINNs）： 直接从控制方程和约束条件进行运算，无需标签数据。然而，它们生成的解是以神经网络参数的形式编码的（数值近似），而非显式的符号形式，这限制了其进一步的解析效用。

文献中存在一个空白，即缺乏一种直接从控制方程和辅助约束出发，且无需监督式输入-输出数据，并能恢复出显式符号形式解的方法。

方法论：符号方程求解器 (SES)

作者提出了符号方程求解器 (Symbolic Equation Solver, SES)，该框架将方程求解表述为对可微符号模型的优化问题。与传统的符号回归不同，SES 并不拟合数据模型；相反，它优化一个符号表达式以满足控制方程及其约束。

核心架构

• 符号模型类： SES 利用了一种基于方程学习器 (Equation Learner, EQL) 表述的可微符号网络。在这种架构中，传统的神经激活函数被符号算子库（例如恒等、常数、平方、指数、双曲正切、乘法）所取代。
• 可微性： 该网络是完全可微的，允许梯度通过符号算子进行传播。这使得使用标准的阶一优化方法（Adam）来优化网络权重（对应于符号表达式的系数）成为可能。
• 目标函数： 训练信号完全由方程残差导出。给定控制方程 $F_k(x, u, \nabla u, \dots) = 0$ 和辅助条件 $B_j(x, u, \nabla u, \dots) = 0$，SES 通过最小化在采样配置点 (collocation points) 上评估的平方残差损失函数来工作：
  $$L(\theta) = \frac{1}{N_F}\sum |F_k|^2 + \frac{1}{N_B}\sum |B_j|^2$$
  对于非微分方程，引入一个辅助变量来生成配置点，将解视为该变量的常数函数。

优化策略

为了确保收敛到稀疏且具解释性的解，训练过程包含三个不同的阶段：

1. 残差最小化： 模型仅使用残差目标进行训练 50,000 个 epoch，以满足方程。
2. 稀疏性诱导： 训练继续进行 200,000 个 epoch，并加入 $\ell_1$ 惩罚项以作用于内部权重。在此阶段，系统会定期移除贡献度最低的 25% 的权重，从而鼓励产生紧凑的符号结构。
3. 微调： 移除 $\ell_1$ 惩罚项，并仅使用残差目标进行 20,000 个 epoch 的微调。
4. 提取： 通过遍历剪枝后的计算图并将学习到的权重保留至小数点后五位，从而提取最终的符号表达式。

主要贡献

1. 无数据符号恢复： SES 证明了可以在不需要配对输入-输出训练数据的情况下，仅依靠控制方程和约束的数学结构来恢复显式的符号解。
2. 统一框架： 该方法将基于残差的神经求解器（如 PINNs）的方程驱动优化原理与符号回归的解释性结合在一起。它可以在单一表述内应用于代数方程和微分方程。
3. 系统的联合优化： 该框架自然地扩展到具有多个未知量的系统，在共享的目标函数下对它们进行联合优化。

实验结果

作者在多样化的问题集上评估了 SES，并将恢复的符号表达式与已知的解析解进行了对比：

• 线性系统： 成功恢复了线性方程组的精确常数解 ($x=2, y=1$)。
• 超越方程： 恢复了方程 $e^x + x^3 = e + 1$ 的解 $x=1$，这是一个通常需要数值方法解决、且标准符号隔离法无法处理的问题。
• 常微分方程 (ODEs)：
  • 针对非线性 ODE $dy/dt = 1 - y^2$，恢复了 $y(t) = \tanh(t)$。
  • 针对线性输运方程，恢复了二次输运解 $u(x,t) = (x-t)^2$，尽管系数可能存在近似值，但保留了正确的函数形式。
• 偏微分方程 (PDEs)：
  • 成功求解了一个具有混合边界条件的二维泊松方程，恢复了精确的多项式结构 $u(x,y) = x^2 + y^2 + xy^2$。
  • 针对同一 PDE 的另一组边界条件恢复了其解，展示了对不同约束配置的鲁棒性。

在所有案例中，SES 都产生了紧凑的符号表达式，能够匹配解析解，并且通常能揭示正确的函数依赖关系和对称性。

意义与主张

论文指出，方程求解可以被重新定义为不仅仅是解析推导或数值近似，而是在符号函数空间中的优化。SES 的意义在于它弥合了基于方程的表述与符号恢复之间的鸿沟。

• 解释性与发现： 通过以显式符号形式恢复解，SES 揭示了难以通过纯数值近似推断出的结构依赖和函数关系。作者认为这种能力可以作为科学假设生成与发现的一种机制，提供候选的解析形式和不变性。
• 科学机器学习： SES 代表了将符号推理更直接地集成到科学机器学习中的一步，为构建既具有预测能力又具备结构基础的模型提供了路径。
• 局限性与未来工作： 作者谦逊地指出，目前的结果是在已知解析解且结构相对简洁的问题上的概念验证。他们承认，要将该框架扩展到更具挑战性的 PDE、高维系统和混沌动力学，需要更具表达力的架构、更丰富的算子库以及更鲁棒的优化策略。