🤖 machine learning

Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation

本文介绍了多项式增强神经网络（PANNs），这是一种将深度神经网络与多项式展开相结合的新型架构，并利用正交约束、基函数剪枝和预处理技术，使其在逼近平滑与非平滑函数以及求解偏微分方程方面，比现有方法具有更高的精度和稳定性。

原作者： Madison Cooley, Shandian Zhe, Robert M. Kirby, Varun Shankar

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Madison Cooley, Shandian Zhe, Robert M. Kirby, Varun Shankar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代科学的广阔版图中，研究人员在试图模拟物理世界时经常面临困境。他们需要能够预测流体如何旋转、热量如何扩散或结构如何在压力下弯曲的工具。几十年来，两类截然不同的数学工具一直主导着这一领域。一方面是深度神经网络，这些受人类大脑启发而设计的复杂计算机程序。它们具有极高的灵活性和强大的能力，能够从海量数据中学习模式，并同时处理具有许多变量的问题。另一方面是多项式方法，它们使用简单的平滑曲线来逼近函数。当目标是平滑且表现良好的情况下，它们精确且高效，但当数据变得杂乱或问题变得过于复杂时，它们往往会显得力不从心。挑战始终在于如何找到一种方法，将神经网络的适应性与多项式的精确性结合起来，而不至于让其中一方抵消另一方的优势。

一支研究团队现在提出了一种成功融合了这两种方法的全新架构。他们将其称为“多项式增强神经网络”，简称 PANN。PANN 并非在神经网络或多项式曲线之间做选择，而是同时使用两者。想象一下，将神经网络视为一位能够勾勒出几乎任何形状的高级艺术家，但有时会忽略精细、平滑的细节。研究人员将多项式函数作为一个层添加到了艺术家的工具箱中，这些函数就像是一组完美平滑的预制曲线。这项创新的关键不仅在于添加这些曲线，还在于教导这两个部分如何协同工作而不互相干扰。他们引入了一套规则（或约束），强制要求神经网络和多项式层保持独立，确保多项式层处理平滑的全局模式，而神经网络则专注于复杂的、不规则的细节。这种分离防止了两个组件为了争夺相同的信息而发生冲突，从而使模型更加稳定且准确。

研究人员在多种任务上测试了这种新架构，首先是完美重建已知数学形状的能力。当目标是一个平滑的多项式函数时，PANN 能够以极高的精度恢复解，其精度往往达到了计算机计算的极限。这是一个重要的发现，因为它证明了添加神经网络并不会破坏多项式的精确性。事实上，即使在神经网络也在学习的同时，系统也能分离出多项式部分并完美地重现它。团队还测试了该系统处理非完美平滑函数（包含尖角或快速振荡）的情况。在此类情况下，PANN 再次表现优于标准的神经网络和纯多项式方法。神经网络组件成功捕捉到了锯齿状、困难的特征，而多项式层则处理了更广泛、更平滑的趋势。这种互补行为使得系统能够以比单一方法更低的误差来逼近复杂的函数。

该研究还探讨了这种架构在求解偏微分方程（用于描述热流和流体动力学等物理现象的数学方程）时的表现。在这些测试中，PANN 被用作一种“物理信息神经网络”，这意味着它的训练不仅基于数据点，还基于支配系统的物理定律。结果表明，P=====================S 解决这些方程时的误差比标准神经网络产生的误差低了几个数量级。例如，在涉及二维泊松方程的测试中，一种特定的 PANN 配置实现的误差率极低，几乎与精确解无法区分。研究人员发现，该系统比传统方法学习得更快、更可靠，减少了达到高精度水平所需的计算时间和计算能力。

然而，研究人员谨慎地指出，这种方法的成功取决于不同部分的调优方式。他们发现，用于保持神经网络和多项式层分离的规则选择至关重要。某些规则对特定类型的问题效果更好，而另一些规则对不同任务则更高效。他们还发现，对于涉及突然跳变或不连续性的问题（例如性质发生剧烈变化的材料），需要稍微放宽严格的规则。如果规则过于僵化，系统就会变得过于缺乏灵活性，无法处理这些剧烈变化。这表明，虽然该方法具有鲁棒性，但需要根据具体问题进行仔细调整。团队还解决了高维问题（即变量数量非常大的问题）的问题。通过使用一种在训练期间剔除（或移除）不必要多项式项的技术，他们防止了系统被复杂性所压倒，从而使其能够在不大幅增加成本的情况下扩展到具有许多变量的问题。

这项工作的意义不仅在于屏幕上更好的数字。研究人员证明，这种混合方法为模拟物理世界提供了一种更可靠的方式，特别是对于数据存在噪声或底层物理机制复杂的任务。通过结合两种不同数学传统的优势，他们创造了一个既灵活又精确的工具。实验证实，不需要通过增大或加深神经网络来获得更好的结果；相反，添加多项式层为性能提供了结构性的提升。这表明了科学计算的一个新方向：未来的机器学习可能不在于构建更大的神经网络，而在于如何智能地将它们与经典的数学工具相结合，从而创造出更聪明、更快、更准确的系统。这项工作证明，有时候最好的解决方案不是在两种强大的方法之间做出选择，而是找到让它们和谐共处的方法。

技术摘要：多项式增强神经网络 (PANNs)

问题陈述

深度神经网络 (DNNs) 已成为科学机器学习中的主导工具，特别是在通过物理信息神经网络 (PINNs) 求解偏微分方程 (PDEs) 方面。它们提供了灵活性、可扩展性以及打破维度灾难的能力。然而，DNNs 面临着显著的挑战，包括谱偏差（难以捕捉高频分量）、梯度消失或爆炸以及易受过拟合的影响。相反，传统的多项式逼近方法在处理光滑函数时具有快速收敛的特性，但受限于维度灾难（基函数的指数级增长），并且通常需要结构化网格或过采样来保证稳定性。

核心问题在于缺乏一种统一的架构，既能利用 DNNs 的高维灵活性，又能保留多项式方法对光滑函数的快速收敛率，同时又不重新引入高维多项式的计算不可行性。

方法论

作者提出了多项式增强神经网络 (PANNs)，这是一种将标准 DNN 与可训练的多项式展开层相结合的混合架构。模型输出 $u_\theta(x)$ 定义为 DNN 输出 $N(x)$ 与多项式层输出 $P(x)$ 之和：
$u_\theta(x) = N(x) + P(x) = \sum_{j=1}^w a_j \psi_j(x; \theta_h) + \sum_{k=1}^m b_k \phi_k(x)$
其中 $\psi_j$ 是 DNN 基函数（最后一层隐藏层的激活值）， $\phi_k$ 是多项式基函数（在本研究中特指勒让德多项式）。

为了确保训练稳定性和增强精度，论文引入了三个关键的方法论组件：

1. 弱正交性约束

为了防止 DNN 和多项式组件学习冗余特征，作者引入了一系列共八种离散正交性约束。这些约束强制执行 DNN 基函数与多项式层之间的“弱”正交性。由于强制执行连续积分约束（计算难度大）较为困难，因此他们对基函数与系数的乘积实施离散约束。

约束族： 约束范围从“弱”约束（例如，强制要求总 DNN 输出与总多项式输出之积为零）到“强”约束（例如，强制要求每个单独的 DNN 基函数与每个多项式基函数正交）。
实现： 这些约束通过在梯度下降过程中引入额外的加权损失项 ( $\lambda_c \|C\|_F$ ) 来实施，其中 $C$ 代表特定的约束矩阵（例如， $N(x)P(x)$ 或 $a_j \psi_j(x) b_k \phi_k(x)$ ）。
选择： 实验表明，约束 CE（强制多项式层针对 DNN 基函数及系数的正交性）通常在精度和训练时间之间提供了最佳的权衡。

2. 基函数剪枝

为了应对多项式组件引入的维度灾难，作者采用了基函数剪枝策略。在训练期间，低于指定阈值的系数（DNN 的 $a_j$ 和多项式的 $b_k$ ）会被归零，其对应的基函数也会被丢弃。这动态地控制了活跃基函数的数量，确保了在高维环境下的简洁性和计算效率。

3. 预处理与自定义微分

预处理： 作者将多项式预处理策略（最初用于最小二乘法）改编并应用于 DNN 和多项式组件。一个对角预处理矩阵 $K$ 对基函数进行缩放，以改善优化问题的条件数，有助于恢复稀疏解。
高效微分： 对于 PDE 应用，作者利用了自定义的前向/后向传播。虽然 DNN 的导数通过自动微分计算，但多项式的导数是预先解析计算并存储的。这避免了训练迭代过程中冗余的微分开销。

核心贡献

新颖架构： 引入了 PANNs，它通过增加一个单一的可训练多项式层来增强标准 DNN，该层既可以被视为一种自适应基函数法，也可以被视为带有变换跳跃连接的残差块。
正交性框架： 构建了一个离散正交性约束族，将 DNN 和多项式组件的逼近空间分离，从而辅助优化并减少冗余。
维度控制： 集成了基函数剪枝和预处理技术，使多项式增强在高维空间中变得可行，解决了多项式基函数指数级增长的问题。
实证验证： 在回归任务（光滑、非光滑、含噪声及高维）和 PDE 求解（线性、非线性、随时间变化及混沌系统）方面进行了全面的数值实验对比。

结果

论文展示了大量的数值实验，将 PANNs 与标准 DNNs、纯多项式方法（L2 投影和优化多项式）以及各种 PINN 基准模型（包括 RFF、ModMLP、GradNorm 和 Causal）进行了比较。

多项式重构： 当多项式阶数足够时，PANNs 可以精确恢复已知的多项式解（达到机器精度），这证明了 DNN 组件不会阻碍多项式层表示多项式的能力。
非光滑函数： 在逼近连续非光滑函数（例如具有消失导数或局部振荡的函数）时，PANNs 保持了与 DNNs 或多项式逼近方法相当甚至更优的竞争力。DNN 组件有效地捕捉了非光滑特征，而多项式层则处理全局结构。
高维回归： 在高达 6 维的合成问题和 8 维真实世界住房数据集中，PANNs（特别是采用 ReLU 激活和 CE 约束时）比标准 DNNs 和纯多项式方法实现了更低的相对 $\ell_2$ 误差。
PDE 解：
- 泊松方程 (Poisson Equation)： PANNs 达到了接近机器精度的误差（ $\sim 10^{-6}$ ），显著优于规模相当甚至更大的标准 PINNs。
- 非线性/随时间变化的 PDE： 对于 Allen-Cahn、Korteweg-de Vries (KdV)、Kuramoto-Sivashinsky (KS) 和 Grey-Scott 方程，PANNs 始终降低了相对于基准 PINNs 的相对误差，尽管改进幅度因问题和基准的不同而异（例如，在混沌的 KS 方程中实现了 0.57 的最低相对误差）。
- 局限性： 在具有跳跃系数（不连续解）的 Darcy 流问题中，过强执行的正交性约束最初会导致性能下降。降低约束强度可以改善结果，这表明对于非光滑 PDE 解，需要进行自适应调节。

重要性与主张

论文声称，对于回归和 PDE 求解，PANNs 对 DNNs 具有更优越的逼近性质，尤其是在多项式擅长的光滑函数方面。此外，在处理具有有限光滑度或高维数据的函数时，PANNs 比纯多项式方法具有更高的精度或更具竞争力的性能。

作者强调，由弱正交性约束引导的 DNN 与多项式的结合，创造了一个更理想的优化景观（更平滑的损失曲面），并允许模型将问题分解为全局（多项式）和局部/高频（神经）组件。虽然由于预处理和正交性惩罚的存在，该方法增加了训练时间，但由此带来的精度提升以及解决复杂 PDE 时使用更少参数或迭代次数的能力，证明了这一成本是值得的。这项工作将 PANNs 定位为一种鲁棒的全局逼近器，它继承了 DNNs 的优点（噪声鲁棒性、无网格特性），同时减轻了其谱偏差和收敛限制。