🔢 mathematics

Optimal Sobolev Approximation by Deterministic and Random Shallow Sigmoidal Networks

本文证明了具有光滑 Sigmoid 激活函数的确定性及随机采样浅层网络，在一般维度下均能实现最优的 Sobolev 近似率，且在对数因子范围内与理论上的 Kolmogorov 宽度相匹配。

原作者： Zhaohui Fu, Yangshuai Wang

发布于 2026-08-21

📖 1 分钟阅读🧠 深度阅读

原作者： Zhaohui Fu, Yangshuai Wang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数学的广袤版图中，存在着一个持久的问题：我们究竟能在多大程度上利用简单的构建模块来捕捉复杂的现实形态？想象一下，试图描述一座崎岖的山脉、一个旋涡状的天气模式，或是电路中流动的电流。这些现象由其平滑度与粗糙度所定义——它们的缓坡与锐边。数学家们将这种特性称为“正则性”（regularity）。几十年来，研究人员一直依赖人工神经网络（一种受人类大脑启发的计算模型）来逼近这些复杂函数。具体而言，他们使用“浅层”网络，即在输入层与输出层之间仅有一个隐藏处理层的结构。这些单元通常使用一种平滑的、S形的曲线（被称为“sigmoid”）来转换数据。核心谜题在于：如果我们预先固定这些单元的内部设置（无论是通过精心选择还是随机选取），网络是否仍能高精度地模拟任何平滑函数？这个问题的答案决定了这些灵活的工具究竟仅仅是启发式的技巧，还是能够解决物理学和工程学中最难方程的严谨数学工具。

一支研究团队现在为这类广泛的平滑S形曲线解决了这一问题。他们证明了，只要隐藏单元足够多，浅层网络确实可以实现逼近平滑函数的最佳精度率。无论内部设置是通过精确的确定性方案进行选择，还是从可能的范围中随机抽取，这一结论都成立。研究人员关注了实践中常用的标准激活函数，例如双曲正切函数（hyperbolic tangent）和误差函数（error function），这些函数以其平滑且呈钟形分布的导数而闻名。他们的工作表明，通过特定数量的隐藏单元，网络可以逼近目标函数，且其误差会随着单元数量的增加而呈现出可预测的下降。这种改进速率不仅表现出色，而且在数学上是最优的，这意味着使用相同计算资源的任何其他方法都不可能做得更好。

该研究区分了设置此类网络的两种方式。在第一种方法中，研究人员构建了一个确定性的特征字典。他们仔细选择了每个隐藏单元的方向和偏移量，像排列精密网格一样布置它们，以覆盖可能的输入空间。他们证明了，对于任何具有一定平滑度的函数，这种精心构建的网络可以实现以数学定律允许的最快速度来逼近该函数。这种速度取决于问题的维度以及目标函数的平滑度。如果函数非常平滑，误差就会迅速下降；如果函数较粗糙，下降速度会变慢，但它遵循一个完美的、可预测的代数规则。至关重要的是，研究人员还证明了用于组合这些单元的数值不会无节制地增长，从而确保了该方法保持稳定且可用。

第二种方法或许更令人惊讶，研究人员测试了当内部设置并非经过精心选择，而是通过随机采样时会发生什么。在许多实际应用中，工程师更倾向于随机采样，因为相比于设计完美的网格，这种方式更快且更容易实现。研究人员证明，即使采用随机采样，网络依然保留了逼近平滑函数的强大能力。只要随机选择来自于一个能够覆盖必要空间且不留巨大缺口的分布，网络就能以极高的概率达到相同的最优精度率。随机性带来的唯一代价是，为了达到相同的精度水平，所需的单元数量会产生微小的对数级增长。这一发现具有重要意义，因为它验证了在高维问题中使用随机特征的有效性，证实了随机采样的“运气”并不会以牺牲数学效能为代价。

为了验证其理论证明，研究人员在广泛的场景下进行了大量的数值实验。他们测试了维度从2到10的各种情况，针对不同平滑度的函数，并使用多种衡量误差的方式（从简单的平均差异到涉及导数的更复杂度量）。在所有案例中，计算机模拟结果都与数学预测完美契合。误差随单元数量变化的图表在对数尺度上呈现为直线，证实了误差确实按照理论预测的精确代数速率在缩小。无论是确定性特征还是随机特征，无论是简单的曲线还是复杂的十维曲面，结果都是一致的。实验涵盖了包括直觉往往失效的高维环境在内的广泛条件，而在每种情况下，网络的表现都完全符合新理论的描述。

这项工作的意义超越了逼近理论的抽象领域。它为使用固定特征神经网络来求解偏微分方程提供了坚实的理论基础，而偏微分方程正是物理学、工程学和金融学的语言。这些方程通常描述具有剧烈梯度或复杂边界的系统，明确随机或确定性特征集可以实现最优逼近，这让科学家对他们的数值工具充满了信心。研究人员还确定了设置网络内部参数以实现这些结果的精确尺度，这一细节对于实际应用至关重要。通过确立平滑的 Sigmoid 激活函数能够保留完整的逼近率层级，这项研究填补了神经网络理解中的长期空白。它证实了这些模型不仅是灵活的曲线拟合器，更是能够捕捉平滑、高维现实之全貌的、在理论上完备的工具。

技术摘要：确定性与随机浅层 Sigmoid 网络的最优 Sobolev 近似

问题陈述
本文解决了浅层神经网络数学理论中的一个基本空白：即使用标准光滑 Sigmoid 激活函数（如 $\tanh$ 、逻辑 Sigmoid、 $\text{erf}$ ）在一般维度下实现最优 Sobolev 近似率的问题。虽然已知当隐藏参数（方向和偏移）经过优化时，浅层网络可以达到最优速率，但目前尚不明确当这些隐藏参数被确定性地固定或独立采样时，这些速率是否仍然成立。此外，现有文献通常侧重于 ReLU 激活函数或特定的傅里叶矩类，使得对于光滑 Sigmoid 特征在高维空间中完整的依赖于正则性的 Sobolev 层级结构仍未得到确立。作者旨在确定此类网络是否能在 $H^k(\Omega)$ Sobolev 空间中近似函数 $f$ ，并使误差在 $H^m(\Omega)$ 范数下以 $M^{-(k-m)/d}$ 的速率衰减，其中 $M$ 是特征数量。

方法论
作者开发了一个结合了积分表示理论、确定性求积法和概率集中不等式的统一框架。

Sigmoid 脊表示（Sigmoidal Ridge Representation）： 分析的核心是带限函数的连续脊表示。通过利用傅里叶切片定理（Fourier-slice theorem）和去卷积论证，作者将目标函数 $f$ （从定义域 $\Omega$ 扩展而来）表示为对方向 $\omega \in S^{d-1}$ 和偏移 $b$ 的积分。这种表示依赖于激活函数内部参数的一个特定缩放 $\sigma_N$ ，该缩放的选择是为了确保激活函数的导数在相关的频率带上是非退化的。
离散化策略：
- 确定性情况： 使用结合了均匀偏移求积和球面设计（spherical designs）的组合来对连续积分进行离散化。方向被选择为等权重球面设计节点，偏移量则均匀分布。分析利用了激活函数导数的 Schwartz 类衰减特性，以控制混叠误差和尾部误差。
- 随机情况： 参数从一个远离零的预设密度中独立采样。作者利用随机矩阵集中理论（特别是针对 i.i.d. 样本的 Gram 矩阵集中性）来证明离散采样算子以高概率是稳定且可逆的。这使得能够构造出有界的积分权重来近似连续积分。
误差分析： 总误差被分解为近似误差（由于带限处理引起）、离散化误差（求积和球面设计引起）以及尾部误差（物理与角度层面）。作者确立了对于特定的尺度参数 $\sigma_N$ 的选择（涉及对数修正，例如 $\sqrt{\log N}/N$ ），所有误差项都以超代数速率或最优代数速率衰减。

核心贡献与结果

最优确定性速率： 本文构造了一个包含 $M$ 个特征的确定性字典，使得对于任何 $u \in H^k(\Omega)$ ，都存在一个近似器 $v_M$ ，满足：
$\|u - v_M\|_{H^m(\Omega)} \lesssim M^{-(k-m)/d} \|u\|_{H^k(\Omega)}$
对于所有 $0 \le m \le k$ 。该速率匹配了 Sobolev 球的 Kolmogorov 宽度下界，证明了其在同等维度的所有线性空间中的最优性。输出系数的增长至多为分辨率的多项式级别。
随机特征速率： 作者证明，如果隐藏参数是从一个远离零的密度中独立采样的，那么相同的近似指数在以高概率（ $1-\delta$ ）下是可以达到的，仅存在对数过采样因子：
$\|u - v_M\|_{H^m(\Omega)} \lesssim \left( \frac{M}{\log(M/\delta)} \right)^{-(k-m)/d} \|u\|_{H^k(\Omega)}$
该结果适用于包括 $\tanh$ 、逻辑 Sigmoid 和 $\text{erf}$ 在内的激活函数。
系数界限： 在确定性和随机设置中，论文均确立了输出系数可以被选择为随网络宽度呈多项式增长，从而确保了数值稳定性并防止了解的爆炸式增长。
数值验证： 通过在维度 $d=2, 3, 10$ 以及各种目标正则度（ $k=2$ 到 $20 $）下的数值实验验证了理论预测。实验证实了对于确定性和随机字典，在$ L^2$ 和更高阶 Sobolev 范数（ $H^1, H^2$ ）下均符合预测的代数收敛斜率。

意义与主张
本文声称提供了首次关于在一般维度下，使用独立采样的特征及标准光滑 Sigmoid 激活函数实现完整正则性依赖的 Sobolev 近似层级的理论确立。与 ReLU 网络不同（ReLU 网络在近似超过其激活函数光滑阶数的导数时会遭受一致性损失），所提出的光滑 Sigmoid 构建方式能够适应任何给定的有限目标正则度，而不会产生此类损失。

这项工作弥合了固定特征网络（用于物理信息神经网络 PINNs 和极限学习机 ELM）的计算效用与严谨近似理论之间的鸿沟。通过证明随机采样可以保持与确定性构建相当的（最多仅差对数因子）最优近似速率，本文为高维 PDE 离散化中随机特征方法的有效性提供了理论依据。研究结果证实，“随机特征方法”并非仅仅是一种启发式方法，而是具有与经过最优调优的确定性字典相媲美的最优近似能力。

技术摘要：确定性与随机浅层 Sigmoid 网络的最优 Sobolev 近似

类似论文