🤖 machine learning

Optimal Neural Network Approximation via Empirical Least Squares with Deterministic Samples

本文通过使用基于确定性样本的经验最小二乘法，为利用线性化 $\text{ReLU}^k$ 神经网络逼近球面椭圆谱方程的解建立了一套严密的理论，证明了最优收敛速率，并推导出了相关网络空间的核心 Bernstein 不等式。

原作者： Xinliang Liu, Tong Mao, Jinchao Xu

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinliang Liu, Tong Mao, Jinchao Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图教一个机器人理解世界。在人工智能领域，这个机器人的“大脑”是一个神经网络，即一个旨在识别模式的复杂数学函数网络。这个工具箱中最受欢迎的工具之一是“ReLU”函数，它就像一个简单的开关：如果信号是正的，它就让信号通过；如果信号是负的，它就将其切断为零。虽然这些开关对于构建深度、强大的网络非常有用，但数学家们长期以来一直难以证明，当我们尝试解决特定的、棘手的方程时，它们的表现究竟有多好，尤其是在我们只有有限的数据点进行训练时。

这篇论文深入探讨了这个谜题中的一个特定角落：求解描述球面上（如地球或球体）平滑、波动现象的方程。研究人员提出了一个基本问题：如果我们使用由这些 ReLU 开关组成的神经网络来逼近一个解，并且我们只在一些特定的位置（样本点）检查网络的性能，而不是在所有地方都进行检查，它是否仍能得到正确答案？他们特别感兴趣的是“确定性”采样，即我们精心挑选测试点，而不是像扔飞镖一样随机投掷。理解这一点至关重要，因为在现实世界中，我们很少拥有无限的数据；我们需要知道需要多少样本才能保证获得良好的结果，而不至于浪费时间或计算能力。

本文作者开发了一种严密的数学理论，它充当了这些神经网络逼近过程中的安全网。他们证明了，如果你将神经网络的“旋钮”（参数）排列成一种特定的、分布均匀的模式，并在球面上进行，且挑选测试点的方式经过精心设计，那么网络将以最快的速度收敛到正确解。这就像调收音机：如果你把旋钮转到恰当的位置（参数的最优排列），并聆听正确的电台（配置点），你就能获得清晰无干扰的信号。论文表明，你不需要一百万个样本就能获得这种清晰度；你只需要大约等于神经网络中可调节旋钮数量的样本量。这意义重大，因为这意味着该方法是高效的，并且不需要不可能获取的大量数据。

然而，本文对自己的主张非常谨慎。他们证明了这种“完美”的效率专门适用于球面以及涉及这些 ReLU 开关的特定类型方程。作者明确指出，你不能简单地将球体替换为一个平坦的盒子（如立方体），并期望同样的魔力立即发生。他们针对球体的理论并不能自动保证在平坦的有界区域（如房间的墙壁或电脑屏幕）上也能获得同样的结果。虽然他们展示了如何通过数学手段将一个问题从平坦的盒子“提升”到球面上以使用他们的新理论，但他们承认，这只是针对特定情况的一种巧妙变通方法，而非对所有形状的通用解决方案。此外，尽管他们为球面提供了强有力的数学证明，但他们对平坦区域的结果目前仅属于数值实验——即看起来很有前景的模拟实验，但在数学上尚未被严谨地证明能以同样的方式发挥作用。

他们发现的核心工具是一个被称为“伯恩斯坦不等式”（Bernstein inequality）的新数学工具。简单来说，这是一个限制神经网络变得多么“扭曲”或“混乱”的规则。这就像是在说：“如果你知道波浪的平均高度，除非你有大量的空间，否则你不可能突然出现一个高出一百万倍的尖峰。”这条规则使得作者能够证明其逼近误差得到了严格控制。他们还表明，如果你随机选取测试点（比如扔飞镖），你仍然可以得到一个不错的答案，但你可能需要更多的点来确保万无一失，并且存在极小的概率出现糟糕的结果。

在实验中，研究人员在不同大小的球体和不同类型的 ReLU 开关上测试了他们的理论。他们发现误差下降的速度完全符合理论预测，证实了该方法在受控的球面环境下运作得非常出色。当他们尝试将同样的逻辑应用于平坦的立方体时，误差虽然下降了，但并没有像理论在球面上预测的那样快，这印证了他们之前的警告，即球体和立方体在数学上是截然不同的物种。最终，这篇论文为使用神经网络解决球面上的方程提供了坚实、经过验证的基础，为如何获取精确答案所需的样本量提供了一份清晰的路线图，同时也谦逊地承认，将这一方法推广到宇宙中每一种形状的旅程仍在继续。

技术摘要：通过确定性样本的经验最小二乘法实现最优神经网络逼近

问题陈述
本研究针对单位球面 $S^d$ 上椭圆谱方程 $L_\beta u = f$ 的离散残差最小二乘逼近进行理论分析。研究重点在于线性化 ReLU $^k$ 神经网络，其激活函数为 $\sigma_k(x) = (\max\{0, x\})^k$ ，其中 $k \in \mathbb{N}$ 。主要挑战在于弥合连续逼近理论与离散经验风险最小化之间的差距。具体而言，作者研究了在不使用数值积分（求积）的情况下，利用有限数量的确定性或随机配置点是否可以恢复通常用于连续函数空间的最佳逼近速率。研究考虑了隐藏层参数（权重和偏置）在球面上固定的情况，从而将问题简化为对输出系数的线性最小二乘优化。

方法论
作者基于参数空间的几何结构和网络函数的谱性质开发了一个严谨的框架。关键方法论组成部分包括：

球面归一化： 利用 $\sigma_k$ 的正齐次性，作者将参数空间归一化到球面 $S^d \subset \mathbb{R}^{d+1}$ 。网络函数呈现为岭函数（ridge functions） $\sigma_k(\theta \cdot \eta)$ ，其中 $\theta, \eta \in S^d$ 。
Bernstein 不等式： 一个核心分析工具是推导线性化 ReLU $^k$ 网络空间的 Bernstein 不等式。该不等式将高阶 Sobolev 范数由低阶范数界定，并以网络参数的对跖分离距离 $h$ 进行缩放。具体而言，对于 $0 \le s < r < k + 1/2$ ，建立了不等式 $\|v_n\|_{H^r(S^d)} \lesssim h^{-(r-s)} \|v_n\|_{H^s(S^d)}$ 。
残差空间分析： 作者将这些不等式扩展到残差空间 $V_{n,\beta} = L_\beta L^k_n(\Theta_n)$ ，其中 $L_\beta$ 是 $\beta$ 阶正椭圆谱乘子。这使得在求解 PDE 的背景下进行稳定性估计成为可能。
采样不等式： 通过 Marcinkiewicz–Zygmund 不等式和采样估计来分析离散最小二乘问题，从而将经验范数（在配置点处计算）与连续 Sobolev 范数进行比较。
向有界域的扩展： 对于零阶情况（ $\beta=0$ ），作者通过将目标函数提升到球面、应用球面理论并将其结果限制回原域，构建了一个有界 Lipschitz 域上的仿射网络解释。这依赖于构造性的 Sobolev 扩展算子和齐次变换。

主要贡献与结果

最优确定性速率： 本文证明了对于对跖拟均匀的网络参数集和拟均匀的配置点（且样本量 $m \gtrsim n$ ），离散残差最小二乘解 $u_{n,m}$ 能够达到最优逼近速率。具体而言，若 $k > \beta + \frac{d-1}{2}$ 且目标函数 $f$ 具有足够的平滑度，则误差满足：
$\|u - u_{n,m}\|_{H^{s+\beta}(S^d)} \lesssim n^{-\frac{r-s}{d}} \|f\|_{H^r(S^d)}$
该速率与连续逼近的最佳速率相匹配，表明在使用确定性样本时，离散化误差不会降低收敛阶。
高概率随机估计： 对于独立同分布（i.i.d.）且服从均匀分布的配置点，作者建立了一个高概率残差估计。该速率接近最优，仅引入一个对数因子和任意小的平滑度损失（ $\epsilon$ ）。
逆逼近定理： 作为 Bernstein 不等式的推论，本文建立了一个逆定理：如果一个函数可以用线性化 ReLU $^k$ 网络以一定速率进行逼近，则该函数具有相应的 Sobolev 平滑度。
仿射网络解释： 对于 $\beta=0$ ，球面的结果被转化为有界域 $\Omega \subset \mathbb{R}^d$ 上的结果。作者展示了限制在球面帽上的球面线性化网络会诱导出一个普通的仿射 ReLU $^k$ 网络。这为利用球面理论逼近 $\Omega$ 上的函数提供了一条构造路径，尽管作者指出这并不构成仅从 $\Omega$ 内样本形成的最小二乘法的直接稳定性证明。

意义与主张
本文声称提供了关于离散最小二乘离散化下线性化神经网络空间的最优形式 (1.7) 的首个严谨逼近结果，即使是在等权重采样的情况下。作者强调，他们的方法绕过了数值积分步骤，而数值积分通常是基于神经网络的 PDE 求解器（如物理信息神经网络 PINNs）中偏差和不稳定性的来源。

其意义在于：

稳定性机制： 在球面上推导 ReLU $^k$ 空间的 Bernstein 不等式是根本的稳定性机制，它控制了残差空间并确保了离散问题的良定性和收敛性。
样本复杂度： 结果表明，实现最优收敛所需的样本量与可训练输出系数的数量成比例（ $m \asymp n$ ），与需要通过更密集的采样来克服求积误差的方法相比，这具有更有利的样本复杂度。
理论基础： 这项工作为神经网络的离散最小二乘训练提供了数学上严谨的基础，超越了基于概率泛化界的讨论，转向基于参数集几何结构的确定性误差估计。

局限性与范围
作者明确指出，其有界域结果仅限于零阶情况（ $\beta=0$ ）。他们并未声称解决了有界域上一般椭圆 PDE（ $\beta > 0$ ）及其边界条件的最小二乘稳定性问题，并指出此类理论需要处理边界残差和变系数算子，这仍是未来工作的开放方向。数值实验作为支持理论预测的有限范围证据呈现，而非渐近行为的经验证明。

类似论文