Sharp Sobolev Approximation on General Domains by Linearized Shallow Networks with Analytic Activations

技术摘要：利用解析激活函数的线性化浅层网络在一般定义域上实现锐利的 Sobolev 近似

问题陈述
本文研究了在有界定义域 $\Omega \subset \mathbb{R}^d$ 上，使用线性化浅层神经网络对 Sobolev 空间 $H^r(\Omega)$ 中的函数进行定量近似的问题。在线性化设定中，内部参数（权重和偏置）是预先固定的，且独立于目标函数 $f$，仅优化外部系数。其目标是构建一个维度为 $n$ 的固定特征空间 $\mathcal{L}_n$，使得最佳近似误差满足锐利速率：
$$\inf_{g \in \mathcal{L}_n} \|f - g\|_{L^2(\Omega)} \lesssim n^{-r/d} \|f\|_{H^r(\Omega)}$$
对于所有 $r > 0$。虽然对于齐次激活函数（如 $\text{ReLU}^k$），通过径向缩放论证已知的最优速率，但将这些结果扩展到非齐次解析激活函数（如 $\tanh$、sigmoid）以及一般的欧几里得定义域仍具有挑战性。诸如文献 [32] 中的有限差分法等以往构造方式，通常要求参数尺度随分辨率呈阶乘级衰减，从而导致数值不稳定且高度聚集的特征集。本研究旨在利用保持分布在固定区间上的参数集，为解析激活函数建立锐利的近似速率。

方法论
作者采用了一种三阶段方法，旨在将一维近似理论与高维线性化网络联系起来：

1. 一维构造： 核心技术步骤是在有界区间上针对解析激活函数的锐利 Jackson 型估计。作者利用**拟切比雪夫（quasi-Chebyshev）**参数集（切比雪夫节点的双 Lipschitz 映射）作为偏置。他们证明了对于满足量化非抵消条件（具体而言，满足 $|\sigma^{(k)}(0)|/k! \geq C \rho^{-k}$）的解析激活函数，由偏移激活函数生成的张成空间能以 $m$ 个特征实现最优 Sobolev 近似阶数 $m^{-(r-s)}$。

   • 对于 $\tanh$，作者通过利用有理变换绕过了 Taylor 系数条件。他们将问题映射到由形式为 $1/(1+\omega t)$ 的有理函数生成的空间中，其中参数 $\omega$ 构成拟切比雪夫集，从而允许应用解析框架。

2. 岭函数提升（Ridge-Function Lifting）： 为了将一维结果扩展到 $d$ 维，本文利用了岭函数提升定理。基于文献 [37] 的工作，作者将提升论证推广到了球面 $S^{d-1}$ 上的任意**拟均匀（quasi-uniform）**方向集。该定理指出，如果一维空间 $X_m$ 在区间上的近似速率为 $m^{-q}$，那么由来自拟均匀方向集的岭函数生成的张量积空间在定义域上的近似速率为 $m^{-(q + (d-1)/2)}$。

3. 插值与实插值： 证明过程依赖于在拟切比雪夫点上构建的最小二乘插值算子。作者建立了在这些点上采样的余弦多项式的 Marcinkiewicz–Zygmund 不等式，以确保插值的稳定性。为了处理全范围的平滑度 $r > 0$（包括 $r \leq (d-1)/2$ 的情况），作者在 $L^2$ 估计与通过提升定理获得的高平滑度 Sobolev 估计之间采用了实插值法。

主要贡献与结果

• 解析激活函数的锐利速率： 本文证明了对于一类满足 Taylor 系数非抵消条件的解析激活函数（包括 $\tanh$、sigmoid、arctan 及特定的有理函数），使用拟切比雪夫偏置和拟均匀方向的线性化浅层网络在 $L^2$ 范数下实现了锐利的近似速率 $n^{-r/d}$。
• 固定区间参数几何结构： 本文的一个主要贡献是构造了保持分布在固定区间上且具有代数间隔的参数集。这与文献 [32] 中的有限差分构造形成对比，后者要求参数尺度随 $m$ 呈阶乘级收缩（$h_n \sim \exp(-m \log m)$），从而导致“阶乘级聚集”的特征。所提出的拟切比雪夫集避免了这种聚集，使其更易于实际计算。
• 提升定理的泛化： 本工作将岭函数提升定理从特定的求积点扩展到了任意拟均匀方向集，证明了最优速率仅取决于一维参数的解析度以及方向的拟均匀性。
• 条件验证： 作者验证了若干特定激活函数的所需非抵消条件。对于 $\tanh(x + q\pi/2)$（其中 $q$ 为有理数且 $q \notin \{0, \pm 1\}$），他们利用代数数的丢番图逼近性质（特别是 Niven 定理和 Gelfond–Schneider 定理）来证明其 Taylor 系数不为零且满足必要的下界。

意义与主张
本文声称解决了在不依赖激活函数齐次性（对于 $\tanh$ 或 sigmoid 而言并不具备）的情况下，在一般定义域上构建解析激活函数锐利线性化近似空间的问题。通过将多维问题归约为锐利的一维 Jackson 估计和乘积型提升，作者展示了可以使用预设的参数集达到最优速率 $n^{-r/d}$。

其意义在于所提参数集的几何稳定性。不同于需要通过极端的参数缩放才能达到理论速率的以往方法，这项工作提供了一种参数分布在固定区间上的构造。作者指出，虽然在更广泛的文献中，近似指数和光滑激活函数的类别并非新颖，但其具体的贡献在于预设的、在固定区间上的拟切比雪夫特征几何结构及其通过任意拟均匀方向的成功提升。文章最后指出，所得特征矩阵的定量条件数问题仍是一个有待未来研究的开放性问题，并对数值实现细节保持了适度的研究范围。