🔢 mathematics

Sharp Sobolev Sandwich and Approximation Rates of Radon-Domain $L^p$ Ridge Integral Spaces for ReLU $^k$ Networks

本文确立了由浅层 $\mathrm{ReLU}^k$ 网络表示的函数的 Radon 域 $L^p$ 空间构成了一个围绕临界正则性空间 $H^{k+(d+1)/2}$ 的锐利 Sobolev 三明治结构，其间隙由 Seeger–Sogge–Stein 损失决定，并利用该理论推导出了离散化神经网络的最优 $L^p$ 近似率。

原作者： Juncai He, Zitong Tian

发布于 2026-06-24

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Juncai He, Zitong Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅使用简单的、扁平的材料片来构建一个复杂的 3D 雕塑（一个数学函数）。在机器学习的世界里，这些“片材”被称为神经元，而将它们堆叠在一起的方式被称为神经网络。

这篇论文就像是一份大师级的蓝图，解释了如何仅使用一种特定类型的片材——ReLUk——来构建任何形状。这里的“k”意味着这张片材可以被弯曲或折叠 $k$ 次（使其更平滑或更灵活）。

以下是他们发现过程的拆解，使用了简单的类比：

1. 问题所在：你需要多少片材？

长期以来，我们知道只要有足够的片材（神经元），你可以构建出几乎任何形状。但我们并不知道为了达到特定的细节水平，你需要多少片材。

问题： 如果我想要我的雕塑既平滑又精确，我是需要 10 片，还是 1,000 片，亦或是 1,000,000 片？
目标： 作者想要找到构建最平滑形状的精确“配方”，以及构建它们最有效率的方法。

2. 秘密武器： “Radon 域”

为了解决这个问题，作者并没有从正面观察雕塑。相反，他们通过一个被称为 Radon 变换 的神奇透镜来观察它。

类比： 想象一下把一条面包切成各个角度的薄片。Radon 变换就是所有这些 2D 切片的集合。
发现： 作者意识到，如果你观察的是“切片”（Radon 域）而不是整个面包，数学就会变得清晰得多。他们基于这些切片的平滑程度，定义了一个特殊的“空间”（函数库）。他们称之为 Radon 域 $L^p$ 空间。

3. “三明治”式的发现

这是这篇论文最大的“顿悟”时刻。

完美情况 ( $p=2$ )： 当在特定的数学方式下观察问题时（例如测量平均误差），你用这些神经元能构建出的形状库，与一类著名的平滑形状——Sobolev 空间——是完全一致的。这是一个完美的匹配，就像两个拼图块严丝合缝地契合在一起。
一般情况 ( $1 < p < \infty$ )： 当你改变测量误差的方式（观察不同的“粗糙度”）时，完美的匹配就变成了一个“三明治”。
- 上层面包（顶端）： 一类稍微更平滑的形状。
- 下层面包（底端）： 一类稍微更粗糙的形状。
- 中间的馅料： 你的神经网络实际能够构建的形状。
- 间隙： 作者计算了顶层和底层面包之间的确切间隙大小。这个间隙是由一种已知的数学“摩擦力”（称为 Seeger–Sogge–Stein 损失）造成的，这种摩擦力发生在将切片重新组装回面包的过程中。这是将切片还原为整体时不可避免的代价。

4. 为什么这很重要？（逼近速率）

现在他们已经知道这些网络能构建什么样的形状，因此他们可以预测网络的学习速度。

配方： 他们证明了，如果你以一种聪明且均匀的方式随机选择神经元（就像随机抓取面包切片一样），你可以非常快速地构建出一个非常精确的雕塑。
结果： 他们证明了对于最平滑的形状，误差下降的速度达到了数学允许的最快速度。
- 如果你将神经元数量增加一倍，误差并不仅仅是稍微下降，而是以一个特定的、最优的速率下降。
- 他们还展示了如何消除之前方法中存在的微小的“对数”（logarithmic）惩罚，使整个过程更加高效。

用通俗易懂的话进行总结

你可以把作者看作是终于搞清楚了如何使用“ReLU 砖块”进行建筑的建筑师。

他们找到了观察这些砖块的一种特殊方式（Radon 域），从而揭示了它们的真正潜力。
他们证明了在最常见的一种测量方式下，这些砖块可以精确地构建出最平滑的结构。
对于其他测量方式，他们证明了这些结构完美地处于两个已知极限之间（“三明治”），且间隙的大小在数学上是不可避免的。
最后，他们展示了通过使用一种简单的随机采样方法，你可以以最高的效率和速度构建出这些结构，证明了这些简单的网络是学习平滑模式的极其强大的工具。

简而言之： 他们不仅仅是在说“神经网络有效”。他们利用一个巧妙的数学透镜，写出了关于这些网络如何运作、为何运作以及学习速度有多快的精确说明书。

技术摘要：Sharp Sobolev Sandwich 以及 Radon 域 $L^p$ 脊积分空间的 $\text{ReLU}^k$ 网络逼近率

1. 问题陈述

本文研究了具有 $\text{ReLU}^k$ 激活函数（ $\sigma_k(x) = \max\{0, x\}^k$ ）的浅层神经网络的定量逼近理论。虽然定性的通用逼近定理已得到充分论证，但确定在特定目标类（如 Sobolev 空间）中实现给定精度所需的神经元精确数量仍然是一个核心挑战。

具体而言，作者旨在：

特征化由 Radon 域中具有 $L^p$ 系数密度的脊积分表示所生成的函数空间。
建立这些 Radon 域空间与经典 Sobolev 空间 $W^{s,p}(\Omega)$ 之间的精确关系。
推导使用确定性插值和随机采样对这些积分表示进行离散化时的精确逼近率，特别是在 $L^p$ 范数（ $1 < p < \infty$ ）以及 Hilbert 情况（ $p=2$ ）下。

2. 研究方法

作者采用了一个基于 Radon 变换 和 傅里叶积分算子 (FIO) 理论的框架。

Radon 域表示： 核心对象是空间 $RL^p_k(\Omega)$ ，它被定义为作用在有界偏置窗口 $M_R = S^{d-1} \times [-R, R]$ 上的 $L^p$ 密度 $g(w, b)$ 的脊积分算子 $S^k_R$ 的像。该积分给出为：
$S^k_R g(x) = \int_{M_R} \sigma_k(w \cdot x - b) g(w, b) \, d\lambda(w, b)$
分析与合成算子： 文中定义了一个分析算子 $A_k$ （涉及 Radon 变换、斜坡滤波器以及 $(k+1)$ 阶导数）和一个合成算子 $S^k_R$ 。这些算子与规范密度 $g_u = A_k u$ 之间的关系是该理论的核心。
傅里叶分析 ( $p=2$ )： 对于 Hilbert 情况，作者利用基础傅里叶分析和 Plancherel 定理，建立了 Radon 域 $L^2$ 空间与临界 Sobolev 空间 $H^{s_k}(\Omega)$ 之间的精确等距映射，其中 $s_k = k + \frac{d+1}{2}$ 。
FIO 正则性 ( $1 < p < \infty$ )： 对于一般的 $p$ ，精确的等距映射不再成立。作者利用傅里叶积分算子理论，特别是 Seeger–Sogge–Stein 定理，来分析 Radon 变换及其对偶算子在 $L^p$ 空间上的正则性。这引入了一个“损失”项 $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$ 。
离散化： 通过结合确定性插值骨架和神经元的均匀随机采样，对积分表示进行离散化，以推导概率逼近界限。

3. 主要贡献与结果

A. Radon 域 $L^p$ 空间与 Sobolev Sandwich
本文定义了空间 $RL^p_k(\Omega)$ 并证明了一个 “Sobolev sandwich” 嵌入定理。与 $p=2$ 时空间与 Sobolev 空间完全一致的情况不同，对于 $p \neq 2$ ，Radon 域空间被夹在两个 Sobolev 空间之间，其间隙由 Seeger–Sogge–Stein 损失确定的，该间隙是精确的。

定理 3.3 (Sobolev Sandwich):
$W^{s_{k,p}, p}(\Omega) \hookrightarrow RL^p_k(\Omega) \hookrightarrow W^{r_{k,p}, p}(\Omega)$
其中平滑指数为：
$s_{k,p} = k + \frac{d+1}{2} + \delta_p, \quad r_{k,p} = k + \frac{d+1}{2} - \delta_p$
且 $\delta_p = (d-1)|\frac{1}{p} - \frac{1}{2}|$ $δ_{p} = (d - 1) ∣ \frac{1}{p} - \frac{1}{2} ∣$ 。
- 当 $p=2$ 时， $\delta_2 = 0$ ，sandwich 塌缩为精确的恒等关系 $RL^2_k(\Omega) = H^{s_k}(\Omega)$ 。
- 间隙 $s_{k,p} - r_{k,p} = 2\delta_p$ 被证明是最优的；不存在具有更小间隙的连续嵌入。

B. 精确 $L^2$ 等距映射
对于 $p=2$ ，本文通过基础傅里叶分析证明（定理 2.2），表明 $RL^2_k(\Omega)$ 正是临界 Sobolev 空间 $H^{s_k}(\Omega)$ ，且范数等价。这恢复并澄清了以往关于 $\text{ReLU}^k$ 网络再生核 Hilbert 空间 (RKHS) 的结果，明确地将权重和偏置参数在圆柱体而非球面上的分离。

C. 逼近率
作者对积分表示进行离散化，从而获得线性化神经网络的高概率逼近率。

定理 4.1： 对于任何 $u \in RL^p_k(\Omega)$ ，存在系数使得 $L^p(\Omega)$ 中的逼近误差衰减为：
$\|u - f_n\|_{L^p} \leq C (\log(2/\delta))^{\alpha_p} \|u\|_{RL^p_k} n^{-\alpha_p - \gamma_{k,p}}$
其中 $\gamma_{k,p} = \frac{k+1/p}{d}$ 且 $\alpha_p = 1 - \frac{1}{\min(p, 2)}$ 。
最优 Hilbert 率： 在 $p=2$ 时，该率简化为 $O(n^{-s_k/d})$ ，恢复了临界 Sobolev 空间 $H^{s_k}(\Omega)$ 的信息论最优率，且没有此前某些随机特征分析中存在的对数因子。

4. 意义与主张

本文声称通过 Radon 变换的视角，为理解浅层 $\text{ReLU}^k$ 网络逼近能力提供了一个统一且精确的理论框架。

澄清正则性： 该工作澄清了激活函数的正则性（贡献 $k+1$ 阶导数）与 Radon 变换的反向投影（在 $L^2$ 中贡献 $\frac{d-1}{2}$ 阶导数，或在 $L^p$ 中贡献 $\frac{d-1}{2} - \delta_p$ 阶导数）是如何共同决定可表示函数的临界平滑度的。
界限的精确性： 通过识别出 Seeger–Sogge–Stein 损失是 $L^p$ 机制下间隙的精确来源，本文确立了所推导的 Sobolev sandwich 是最优的。这解决了从 Hilbertian ( $p=2$ ) 环境转向一般 $L^p$ 环境时正则性损失多少的问题。
最优率： 推导出的 $p=2$ 逼近率与已知的浅层网络最优率相匹配，证实了具有固定且分布良好的参数的线性化网络可以达到临界 Sobolev 空间 $H^{s_k}(\Omega)$ 的信息论极限。

作者强调，其结果是利用 $L^2$ 情况下的基础傅里叶分析以及 $L^p$ 情况下的既定 FIO 理论推导而来的，在提供精确常数和最优指数的同时，避免了使用更复杂的机制。这项工作旨在弥合积分表示理论、调和分析与神经网络定量逼近理论之间的鸿沟。