🔢 mathematics

Compositional Approximation Can Strictly Outperform Superpositional Approximation

本文表明，对于具有特定结构属性的特定函数类，组合逼近方法（例如神经网络）可以比依赖于字典元素线性组合的最优叠加方法实现任意更优的逼近速率。

原作者： Dennis Elbrächter, Philipp Petersen

发布于 2026-06-09

📖 1 分钟阅读🧠 深度阅读

原作者： Dennis Elbrächter, Philipp Petersen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：两种造房子的方法

想象一下，你正试图完美复制一座非常复杂、精巧的房子（这代表一个函数或数据中的模式）。你拥有一个装满简单建筑模块的工具箱（比如砖块、梁柱或瓷砖）。

这篇论文对比了建造这座房子的两种不同策略：

“叠加式”策略（线性堆叠）： 你把这些简单的模块直接堆在一起，把它们混合成一大堆。你可以调整每个模块的使用数量，但本质上你只是在做加法。这就像传统的数学方法（如傅里叶级数）的工作方式。
“组合式”策略（分层组装）： 你通过分层来建造房子。你先拿一个模块，对其进行塑形，然后将这个塑形后的部件作为下一层的基石，再次对其进行塑形，如此循环往复。这就是神经网络的工作方式。它们不仅仅是堆叠模块，而是将它们组合起来，将一层的输出作为下一层的输入。

问题所在：当“堆叠”失效时

对于许多简单的形状（如平滑的曲线），这两种策略的效果几乎一样。你可以用任何一种方法构建出良好的近似。

然而，作者发现了一类特定的“房子”（一类特定的数学函数），在这种情况下，**“堆叠策略”撞到了硬墙，而“分层策略”**则直接飞速超越了它。

“近乎正交”人群的类比：
想象你正在试图描述一个站在房间里的人群。

堆叠策略： 你试图通过从字典中挑选一些“标准人”并将他们相加来描述每个人。如果人群中的每个人站立方向都完全不同（数学上的“正交”），你需要极其庞大的标准人群才能描述完所有人。这就像是在描述一个每个人都面向独特方向的人群；你需要为几乎每个人都准备一份独特的描述。
转折点： 作者创造了一个场景，其中的人们虽然看起来方向各异，但又并非完全不同。他们是“近乎正交”的。
- 在**“堆叠”**模式下，这简直是一场噩梦。因为他们彼此之间如此不同，你无法高效地重复利用你的标准模块。你需要一个巨大的模块字典来覆盖所有人，随着房间变大，你需要的模块数量会呈爆炸式增长。
- 在**“分层”**模式下，你可以制造一台生成这些人的“机器”。你不需要为每个人准备一个独特的模块；你只需要一些简单的规则（层），通过这些规则的堆叠，就能生成这些特定的“近乎不同的”方向。

主要发现：“差距”

论文通过数学证明，对于这些特定的“近乎正交”函数：

叠加式方法（堆叠）： 除非使用海量且难以管理的参数，否则其误差（近似程度有多差）会一直维持在高位。其效率受到了严格限制。
组合式方法（分层/神经网络）： 你可以用少得多的参数实现相同的准确度。

作者构建了明确的例子，证明在这些特定的函数下，两种方法之间的差距可以任意大。只要微调函数的结构，你就可以让“堆叠”方法比“分层”方法差得无穷多。

为什么会这样？（问题的几何学）

论文使用了覆盖数（一个衡量一组形状“有多大”或“多复杂”的高级概念）这一概念。

堆叠： 为了覆盖这类函数中所有可能的形状，堆叠方法需要覆盖一个巨大的区域。这就像试图用几顶小帐篷去覆盖一片广袤的森林。你需要成千上万顶帐篷。
分层： 组合式方法意识到这些形状并非随机生成的；它们具有隐藏的结构（自相似性）。这就像意识到森林其实是由重复的树木模式组成的。与其用帐篷覆盖整片森林，你只需要一个建造这些树木的蓝图。分层方法可以高效地处理这种结构，仅需极少量的资源。

“Riesz”约束

论文谨慎地指出，即使我们将“堆叠”方法限制在非常表现良好的范围内（数学上满足“Riesz 条件”，这确保了模块不会出现奇怪的冗余或损坏），这种优势依然存在。即便拥有最好的模块字典，堆叠方法也无法在这些特定函数面前追赶上分层方法。

总结

核心主张： 神经网络（组合式方法）不仅仅是对所有问题都“足够好”；对于一类特定的、有数学定义的数学问题，它们是严格优越的。
原因： 这些问题具有隐藏的分层结构，允许你通过简单的步骤构建复杂的物体。
局限性： 那些仅仅通过相加来解决问题的传统方法（叠加）无法高效地利用这种结构。它们会陷入试图单独描述每一个微小变化的困境，从而导致资源的巨大浪费。

简而言之：如果问题是像俄罗斯套娃一样构建的（层层嵌套），那么通过分层构建的方法就会胜出。如果你试图通过把所有的套娃直接堆成一堆来解决问题，无论你有多少个套娃，你都无法实现高效。

技术摘要：组合逼近可以严格优于叠加逼近

问题陈述
本文探讨了逼近理论中的一个基本问题：在何种条件下，组合方法（如神经网络）能提供严格优于叠加方法（即字典元素的线性组合，例如 M-项逼近）的逼近速率。虽然经验证据表明神经网络非常强大，但其理论依据通常依赖于模拟现有方法，仅能达到与之相当而非更优的速率。此外，许多经典函数类都存在能够产生最优 M-项逼近速率的字典。作者试图识别出这样一类函数的结构属性：在这些函数类中，组合逼近可以严格优于任何叠加逼近，即使在确保参数能够进行高效位串编码（防止平凡的“暴力枚举”式字典构建）的约束条件下也是如此。

方法论与框架
作者在希尔伯特空间 $H$ 内建立了一个严谨的数学框架来比较不同的逼近方案：

逼近速率： 他们定义了逼近速率 $\gamma(C, S)$ ，即均匀误差随参数预算 $M$ 变化的多项式衰减阶数。
叠加方案： 这些方案被定义为字典元素 $D = (\phi_i)_{i \in \mathbb{N}}$ 的 $M$ -项线性组合，并受到“多项式深度搜索”约束。该约束限制了所使用的字典元素的索引和系数大小为 $M$ 的多项式，从而确保逼近器可以被编码为长度为 $O(M \log^q M)$ 的位串。Riesz 逼近速率（ $\gamma_{\text{Riesz}}$ ）是指在满足下 Riesz 界（以确保稳定性）的任何字典所能达到的速率的上确界。
组合方案： 通过对深度（关于 $M$ 为多项式对数级）、连通性（关于 $M$ 为线性级）和权重大小（关于 $M$ 为多项式级）施加约束的神经网络进行建模。这确保了类似的位串编码效率。
几何视角： 核心理论洞察源于函数类的渐近几何结构。作者认为，如果一个函数类可以由有限数量的低维线性子空间的并集进行 $\epsilon$ -逼近（这种结构可被组合性利用），但需要高维线性子空间进行线性逼近，那么两者之间可能存在速率差距。这与“覆盖数”的概念相关联，即随着 $\epsilon \to 0$ ，非线性逼近器的集合相对于必要的线性空间而言是微乎其微的。

主要贡献与结果

SPOON 构造： 作者引入了一种典型的集合结构，称为 SPOON（超多项式增长的近正交序列）。一个 SPOON 由一系列集合 $V_m$ 组成，其中：
- 基数呈超多项式增长（ $|V_m| \ge 2^{m^\alpha}$ ）。
- 元素的范数按 $m^{-\mu}$ 衰减。
- 元素之间是 $\eta$ -近正交的，其内积界限按 $m^{-\nu}$ 衰减。
叠加逼近速率的上界（定理 3.4）： 中心理论结果证明，如果一个函数类 $C$ 包含一个 $(\mu, \nu)$ -SPOON，则最佳可实现的 Riesz 逼近速率被限制为：
$\gamma_{\text{Riesz}}(C) \le \frac{1}{2} + \frac{\mu}{\nu}$
该证明利用了涉及近正交集合的几何性质和 Riesz 字典性质的矛盾论证。它表明，任何满足 Riesz 条件的字典都无法使用仅有的多项式项数，有效地覆盖 SPOON 中指数级庞大且近正交的集合。
显式构造（第 4 节）： 作者使用“帽函数” $f$ 的组合构造了显式的函数类 $V(k, \alpha, \beta, \mu)$ 。这些类是通过由二进制向量定义的函数的迭代组合形成的。
- 他们证明这些类包含大型的近正交函数集合，满足 SPOON 条件。
- 他们展示了 ReLU 神经网络可以以速率 $\gamma_{\rho}^N \ge \frac{\mu}{\alpha}$ 逼近这些类。
- 结合上界，他们表明对于特定的参数选择（例如 $\mu = \sqrt{k}$ ），组合速率与 Riesz 速率之间的差距会随着组合深度 $k$ 的增加而变得任意大。具体而言，当 $k \to \infty$ 时， $\gamma_{\rho}^N \to \infty$ ，而 $\gamma_{\text{Riesz}} \le \frac{1}{2}$ 。
病态正交性示例（附录 A）： 论文还提出了一个更简单但更具病态特征的例子，涉及一个系数呈对数衰减的正交系统。在这种情况下，叠加逼近产生的速率为 $-\infty$ （无多项式衰减），而神经网络实现了正速率，凸显了叠加方法在处理高度正交结构时的困难。

意义与主张
本文声称提供了第一个显式示例，证明了即使在允许叠加方法在稳定性（Riesz）和编码约束下选择最优字典的情况下，组合逼近仍能严格优于叠加逼近。

其意义在于识别了一种特定的结构属性——即在有限维子空间内存在大型近正交集合——这种结构对于线性组合来说本质上难以高效捕获，但通过简单构建块的分层组合却能自然处理。作者认为，这种结构上的不匹配解释了为什么神经网络可以在不依赖不稳定或无界参数编码的情况下，实现更好的逼近速率。这项工作表明，神经网络的优势不仅在于通用逼近能力，更在于其对具有这种“近正交”结构的函数类的特定几何适应性。

作者对此研究范围保持谦逊，指出其结果仅适用于包含这些特定 SPOON 结构的函数类，并且目前的叠加速率界限受限于 Riesz 字典，尽管他们认为这是一个技术性限制而非根本性限制。他们并未声称这些结果适用于所有函数类，也未声称神经网络在所有情况下都具有优越性，而是强调对于表现出这种特定渐近几何结构的函数类，神经网络具有优越性。