🤖 machine learning

Quantitative Approximation Rates for Group Equivariant Learning

本文填补了群等变学习领域定量近似理论的空白，通过推导多种主流等变架构的近似率，证明了在近似具有对称性的函数时，硬编码等变性的网络与同等规模的普通 MLP 具有同等的表达能力，不会导致表达力或近似能力的损失。

原作者： Jonathan W. Siegel, Snir Hordan, Hannah Lawrence, Ali Syed, Nadav Dym

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Jonathan W. Siegel, Snir Hordan, Hannah Lawrence, Ali Syed, Nadav Dym

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：当我们教人工智能（AI）学习那些具有“对称性”的任务时，我们是否必须牺牲它的“聪明程度”来换取这种对称性？

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“在迷宫里找宝藏”**的故事。

1. 背景：迷宫与宝藏（什么是“通用近似定理”？）

想象一下，你有一个超级聪明的寻宝机器人（普通的神经网络）。

旧理论（通用近似定理）告诉我们：只要这个机器人足够大（参数够多），它就能学会在任何迷宫里找到宝藏，无论迷宫多复杂。
但是，旧理论没告诉我们：为了找到宝藏，这个机器人到底需要多大？如果迷宫特别大，机器人会不会大到像一座山一样，根本造不出来？

后来的研究发现，如果宝藏所在的区域很“平滑”（数学上叫 Hölder 连续），那么机器人的大小和迷宫的维度（比如是 2D 平面还是 3D 空间）有直接关系。维度越高，需要的机器人就越大，呈指数级增长。

2. 新挑战：对称的迷宫（什么是“群等变学习”？）

现在，现实世界中的很多任务不是普通的迷宫，而是对称的迷宫。

例子 1（排列不变性）：想象你有一袋苹果（点云）。无论你把苹果怎么打乱顺序（排列），这袋苹果还是那袋苹果，里面的总重量（任务目标）是不变的。
例子 2（刚体运动不变性）：想象你在看一个 3D 的雕塑。无论你把它旋转还是平移，它还是那个雕塑。

在机器学习中，我们通常希望 AI 也能“天生”懂得这些对称性。比如，我们设计一种特殊的 AI 架构（比如 Deep Sets 或 Transformer），强制它不管输入怎么变，输出都符合对称规则。这就像给机器人装上了“对称滤镜”。

大家一直有个疑问：

“如果我们给机器人强行装上‘对称滤镜’，它会不会变笨？也就是说，为了达到同样的精度，这种‘特殊机器人’是不是需要比‘普通机器人’大得多？”

3. 论文的核心发现：滤镜不会让机器人变笨！

这篇论文通过严格的数学证明，给出了一个令人惊讶的答案：不会！

核心比喻：折叠地图

想象你要在一个巨大的 100 维迷宫里找宝藏。

普通机器人：它必须把整个 100 维的迷宫都画在脑子里，非常吃力。
对称机器人：因为它知道迷宫是“对称”的（比如旋转后是一样的），它其实不需要看整个迷宫。它只需要看迷宫的**“折叠版本”**（商空间）。

这就好比，如果你要描述一个完美的球体，你不需要描述球面上每一个点，你只需要描述半径这一个数字就够了。因为旋转球体，半径是不变的。

论文的结论是：

普通机器人也能变聪明：即使是一个普通的、没有装“对称滤镜”的神经网络，只要给它足够的数据，它也能自动学会利用这种对称性，把那个巨大的 100 维迷宫“折叠”成一个小得多的版本来学习。
特殊机器人效率一样：那些专门设计用来处理对称任务的架构（如 Deep Sets, Sumformer, Transformer 等），它们的大小（参数量）和普通神经网络在达到同样精度时，几乎是完全一样的。

简单来说：
硬编码对称性（给机器人装滤镜）并没有让它失去“表达能力”或“学习潜力”。它和普通的机器人一样强大。

4. 为什么这很重要？（既然一样强，为什么还要用特殊机器人？）

你可能会问：“既然它们一样强，那我们为什么还要费力气去设计那些复杂的对称网络（如 Deep Sets, GNN 等）呢？”

论文指出，区别不在于**“能不能学会”（表达能力），而在于“学得有多快”和“需要多少数据”**（样本效率）。

普通机器人：虽然理论上能学会，但它可能需要看几亿张图才能发现“哦，原来旋转一下图片，猫还是猫”。
对称机器人：因为它天生就知道“旋转不改变猫”，它只需要看几千张图就能学会。

比喻：

普通机器人像一个天才学生，什么都能学，但需要读遍图书馆的所有书（海量数据）才能总结出规律。
对称机器人像一个有天赋且受过专门训练的学生，它不需要读那么多书，因为它天生就懂规则，所以学习效率更高，泛化能力更强（遇到没见过的情况也能猜对）。

5. 论文具体研究了哪些模型？

作者像侦探一样，检查了目前最流行的几种“对称模型”，并证明了它们都很强：

Deep Sets：处理无序集合（如一袋苹果）的经典模型。
Sumformer & Transformer：处理序列或集合的流行模型（类似大语言模型的结构）。
Frame Averaging（帧平均）：处理 3D 旋转和平移的模型（用于 3D 物体识别）。
Bi-Lipschitz 模型：更通用的数学模型。

结论： 所有这些模型，在数学理论上，都能以最优的速度学会那些具有对称性的任务。

总结

这篇论文就像是在告诉 AI 研究人员和工程师：

“别担心！如果你为了追求更好的数据效率和泛化能力，选择给 AI 穿上‘对称’的紧身衣（使用等变网络），你并没有牺牲它的智力上限。这些特殊的网络在理论上和普通的网络一样强大，它们只是更‘懂行’，所以能用更少的数据、更快的速度完成任务。”

这就解释了为什么在图像识别、分子模拟、3D 建模等领域，我们越来越倾向于使用这些带有对称性的特殊网络——不是因为它们更聪明，而是因为它们更省资源、更高效。

论文标题：Group Equivariant Learning 的近似率

作者：Jonathan W. Siegel, Snir Hordan, Hannah Lawrence, Ali Syed, Nadav Dym
核心领域：深度学习理论、群等变学习、函数逼近论

1. 研究问题 (Problem)

在深度学习理论中，通用逼近定理（Universal Approximation Theorem）确立了神经网络可以逼近任何连续函数。然而，该定理缺乏定量的逼近率（Approximation Rates），即为了达到特定的误差 $\epsilon$ ，需要多少参数。

现有的研究已经为标准的 ReLU 深度神经网络在 $\alpha$ -Hölder 连续函数类上建立了定量的逼近率。对于定义在 $N$ 维空间上的函数，逼近率通常与 $(1/\epsilon)^{N/2\alpha}$ 成正比。

核心问题：
当目标函数具有特定的群对称性（Group Symmetries），即函数是**等变（Equivariant）或不变（Invariant）**的（例如，图像分类中的平移不变性，点云处理中的置换不变性），这种对称性约束是否能提高逼近效率？
具体而言，论文试图回答两个关键问题：

理论下界：对于具有群对称性的 $\alpha$ -Hölder 函数，非等变的标准 ReLU 网络能否利用这种对称性，将逼近率从依赖于全空间维度 $N$ 降低到依赖于商空间（Orbit Space）维度 $N_G$ ？
架构能力：专门设计的等变/不变架构（如 Deep Sets, Transformers, 基于 Frame 的模型）能否达到这一理论最优的逼近率？硬编码对称性是否会导致表达能力的损失？

2. 方法论 (Methodology)

论文通过结合逼近论（Approximation Theory）和群论（Group Theory），针对三种不同的对称性场景进行了严格的数学推导：

2.1 基础工具

商空间维度 ( $N_G$ )：利用轨道空间 $V/G$ 的覆盖数（Covering Number）来定义有效维度。对于自由作用的李群，商空间维度为 $\dim(V) - \dim(G)$ 。
Hölder 连续性：使用 Hölder 半范数 $|f|_{C^\alpha}$ 和模连续性 $\omega(f, \epsilon)$ 来衡量函数的光滑度。
构造性证明：通过构造具体的神经网络（使用 ReLU 激活函数）来证明逼近率的上界。

2.2 三大研究场景

置换不变/等变模型 (Permutation Invariant/Equivariant)
- 对象：点集（Point Sets） $X \in \mathbb{R}^{d \times n}$ ，群为置换群 $S_n$ 。
- 方法：
  - 首先分析 Deep Sets 架构（ $\rho(\sum \Phi(x_i))$ ）。
  - 利用**分块单位分解（Partition of Unity）和位提取（Bit Extraction）**技术，构造能够处理离散计数和求和的神经网络。
  - 将置换等变函数分解为共享的不变函数形式（Corollary 4），进而推导 Sumformer 和 Transformer 的逼近率。
置换与刚体运动联合不变模型 (Joint Invariance to Permutations and Rigid Motions)
- 对象：点云，群为 $E(d) \times S_n$ （刚体变换 + 置换）。
- 挑战：刚体变换群是连续的，且作用不是自由的（存在奇异点）。
- 方法：
  - Gram-Schmidt 稳定性：证明可以通过神经网络稳定地逼近 Gram-Schmidt 正交化过程，从而将点云映射到一个低维子空间（商空间）。
  - 根函数逼近：证明 ReLU 网络可以高效逼近平方根函数（用于归一化），这是实现正交基构造的关键。
  - Frame Averaging (框架平均)：利用基于 Frame 的不变模型（如加权平均或 SVD 分解），将非不变网络 $f_\theta$ 转化为不变网络 $I[f_\theta]$ ，并证明其继承原网络的逼近率。
双 Lipschitz 不变模型 (Bi-Lipschitz Invariant Models)
- 对象：一般的闭等距群作用。
- 方法：利用双 Lipschitz 嵌入（Bi-Lipschitz Embedding）将商空间 $V/G$ 嵌入到欧几里得空间 $\mathbb{R}^m$ 中。
- 逻辑：如果存在一个双 Lipschitz 映射 $E: V \to \mathbb{R}^m$ ，那么任何不变函数 $f$ 都可以写成 $f = \tilde{f} \circ E$ 。由于 $\tilde{f}$ 定义在低维商空间上，标准 ReLU 网络可以高效逼近 $\tilde{f}$ ，从而逼近 $f$ 。

3. 主要贡献与结果 (Key Contributions & Results)

3.1 核心发现

论文证明了在考虑的所有场景中，硬编码对称性（Hard-coding Symmetries）并没有导致表达能力的损失。

结论：同等规模（参数量）的标准 ReLU 多层感知机（MLP）和专门设计的等变/不变架构，在逼近具有对称性的函数时，具有相同的渐近逼近率。
公式：对于 $\alpha$ -Hölder 函数，逼近误差 $\epsilon$ 所需的参数量 $P$ 满足：
$P \sim \left(\frac{1}{\epsilon}\right)^{\frac{N_G}{2\alpha}}$
其中 $N_G$ 是商空间（轨道空间）的有效维度，而非原始输入空间的维度。

3.2 具体结果汇总 (见表 1)

场景	对称群	标准 ReLU 网络 (Q1)	等变/不变架构 (Q2)	关键发现
置换不变	$S_n$ (有限群)	$(1/\epsilon)^{nd/2\alpha}$	Deep Sets, Sumformer, Transformer	达到最优率。Deep Sets 虽结构简单，但渐近表达能力与高阶模型无异。
刚体运动 + 置换	$E(d) \times S_n$	$(1/\epsilon)^{(nd - \dim(E(d)))/2\alpha}$	基于 Frame 的 Deep Sets	证明了利用 Gram-Schmidt 或 SVD 构建的 Frame 方法能达到理论最优率。
一般等距群	$G \le O(N)$	$(1/\epsilon)^{d_{intrinsic}/2\alpha}$	Bi-Lipschitz 模型 (Max Filter 等)	只要存在双 Lipschitz 嵌入，任何此类模型都能达到基于内在维度的最优率。

3.3 理论改进

非不变函数的内在维度逼近：论文改进了 Nakada & Imaizumi (2020) 关于低内在维度流形上函数逼近的结果。将逼近率从 $\epsilon^{-d_{intrinsic}/\alpha}$ 提升到了 $\epsilon^{-d_{intrinsic}/(2\alpha)}$ （指数部分改善了一倍）。

4. 意义与讨论 (Significance & Discussion)

表达能力的澄清：
长期以来，人们认为等变模型可能因为参数共享而牺牲表达能力。本文从理论上证明，在渐近意义下，等变架构并没有损失表达能力。它们能够以与通用网络相同的效率（参数量级）逼近对称函数。
实际优势的来源：
既然表达能力相同，为什么等变模型在实践中表现更好？论文指出，其优势主要来源于：
- 样本效率 (Sample Efficiency)：更少的训练数据需求。
- 优化难度 (Optimization)：更小的搜索空间和更好的收敛性。
- 泛化能力：对分布外（OOD）数据的鲁棒性。
  而非源于“能逼近更复杂的函数”。
对架构设计的指导：
- 对于置换不变任务，Deep Sets 在理论上是足够强大的，尽管它无法直接捕捉成对交互，但其渐近逼近率与更复杂的 Set Transformer 相同。
- 对于刚体运动不变任务，基于 Frame 平均（Frame Averaging）的方法（如利用 SVD 或主方向对齐）是理论上最优的选择。
未来方向：
论文也指出了局限性，例如目前尚未证明 EGNN、Dimenet 等流行模型的具体逼近率，且渐近分析忽略了常数项，可能在有限规模下无法区分不同模型的性能差异。

总结

这篇论文填补了群等变学习理论中定量逼近率的空白。它通过严格的数学证明表明，将对称性硬编码到网络架构中是一种“免费午餐”：它不会降低模型的理论表达能力，同时能带来显著的样本效率和优化优势。这为设计高效的几何深度学习模型提供了坚实的理论基础。