🤖 machine learning

Approximate Equivariance via Projection-based Regularisation

本文提出了一种基于投影的正则化方法，该方法在算子层面针对整个群轨道上的非等变性施加惩罚，为训练近似等变神经网络提供了一种比现有基于样本的方法更高效、更有效的替代方案。

原作者： Torben Berndt, Jan Stühmer

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Torben Berndt, Jan Stühmer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别物体。你希望机器人明白，无论咖啡杯是直立、倾斜还是侧躺，它仍然是一个咖啡杯。在机器学习领域，这种无论模式如何旋转或平移都能识别其规律的能力，被称为等变性。

很长一段时间里，科学家们通过“硬编码”规则来构建机器人，以确保这种对称性。这就像制造一辆汽车，其方向盘只能向左或向右转动，绝不允许驾驶员漂移。这让汽车在遵循规则时非常安全且高效，但有时又过于僵化。如果道路有轻微弯曲，无法完美契合这些规则，汽车就会举步维艰。

最近，工程师们开始制造没有这些硬性规则的汽车，让驾驶员（人工智能）自己去摸索。这些汽车速度更快、更灵活，但它们有时会对以前未曾见过的旋转感到困惑。

本文介绍了一种新的驾驶方式：基于投影正则化的近似等变性。

以下是他们所做工作的简要说明：

问题：“基于样本”的方法

以前，如果你想要一辆既灵活又能保持某种对称性的汽车，你会使用一种称为“采样”的方法。想象一下，你试图教机器人具备旋转感知能力。你会拍一张杯子的照片，将其随机旋转 10 个不同的角度，展示给机器人看，并说：“嘿，这仍然是一个杯子！”

问题出在哪里？这太慢了。这就像要求一名学生为了学习一个概念而参加 10 次测验。计算机必须为每一张图片执行大量额外的工作（前向传播），从而拖慢了整个进程。

解决方案：“投影”方法

作者提出了一种更聪明的方法。与其让机器人猜测 10 个不同角度的答案，不如给机器人一面数学镜子。

把机器人的大脑（神经网络）想象成一个巨大的、杂乱的房间，里面堆满了家具（数据和权重）。

旧方法：你在房间里走来走去，拿起一把椅子，旋转它，放下，再拿起，用不同的方式旋转，然后检查它看起来是否正确。这耗时极长。
新方法：你拥有一台神奇的投影仪。你一次性照亮整个房间。投影仪瞬间将房间分成两堆：
- A 堆：所有完美对称的东西（“好”家具）。
- B 堆：所有杂乱且不对称的东西（“坏”家具）。

本文的方法精确计算出"B 堆”长什么样，并轻轻推动机器人将其剔除。它不需要检查 10 个不同的角度；它只需进行一次精确的数学计算（即“投影”），就能看出机器人距离完美对称还有多远，并将其推回正轨。

为什么这很重要？

速度：因为他们不再逐个检查随机角度，机器人学习速度快得多。论文显示，在去除 CT 扫描中的金属伪影任务中（想象一下清理因金属植入物导致的模糊 X 光片），他们的方法比旧的采样方法快 50% 到 60%。
灵活性：机器人不必被强迫做到完美对称。有时，现实世界的数据并不完美（也许一只肾脏与其孪生兄弟略有不同）。该方法允许机器人“大部分”保持对称，但只需打破规则到足以适应怪异数据的程度。这就像一位舞蹈教练，告诉你保持节奏，但如果音乐变化，允许你即兴发挥一步。
通用性：这既适用于简单的旋转（如旋转正方形），也适用于复杂的连续旋转（如在三维空间中旋转球体）。

“魔法”数学

本文使用了一个称为傅里叶空间的概念（这就像将一首歌从歌词翻译成乐谱）。在这种数据的“乐谱”版本中，数学变得非常简单。作者表明，要让机器人具有对称性，你只需要将某些音符（杂乱的部分）归零，并对其他音符进行平均。这就像编辑一首歌，通过静音走调的音符并平滑其余部分，而不是将整首歌重新录制 10 次。

现实世界测试

团队在三个主要方面测试了这种方法：

玩具问题：他们让机器人学习识别略微晃动的形状。机器人学会了在适当的时候忽略晃动，但在晃动是实际线索时则予以关注。
烟雾模拟：他们预测了烟雾在房间内的运动。即使烟雾没有完美对称地移动（由于风或障碍物），他们的方法也比刚性模型更好地预测了未来。
医学成像：他们清理了带有金属植入物的 CT 扫描。他们的方法比之前的“采样”方法生成了更清晰的图像，并且速度快得多，允许一次性处理更大批次的图像。

结论

这篇论文为我们提供了一种新工具，用于构建足够聪明以知晓规则，又足够灵活以在必要时打破规则的人工智能，同时其运行速度比以往快得多。这就像将一个必须检查地图 10 次才能找到路线的机器人，升级为一个能瞬间看清整张地图并一眼选出最佳路径的机器人。

技术摘要：基于投影的正则化近似等变性

问题陈述

等变性作为机器学习中的强大归纳偏置，在化学、物理和机器人等领域增强了泛化能力和物理一致性。然而，严格的等变性施加了显著的约束并带来计算成本。以 AlphaFold-3 为代表的近期趋势已转向非等变架构，以利用更灵活的特征参数化和更广阔的搜索空间，这有时能带来更优的极小值。此外，现实世界数据常表现出不完美的或破坏性的对称性，严格的等变模型无法捕捉这些特征。

现有的“近似等变性”方法通常分为两类：

基于样本的方法：这些方法利用随机采样的群变换（例如数据增强或逐点惩罚）来惩罚偏离等变性的行为。虽然灵活，但由于每个样本需要额外的前向传播，它们导致高样本复杂度和计算开销。
显式参数化：这些模型将网络显式地结构化为等变分量与非等变分量之和（例如残差路径）。这通常导致等变部分的双重参数化，并增加了模型复杂度。

因此，需要一种处于中间地带的方法：在保留等变性优势的同时，避免其全部约束或基于样本的正则化器的运行时成本，同时能有效处理不完美的对称性。

方法论

作者提出了基于投影的正则化，这是一个在算子层面而非样本层面对神经网络进行等变性正则化的框架。其核心思想依赖于将网络的线性层正交分解为等变分量和非等变分量。

理论框架

设 $H$ 为 $G$ -模之间线性映射的假设类。作者利用G-平滑算子（Reynolds 算子），记为 $P(T)$ ，它将线性映射 $T$ 投影到 $G$ -等变映射的子空间上：
$P(T) = \int_G \pi'(g)^* T \pi(g) \, d\lambda(g)$
其中 $\lambda$ 是紧群 $G$ 的哈尔测度。

根据引理 2.1，任何映射 $T$ 都可以唯一分解为等变分量 $P(T)$ 和非等变（反对称）分量 $T - P(T)$ 。作者将等变性缺陷 $E(T)$ 定义为偏离等变性的最坏情况偏差。他们证明（引理 3.2），到等变子空间的距离 $\|T - P(T)\|_\mu$ 在常数界限内与等变性缺陷 $E(T)$ 在数量上等价。

正则化目标

针对特定任务损失 $L_{task}$ 的学习目标被修改为：
$L = L_{task}(T) + \lambda_G \|P(T)\|_\mu^2 + \lambda_\perp \|T - P(T)\|_\mu^2$
其中， $\lambda_\perp$ 惩罚非等变分量，鼓励模型与等变子空间对齐。 $\lambda_G$ 控制等变部分的正则化。

通过傅里叶空间的高效计算

一个关键挑战是高效计算 $P(T)$ ，特别是对于连续群（如 $SO(n)$），其在空间域中的积分是不可处理的。作者利用彼得 - 魏尔定理在谱（傅里叶）域中执行此投影：

分解：线性算子被分解为对应于群不可约表示（irreps）的频率块。
块对角化：根据舒尔引理，等变映射在频域中是块对角的（仅混合等价的不可约表示）。
投影：通过以下方式计算投影 $P(T)$ $P (T)$ ：
- 将所有非对角块（其中 $\pi \neq \sigma$ ）置零。
- 在对角块内部进行平均，以投影到 intertwining 空间。
重构：逆傅里叶变换在空间域中产生投影后的权重。

这种方法允许进行精确的、闭式的投影而无需采样，适用于有限群（通过直接平均）和连续群（通过谱掩蔽）。

主要贡献

理论正则化：一种理论基础扎实的方法，通过惩罚线性算子的非等变分量，将通用机器学习模型正则化为精确等变。
算子级惩罚：与惩罚逐点偏差的基于样本的方法不同，该方法在算子层面上对整个群轨道的非等变性进行惩罚。
谱效率：一个在傅里叶域中精确且高效计算投影的框架，使其能够应用于 $SO(n)$ 等连续群，而无需采样的开销。
实证验证：证明该方法在与现有近似等变方法具有竞争力的任务性能的同时，提供了显著的运行时增益。

实验结果

作者在三个不同的实验设置中评估了该方法：

学习的 $SO(2)$ 不变性（玩具问题）：
- 在点云的二分类任务上，调节 $\lambda_\perp$ 成功控制了学习到的不变性程度。
- 当目标函数包含破坏对称性的角度扰动时，正则化模型在保持对称性成立区域不变性的同时，适应并拟合了数据，展示了可调节的偏置。
不完美的对称动力系统：
- 应用于具有破坏性平移、旋转和缩放对称性的烟雾平流 - 扩散模拟。
- 与基线（标准 CNN、等变 CNN、RPP、Lift）相比，基于投影的正则化器（+Reg）在旋转和缩放范围内一致地提高了泛化能力（未来和域设置），同时在对称性已经良好对齐的区域保持了性能。
CT 扫描金属伪影去除（MAR）：
- 在 AAPM CT-MAR 数据集上与基于样本的正则化器（Bai 等人，2025）和残差路径先验（RPP）进行了比较。
- 性能：在所有测试架构（ACDNet、DICDNet、OSCNet）中，基于投影的方法实现了具有竞争力或更优的重建质量（PSNR/SSIM）。
- 效率：该方法在吞吐量方面显著优于基于样本的正则化器。由于避免了用于群采样的额外前向传播，它允许更大的批量大小（基于样本方法的 4 对比 12），并将每个 epoch 的时间减少了 42–61%。此外，与 RPP 相比，它所需的参数更少，内存占用更低。
MedMNIST（3D 生物医学分类）：
- 在具有不同旋转对称程度的 3D 任务（结节、合成、器官）上进行了评估。
- 该方法实现了高准确率，通常匹配或超过部分等变 SCNN（P-SCNN）和 RPP。
- 效率：它在所有比较模型中展示了最高的训练和推理吞吐量以及最低的 epoch 时间，且参数数量显著少于 RPP。

意义与主张

该论文声称，基于投影的正则化提供了有利的精度 - 效率权衡。通过将正则化从样本层面转移到通过谱投影的算子层面，该方法：

消除估计量方差：它精确计算惩罚，无需采样噪声。
减少计算开销：它避免了基于样本方法所需的额外前向传播，从而支持更大的批量大小和更快的训练/推理。
保持架构无关性：该通用方案可应用于任何具有线性层的模型，前提是投影可以推导出来（对于线性算子而言这是直接的）。
处理不完美对称性：它允许模型学习适当程度的等变性，在数据分布需要时放松严格约束，同时在有益的地方保留归纳偏置。

作者得出结论，这种方法为严格的等变架构和计算昂贵的基于样本的正则化提供了一种稳健、可扩展的替代方案，特别适用于连续对称群。