📊 statistics

Symmetries in PAC-Bayesian Learning

本文将 PAC-Bayesian 泛化保证扩展到非紧对称性和非不变数据分布，为对称模型即使在超越紧群和不变数据这一传统假设的情况下仍能提升性能提供了理论依据。

原作者： Armin Beck, Peter Ochs

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Armin Beck, Peter Ochs

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别物体，比如杯子或汽车。你会注意到，无论是一个正放着的杯子、倒放着的杯子，还是旋转过的杯子，它仍然是一个杯子。在机器学习的世界里，这被称为对称性（Symmetry）。

长期以来，科学家们知道，构建能够“理解”这些对称性的机器人（模型）会让它们变得更聪明、更出色。然而，解释为什么这行之有效的数学证明一直非常严苛。它仅在以下条件下成立：

对称性是“紧致的”（Compact，比如一个圆，你在转完一圈之前无法超出其范围）。
数据是完美平衡的（例如，每个杯子在所有可能的旋转角度下出现的频率都完全相等）。

在现实世界中，这两者都不成立。我们拥有无限的平移（汽车可以在道路上的任何位置，而不仅仅是在一个圆圈内），而且现实中的数据是杂乱无章的（你很少在自然界中看到倒过来的杯子）。

Armin Beck 和 Peter Ochs 的这篇论文就像是一本全新的、更灵活的规则书。他们说：“即使规则很混乱且对称性是无限的，我们也能证明对称性确实有助于学习。”

以下是他们发现的拆解说明，使用了简单的类比：

1. 旧规则书 vs. 新规则书

旧观点： 想象一个图书馆，只有当书架是完美的圆形（紧致），且每本书在每个书架上出现的次数完全相同（不变性）时，书籍才被允许进行组织。如果你的图书馆不符合这些条件，旧的数学会说：“我们无法保证你能找到正确的书。”

新观点： 作者们说：“我们不需要书架是圆形的，也不需要每本书都出现得一样频繁。”他们开发了一种新的数学框架（称为 PAC-Bayesian 学习），即使面对一个巨大的、无限的仓库（非紧致）以及有些书稀有、有些书常见的场景（非不变性），该框架依然有效。

2. “平均化”技巧

他们是如何证明这一点的呢？他们使用了一个巧妙的数学工具，称为**“平均算子”（Averaging Operator）**。

把一个假设（模型的猜测）想象成一个粗略的草图。

没有对称性时： 草图可能会有一些随机的涂鸦，如果旋转图像，这些涂鸦就会显得毫无意义。
有了平均算子： 想象一下，你拿着这张草图，将其旋转并融合所有版本，最终合成一张光滑、完美的图像。

作者们证明了，当我们通过“融合”模型的猜测来尊重数据的对称性时，我们实际上降低了数学中的“噪声”。用技术术语来说，这降低了被称为 KL 散度（KL Divergence） 的数值。

类比： 把“噪声”想象成收音机里的静电声。旧的数学认为，只有在电台调频极其精准的情况下才能消除静电。而新的数学表明，即使电台信号模糊且微弱，如果你使用一种特殊的过滤器（具有对称性意识的模型）来平滑信号，静电就会显著减少，音乐（预测）也会变得更加清晰。

3. “轨道代表元”捷径

这篇论文还引入了一种节省时间的方法。

想象一下，你正在尝试学习一个球体的形状。你可以测量球体上的每一个点。但因为球体是对称的，测量一个点并了解它的旋转方式，就足以让你了解整个球体。

作者们展示了，对于这些对称模型，你不需要在所有的变量数据上进行训练。你可以只在“代表元”（独特的形状）上进行训练，并在数学上保证你的模型对其他情况同样有效。这就像是通过研究一局棋来学习国际象棋的规则，而不是玩数百万场随机的游戏。

4. 实践证明

为了证明他们的理论不仅仅是纸上谈兵，他们进行了实验。他们在以下场景测试了他们的新规则：

MNIST 和 CIFAR： 标准图像数据集，但通过旋转打破了旧有的“完美平衡”规则。
ModelNet： 3D 形状。
Top Tagging： 来自粒子物理学的数据（涉及复杂的、非紧致的对称性）。

结果： 在所有案例中，尊重对称性的模型：

犯错更少（风险更低）。
拥有一个更紧密、更可靠的数学保证，确保它们在未来不会失败（更紧密的“界限”）。

核心总结

这篇论文移除了机器学习理论中对“完美世界”的要求。它证明了对称性是 AI 的超能力，不仅是在整洁、理论化的场景中，而且是在我们实际生活的这种混乱、无限且不平衡的现实世界中。它给了我们数学上的信心，去构建更聪明、更高效的 AI 系统，让它们能够理解世界的结构，即便这个世界并不完美有序。

技术摘要：PAC-Bayesian 学习中的对称性

问题陈述

机器学习中的对称性（如旋转或平移不变性）在经验上已知能提高模型性能。然而，现有的理论保证在解释这些增益方面受到限制性假设的约束。先前的理论框架，特别是在 PAC-Bayesian 设定下的框架，通常依赖于两个关键约束：

紧致性（Compactness）： 对称群必须是紧致的（例如有限群或旋转群），这排除了非紧致群（如平移或缩放），而这些群对于卷积神经网络（CNN）等架构至关重要。
数据不变性（Data Invariance）： 数据分布本身被假设为在群作用下是不变的。在现实场景中，这很少成立（例如，倒置的水杯在自然数据中不太可能出现，从而违反了平移不变性）。

本研究通过将泛化保证扩展到涉及非紧致对称性和非不变数据分布的设定，填补了理论理解方面的空白。

方法论

作者利用了 PAC-Bayesian 框架，该框架允许对假设类进行数据依赖的先验和后验建模。该方法论分为三个阶段进行：

1. 问题形式化与假设

论文形式化了数据生成过程，其中输出 $Y$ 是通过一个受独立噪声 $\Xi$ 扰动的群等变函数 $f^*$ 从输入 $X$ 生成的（假设 2.1）。

群作用： 一个拓扑群 $G$ 作用于输入空间 $X$ 和输出空间 $Y$ 。
等变性（Equivariance）： 如果满足 $f(g \cdot x) = g \cdot f(x)$ ，则称假设 $f$ 是等变的。
损失函数： 假设损失 $\ell$ 在其第一个参数上是凸的，并且是 $G$ -不变的（假设 4.1），即 $\ell(g \cdot y, g \cdot \hat{y}) = \ell(y, \hat{y})$ 。

至关重要的是，作者放宽了要求 $G$ 为紧致以及数据分布必须是不变的限制。他们假设群在输入空间上的作用是自由的（假设 3.1），以便于构建平均算子。

2. 平均算子与 KL 分解

为了处理非紧致群和非不变分布，作者引入了一个广义的平均算子 $Q$ 。不同于以往依赖 Haar 测度（这需要紧致性）的工作，该算子利用基于测度分解定理（Disintegration Theorem）（定理 1.1）导出的概率核，在群轨道上进行积分。

定义： $Q(f)(x) = \pi_G(x) \cdot \int_G g^{-1} \cdot f(g \cdot \pi_{X_\phi}(x)) \kappa(\pi_{X_\phi}(x), dg)$ ，其中 $\kappa$ 是给定轨道代表元的群的条件分布。
性质： $Q$ 将任意可测函数映射为等变函数，并作为一个投影算子（ $Q^2 = Q$ ）。

利用该算子，作者推导出了 KL 散度分解（引理 3.4）。对于假设类上的任意两个测度 $\mu$ 和 $\nu$ ：
$D_{KL}(\mu \| \nu) = D_{KL}(Q_*\mu \| Q_*\nu) + \text{Remainder}$
这表明原始测度之间的 KL 散度严格大于或等于其等变投影（ $Q_*\mu$ 和 $Q_*\nu$ ）之间的 KL 散度。余项捕捉了被投影丢弃的“非等变”信息。

3. 泛化界限

作者将此分解应用于 McAllester 的 PAC-Bayes 界限。

复杂度降低： 通过将先验和后验限制在等变函数上（通过推前映射 $Q_*$ ），复杂度项（涉及 $D_{KL}$ ）得到了降低（推论 3.6）。
风险降低： 作者证明了对称化假设不会增加真实风险，并且风险可以完全在轨道代表元上计算而无信息损失（定理 4.3）。
主要结果： 推导出的界限（等式 14）对于非紧致群和非不变数据均成立，与应用于完整假设类的标准界限相比，为等变模型提供了更紧密的泛化保证。

核心贡献

向非紧致对称性的扩展： 本文提供了首个能够容纳非紧致对称群（如平移、缩放、洛伦兹变换）的 PAC-Bayesian 泛化分析，在统一框架内涵盖了平移不变架构。
放宽数据不变性： 理论保证不要求数据分布在群作用下是不变的，解决了先前工作中一个主要的局限性，即现实世界的数据往往违反这些假设。
广义平均算子： 引入了基于测度分解定理的平均算子，使得可以将假设投影到等变子空间，而无需依赖于均匀（Haar）测度的存在，而后者在非紧致群中并不存在。
更紧密的界限： 研究表明，强制执行等变性会导致 PAC-Bayes 界限中 KL 散度项显著减小，从理论上解释了对称模型的改进泛化性能。

实验结果

作者通过在多种数据集（玩具示例、MNIST、CIFAR-10/100、ModelNet、Top Tagging）上针对紧致群（SO(2), SO(3)）和非紧致群（SE(2), $\mathbb{R}^+$ , $SO^+(1,3)$ ）进行数值实验，验证了其理论。

设置： 他们将基线神经网络（非等变）与等变对应物（使用 e2cnn 和 e3nn 等库）进行了比较。实验显式地使用了非均匀采样的变换来违反数据不变性假设。
发现：
- KL 减少： 与基线相比，对称后验一致实现了显著较低的 KL 散度（在不同数据集上实现了 14.5% 到 89.2% 的降低）。
- 界限收紧： 对于等变模型，PAC-Bayesian 泛化界限明显更紧（降低了 10% 到 34%）。
- 性能： 等变模型的测试风险匹配或优于基线测试风险（在特定情况下实现了 5.3% 到 41.5% 的风险降低），证实了即使在数据分布不是不变的情况下，理论上的收紧也能转化为经验上的收益。

意义与主张

本文声称提供了理论证据，证明对称模型在超越紧致群和不变分布的狭窄设定时仍然具有优势。通过移除这些限制性假设，这项工作拓宽了对称性在机器学习中的理论基础。

作者指出，他们的发现为对称感知架构（如 CNN）在数据既非完美不变也非由紧致群控制的实际场景中的成功提供了原则性的解释。他们强调，其框架适用于一般的假设类，并遵循标准的 PAC-Bayesian 公式，使得研究结果适用于涉及非紧致对称性的广泛学习问题。这项工作并非声称解决了所有泛化问题，而是专门针对关于对称性在非理想、现实数据分布中作用的理论差距。