🤖 machine learning

A Unified Framework for Vision Transformers Equivariant to Discrete Subgroups of $\mathrm{O}(2)$

本文引入了一个统一的视觉 Transformer 框架，该框架对 $\mathrm{O}(2)$ 的任意离散子群具有等变性，在理论上保证了表达能力，并通过在航空图像上的实验证明了其在数据稀缺机制下提升了识别准确率。

原作者： T\=ıkun Ông, Georg Bökman

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： T\=ıkun Ông, Georg Bökman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人识别城市、森林和农场的航拍照片。你希望机器人能够理解，即使一张房子的照片旋转了90度或颠倒了过来，它仍然是一座房子。

标准的AI模型（称为视觉Transformer）非常擅长识别事物，但它们将每一种旋转都视为一个全新的、独特的图像。它们必须记住各种不同方向下的房子，这既浪费时间又浪费数据。

这篇论文介绍了一种新型的“聪明机器人”，它的脑中直接植入了对称性。以下是作者如何实现的简单解释：

1. 核心理念：“对称感知”的大脑

作者为视觉Transformer创建了一个尊重离散对称性的框架。

类比： 想象一个标准的AI就像一个人，必须通过看到四次不同的正方形，才能学会一个正方形在旋转90度、180度和270度时看起来是一样的。
新模型： 这个新模型则像是一个知道正方形具有四重对称性的聪明人。如果他们看到一次，就能立刻知道它在所有四种方向上的样子。他们不需要去死记硬背旋转，因为他们大脑中的数学逻辑会自动处理这一切。

该论文关注的是像 $D_4$ （正方形的旋转与翻转）和 $D_6$ （六边形的旋转与翻转）这样的对称群。他们构建了一个可以处理任何这类对称群的系统。

2. 工作原理：乐高积木

为了实现这一点，作者将AI分解为标准部件（例如让AI能够关注图像不同部分的“注意力机制”），并将其重新构建为具有“等变性”（equivariant）的部件。

等变性（Equivariance）： 这是一个高级数学词汇，意思是“如果你旋转输入，输出也会以完全相同的方式旋转”。
补丁嵌入（Patch Embedding）： 想象将一张图像切割成许多小拼图块（patches）。作者确保如果旋转整个图像，这些拼图块也会以一种对称的方式进行协调旋转，从而让AI能够理解。他们甚至展示了如何使用六边形拼图块来构建适用于六重对称模型（如蜂巢结构）的模型，这与通常的正方形网格不同。
注意力机制： 在普通的AI中，注意力层会询问：“这张图像的这一部分与那一部分有多相关？”作者证明，你可以重写这个问题，使AI以一种尊重对称性的方式进行提问。他们证明了对于单个注意力“头”（head）而言，这种新的对称感知版本与旧版本一样强大，但它不会在已经通过对称性已知的事物上浪费能量。

3. “神奇”的非线性

AI模型需要“非线性”（让模型学习复杂模式的数学函数）才能变得聪明。通常，这些是非线性的“如果-那么”开关。

挑战： 让这些开关在对称性下工作很难，因为数据存储在复杂的数学“桶”（称为不可约表示）中。
解决方案： 作者发明了一种新的方法来实现这一点。他们将数据转换为另一种格式（例如傅里叶变换），应用“开关”，然后再转换回来。他们证明了这是为任何对称群构建这些开关的最通用方法。

4. “少即是多”原则（表达能力 vs. 对称性）

这是论文中最有趣的发现之一。

类比： 想象你有一个工具箱。如果你强迫机器人具有极高的对称性（例如，它必须把正方形看作和圆形完全一样），你就是在给它设定很多规则。这会让它在处理旋转方面表现出色，但可能会稍微降低它学习那些不符合对称性的奇特、独特细节的灵活性。
发现： 作者从数学上证明，如果你拥有一个具有大量对称性的模型，你可以将其视为一个对称性较少的模型。然而，你强制执行的对称性越多，模型能够自主学习的独特模式就越少。这是一种平衡，即在“了解对称规则”与“学习新事物”之间寻找平衡。

5. 实验：这真的有效吗？

作者在航拍图像数据集（PatternNet）上测试了他们的新模型。

设置： 他们模拟了一个“数据匮乏”的世界，只给AI提供通常训练照片的10%或40%。
结果： 当AI被要求必须遵循对称性（如 $D_4$ 或 $D_6$ ）时，它的表现比标准模型更好，尤其是在数据非常稀缺的情况下。
原因： 因为对称性起到了内置数据增强的作用。如果AI看到了一座房子，它实际上自动地“看到了”该房子在4个或6个不同方向上的样子，而无需额外的照片。

总结

这篇论文提供了一个构建能够理解旋转和翻转的AI模型的通用工具包。

它泛化了以往仅适用于特定对称性的模型。
它证明了这些模型在数学上是严谨的，并且与标准模型一样强大。
它表明在数据量有限的情况下，强制AI遵循对称性使其成为一个更优秀的学习者。

作者并没有声称这将立即治愈疾病或制造自动驾驶汽车；他们只是展示了对于视觉识别任务，尤其是面对有限数据时，“对称感知”模型是一种更聪明、更高效的构建AI的方式。

技术摘要：一种对 $O(2)$ 离散子群具有等变性的统一 Vision Transformer 框架

问题陈述

Vision Transformers (ViTs) 已确立了其在视觉识别领域的统治地位，然而标准模型未能显式地编码视觉领域中固有的平面对称性。虽然群等变卷积神经网络 (CNNs) 已成功引入了对称性（如平移和旋转）作为归纳偏置，但向 Transformer 架构的过渡需要一个新的理论框架。现有的等变 ViT 提案受限于特定的对称群（例如翻转或 $D_4$ 对称）或特定的实现策略。目前需要一个统一的框架，将这些方法推广到 $O(2)$ 旋转反射群的任意离散子群，从而提供一种系统化的方式，在独立于特定对称群的情况下构建、比较和分析等变 ViTs。

方法论

理论基础

作者采用表示论方法来构建对有限群 $G \leq O(2)$ 等变的 ViTs。该框架依赖于将特征空间分解为 $G$ 的不可约表示 (irreps)：

特征空间： Token 特征被建模为 $G$ -表示 $V$ 的元素，并分解为不可约表示的直和： $V = \bigoplus_{\rho \in \hat{G}} \mathbb{R}^{C_\rho} \otimes V_\rho$ ，其中 $C_\rho$ 是重数。
分块网格 (Patchified Grids)： 输入定义在 $G$ -分块网格 $H_0 = U + H$ 上，其中 $U$ 是基础分块， $H$ 是平移集合，两者在 $G$ -作用下均保持稳定。这使得模型能够处理各种网格结构（例如用于 $D_4$ 的正方形和用于 $D_6$ 的六边形）。

核心架构组件

该框架构建了标准 ViT 组件的等变类比：

线性层： 基于 Schur 引理，等变线性映射被构建为作用在每个不可约表示通道维度上的分块对角操作。对于复数型不可约表示（在 $O(2)$ 子群中很常见），线性映射利用了扩张为 $\mathbb{C}$ 同构子代的一个基。
分块嵌入与位置编码： 分块嵌入是从图像空间到 token 特征空间的 $G$ -等变仿射映射。位置编码通过添加至 token 的可学习 $G$ -不变向量来实现。
非线性： 为了在保持等变性的同时引入非线性，作者提出了一种“类傅里叶”构造。特征从不可约表示基映射到 $G$ -集合 $X$ （一个齐次空间），应用逐点非线性 $\sigma$ ，然后映射回不可约表示基。 $G$ -集合 $X$ 的选择（由齐次空间 $G/H$ 组成）决定了非线性的表达能力。
自注意力机制： 作者提出了一个通用的等变自注意力构建方案，通过使用 $G$ $G$ -不变内积计算注意力分数，并投影到 $G$ $G$ -稳定子空间（注意力头）上。定义了两种特定的机制：
- 按不可约表示注意力 (Irrep-wise Attention)： 头按每个不可约表示进行分解。
- 耦合注意力 (Coupled Attention)： 头通过混合不可约表示来形成。
  作者证明，在单头设置下，该等变参数化与受限于 $G$ -等变映射的标准自注意力具有同等的表达能力。
分类头： 对于不变性任务（如图像分类），会附加一个 class token。为了确保最终输出是不变的，在最后的线性分类层之前，class token 的非平凡分量会被“不变化”（转换为范数）。

理论结果

嵌入定理： 作者证明，如果 $H \leq G$ ，则 $G$ -等变 ViTs 的类别自然地嵌入到 $H$ -等变 ViTs 的类别中。这意味着施加更大的对称群会限制函数类（降低表达能力），但会增加归纳偏置。
注意力的表达能力： 单头等变自注意力层可以表示任何由普通自注意力所能实现的 $G$ -等变映射，前提是该映射是 $G$ -等变的。

实验结果

该框架在 PatternNet 航空图像数据集（38 类）上进行了评估，测试了在数据稀缺情形下（训练数据的 10%、40% 和 100%）针对 $D_4$ （正方形网格）和 $D_6$ （六边形网格）子群的表现。

等变性的影响： 在匹配参数预算的初步结果下，等变模型（特别是针对分类强制执行不变性的模型）可以提高识别准确率，相比于非等变基准模型，尤其是在低数据量情形下。这支持了等变性作为一种有效数据增强策略的假设。
注意力机制： “按不可约表示”与“耦合”注意力机制之间的比较显示，两者性能差异取决于数据规模和模型容量，尽管在所有设置中都没有哪种机制表现出绝对的优越性。
非线性配置： 实验分析了非线性层中齐次空间配置（用于非线性的 $G$ -集合 $X$ ）的选择如何影响性能，强调了架构在非线性层中的选择对于模型效能至关重要。

主要贡献与意义

统一框架： 本文提供了一个构造任何 $O(2)$ 离散子群等变 ViTs 的通用构建方法，将以往关于 $D_1$ （翻转）和 $D_4$ 等变 ViTs 的工作作为特例包含在内。
理论保证： 文中建立了严谨的表达能力保证，证明了相对于标准层，等变层在受限于等变映射时并不会损失表达能力，并形式化了对称强度与模型表达能力之间的权衡。
六边形兼容性： 该框架成功扩展到了六边形分块，实现了能够尊重六重旋转对称性的 $D_6$ -等变模型，这在航空图像处理中具有相关性。
适度的声明： 作者强调，实验旨在受控的小规模设置下探测架构选择，而非优化大规模基准性能。结果作为进一步研究如何使离散对称群塑造基于 Transformer 的视觉识别的初步证据。

这项工作旨在将表示论结构与特定群的实现细节分离，为构建和分析不同平面对称群的等变 ViTs 提供了一个共同的基础。