🤖 machine learning

REViT: Roto-reflection Equivariant Convolutional Vision Transformer

本文介绍了 REViT，一种新型的离散旋转-反射等变视觉 Transformer，它通过引入卷积注意力机制来有效地保持旋转、翻转和位置对称性，并证明了其在图像分类任务中相比现有等变神经网络方法的优越性能。

原作者： Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Sheir A. Zaheer, Alexander C. Holston, Chan Y. Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在看一张猫的照片。如果你将照片旋转90度、颠倒过来或侧过来，你仍然知道那是同一只猫。然而，大多数标准的计算机视觉模型（即识别图像背后的“大脑”）就像从未见过侧面猫的人一样；当图像的方向发生变化时，它们会感到困惑。它们可能会认为侧着的猫是另一种完全不同的动物。

为了解决这个问题，科学家们构建了“等变”（equivariant）模型。可以将这些模型视为拥有内置对称性理解能力的系统。如果输入发生了旋转，模型的内部“思考过程”也会随之旋转，从而确保最终答案保持一致。

这篇论文介绍了一种名为 REViT（旋转-反射等变卷积视觉 Transformer）的新型模型。以下是它的工作原理，通过简单的概念进行拆解：

1. 旧方法的问题

此前，为了让模型理解旋转，研究人员使用了两种主要工具：

卷积神经网络 (CNNs)： 这些就像是一组扫描图像的微型手电筒网格。它们擅长识别模式，但比较僵化。
视觉 Transformer (ViTs)： 这些就像是一组同时观察整幅图并连接不同部分关联点的侦探。它们非常强大，但除非添加大量的复杂“位置标签”（例如每个像素的 GPS 坐标）来告诉它们事物的位置，否则通常难以处理旋转问题。

让 Transformer 具备旋转感知能力的原有方法，就像是试图通过为每一次转动都提供一份极其复杂且庞大的地图，来教一名侦探如何旋转。这种方法虽然奏效，但速度慢且计算成本高昂。

2. REViT 的解决方案：一种新型的“提升”

作者们想出了一个更简单、更优雅的方法来构建一个具有旋转感知能力的 Transformer。他们完全取消了对那些复杂“位置标签”的需求。

他们使用了一个 “提升层”（Lifting Layer）。

类比： 想象一张平面的城市地图。现在，想象你将这张地图“提升”成一座 3D 塔楼。底层是原始地图。上面的楼层是相同的地图，但分别旋转了 45 度、90 度、135 度等等。
工作原理： REViT 模型接收一张图像，并立即创建这个由该图像旋转版本组成的 3D “塔楼”。它不仅仅是在观察图像，它是在同时观察图像及其所有可能的旋转版本。

3. “组卷积自注意力机制”

一旦图像被“提升”到这个 3D 塔楼中，模型就会使用一种特殊的注意力机制，称为 组卷积自注意力 (G-CSA)。

类比： 在普通的 Transformer 中，“侦探”们观察图像的不同部分以了解它们之间的关系。在 REViT 中，侦探们是在观察这个 3D 塔楼。他们可以同时看到原始图像中的“猫耳朵”如何与 90 度旋转图像中的“猫耳朵”相关联。
因为他们在同时观察所有的旋转状态，模型自然而然地学习到“无论如何旋转，这都是一只猫”。他们不需要被告知“这是顶部”或“这是底部”，因为 3D 结构已经为他们处理好了这一切。

4. 他们的发现（结果）

研究人员在三个不同的“游戏”（数据集）上测试了这个新模型：

旋转 MNIST： 识别被旋转过的手写数字。
PatchCamelyon： 识别医疗组织样本中的肿瘤细胞（这些样本可能以任何方向出现）。
CIFAR-10 & ImageNet： 识别日常物体，如汽车、狗和飞机。

结果如下：

更高的准确率： REViT 打败了以往表现最好的旋转感知模型。它在测试中答对了更多的题目。
更简单、更快： 尽管它更准确，但它使用的计算“步骤”（参数）和内存比那些更复杂的老方法更少。
可扩展性： 他们展示了该模型可以处理巨大的复杂数据集（如 ImageNet），证明它不仅仅是用于小型实验的玩具，而是一个强大的实用工具。

5. 缺陷（局限性）

论文诚实地提到了一个缺点：由于模型必须同时处理图像的多个旋转状态（即那个 3D 塔楼），它比不关心旋转的标准模型需要更多的计算能力和内存。这就像是有一支团队在协同工作，而不是一个人在工作；他们完成工作的效果更好，但你需要更多的办公空间和咖啡。

总结

简而言之，REViT 是一种新型 AI，它无需复杂的指令来告知事物所处的位置，就能理解各个角度的图像。通过将图像“提升”到旋转的 3D 空间并使用特殊的注意力机制，它比以往的方法更准确、更高效地识别物体，使其成为处理医疗成像或机器人技术等对方向敏感的任务时的强力候选工具。

技术摘要：REViT – 旋转反射等变卷积视觉 Transformer

问题陈述
虽然等变神经网络在需要旋转和反射对称性的任务（如分子分析、医学病理学和机器人技术）中已被证明有效，但将其应用于视觉 Transformer (ViT) 仍具有挑战性。传统的 ViT 严重依赖绝对或相对位置编码来维持空间结构，这使得实现群等变性变得复杂。具体而言，标准的位置编码会破坏在旋转或反射变换下的等变性，因为它们为固定坐标分配了唯一的向量。以往实现 ViT 群等变性的尝试（例如带有相对位置编码 (RPE) 的群自注意力机制 G-SA）需要对注意力机制进行复杂的修改，并引入显著的计算开销。此外，现有的关于旋转反射等变性的研究主要集中在卷积神经网络 (G-CNN) 上，这在利用 Transformer 进行此类任务的全局上下文建模能力方面留下了空白。

方法论
作者提出了 REViT（旋转反射等变卷积视觉 Transformer），这是一种离散旋转反射群等变架构，它消除了对显式位置编码的需求。其核心方法包含两个主要的创新点：

卷积补丁嵌入与提升 (Convolutional Patch Embedding and Lifting)：
不同于线性补丁嵌入，REViT 采用了一个提升层 (lifting layer)，将二维输入图像 $f: \mathbb{Z}^2 \to \mathbb{R}^C$ 转换为定义在离散群空间上的特征图 $F: \mathbb{Z}^2 \times C_N \to \mathbb{R}^{C'}$ 。这是通过旋转卷积实现的，即输入与一组对应于离散旋转群 $C_N$ （例如 $p4$ , $p8$ ）元素的旋转滤波器进行卷积。这种方式将数据从欧几里得空间提升到位置-方向空间 ( $\mathbb{R}^2 \times S^1$ )，从而在无需可学习位置参数的情况下，本质地编码了空间和方向信息。
群卷积自注意力 (Group Convolutional Self-Attention, G-CSA)：
标准的自注意力机制被群卷积自注意力 (G-CSA) 所取代。在该模块中，查询 (Query)、键 (Key) 和值 (Value) 的投影是通过群等变卷积而非线性投影计算得出的。注意力机制在空间维度和群维度（方向）上同时运行。注意力权重是基于提升后的特征空间中查询与键的点积计算的，从而确保该操作对群作用（旋转和反射）保持等变。通过利用卷积中固有的卷积投影和相对空间关系，REViT 在无需为每个注意力头计算相对位置编码的逐层复杂性的情况下，实现了平移和旋转等变。

核心贡献

离散群卷积自注意力 (G-CSA)： 本文引入了 G-CSA 机制，旨在不依赖位置编码的情况下，实现 Transformer 的旋转反射 ( $E(2,N)$ ) 等变性。
REViT 的实现： 作者利用 G-CSA 实现了 REViT 模块，并在多种离散旋转平移 ($pN $) 和旋转反射 ($ pNm$) 群配置下进行了评估。
可扩展性： 该工作证明了 REViT 可以扩展到大规模数据集（特别是 ImageNet-1k），作为下游等变任务的潜在骨干网络。

实验结果
作者在三个数据集（Rotated MNIST、PatchCamelyon 和 CIFAR-10）上评估了 REViT，并将其扩展到了 ImageNet-1k。

性能对比 G-SA 与 RPE： 在 Rotated MNIST 和 PatchCamelyon 上，REViT 模型（特别是 $p4$ -CSA 和 $p8$ -CSA）的表现与富含相对位置编码的群自注意力模型 (G-SA+RPE) 持平或更优。至关重要的是，REViT 以显著更少的参数和更低的计算复杂度（更少的乘加运算次数和更小的内存占用）实现了这一目标。
性能对比 G-CNN： 在所有数据集和对称群上，REViT 始终优于相应的群等变 CNN (G-CNN) 基准模型。值得注意的是，在 PatchCamelyon 上，REViT 使用更少的参数实现了比高阶对称 G-CNN 变体更高的准确率。
ImageNet 扩展： 在 ImageNet-1k 上，一个 $p4m$ -等变的 REViT 实现了 79.27% 的 Top-1 准确率，超过了使用数据增强训练的 Vanilla ViT (72.08%) 和等变 ResNet 基准模型 (77.37%)。
等变误差： 模型在经过提升层和 G-CSA 层后表现出近乎为零的等变误差，在高阶群（如 $p8$ ）中出现的轻微误差归因于旋转过程中的插值伪影。

意义与主张
论文声称，与现有方法相比，REViT 提供了一种更简单、更高效的路径来实现离散旋转反射等变视觉 Transformer。通过移除对显式位置编码的依赖并利用卷积自注意力，作者证明了在遵循严格对称约束的同时，保持 Transformer 全局上下文建模能力的可能性。结果表明，G-CSA 可以在不显著增加模型规模或复杂度的前提下，提高群等变分类性能。作者将 REViT 定位为处理方向关键型任务（如医学成像和定向目标检测）的可扩展骨干网络，同时也承认其计算成本仍随对称群的基数而缩放，这对延迟敏感型应用提出了挑战。