Soft Equivariance Regularization for Invariant Self-Supervised Learning

该论文提出了一种名为软等变性正则化（SER）的即插即用方法，通过在中间特征层而非最终嵌入层施加等变性约束，在保持自监督学习不变性优势的同时有效提升了模型对几何扰动的鲁棒性及下游任务性能。

要点

这篇文章介绍了一种名为 SER (Soft Equivariance Regularization，软等变性正则化) 的新方法，旨在让计算机“看懂”图片的能力变得更聪明、更稳健。

为了让你轻松理解，我们可以把训练 AI 识别图片的过程想象成教一个学生（AI）认路。

1. 以前的做法：只教“认死理” (Invariance)

传统的自监督学习（SSL）就像是在教学生认路时，只强调**“不管路怎么变，目的地不变”**。

• 例子：老师把一张“猫”的照片裁剪一下、调个颜色、或者变亮变暗，然后问学生：“这还是猫吗？”
• 目标：学生必须回答“是”。
• 结果：学生学会了**“不变性” (Invariance)**。不管照片怎么折腾，他都能认出那是猫。这对考试（分类任务）很有用。
• 缺点：学生变得太“死板”了。如果老师把猫的照片旋转 90 度，或者放大缩小，学生可能会懵，因为他只学会了忽略这些变化，却忘了**“旋转”和“缩放”本身也是有意义的信息**。这导致他在面对稍微复杂一点的情况（比如物体位置变了、视角变了）时，表现就不够好。

2. 以前的尝试：既要“认死理”又要“懂变化” (Equivariance)

后来的研究者发现，学生还需要学会**“等变性” (Equivariance)**。

• 什么是等变性？ 就是**“输入变了，输出也要跟着有规律地变”**。
• 例子：如果照片里的猫向右转了 90 度，学生脑子里的“猫的特征”也应该跟着向右转 90 度，而不是完全忽略这个变化。
• 以前的做法：以前的方法试图在同一个地方（通常是学生大脑的“最终结论区”）同时教他“认死理”和“懂变化”。
• 问题：这就像让一个人在写最终报告的时候，既要忽略所有细节（为了认死理），又要详细描述细节的变化（为了懂变化）。这太矛盾了！
  • 如果你逼他在最后一步太关注“变化”，他认猫的能力（考试分数）就下降了。
  • 如果你逼他在最后一步太关注“不变”，他又学不会“变化”的规律。
  • 这就是论文发现的“权衡” (Trade-off)： 在同一个地方强求两者，往往两头不讨好。

3. 这篇论文的新招：分而治之 (Layer-Decoupling)

SER 的核心思想非常巧妙：把“认死理”和“懂变化”分开在不同的学习阶段进行。

想象一下，这个学生的大脑分为**“中间思考层”和“最终结论层”**：

• 中间思考层 (Intermediate Layer)：这里保留着图片的空间结构（比如猫耳朵在左边，尾巴在右边）。

  • SER 的做法：在这个阶段，老师专门教学生**“懂变化”**。
  • 怎么教？ 老师把照片旋转、翻转，然后告诉学生：“看，照片转了 90 度，你脑子里的‘猫图’也要跟着转 90 度。”
  • 关键点：这里不需要学生去猜“这是什么变换”，而是直接利用数学公式（解析动作）来对齐特征。就像给地图加了一个**“旋转指南针”**，告诉学生怎么跟着转。

• 最终结论层 (Final Embedding)：这里输出最终的判断（这是猫）。

  • SER 的做法：在这个阶段，完全保持原样，只教学生**“认死理”**（不管照片怎么变，最后都要认出是猫）。
  • 好处：最终结论层不受“旋转”干扰，能保持强大的识别能力。

4. 这个新方法有什么特别之处？

• 不用额外的大脑：以前的方法需要教学生专门去“猜”照片被旋转了多少度（需要额外的预测头），这很费脑子。SER 不需要，它直接利用已知的变换规则（比如旋转 90 度就是旋转 90 度）来训练，不需要猜。
• 几乎不增加负担：它只增加了极少的计算量（大约 1%），就像给学生的书包里多放了一张小纸条，几乎不重。
• 效果显著：
  • 考试更稳：在标准的图片识别考试（ImageNet）中，成绩提高了。
  • 抗干扰更强：如果照片模糊了、有噪点、或者被旋转了（ImageNet-C/P），这个学生依然能认出猫，而且比以前的学生更准。
  • 举一反三：在需要精确定位的任务（比如自动驾驶里找车的位置）中，表现也更好。

5. 总结：一个生动的比喻

想象你在教一个盲人摸象的学生：

• 旧方法：你让他摸大象，无论大象怎么转，他都必须说“这是大象”。但如果大象转了，他脑子里的“大象模型”还是直立的，导致他如果大象侧身了，他就认不出来了。
• 以前的改进：你试图让他既忽略方向，又记住方向，结果他脑子乱套了，既认不准，也记不住。
• SER 方法：
  1. 在摸的过程中（中间层），你告诉他：“如果大象转了，你手里的触感图也要跟着转，你要记住这个旋转的感觉。”（等变性）
  2. 在最后回答时（最终层），你告诉他：“不管大象怎么转，你都要坚定地回答‘这是大象’。”（不变性）

结论：通过把“记住变化”和“忽略变化”分开在不同的学习阶段，SER 让 AI 既聪明（能识别各种变化），又稳健（能准确分类），而且不需要额外的复杂设备。这是一个简单却非常有效的“分而治之”策略。

技术摘要

这篇论文提出了一种名为**软等变性正则化（Soft Equivariance Regularization, SER）**的新方法，旨在解决自监督学习（SSL）中“不变性（Invariance）”与“等变性（Equivariance）”之间的权衡问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现有 SSL 的局限性： 传统的自监督学习方法（如 MoCo-v3, DINO, Barlow Twins）主要学习对语义保持增强（如随机裁剪、色彩抖动）具有不变性的表征。虽然这对图像识别非常有效，但这种强不变性往往会抑制对几何变换（如旋转、缩放、翻转）敏感的结构性信息，从而削弱模型在几何扰动下的鲁棒性和空间敏感任务的迁移能力。
• 现有等变性方法的缺陷： 为了弥补这一缺陷，许多工作尝试在 SSL 中引入等变性目标。然而，现有方法通常将不变性和等变性目标同时施加在最终的表征上。
  • 空间结构丢失： 最终表征通常是经过空间聚合（Spatially Collapsed，如 ViT 的 [CLS] token 或 CNN 的全局池化）的，这导致其难以与空间群作用（Spatial Group Actions，如旋转、平移）直接对齐。
  • 性能权衡（Trade-off）： 作者通过实验观察到一个关键现象：如果将等变性正则化推向更深层（靠近输出层），虽然等变性分数（Equivariance Score）会提高，但 ImageNet-1k 的线性评估准确率（Linear Evaluation Accuracy）却会显著下降。这表明在同一个最终表征上强行耦合两者是次优的。

2. 方法论 (Methodology)

为了解决上述权衡，作者提出了软等变性正则化（SER），其核心思想是层解耦（Layer-Decoupled Design）：

• 核心设计原则：
  • 最终层（Final Embedding）： 保持原有的不变性 SSL 目标（如 MoCo-v3, DINO 的损失函数）不变，仅用于学习判别性特征。
  • 中间层（Intermediate Layer）： 在保留空间结构的中间特征图（Token Map）上，施加软等变性正则化。
• 具体实现细节：
  • 特征空间群作用（Analytic Feature-Space Actions）： SER 不学习额外的变换预测头或变换代码，而是直接利用解析定义的几何群作用 $\rho_g$（如 90°旋转、水平翻转、各向异性缩放）作用于中间特征图。
  • 数据增强策略与批次划分（Batch Partitioning）：
    • 由于随机裁剪（Random Crop）是不可逆的，无法构成群，因此 SER 将每个 Mini-batch 划分为两部分：
      • $b_1$（不变性子集）： 使用包含随机裁剪的标准增强策略，仅用于计算基础的不变性损失。
      • $b_2$（等变性子集）： 使用修改后的增强策略 $T_{eq}$，禁用裁剪，仅保留可逆的几何变换（旋转、翻转、缩放）和光增强（色彩抖动）。
    • 在 $b_2$ 中，利用两个视图之间的相对几何变换 $g = g_2 g_1^{-1}$，计算中间特征图之间的等变性误差。
  • 损失函数：
    • 总损失 $L = L_{inv1} + L_{inv2} + \lambda L_{equiv}$。
    • $L_{equiv}$ 是在中间层 Token 上计算的基于 Patch 的对比损失（Patch-wise NT-Xent），强制特征在几何变换下保持结构对应关系。
  • 架构修改： 仅在 ViT 编码器中，在施加等变性正则化的层之后插入 [CLS] token，以确保最终嵌入不受空间结构破坏的影响，同时保持中间层特征图的空间网格结构。

3. 关键贡献 (Key Contributions)

1. 揭示了层耦合的权衡： 通过实验证明，在最终表征上同时施加不变性和等变性会导致性能下降；将等变性约束移至中间层可以打破这一权衡。
2. 提出了 SER 框架： 一种即插即用的正则化方法，无需修改骨干网络架构，无需额外的变换预测头，也无需学习每个样本的变换标签。
3. 解析特征空间操作： 直接利用解析定义的几何变换作用于特征图，避免了学习复杂的动作网络，计算开销极小（仅增加约 0.8% 的 FLOPs）。
4. 通用性验证： 证明了“层解耦”是一个通用的设计原则。将现有的等变性方法（如 EquiMod, AugSelf）的等变性目标从最终层移至中间层，也能显著提升其性能。

4. 实验结果 (Results)

在 ImageNet-1k 上对 ViT-S/16 进行了广泛的预训练和评估：

• 线性评估（Linear Evaluation）：
  • 在严格匹配的 2 视图设置下，SER 将 MoCo-v3 的 Top-1 准确率提升了 +0.84%（从 68.44% 到 69.28%）。
  • 在 DINO 和 Barlow Twins 基线上也取得了 consistent 的提升。
  • 在匹配视图数量（2+4 视图）的比较中，SER 的表现优于其他所有对比的“不变性 + 等变性”附加模块。
• 鲁棒性（Robustness）：
  • 在 ImageNet-C（常见腐蚀）和 ImageNet-P（几何扰动）上，SER 分别提升了 +1.11% 和 +1.22% 的 Top-1 准确率，显著优于基线和其他等变方法。
• 迁移学习（Transfer Learning）：
  • 在冻结骨干网络的 COCO 目标检测任务中，SER 提升了 +1.7 mAP，证明了其对空间敏感任务的有效性。
• 消融实验：
  • 确认了等变性损失施加在中间层（如第 3 层）效果最佳，过深或过浅都会导致性能下降。
  • 证明了该方法不依赖精细调节的超参数。

5. 意义与影响 (Significance)

• 理论洞察： 论文挑战了“在最终表征上统一优化所有目标”的传统直觉，提出了功能解耦的新范式：不变性用于最终判别，等变性用于中间几何结构保持。
• 实用价值： SER 提供了一种低成本、高效率的改进方案，能够显著提升现有主流 SSL 模型（MoCo, DINO, Barlow Twins）的性能，特别是在鲁棒性和空间任务方面。
• 设计原则推广： 提出的“层解耦”原则不仅适用于 SER，还能直接赋能现有的等变 SSL 方法，为未来结合不变性与等变性的视觉表征学习提供了通用的设计指南。

总结： SER 通过巧妙地将等变性约束从最终表征解耦到中间空间特征层，成功解决了自监督学习中不变性与等变性的冲突，在不增加显著计算成本的前提下，显著提升了模型的判别能力、几何鲁棒性和空间迁移能力。