🤖 machine learning

Robust Representation Learning in Masked Autoencoders

本文研究了掩码自编码器（MAE）的鲁棒表示学习，揭示了其强大的下游分类性能源于渐进式的类别感知潜空间构建、持续的全局注意力，以及通过新型敏感性指标量化的对图像退化的固有韧性。

原作者： Anika Shrivastava, Renu Rameshan, Samar Agnihotri

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Anika Shrivastava, Renu Rameshan, Samar Agnihotri

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“蒙眼艺术家”

想象一下，你正在试图教一台电脑识别动物。通常情况下，你会给它看成千上万张狗、猫和鸟的照片，并为每张照片贴上标签。这篇论文研究的是一种被称为**掩码自编码器（Masked Autoencoders, MAE）**的不同方法。

把 MAE 想象成一位蒙眼的艺术家。你给艺术家看一张狗的照片，但你用黑胶带遮住了其中 75% 的部分。艺术家只能看到零星分布的几块狗毛和耳朵。他们的任务不是给狗贴标签，而是要猜出缺失的部分看起来是什么样子的，并重建整个图像。

本文作者想要理解，为什么这种“蒙眼”方法在后续识别事物时如此出色。他们发现，这种方式让计算机的“思考方式”（其内部表示）变得极其强大且具有抗干扰性，即使在图片变得模糊或部分被遮挡时也是如此。

核心发现 1：逐层构建更好的地图

计算机通过一叠被称为“层”的结构来处理图像，就像建筑中的楼层一样。

底层楼层（早期层）： 当计算机第一次观察图像时，它有点困惑。一片狗耳朵的图块和一片猫耳朵的图块看起来可能非常相似。这就像从远处看一个拥挤的派对；所有人看起来都只是一团模糊的人影。
顶层楼层（深层）： 随着信息在层与层之间向上移动，计算机开始进行自我组织。当信息到达顶层时，它已经构建了一张清晰的“地图”。“狗”的图块和“猫”的图块已经移动到了完全不同的房间里。它们彼此相距甚远，以至于不再产生混淆。

类比： 想象你在分拣一袋混合在一起的红蓝两种颜色的弹珠。开始时，它们乱七八糟地堆在一个桶里。当你摇晃这个桶（通过各层传递信息）时，红色的弹珠自然而然地向一侧漂移，蓝色的向另一侧漂移，直到它们被完美地分隔成两个截然不同的堆。论文表明，MAE 即使在没有人告诉它哪个弹珠是什么颜色的情况下，也能自动完成这一过程。

核心发现 2：“全局视野”

大多数计算机视觉模型观察图像的方式就像人读书：从左上角开始，一行一行地扫描，首先关注微小的细节。

论文发现，MAE 与众不同。因为它被迫去预测缺失的部分，它会立即开始同时观察整幅图像。

类比： 想象一名侦探正在破案。普通的侦探会先看一个线索，然后再看下一个。MAE 则像是一名侦探，在走进房间的那一瞬间，就能立刻将天花板上的线索与地板上的线索联系起来。它从第一秒起就拥有“全局视野”，从而能更快地理解整个故事（即物体的类别）。

核心发现 3：“不可撼动”的大脑

这篇论文最令人兴奋的部分在于这个系统的鲁棒性（强健性）。作者通过两种方式破坏了图像，以此测试计算机：

模糊（Blur）： 让图像看起来像是用抖动的相机拍摄的，或者失焦了。
遮挡（Occlusion）： 根据计算机正在观察的位置，遮住图像中最重要的部分（例如遮住狗的脸）。

结果： 即使图像被严重模糊，或者 50% 的重要部分被遮挡，计算机仍然能得出正确答案！

类比： 想象你在辨认一位朋友。如果对方戴着一副雾蒙蒙的眼镜（模糊），或者用手遮住了半张脸（遮挡），你可能会感到困难。但这个计算机就像一位非常了解你的朋友，即使你戴着伪装或者站在浓雾中，他依然能说出：“这绝对是莎拉！”

他们如何衡量“强度”

为了证明计算机不仅仅是在瞎猜，作者使用了两种特殊的“压力测试”：

方向测试（指南针）： 他们检查了关于一张模糊狗的照片的“想法”，是否与关于一张清晰狗的照片的“想法”指向同一个方向。
- 发现： 即使在严重的模糊情况下，“指南针的指针”也几乎没有移动。它依然指向“狗”。这意味着计算机的内部理解并没有崩溃，只是变得稍微模糊了一些。
特征测试（工具箱）： 他们观察了计算机用来做出决策的具体工具（特征）。
- 发现： 当图像受到轻微损坏时，计算机继续使用相同的工具。但当损坏变得极端时（比如遮住了 90% 的脸），这些工具开始消失，计算机最终陷入了困惑。这与它测试得分的下降完美契合。

结论

论文得出结论，认为掩码自编码器之所以在识别事物方面表现出色，是因为它们构建了一个非常有组织且坚固的内部地图。

它们对信息进行组织，使得不同的类别（如狗与猫）居住在独立且不同的空间中。
它们学会了同时观察整幅图像。
最重要的是，这个内部地图非常强大，以至于当输入内容变得杂乱、模糊或缺失部分时，它也不会崩溃。

计算机不仅仅是在记忆图片，它学习的是对事物的深度、灵活的理解，这使得它很难被欺骗或迷惑。

技术摘要：掩码自编码器中的鲁棒表示学习

问题陈述

尽管掩码自编码器（MAE）通过自监督预训练在图像分类任务中展现出了最先进的性能，但驱动其成功的内部机制仍未得到充分理解。具体而言，在缺乏标签的预训练过程中，预训练 MAE 的潜在空间如何随网络深度构建类别级结构尚不明确。此外，虽然 MAEs 的表现优于标准的视觉 Transformer (ViT)，但其学习到的表示对于输入扰动（如模糊和遮挡）的鲁棒性，以及赋予这种鲁棒性的特定几何特性，尚未得到系统的表征。现有文献主要关注架构变体或训练优化，而非系统地分析学习到的表示本身的演化与行为。

方法论

作者提出了一个综合分析流水线，旨在研究 MAE 在预训练和微调阶段的内部表示。该研究使用了在 ImageNet-1K 上训练的 MAE ViT-Base 架构。

1. 层级结构分析（预训练）：

Token 嵌入演化： 作者从 12 个编码器层中的三个来源提取嵌入：CLS token、原始 patch tokens 以及平均 patch tokens（在可见 patch 上聚合而成）。这些嵌入通过 t-SNE 进行可视化，以观察类别簇的出现。
子空间几何： 为了量化几何结构，作者对每一层每个类别的 patch 嵌入应用奇异值分解 (SVD)。这为每个类别生成了一个低维子空间。类别之间的分离度通过这些子空间之间的主角度 (principal angles) 来衡量。此外，还追踪了奇异值的演化，以评估基向量方向的信息量。
注意力机制： 研究计算了平均注意力距离，以确定 MAE 编码器是依赖局部上下文还是全局上下文，并将其行为与标准 ViTs 进行对比。

2. 鲁棒性评估（微调）：

扰动类型： 微调后的模型在两种特定的退化类型下进行评估：
- 高斯模糊 (Gaussian Blur)： 使用不同内核大小和标准差进行应用。
- 注意力引导的遮挡 (Attention-Guided Occlusion)： 不同于随机掩码，通过识别最受关注的 patch（通过注意力回溯确定）来系统性地遮挡目标模型的关键区域。
鲁棒性指标： 引入了两个指标来量化表示的鲁棒性：
- 方向对齐 (Directional Alignment)： 通过干净的平均 patch 嵌入与源自扰动输入的嵌入之间的余弦相似度来衡量。
- 头部特征保留 (Head-wise Feature Retention)： 作者识别了针对干净输入在单个注意力头中的“活跃特征”（高幅值维度）。随后，他们计算这些特定特征在扰动输入中的保留情况，从而量化共同活跃特征的下降程度 ( $\Delta C$ )。

核心贡献

本文提出了五个主要贡献：

类别可分结构的涌现： 研究表明，预训练的 MAEs 随着网络深度的增加，逐渐发展出类别可分的结构。即使没有显式监督，在 CLS token、平均 patch 和原始 patch 表示中都观察到了明显的类别簇。
几何特征化： 通过子空间分析，作者展示了类特定子空间如何随着网络深度的增加而逐渐分离并变得更加可分。这通过增加的主角度和上升的最小奇异值得到了证实。
全局注意力机制： 与标准 ViTs（从局部转向全局注意力）不同，MAEs 在所有层和所有头中从一开始就表现出持久的全局注意力（高平均注意力距离），这为其快速的结构组织提供了机制上的解释。
鲁棒性量化： 研究评估了在受到高斯模糊和注意力引导遮挡时的微调 MAEs，证明了分类性能在广泛的扰动水平下保持稳定。
敏感性指标： 本文引入了两个互补的指标——方向不变性和注意力头中活跃特征的保留率——来量化潜在表示如何响应扰动，将表示稳定性直接与下游任务性能联系起来。

结果

结构演化： 在编码器早期层中，不同类别的嵌入存在显著重叠。然而，到第 9–10 层时，明显的类别簇开始出现，并在更深的层中变得高度可分。这一趋势在 CLS、平均 patch 和原始 patch token 中均成立。
子空间发散： 主角度分析证实，随着深度的增加，类特定子空间彼此旋转远离。最小奇异值也随深度增加，表明编码器选择了越来越重要的基方向。
对扰动的鲁棒性：
- 模糊： 尽管图像质量显著下降（PSNR 从 28.12 dB 降至 20.06 dB），但在强模糊下 Top-1 准确率仍保持在 80% 以上。
- 遮挡： 模型在 50% 的最受关注 patch 被掩码时仍能保持高准确率。仅在 60% 遮挡后准确率才急剧下降，即使在移除 90% 的受关注 patch 后，准确率仍维持在 60.8%。
- ImageNet-C： 模型对天气、模糊和数字伪影表现出强大的鲁棒性，但在面对较大的分布偏移（如 ImageNet-R 中的艺术化呈现）时表现较弱。
表示稳定性：
- 方向对齐： 在中度扰动下，干净输入与扰动输入之间的嵌入余弦相似度保持在较高水平 (>0.85)。相似度的急剧下降与误分类相关联。
- 特征保留： 在中度扰动下，注意力头中的活跃特征集合与干净输入基本保持一致。只有在极端扰动水平下，特征保留率才会发生快速崩溃，这镜像了分类准确率的下降。

重要性与主张

本文声称，MAE 强大的分类性能从根本上与其预训练期间形成的潜在表示的结构和行为有关。具体而言，作者认为：

类别判别结构的渐进涌现（即便在缺乏标签的情况下）为微调提供了鲁棒的初始化。
MAE 固有的全局注意力机制允许模型从有限的上下文中推断全局结构，从而促进了类别子空间的快速分离。
鲁棒性是内在的： 分类性能在退化情况下的稳定性不仅是数据增强或训练策略的结果，而是根植于学习到的潜在表示的方向不变性和特征保留能力。
所提出的敏感性指标提供了一个定量框架，用于理解为什么 MAEs 在特定的输入退化类型下会成功或失败，从而将表示稳定性直接与下游任务性能联系起来。