Foveation as self-supervision signal: Blur masks beat blank masks for learning robust visual representations
本文表明，在自监督视觉 Transformer 预训练中，使用受生物启发（模拟视网膜中央凹注视）的模糊掩码取代标准的空白掩码，能够通过鼓励模型从低空间频率而非依赖高频细节中学习，从而获得更具鲁棒性和泛化性的视觉表示。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
人类的眼睛并非一个均匀的照相机。当你观察世界时，视线的中心极其锐利，能够分辨出如叶片的纹理或标牌上的文字等精细细节。但随着你的目光向视野边缘移动，那种锐利度会迅速消退，变成一片模糊。这并非缺陷，而是灵长类动物视觉特征的一种体现。每当你的眼睛跳跃到新的位置时，之前模糊的区域就会被带入焦点，而你刚刚注视的区域则开始变得模糊。科学家们长期以来一直好奇，这种不断的锐化与模糊的循环，是否除了单纯的视觉功能之外，还具有其他目的。这种生物节律是否实际上在教导大脑如何更有效地理解世界？
在人工智能领域，研究人员正试图构建能够以类似方式学习视觉的计算机系统。一种流行的方法是向计算机展示一张图像，并遮盖住其中的大块区域，要求它猜出缺失的部分是什么。这迫使系统去学习物体的底层结构，而非仅仅记忆模式。然而，大多数此类系统通过简单地将缺失部分变为平坦的灰色来隐藏它们，这实际上是从画面中抹除了这些信息。这项新研究表明，抹除信息并不是最好的学习方式。相反，作者提出，模拟人类外围视觉的自然模糊，对于人工智能来说可能是一种更为强大的教学手段。
来自哥伦比亚大学的研究人员决定利用一种被称为“视觉转换器”（vision transformer）的人工大脑来测试这一想法。他们采用了标准的隐藏图像部分的方法，并将平坦的灰色块替换为两种不同类型的视觉干扰。第一种类型只是均匀地模糊隐藏部分，就像透过一层雾气朦胧的窗户看照片。第二种类型则更为复杂，旨在精确模仿人类的眼睛：它保持图像中的一个微小点完全清晰，同时让其他所有部分随着距离该点的远近而逐渐模糊。随后，他们训练这些计算机模型，从这些受损的版本中重建原始且清晰的图像。
结果令人震惊。当研究人员测试这些模型在新的、清晰的图像中识别物体的能力时，使用模糊和类眼掩模模式训练的模型，其表现显著优于使用平坦灰色块的标准模型。即使研究人员通过隐藏更多图像内容、缩短学习时间或提供更少的训练样本来增加任务难度，这种优势依然存在。通过模糊进行学习的模型更加稳健。即使在条件恶劣的情况下，它们也不会轻易崩溃，这表明它们学习到了对物体更深层、更灵活的理解。
为了理解发生这种情况的原因，团队仔细观察了模型在做出决策时究竟使用了哪些信息。他们发现，使用平坦灰色块训练的标准模型往往过度依赖高频细节——即那些容易被噪声或失真误导的锐利边缘和精细纹理。相比之下，接受模糊训练的模型则将注意力集中在低频信息上，这对应着物体的宏观形状和整体结构。这种重心的转移被证明是成功的关键。研究人员发现，这种行为与性能之间存在直接联系：模型越依赖精细、锐利的细节，其识别物体的表现就越差。那些拥抱模糊、进而关注宏观形状的模型，才是泛化能力最强的。
研究还探讨了计算机是否仅仅是在学习如何逆转模糊，就像照片编辑器撤销滤镜一样。通过在完全模糊且没有任何可推断清晰部分的图像上测试模型，研究人员证明了模型的行为要复杂得多。它们已经学会了识别图像内部的结构关系，而不仅仅是学习如何消除特定的失真。这表明，从模糊的语境中预测精细细节的过程，迫使人工大脑建立起一个更稳定、更准确的世界内部映射图。
这项工作为从生物学中汲取人工智能灵感提供了一个引人入胜的理由。通过用模拟人类外围视觉中自然且渐进的细节流失过程，取代人工的信息抹除，研究人员创造了一种更为有效的学习信号。研究结果表明，我们眼睛自然扫描世界的方式——在锐利度与广阔视野之间不断权衡——提供了一堂关于稳健性的内置课程。对于我们正在构建的机器视觉而言，教训很明确：有时，看得不那么清晰，反而是理解世界的最佳方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。