Inducing Spatial Locality in Vision Transformers through the Training Protocol
本文表明，在现代训练协议中，从头训练的视觉 Transformer 的早期层会因 CutMix 数据增强技术而产生空间局部性和集中注意力，而无需大规模预训练。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一名学生识别照片中的不同动物。你有两种教学方法：
- “老派”方法：你给他们看整张照片，然后说：“这是一只猫。”他们看着整张图片，可能会被背景搞糊涂，并试图根据整体氛围来猜测答案。
- “现代”方法：你给他们看整张照片，但随后玩一个游戏：你用来自另一张照片的便利贴遮住照片中的随机部分。现在，为了猜出“猫”，他们必须极度专注于猫身上剩下的小块可见部分，而忽略其余部分。
本文探讨的是，当你使用这两种不同的教学方法时，一种名为**视觉 Transformer（ViT）**的特定类型 AI“大脑”内部会发生什么。
问题：“全局凝视者”
视觉 Transformer 功能强大，但它们有一个怪癖。与人眼（或称为 CNN 的旧式 AI 模型）不同，后者会自然地先观察小的、邻近的细节，而 ViT 的设计初衷是一次性观察所有内容。图像的每个部分都可以立即与任何其他部分“交流”。
研究人员想知道：我们能否在不向 ViT 展示数百万张图片的情况下，教会它观察小的、局部的细节（比如猫的耳朵）？
实验：两种训练协议
研究人员选取了一个小型、全新的 AI 模型，并在三组不同的图片集（如小型动物园、中型动物园和大型动物园）上对其进行训练。他们保持 AI 的“大脑”结构完全不变，但改变了教学方式：
- 基线（老派）：他们仅展示带有基本翻转和裁剪的图片。
- 现代（“便利贴”游戏）：他们添加了三种高级技巧：
- AutoAugment：自动改变颜色和形状，使图片看起来不同。
- 标签平滑（Label Smoothing）：告诉 AI：“不要 100% 确定；要谦虚一点。”
- CutMix：这是主角。他们从一张图片中切出一个方块，粘贴到另一张图片上。AI 必须在部分动物缺失或被替换的情况下猜测动物种类。
发现："CutMix"效应
研究人员测量了 AI 注意力的“局部”程度。它是观察整个房间，还是只观察猫的耳朵？
- 结果：“现代”方法使 AI 的早期层（它首先“思考”的内容）非常紧密地聚焦于小的、邻近的区域。它变得更像人眼或传统相机镜头。
- 惊喜：当他们分解“现代”方法以查看哪种技巧在起主要作用时，他们发现只有 CutMix mattered。
- 仅添加“颜色变化”（AutoAugment）或“谦虚”（标签平滑）毫无作用，无法让 AI 进行局部观察。
- 仅在基础训练中添加CutMix，AI 就会突然开始关注局部细节。
- 从高级训练中移除 CutMix，即使其他技巧仍然存在，AI 也会忘记如何进行局部聚焦。
类比：“局部视角”的压力
为什么 CutMix 有效？论文认为这关乎压力。
想象一下，你正试图在人群中辨认一位朋友，但有人不断把牌子挡在他们的脸前。你不能再依赖他们的整张脸或整体着装了。你被迫非常仔细地观察那只可见的眼睛或耳朵。你学会了通过他们的局部、特定特征来识别他们，而不是整张照片。
CutMix 将 AI 置于同样的境地。由于图像的部分内容不断被交换，AI 意识到它不能依赖全局上下文。它必须学会从小型局部区域中提取有用信息，才能得出正确答案。
结论
- 他们的发现：你不需要数百万张图片就能让视觉 Transformer 关注局部细节。你只需要使用一种特定的训练技巧，即CutMix。
- 它的作用：它迫使 AI 的早期层充当局部检测器（聚焦于小块区域），而不是全局扫描器。
- 它不起作用的地方：其他流行的训练技巧（改变颜色或软化置信度）可以提高 AI 的得分，但它们不会改变 AI如何观察图像。只有 CutMix 能改变“凝视”方式。
简而言之，如果你希望你的 AI 学会先看树木再看森林，不要只给它看更多的图片；给它看带有洞的图片。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。