Revitalizing Dense Material Segmentation: Stabilized Vision Transformers and the Generalization Paradox

想象一下，你正在教一个机器人观察房间并描述所有物品的材质。机器人仅仅说出“那是一把椅子”是不够的；它还需要知道这把椅子是由皮革、木材还是塑料制成的。这被称为材质分割。

长期以来，这项任务一直停滞不前。苹果（Apple）创建的一个特定数据集（称为 Apple-DMS）本应成为教导机器人掌握这项技能的黄金标准，但进展却陷入了停滞。模型屡屡受挫，而该领域正转向其他类型的 AI，这些 AI 擅长识别形状（例如“那是一张桌子”），却在识别纹理（例如“那是抛光石材还是玻璃”）方面表现糟糕。

这篇论文就像一次救援行动。作者们重新审视了那个旧的苹果数据集，修复了一些断裂的链接，并构建了一个全新的现代 AI 系统来解决这个问题。以下是他们发现的简单解释：

1. 问题：“模糊边界”难题

想象一下试图画一张木桌的画。木材与空气之间的边缘并不像剪影那样是一条清晰锐利的线；它有点模糊，而且木纹一直延伸到边缘。

作者发现，当他们尝试将现代强大的 AI 模型（称为视觉 Transformer）用于这项任务时，结果失败了。为什么呢？因为这些模型习惯于寻找清晰、独立的物体（如汽车或人）。当面对材质的“模糊”、连续的特性时，AI 感到困惑，其学习过程变得不稳定，并开始死记硬背训练图片，而不是真正学习材质。

2. 解决方案：一种特殊的“稳定器”配方

为了解决这个问题，作者们并没有简单地投入更多数据。他们创建了一种特殊的训练“配方”，以平复 AI 的躁动并帮助它专注于正确的细节：

• 高保真 Logit 投影：这就像是一个高分辨率的放大镜。AI 不再眯着眼看材质模糊的边缘，而是被迫观察精细的细节（如织物的编织纹理或木材的纹路），直至像素级别。
• 查询熵正则化：想象 AI 是一位正在提问的侦探。有时，侦探会过早地变得过于自信，从而停止寻找其他线索。这项技术迫使 AI 保持谦逊，在做出最终猜测之前继续探索不同的可能性。
• 物理感知增强：在训练 AI 时，他们并没有随机更改颜色（这可能会把红苹果变成绿苹果，从而混淆材质判断）。相反，他们添加了逼真的光照效果，如光泽反射，以教导 AI 材质在不同光照下如何呈现，而不改变材质本身的属性。

3. 重大发现：“泛化悖论”

这是论文中最有趣的部分。作者尝试了 AI 中常见的一种技巧：改变数据划分的方式。

• 原始划分：原始的苹果数据集包含一个非常严格、困难的测试。这就像是一场期末考试，其中的问题与练习题截然不同。
• 新划分：他们重新排列了数据，使 80% 用于练习，仅 10% 用于测试。这是一种“数据丰富”的设置。

悖论：
当他们使用新划分时，AI 的测试分数上升了（看起来它变聪明了）。
然而，当作者向 AI 展示它从未见过的真实世界图片时，分数较高的 AI 实际上表现得更差。

类比：
想象一个学生因为练习题与真实考试过于相似，而背下了练习题的确切答案。他们在练习题上得了 100 分（即“新划分”）。但当他们面对真实世界的问题（光照不同或角度怪异）时，他们却失败了。
分数较高的 AI 学会了通过识别数据集中的模式（例如“这张照片是在具有特定光照的摄影棚拍摄的”）来作弊，而不是真正学习木材或塑料长什么样。分数较低的 AI 是在困难的“原始划分”上训练的，它学会了识别材质本身，因此在现实世界中更加稳健。

4. 获胜者：“纹理优先”架构

作者测试了两种类型的 AI 架构：

1. Mask2Former：该模型试图寻找独立的“物体”并围绕它们画框。由于材质往往相互融合且没有清晰的边界框，它 struggle 重重。
2. SegFormer：该模型观察整个场景并理解纹理的层次。它赢得了比赛。

作者发现，SegFormer（具体为 SegFormer-B5 版本）是这项工作的最佳选择。通过使用他们特殊的“稳定器配方”，他们在困难的原始测试中取得了新的最高分记录。

结论

这篇论文得出结论：材质感知尚未解决。仅仅因为 AI 在测试中获得了高分，并不意味着它理解了物理世界。

他们敦促 AI 社区停止使用人为抬高分数“容易”的数据划分。相反，我们应该坚持使用困难、严格的测试（如原始的 Apple-DMS 划分），因为它们迫使 AI 学习材质的真实物理特性，而不仅仅是数据集的统计规律。他们已发布代码并恢复了数据，以便他人能继续这项工作。