Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

在显微成像领域，科学家们经常面临着稀缺性的问题。他们需要教会计算机识别金属表面的微小缺陷或晶体上的单个原子，但他们根本没有足够的图片来进行训练。一次扫描可能需要数小时，而研究人员可能只能捕捉到一打关于特定缺陷的高质量图像。为了克服这种短缺，研究人员使用了一种被称为数据增强的标准技巧。他们将那些少量的原始图像进行数学上的扭曲——旋转、翻转、改变亮度或轻微模糊——从而创造出数百甚至数千个新的训练样本。这就像是拿着一张树的照片，通过创造出成百上千个略有不同的版本，来教导学生什么是树。

这种训练的目标是建立一个能够观察全新的、未见过的图像并正确识别缺陷的模型。为了证明模型的有效性，科学家将数据分为两堆：一堆用于教学，另一堆用于测试。模型从第一堆数据中学习，然后在第二堆数据上接受评分。如果模型得分很高，就假设它是聪明的，并已准备好投入实际应用。然而，一个关键问题仍然存在：模型是真的理解了“缺陷”的概念，还是仅仅记住了它所展示过的特定图像？这种区别在于真正的学习与简单的识别之间的差异。

哈尔滨工业大学的张少轩（Shaoxuan Zhang）最近的一项研究调查了这一过程中经常出现的隐藏缺陷。研究人员发现，当科学家利用极少数原始图像生成数千张训练图像时，他们在如何分离“教学堆”和“测试堆”方面经常犯错。他们没有将原始来源图像单独保留，而是将所有扭曲后的版本混合在一起，然后随机分配。这意味着用于测试的图片可能是模型在训练期间已经看过的图片的旋转或亮度调整后的副本。模型测试的并不是它对新情况的泛化能力，而是它识别已知内容的近乎重复物体的能力。该研究精确测量了这种错误如何在多大程度上夸大了报告的成功率，并提出了一种修复报告标准的简单方法。

为了衡量这个问题的大小，研究人员使用两种不同类型的显微数据建立了一个受控实验。其中一个数据集包含钢表面的缺陷图像，另一个包含通过扫描隧道显微镜捕获的晶体点缺陷图像。在这两种情况下，研究人员都从少量的原始图像（称为采集图像/acquisitions）开始。对于每张原始图像，他们使用标准的计算机技巧生成了八十个不同的变体。随后，他们创建了两种不同的拆分方式。第一种方法是目前许多论文中常见的做法：将所有原始图像的所有变体全部混合在一个大桶里，然后随机抽取一些用于训练，另一些用于测试。第二种方法更为严格：它保留了完整的原始图像。它为测试预留了一整张原始图像，而仅使用剩余原始图像的变体进行训练。这确保了模型从未见过测试图像中的任何内容。

结果显示，两种方法之间存在巨大的差距。当模型使用随机混合法进行训练和测试时，它达到了近乎完美的得分。在钢表面数据集中，模型的得分达到了1.000，意味着它找到了所有应该找到的缺陷。然而，当同一个模型使用保持原始来源独立的更严格方法进行测试时，得分大幅下降。在数据预算最小的情况下（即每种缺陷类型只有两个原始图像时），随机法高估了模型的性能，在以1.0为完美的量表中，误差超过了0.5分。即使将原始图像的数量增加到十个，随机法仍然显著夸大了表现。模型并非未能学习，而是太擅长识别它已经学习过的副本了。

研究还揭示了这种膨胀在不同类型的缺陷中并不均匀。有些缺陷很容易通过其纹理来识别，无论使用哪种测试方法，模型的表现都很好。然而，对于那些依赖于原始扫描特定外观的缺陷，随机法让模型看起来像个天才，而严格法则显示出它正在挣扎。这表明，此类研究中的高分可能并不意味着模型已经学会了寻找一般的缺陷，而是意味着它学会了识别训练数据中特定的伪影。随着原始图像数量的增加，两种方法之间的差距略有缩小，但并未消失。即使在拥有十个原始图像时，随机法的得分仍比严格法高出三十个百分点，这表明问题依然存在。

研究人员还开发了一个简单的工具，无需训练模型即可检测此问题。通过将测试集中的图像与训练集中的图像进行比较，该工具可以计算出有多少测试图像在训练集中拥有“兄弟”。所谓的“兄弟”，仅仅是指同一张原始图像的变体。如果大量的测试图像在训练集中拥有兄弟，那就是评估存在缺陷的明确信号。这种检查只需几秒钟即可完成，且不需要特殊硬件。研究发现，在有缺陷的随机拆分中，几乎每个测试图像在训练集中都有兄弟，而在严格拆分中，则一个都没有。

基于这些发现，该论文提出了一个关于研究人员应如何报告工作的标准建议。作者不应仅仅说明使用了多少张图像，而应报告他们最初拥有多少个原始的、独立的采集图像（acquisitions）。他们应当明确说明数据是在图像被扭曲和扩展之前还是之后进行拆分的。他们应当指明拆分的单位，例如是按单张图像拆分，还是按原始来源拆分。最后，他们应当包含一个简单的检查，以显示有多少测试图像在训练集中拥有兄弟。这四项信息都易于提供，并且能让小数据研究中的局限性变得透明而非隐蔽。

研究结论指出，在研究人员通常只有少量原始扫描图像的小数据成像领域，目前的模型评估方式具有误导性。许多论文中报告的高分描述的是模型识别训练数据副本的能力，而非其在面对全新、未见情况时寻找缺陷的能力。随着这些计算机系统从离线分析转向控制实际实验，依赖这些被夸大的分数可能会导致错误的决策。解决方案不一定在于新的算法或更强大的计算机，而在于如何处理和报告数据。通过保持原始来源的独立性并保持过程的透明度，科学界可以确保我们构建的模型真正具备应对现实世界的能力。