Leakage-audited cross-dataset evaluation reveals large generalization gaps in deep learning models for apple and maize disease recognition
本研究表明，尽管用于苹果和玉米病害识别的深度学习模型在经过严格的泄漏审计后，在精心策划的基准测试中达到了近乎完美的准确率，但在测试独立收集的外部数据集时仍表现出严重的泛化差距，这凸显了进行独立评估以评估真实田间就绪性的至关重要性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，农民和农业科学家一直依赖早期检测来拯救受毁灭性疾病威胁的农作物。当叶片变成奇怪的颜色或出现斑点图案时，这可能预示着威胁整个收成的病原体的到来。近年来，由人工智能驱动的计算机系统已被训练用于自动识别这些迹象，为快速诊断提供了潜在工具。这些系统通过学习成千上万张图像进行训练，最终达到在受控设置下近乎完美地识别病变叶片的程度。然而，一个关键问题一直萦绕在背景中：这些数字专家是真的理解了疾病，还是仅仅记住了拍摄训练照片时的特定条件？如果计算机之所以能识别某种疾病，是因为它学会了识别实验室照片中统一的白色背景，那么当面对在杂乱、阳光斑驳的果园中拍摄的叶片时，它可能会完全失效。
来自印度达亚南达·萨加尔大学（Dayananda Sagar University）研究人员的一项新研究通过对五种不同的人工智能模型进行严格测试，解决了这一不确定性。该团队专注于两种重要的作物——苹果和玉米，并提出了一个简单而深刻的问题：一个在纯净、经过精心挑选的图像上训练的模型，在面对现实世界拍摄的照片时，能否表现良好？为了回答这个问题，他们不仅比较了得分，还进行了细致的审计，以确保测试公平且没有隐藏的陷阱。他们从一个以干净、影棚级照片著称的流行公开数据集中收集了苹果和玉米叶片的图像。然后，他们利用这些图像训练了五种不同类型的神经网络——这些复杂的计算机程序旨在模仿大脑处理视觉信息的方式。在开始训练之前，研究人员进行了严格检查，以确保没有任何用于测试的图像秘密隐藏在训练集中，这是导致性能数字虚高的一种常见问题，被称为“数据泄露”。他们删除了训练数据中发现的七个完全重复的文件，并确认测试图像在视觉上甚至不至于相似到可以被视为训练图像的副本。
一旦模型训练完成，研究人员就让它们面临一个它们从未见过的挑战。他们使用来自不同来源（包括一场主要的农业竞赛和从互联网收集的图像）的 1,730 张苹果叶片图像和 371 张玉米叶片图像对系统进行了测试。这些新图像是在真实的果园和农田中拍摄的，具有多变的光照、自然背景和不同的相机角度。结果是鲜明且具有启发性的。在原始的、干净的图像上，模型的表现堪称完美，几乎每次都能正确识别叶片的健康状况。但当同样的模型观察现实世界的图像时，它们的表现大幅下降。对于苹果叶片，准确率显著下降，表现最好的模型也仅能在约 72% 的案例中正确识别疾病状态，而其他模型的表现则低得多。对于玉米叶片，情况甚至更加糟糕；模型挣扎得如此厉害，以至于其成功率几乎不比随机猜测好多少，有些模型甚至比单纯选择最常见的疾病进行预测的表现还要差。
该研究仔细排除了这种失败是由测试图像是训练图像副本的可能性。审计确认这些图像确实是不同的，这意味着性能的下降不是测试过程中的错误，而是模型处理变化能力的真实反映。研究人员得出结论，在科学论文中经常被赞誉的高分，在应用于田间条件时具有误导性。模型已经学会了依赖于那些存在于干净影棚照片中的微妙线索——例如背景的具体色调或光照角度——而不是疾病真实的生物学特征。当这些线索在杂乱的农场现实中消失时，模型就迷失了方向。这一发现表明，当前一代的疾病检测工具尚未准备好在实地广泛使用。实验室里的完美分数与农民手中的实用工具之间仍存在巨大的差距，弥合这一差距将需要在宣布其准备好部署之前，先在独立的、现实世界的数据上对系统进行测试。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。