Improving Reliability in Plant Disease Semantic Segmentation by Quantifying Benchmark Contamination and Duplicate Family Exposure

技术摘要：通过量化基准测试污染与重复家族暴露来提高植物病害语义分割的可靠性

问题陈述

植物病害语义分割模型的可靠评估依赖于训练数据与评估数据之间严格的独立性。然而，现有的基准测试往往存在“跨拆分污染（cross-split contamination）”问题，即视觉相关的图像家族（例如：同一场景的多帧图像、裁剪后的叶片或经过变换的副本）同时出现在训练集和测试集中。本文研究了 PlantSeg 基准测试，这是一个包含 115 个病害类别、共 7,774 个图像-掩码对的大型野外数据集。本研究解决了三个关键差距：

1. 是否在 PlantSeg 中存在经证实的跨拆分视觉家族。
2. 与具备污染意识的评估相比，标准的评估得分是否因这种污染而虚高。
3. 训练侧对重复家族的暴露，是否为相关的测试案例相对于独立的干净案例提供了伪造的优势。
4. 是否可以在不牺牲稀有病害类别覆盖度（长尾支持）的情况下，重建一个消除这些家族的组间不相交（group-disjoint）基准测试。

方法论

本研究采用了一种结合自动化检索、人工验证、受控实验和基准重建的严谨“审计-修复（audit-to-repair）”工作流。

1. 完整性审计与图构建：

• 检测： 作者结合了多种相似性信号——MD5 哈希（精确匹配）、感知哈希（pHash）、结构相似性指数（SSIM）、关键点匹配以及 RANSAC 几何关系——来识别候选跨拆分关系。
• 人工验证： 两名独立评审员对 100 对具有实质性意义的图像对进行了裁定。研究者基于人类共识案例训练了一个随机森林（RF）分选模型，用于对剩余候选进行分类。只有当关系代表一个共同的图像、采集会话或场景（例如：同一片叶子、病斑或作物），而非视觉相似但独立的图像时，该关系才会被接受为“经证实的视觉家族”。
• 图（Graph）： 经证实的各种关系形成了图，其中的连通分量定义了“视觉家族”。跨拆分的分量（跨越训练集、验证集或测试集的家族）被标记用于污染分析。

2. 污染意识下的重新评估：

• 干净集合（Clean Cohorts）： 在评估过程中，移除了经证实的跨拆分家族中较晚出现的成员，保留最早的成员以创建“干净”的验证集和测试集。
• 蒙特卡洛控制（Monte Carlo Controls）： 为确保性能下降是由于污染而非测试集规模减小或病害组成改变引起的，作者进行了 5,000 次类别计数匹配的随机移除实验。这建立了一个零分布，用以测试观察到的“发布版对比干净版”的变化是否具有统计学显著性。
• 模型： 使用冻结权重（frozen checkpoints）评估了四种典型架构（DeepLabV3+, U-Net++, SegFormer, UPerNet），以将数据组成的影响与训练随机性分离。

3. 训练侧暴露实验：

• 设计： 一项受控实验比较了使用 DeepLabV3+（种子 42 和 123）的两种训练集：
  • T1： 移除了 273 个标签一致的重复家族暴露训练图像。
  • T2： 移除了 273 个具有完全匹配的病害类别移除特征谱的普通图像（准实验对照）。
• 评估： 模型在“独立干净案例”和“相关的受污染且无冲突案例”上分别进行测试，以隔离暴露是促进了泛化能力还是仅仅记忆了特定的视觉家族。

4. 基准重建：

• 组间不相交拆分（Group-Disjoint Splitting）： 作者通过将每个经证实的视觉家族整体分配到单个分区（训练/验证/测试）中来重建基准测试（G42, G123, G2024），同时保持约 70/10/20 的拆分比例。这种方法旨在消除所有跨拆分现象，同时保留所有 115 个病害类别。

核心贡献

• 人工验证的审计： 首次对 PlantSeg 进行审计并识别出跨拆分视觉家族，揭示了 10.7% 的发布图像（7,774 张中的 829 张）属于经证实的跨拆分家族。
• 量化的污染效应： 证明了在多种架构下，标准的发布拆分评估一致地高估了性能（相比于污染意识评估）。
• 机制隔离： 通过匹配对照实验证明，重复家族暴露对于相关的受污染测试案例提供了显著优势（mIoU 高出 11–15%），但对于独立的干净案例则几乎没有或表现出不一致的收益。
• 组间不相交重建： 成功重建了一个既消除了所有经证实的家族交叉，又保留了全部 115 个病害类别的基准测试。

结果

• 污染率： 审计识别出涉及 829 张图像（占数据集的 10.664%）的 358 个跨拆分连通分量。其中 105 个分量包含语义冲突（不同的病害/标签分配），这些分量已被隔离。
• 评估偏移： 在四种架构中，发布拆分的评估得到的 mIoU 分数均高于干净评估。对于 DeepLabV3+（种子 42），mIoU 从 24.30%（发布版）降至 21.47%（干净版），降幅为 2.83 个百分点。与类别匹配的蒙特卡洛控制相比，这一变化具有统计学显著性（$p=0.00020$）。
• 训练暴露：
  • 干净案例： 移除重复家族暴露（T1 vs. T2）对独立的泛化能力没有产生可重复的收益（偏移量很小且在不同种子间方向不一）。
  • 受污染案例： 保留暴露（T2）对于相关的受污染案例提供了巨大的优势：+11.04%（种子 42）和 +15.20%（种子 123）的 mIoU。
  • 交互作用： 暴露与集合之间的交互作用呈强正相关，证实了性能提升是特定于对相关视觉家族的记忆或过拟合，而非通用的表示学习。
• 长尾影响： 删除受污染图像使中值类别支持从 11 降至 9，并将稀有类别（<10 张图像）的数量从 48 增加到 61。
• 重建可行性： 组间不相交重建（G42）保留了所有 115 个病害类别，并实现了 23.21%（95% 置信区间：21.67–25.04%）的测试 mIoU，证明了无污染基准测试是可训练且可运行的。

意义与主张

本文声称，植物病害分割中的基准测试污染是导致性能估计过于乐观的一个显著且可量化的来源。作者认为：

1. 仅靠文件级唯一性是不够的： 独立性必须在“视觉家族”（场景、作物、变换）层面进行定义，而不仅仅是文件哈希。
2. 污染会抬高绝对得分： 虽然相对的模型排名可能保持稳定，但由于拆分污染，关于模型对独立视觉家族泛化能力的绝对证据被夸大了。
3. 暴露是特异性的，而非通用的： 数据泄露带来的性能增益局限于相关的测试案例，而非代表鲁棒的模型能力。
4. 修复可以在不损失数据的情况下完成： 与会损害稀有类别支持的简单删除不同，组间不相交拆分提供了一种可行的方案，既能实现拆分独立性，又能保留数据集完整的语义覆盖。

研究结论指出，未来的农业人工智能基准测试必须优先考虑完整性感知的拆分构建，并同时报告污染意识结果与标准结果，以确保可靠的泛化估计。