Train–Test Leakage in Pothole Detection Benchmarks: Evidence from a Video-Disjoint Re-Split of BharatPotHole
这项研究揭示了广泛使用的 BharatPotHole 数据集由于帧重复和视频重叠而存在严重的训练-测试泄漏问题，这使得检测性能指标人为地虚高了高达 15.2%，并表明采用经过修正的、视频不相交的划分方式，对于获得对新道路上坑洼检测能力的现实评估是至关重要的。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
道路是现代生活的动脉，但它们正不断受到行驶其上的车辆的攻击。其中最常见且最具破坏性的损伤是坑洼——当水渗入裂缝并冻结，或者重型交通单纯地磨损路面时，就会形成这些深坑。这些洞穴不仅仅是不便；它们会损坏车辆，增加摩托车手的事故风险，并迫使城市投入巨额资金进行维修。几十年来，寻找这些缺陷一直是一项缓慢的手动工作，检测员缓慢驾驶并把位置标记在地图上。如今，技术提供了一种更快的替代方案：安装在汽车或仪表盘上的摄像头可以记录视频，计算机程序可以扫描这些画面以自动识别坑洼。这种自动化检测的愿景高度依赖于公共数据集，即研究人员用来教计算机识别坑洼特征的数千张图像集合。如果一台计算机在这些测试图像上表现出色，机构就会假设它在实际道路上也能表现良好。但只有当计算机是在它从未见过的道路上进行测试时，这个假设才成立。
P. Pathmanaban Pugazhendi 的一项新研究调查了这一假设对于名为 BharatPotHole 的流行数据集是否真的成立，该数据集包含数千张印度道路的图像。该研究聚焦于一个微妙但至关重要的缺陷，即被称为“数据泄露”的问题。在机器学习领域，计算机通过学习一组图像（训练集）来学习，然后在一组独立的图像（测试集）上证明其知识。为了确保测试是公平的，测试图像必须与训练图像完全独立。然而，由于道路数据通常来自视频，连续的帧几乎是完全相同的。如果研究人员随机打乱这些帧，并将其中一些放入训练集，另一些放入测试集，计算机可能只是在识别它已经见过的帧，而不是在学习如何识别新路面上的坑洼。这项研究审计了 BharatPotHole 数据集，以查看这种泄露是否夸大了坑洼检测器的报告成功率。
研究人员首先检查了该数据集中发布的全部 7,074 张图像。他们使用数字指纹识别方法来检查是否存在精确的副本和近乎相同的重复项。审计结果显示了惊人的重复现象。在总图像中，有 86 张是完全重复的，另有 2,769 张仅仅是其他帧的导出副本，这些副本通常是由生成图像变体的软件工具创建的。总计有 40.4% 的发布图像并非独特的场景。更重要的是，研究调查了数据集是如何划分为训练组和测试组的。在已公布的分组中，近 99.4% 的测试图像来自于与训练图像相同的视频录像。这意味着对于几乎每一张测试图像，计算机在之前的训练片段中就已经见过了完全相同的道路、相同的光照以及同一个坑洼。
为了了解这种重叠在多大程度上提升了得分，研究人员创建了一个更严格的新版本数据集。他们删除了所有重复图像，然后将剩余的唯一视频进行划分，确保没有任何视频同时出现在训练组和测试组中。这确保了计算机正在接受的是它从未遇到过的全新道路的测试。随后，他们在原始的、存在泄露的版本和这个新的、干净的版本上分别训练了一个标准的坑洼检测模型。当该模型在原始的、存在泄露的集合上进行测试时，其得分达到了 0.619。然而，当完全相同的模型在由新道路组成的干净集合上进行测试时，其得分显著下降至 0.467。这 0.152 的差距代表了 33% 的性能下降，表明以往研究中报告的高分很大程度上归功于计算机对熟悉场景的识别。
研究人员进一步证明，这种下降是由泄露引起的，而非其他因素。他们将基于干净数据训练的模型（该模型在处理新道路时得分很低）拿出来，秘密地用它在训练期间已经见过的图像副本替换了一些测试图像。一旦引入这些熟悉的图像，模型的得分便大幅跳升，当所有测试图像都被替换为训练副本时，得分从 0.133 升至 0.494。相比之下，当他们用其他未见过的图像副本替换测试图像时，得分依然保持在低位。这一实验证实，近乎相同的训练图像的存在是导致性能虚高的唯一原因。此外，当他们在一个来自其他地区的完全不同的数据集上测试该模型时，基于泄露数据训练的模型表现得比基于干净数据训练的模型更差，这证明了在原始数据集上的高分并不能转化为现实世界的处理能力。
研究得出结论，目前道路损伤数据集的划分方式具有误导性。通过随机打乱视频帧，研究人员创造了一种让计算机在测试已经记忆过的数据的情况，从而导致了过于乐观的结果。作者认为，为了使自动化检测系统变得可靠，数据集必须按视频或路线进行划分，确保测试道路与训练道路完全分离。他们还建议，未来的基准测试应移除重复图像，并在来自不同位置的外部数据集上报告性能。如果不进行这些改变，用于评估坑洼检测器的分数可能测量的只是计算机的记忆力，而非其观察前方道路的能力。这些发现提供了一次必要的修正，提醒科学界：只有当测试是对新知识的真正检验时，基准测试中的高分才具有意义。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。