Distinguishing Order Effects from Random Variation in Cleaning Pipelines for Tabular Data Classification
本文引入了顺序敏感性指数（Order Sensitivity Index）和置换检验，用于在表格数据分类中严谨地区分有意义的流水线顺序效应与随机变异，揭示了虽然在许多情况下顺序对准确率的影响超出了偶然性，但平衡类别与修正标签的具体序列对于防止少数类标签退化至关重要。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在计算机学会识别电子表格中的模式之前，它接收到的数据必须是干净的。现实世界的记录很少是完美的；它们包含信息缺失的空白处、看起来像错误的异常条目，以及可能错误的标签。为了解决这些问题，数据科学家会使用一系列步骤。他们可能会填补缺失的数字、删除异常条目、修正错误的标签，或者调整类别的比例以确保稀有事件不被忽略。这些步骤是标准做法，但在很长一段时间里，执行这些步骤的顺序被视为一种习惯而非科学选择。当时看来，先修复缺失数字再删除异常条目，或者在平衡组别前先修正标签，似乎都是合乎逻辑的，但没有人曾严格测试过这种顺序是否真的会改变最终结果。
问题的关键在于顺序至关重要，因为每一步都会改变下一步所接收的数据。如果你在修正错误标签之前就通过创建新样本来平衡某个组别，你可能会不小心将这些错误也复制到新的样本中。如果你在组别仍然不平衡时进行标签修正，系统可能会误解稀有组别的正确标签应该是怎样的。虽然此前的一些研究暗示了顺序可能很重要，但它们通常依赖于几次随机测试，而这些测试很容易因偶然性而产生幸运或不幸的结果。由于缺乏区分真实模式与随机噪声的方法，人们无法得知顺序是否真的重要，或者所谓的最佳顺序是否仅仅是一个巧合。
一个研究小组着手解决这个问题，他们将清洗步骤的顺序视为一个需要测试的变量，而不是一个需要遵循的规则。他们采用了十个不同的真实世界数据集，涵盖从医疗记录到信贷申请的各种类型，并刻意在其中引入了特定的错误，例如缺失值、离群值和颠倒的标签。由于他们完全了解错误所在的位置，因此可以衡量每一个清洗决策带来的真实影响。随后，他们在每种数据集上，针对三种不同类型的学习算法，运行了四种关键清洗步骤（填补空白、删除离群值、修正标签和平衡组别）的所有可能排列组合。总计，他们在每个数据集上测试了二十四种不同的顺序，并多次重复该过程，以观察结果在多大程度上仅仅是由于随机偶然性而产生的变化。
为了将真实效应与随机运气区分开来，研究人员开发了一种衡量最好与最差顺序之间差异的新方法。他们将实际的性能差距与如果顺序无关紧要时预期的基准差距进行了比较。这个基准是通过像步骤可以互换一样对结果进行洗牌计算得出的，其本质是在问：“如果我们只是运气好，这种差异会有多大？”他们发现，在许多情况下，一个顺序相对于另一个顺序表现出的优势，很大程度上可以用这种随机变动来解释。事实上，在超过一半的数据集与算法组合中，观察到的差异甚至小于随机偶然性本身所能产生的差异。这意味着在许多情况下，步骤的具体顺序可能并不像之前认为的那样重要，而通过单次测试找到的“最佳”顺序可能仅仅是一个统计学上的偶然。
然而，这项研究确实发现，在特定的、可预测的情况下，顺序确实会产生影响。当数据包含大量的标签噪声，特别是当错误集中在稀有或少数群体时，这种效应会变得更加显著。最一致且最重要的发现涉及标签修正与组别平衡之间的关系。当研究人员在数据仍不平衡时进行标签修正，系统往往会出错，将稀有组别的正确标签改为多数派标签，因为系统最初看到的稀有组别样本太少了。通过先平衡组别，或者确保修正过程能看到一组平衡的样本，系统能更好地保留稀有组组别的正确标签。在这种顺序真正起作用的情况下，这种特定的顺序调整将最终模型的准确度提高了 0.6 到 2.8 个百分点。
研究人员还测试了一个在某组数据上表现良好的序列是否也能适用于另一组数据。他们发现，基于多个数据集的表现而选出的顺序，在应用于一个新的、未见过的数据集时，明显优于随机猜测。这表明，虽然完美的顺序可能会有所不同，但存在普适性的原则。研究结论指出，数据科学家不应针对所有问题都依赖单一的默认序列。相反，他们应该测试不同顺序相对于随机偶然性的情况，并特别关注标签修正与组别平衡的先后顺序，尤其是在处理稀有事件或噪声数据时。这项工作提供了一种明确的方法，用于判断清洗步骤的顺序何时是一个关键的设计选择，以及何时仅仅是一种惯例。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。