An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

以下是用通俗语言和日常类比对该论文的解读。

宏观图景：“多个正确答案”问题

想象你正在尝试预测一场国际象棋比赛的获胜者。你拥有一个过往比赛的数据库，但存在一个问题：90% 的比赛由白方获胜，只有 10% 由黑方获胜。这被称为不平衡数据集。

如果你直接用这些数据训练计算机模型而不进行修正，计算机会变得“懒惰”。它会学会“白方总是赢”，因此对每一场新比赛都预测“白方赢”。虽然它能获得 90% 的准确率，但在预测黑方获胜时却完全失败。

为了解决这个问题，数据科学家使用平衡方法。这就像厨师往汤里添加食材：

• 过采样（Oversampling）： 复制稀有的“黑方获胜”比赛，使它们的数量增加（就像多加盐）。
• 欠采样（Undersampling）： 丢弃一些常见的“白方获胜”比赛，使总量减少（就像去除多余的水）。

目标是让计算机关注少数类。但这篇论文提出了一个令人担忧的问题：修正数据是否会制造一种新的混乱？

罗生门效应：“多种真相”现象

这篇论文使用了一个名为**罗生门效应（Rashomon Effect）*的概念。想象一个犯罪现场，五名不同的目击者提供了五个不同的故事。这五个故事都合乎情理*且同样符合事实，但它们彼此矛盾。

在机器学习中，罗生门集（Rashomon Set）是指一组不同的计算机模型，它们的整体表现几乎完全相同（它们都是“合乎情理”的），但它们对同一个人或情况做出不同的预测。

• 模型 A 说：“这位贷款申请人是安全的。”
• 模型 B 说：“这位贷款申请人是有风险的。”
• 两个模型 的整体准确率得分相同。

如果你只是随机挑选一个模型（盲目选择），你可能会意外选中那个拒绝给好人贷款的那个模型，尽管另一个同样准确的模型本会批准它。这被称为预测多重性（Predictive Multiplicity）。

实验：当我们平衡数据时会发生什么？

作者想知道：使用平衡方法（过采样/欠采样）是否会加剧这种“多种真相”的问题？

他们选取了 21 个不同的真实世界数据集（如垃圾邮件检测、信用卡欺诈和葡萄酒质量），并通过一个名为"Forester"的“模型工厂”（一种工具）运行这些数据集，该工具为每个数据集生成数百个略有不同的模型。他们分两次进行了操作：

1. 使用原始的、不平衡的数据。
2. 使用平衡后的数据（应用平衡方法后）。

随后，他们测量了三个指标，以观察模型之间在多大程度上存在分歧：

1. 歧义性（Ambiguity）： 有多少人得到了相互矛盾的答案？（例如：“100 人中有 5 人得到了不同的预测。”）
2. 差异度（Discrepancy）： 最坏的情况是什么？（例如：“某一个特定模型在 20 个人身上与其他模型意见相左。”）
3. 模糊度（Obscurity，新指标）： 这是该论文提出的新概念。它衡量的是平均混乱程度。它不仅仅问“是否存在冲突？”，而是问“平均而言，这种冲突有多混乱？”可以将其理解为测量数据上方的“迷雾”浓度。

发现：“修正”让迷雾更浓了

以下是他们的发现：

• 平衡方法增加了混乱： 当他们使用平衡方法（如 SMOTE 或随机过采样）时，模糊度和差异度都上升了。
  • 类比： 想象你正在公园里寻找一只走失的狗。在原始公园（不平衡数据）中，所有搜救犬都同意狗的位置。但是，当你加入“平衡”（比如增加更多搜救犬或改变地形）时，搜救犬开始朝不同方向吠叫。它们仍然是“好”狗，但它们无法就位置达成一致。
• “部分”修正并未奏效： 一些专家建议使用“部分重采样”（只平衡一部分数据，而不是 100%）来避免这种混乱。作者对此进行了测试，但发现这并没有帮助。无论他们平衡了多少数据，混乱程度依然很高。
• 变量重要性发生了变化： 他们还检查了模型是否关注了不同的线索。例如，一个模型可能认为“收入”是最重要的因素，而另一个模型则认为“年龄”最重要。他们发现，虽然在统计意义上重要性的顺序没有发生剧烈变化，但平衡方法确实使模型的整体行为发生了变化。

解决方案：一个新的仪表盘

既然无法阻止混乱的发生，作者提出了一种监控它的方法。

他们建议使用扩展性能增益图（Extended Performance-Gain Plot）。

• 想象一个带有两个刻度盘的仪表盘。
• 刻度盘 1（水平）： 显示模型在正确预测方面提高了多少（性能增益）。
• 刻度盘 2（垂直）： 显示模型之间相互分歧的程度（多重性/模糊度）。

教训： 你不应该只看刻度盘 1。你可能会发现某种方法略微提高了准确率（刻度盘 1 上升），但它导致了分歧的巨大爆发（刻度盘 2 大幅上升）。作者表示，你需要同时观察两个刻度盘才能做出负责任的决策。

论文主张总结

1. 对于不平衡问题，平衡数据是必要的，但它具有隐藏成本。
2. 平衡方法增加了“预测多重性”。 它们创造了一种情境，即许多模型同样准确，但对同一些人给出相互矛盾的答案。
3. 新指标： 他们引入了“模糊度”来衡量这些模型预测在平均意义上有多“模糊”或冲突。
4. 部分重采样不是灵丹妙药。 它无法解决混乱加剧的问题。
5. 负责任的 AI： 在选择模型时，你不仅要检查它是否准确，还要检查它是否稳定。如果你从由平衡方法创建的“罗生门集”中盲目挑选一个模型，你可能会做出任意决定，从而伤害个人。

该论文得出结论：虽然平衡方法是解决不平衡数据的“避风港”，但研究人员必须小心，不要盲目走进预测冲突的迷雾中。他们需要利用新的“仪表盘”（扩展图）来观察准确率与稳定性之间的权衡。