💻 computer science

How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors

通过一项全面的蒙特卡洛调查，本文证明了虽然训练样本量是 SHAP 归因保真度的主要驱动因素，但常见的类别不平衡处理方法往往会扭曲特征排名和量级，从而导致作者建议在优先考虑 SHAP 可解释性时，应避免使用重平衡，而倾向于使用类别权重。

原作者： Rıdvan Kara

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Rıdvan Kara

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破案的侦探。你有一个计算机助手（机器学习模型）通过观察线索（数据）来锁定嫌疑人。为了信任这台计算机，你要求它解释为什么指向了某个特定的嫌疑人。它给了你一个理由列表，说道：“线索 A 贡献了 40%，线索 B 贡献了 10%，等等。”这种解释工具被称为 SHAP。

现在，想象这场犯罪非常罕见。也许每 100 起案件中只有 1 起是犯罪，而另外 99 起都是无辜的人。这被称为类别不平衡（class imbalance）。由于“犯罪”案例如此稀少，计算机会感到困惑。为了解决这个问题，数据科学家通常会在教导计算机之前尝试“平衡”训练数据。他们可能会：

复制粘贴稀有的犯罪案例（随机过采样/Random Oversampling）。
丢弃大部分无辜的案例（随机欠采样/Random Undersampling）。
发明虚假的犯罪案例，使其看起来像真实的案例（SMOTE/ADASYN）。
告诉计算机要格外关注稀有的犯罪，但不改变数据本身（类别权重/Class Weighting）。

核心问题是：当我们修复数据不平衡时，我们会无意中破坏计算机的解释吗？ 最重要的线索列表是否保持不变？那些数字（比如“40% 的贡献”）是否依然准确？

作者 Rıdvan Kara 进行了一场大规模模拟（就像用不同的设置重复进行 14,000 次实验）来找出答案。以下是他发现的研究结果，使用了简单的类比：

1. 类别规模比修复手段更重要

最重要的发现是：你拥有多少个样本比你使用哪种平衡技巧要重要得多。

类比： 想象你在尝试猜一种汤的味道。如果你只有一小勺汤（样本量很小），那么无论你在这一小勺里加盐、加糖还是加胡椒，你的猜测都会很不稳定。但如果你有一大锅汤（样本量很大），无论你对食材做了什么处理，你的猜测都会很准确。
结果： 增加喂给计算机的数据量是获得可靠解释的最佳途径。选择哪种平衡方法的重要性比单纯拥有更多数据要低 3 到 5 倍。

2. “排名”与“量级”的陷阱

论文对两种类型的解释做了关键区分：

排名（Ranking）： “谁是头号嫌疑人？”（线索 A 是否比线索 B 更重要？）
量级（Magnitude）： “线索 A 贡献了多少？”（它是贡献了 10% 还是 50%？）

研究发现，某些平衡技巧擅长搞定顺序，但在搞定数字方面表现糟糕。

类比： 想象一场比赛。
- 随机过采样（复制粘贴稀有案例）就像一位教练，他确保了那个应该获胜的选手排在第一位（排名是准确的）。然而，这位教练随后告诉大家，获胜者的速度比实际速度快了两倍（量级被夸大了/是错误的）。
- 随机欠采样（丢弃数据）就像一位教练解雇了一半的队员。现在，他们甚至无法判断谁是跑得最快的，速度数值也完全崩溃了。他们在排名和量级上都失败了。

3. 最好的“不做处理”和“温和”修复法

在寻找最诚实的解释时，论文发现了两个赢家，它们并没有试图强行让数据看起来平衡：

不进行重平衡（No Rebalancing）： 直接使用原始的、不平衡的数据。
类别权重（Class Weighting）： 告诉计算机：“嘿，这些稀有的犯罪很重要，所以请格外关注它们”，但不删除或复制任何数据。

这两者都处于“帕累托前沿”（Pareto frontier），这意味着它们在搞定顺序和保持数字准确性方面表现都是最好的。它们是“侵入性最小”的处理方式。

4. 合成“虚假”数据的缺陷

那些发明虚假数据的方法（SMOTE 和 ADASYN）虽然在确定嫌疑人顺序方面表现尚可，但却弄乱了数字。

类比： 这就像一位艺术家为了填补照片中的空白而画了一张假脸。这张脸看起来像个人（排名没问题），但如果你试图测量眼睛之间的距离，测量结果是错误的，因为这张脸并不是真实的。

5. “极端稀有”的危险区

论文发现，当犯罪极其罕见（少于 5% 的案例）且数据量很少时，这些问题会变得更加严重。

类比： 如果你试图在干草堆里找一根针，而你手里只有一小块干草，那么无论你用什么技巧去“平衡”这块干草，你都很可能会错过那根针，或者猜错针的大小。但如果你有一整个谷仓的干草，你可以轻松找到那根针，而且那些技巧也就没那么重要了。

建议总结

如果你正在使用 AI 来解释决策（例如在医疗诊断或信用评分中），并且你的数据是不平衡的：

先获取更多数据。 这是最强大的工具。
如果你需要准确的数字，不要复制粘贴或丢弃数据。 这些方法会扭曲解释中的“贡献程度”部分。
如果必须进行平衡，请使用类别权重（告诉模型要更加关注）或者干脆不去处理数据。这些方法能保持解释的诚实。
同时检查顺序和数字。 不要只看哪个特征是第一名；还要检查其贡献百分比是否合理，因为某些方法会通过数字来掩盖它们的错误。

论文得出结论：虽然平衡数据有助于计算机更好地进行预测，但它往往会破坏计算机准确解释自身的能力。如果你需要一个值得信赖的解释，最温和的方法（类别权重）或者根本不做处理通常是最好的选择。

技术摘要：类别不平衡处理如何扭曲 SHAP 归因保真度

问题陈述
SHAP（SHapley Additive exPlanations）是解释高风险领域（如医疗诊断、欺诈检测和信用评分）中基于树的分类器的标准方法。从业者通常应用类别不平衡处理手段——随机过采样/欠采样、合成方法（SMOTE、ADASYN）以及类别权重——以提高预测性能。然而，其隐含的假设即上游数据操纵不会对下游 SHAP 归因产生扭曲，这一点尚未得到测试。虽然这些处理对预测指标（AUC、F1）的影响已有详尽文献记载，但其对特征归因保真度的影响却尚不明确。具体而言，目前尚不清楚这些处理是否保留了特征重要性的相对排序或归因的数值量级，而这两者对于不同的可解释性任务（例如，识别主要贡献者 vs. 风险分解）都至关重要。

研究方法
本研究采用受控的蒙特卡洛模拟框架，旨在隔离不平衡处理对 SHAP 保真度的影响，并解决了现有文献中的三个方法论空白：

先验参考（Oracle Reference）： 本研究没有使用类别平衡的参考集（因为这会扭曲量级尺度），而是通过在每个模拟单元的原生类别不平衡状态下，利用近乎无限的训练数据计算出一个先验参考。
任务难度校准： 数据生成过程（DGP）经过校准，使得所有单元的贝叶斯最优 AUC 保持恒定（目标为 0.82 ± 0.01）。这确保了观察到的 SHAP 保真度差异是由处理手段本身引起的，而非由于基准任务难度的变化所致。
双重保真度指标： 研究明确区分了排序保真度（特征重要性顺序的保留）与量级保真度（归因值的保留）。

实验设计

数据生成： 使用从多元正态分布中抽取的 $p=20$ 个特征的合成数据集。测试了两种相关结构：独立特征和块相关特征（块内 $\rho=0.6$ ）。
因素：
- 流行率 ( $\pi$ )： 0.02, 0.05, 0.10, 0.20。
- 样本量 ( $n$ )： 500, 2,000, 10,000。
- 相关性： 独立、块相关。
- 处理手段 ( $k=6$ )： 无（基准）、随机过采样、随机欠采样、SMOTE、ADASYN 以及类别权重。
模型： 使用具有容量自适应超参数（具体为随后平衡样本量缩放的 min_data_in_leaf，以防止极端欠采样时的模型退化）的 LightGBM。
规模： 24 个设计单元 $\times$ 100 次重复 = 计划进行 2,400 次运行。成功拟合的总数为 14,371 次（由于合成方法在极端稀有/小样本情况下的最近邻约束，出现了 28 次失败）。
评估： 在原生流行率的评估集（5,000 个观测值）上计算 SHAP 值，以模拟部署环境。保真度通过 11 个指标进行衡量：6 个基于排名的指标（Kendall $\tau$ , Spearman $\rho$ , RBO, Jaccard@k, Recall@k）和 5 个基于量级的指标（L1, L2, 余弦相似度）。

关键结果
调查得出四个主要发现：

样本量主导处理选择： 训练样本量是 SHAP 排序保真度的主要驱动因素，其影响力大约是类别不平衡处理手段的 3 到 5 倍。将 $n$ 从 500 增加到 10,000 会使排序保真度（Kendall $\tau$ ）提升约 0.22，而固定 $n$ 时，最佳与最差处理之间的差距仅为约 0.03 到 0.07。
极端稀有性和小样本会放大差距： 处理手段之间的分歧在极端稀有（ $\pi \le 0.05$ ）和小样本（ $n \le 2,000$ ）条件下最为显著。在这些条件下，处理手段带来的差距可以与样本量效应相抗衡。随机欠采样表现尤为糟糕，通常无法产生有意义的模型。
排序保真度与量级保真度的分歧： 两个维度的保真度呈现出性质不同的处理排名。
- 排序： 随机过采样表现最好（Kendall $\tau$ 最高），紧随其后的是 SMOTE 和“无处理”。随机欠采样始终表现最差。
- 量级： “无处理”和“类别权重”共同占据主导地位，能最好地保留归因的量级。随机过采样虽然在排序方面表现良好，但会显著膨胀归因的量级。合成方法（SMOTE, ADASYN）在量级方面表现不佳。随机欠采样在两个维度上都是最差的。
帕累托前沿（Pareto Frontier）： “无再平衡”和“类别权重”共同占据帕累托前沿，提供了保留排序与量级的最佳权衡。只有当唯一目标是排序时，随机过采样才具有优势，但它会扭曲量级。随机欠采样在两个维度上都被支配。

意义与主张
本文声称，认为不平衡处理对 SHAP 归因是中性的这一假设是错误的。研究表明：

解释性需要双重报告： 仅依赖基于排序的指标会掩盖过采样导致的量级膨胀。反之，仅依赖量级指标则会掩盖过采样的排序优势。为了全面评估保真度，必须同时报告这两类指标。
默认建议： 当 SHAP 归因作为交付成果时，从业者应优先选择侵入性最小的处理方式。“无再平衡”和“类别权重”被推荐为默认选择，因为它们能同时保留特征贡献的顺序和量级。
评估分布至关重要： 研究表明，使用类别平衡的评估集进行 SHAP 分析会引入量级扭曲。为了使 SHAP 量级与现实世界的部署场景保持一致，必须使用原生流行率的评估集。

作者总结道，虽然预测性能的文献可能为某些重采样技术提供辩护，但这些选择在可解释性保真度方面付出了特定的代价。对于使用 SHAP 进行风险分解、特征工程或定量推理的应用，常见重采样技术（尤其是随机过采样和欠采样）造成的量级扭曲构成了显著风险，而这种风险可以通过采用类别权重或不进行再平衡来减轻。