Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

想象一下，你是一名正在试图从100人的人群中寻找一名单一窃贼的侦探。其中92人是无辜的，只有8人是有罪的。如果你只是猜测“所有人都是无辜的”，你的准确率会高达92%！但你抓不到任何一个窃贼。在计算机科学领域，这被称为“类别不平衡”（class imbalance）问题。这种情况发生在计算机模型训练的数据中，某种结果（比如贷款被偿还）发生的频率远高于另一种结果（比如贷款违约）。因为计算机看到了太多“好”的例子，它会变得偷懒，仅仅预测每个人都是“好”的，从而无法发现那些稀有的“坏”例子。

多年来，标准的解决方法是一种叫做 SMOTE 的技术。把 SMOTE 想象成一台专门针对稀有案例的复印机。如果你只有八张窃贼的照片，SMOTE 会通过混合和匹配真实照片中的细节来创建虚假的、合成的新窃贼照片，希望能给计算机足够的练习机会来学习其中的模式。但还有另一种方法。某些特定的计算机模型，特别是像 XGBoost 这样强大的类型，内置了一个用于处理错误的“音量旋钮”。你不需要制造假数据，只需告诉计算机：“嘿，如果你漏掉了一个窃贼，那是一个巨大的错误！如果你漏掉了一个无辜的人，那只是一个小错误。”这迫使模型去额外关注那些稀有的案例，而无需触碰原始数据。

大问题在于：是更好地制造虚假的练习数据（SMOTE），还是直接调高错误的“音量”（内置旋钮）？来自旁遮甲工程学院（Punjab Engineering College）的 Atharv Tiwari 进行的一项新研究，将这两种方法进行了一场正面交锋，以观察在现实世界的信用评分领域，哪种方法实际上能抓到更多的“窃贼”。

---

信用卡大战

在这项研究中，研究人员使用了一个包含超过30万份真实贷款申请的庞大数据集构建了一个大规模实验。在这个人群中，92%的人偿还了贷款，只有8%的人违约。这是测试不同计算机模型如何在不被那92%分心的前提下，精准识别出那8%的完美设置。

研究人员不仅挑选了一个模型，还测试了三位不同的“侦探”：

1. 逻辑回归（Logistic Regression）： 一个遵循严格规则、可靠且传统的侦探。
2. 随机森林（Random Forest）： 一支由多名侦探组成的团队，他们各自以不同的方式观察线索并对答案进行投票。
3. XGBoost： 一个超级聪明的侦探，它通过一次又一次地从错误中学习，变得越来越敏锐。

每位侦探都被赋予了三种不同的训练策略：

• “不做任何事”策略： 直接把原始数据丢给他们，看看会发生什么。
• “音量旋钮”策略： 使用模型内置的设置，对错过违约者的行为进行重罚（不使用假数据）。
• “复印机”策略： 使用 SMOTE 来创建虚假的违约者，以平衡训练数据。

令人震惊的结果

结果有点像悬疑电影里的情节反转。“不做任何事”的策略让所有模型都惨败，几乎抓不到任何违约者（召回率低于2.2%）。这是预料之中的。但“音量旋钮”与“复印机”之间的战斗才是精彩之处。

当研究人员使用 XGBoost 时，内置的“音量旋钮”策略碾压了竞争对手。它成功抓住了 64.8% 的实际违约者。而使用了数十年之久的传统解决方案——“复印机”策略（SMOTE），仅抓住了 43.3%。这是一个高达 21.5 个百分点 的巨大差距。研究人员运行了严格的统计检验（称为 McNemar 检验），并确认这不是偶然现象；这种差异巨大到在统计学上是确定的（$p < 10^{-6}$）。

然而，当他们切换到 随机森林 时，故事发生了彻底的转变。对于这个模型，“音量旋钮”几乎不起作用（仅抓住了7.8%的违约者），而“复印机”（SMOTE）表现得好得多，抓住了 41.2%。

这表明，解决不平衡数据并没有单一的“灵丹妙药”。对一种类型的计算机模型有效的方案，对另一种模型可能会失效。研究表明，对于特定的、强大的 XGBoost 模型，仅仅告诉模型要更加在意那些稀有的错误，比喂给它合成的假数据要高效得多。

为什么“复印机”失败了（而“旋钮”赢了）

那么，为什么制造假数据会对 XGBoost 模型产生负面影响呢？研究人员解释说，当你拥有一个包含192个不同特征（如收入、年龄和信用历史）的复杂数据集时，通过混合两个真实的人来创建一个“假人”，可能会产生一个现实中并不存在的“怪物”。这就像试图通过融合猫和狗的照片来创造一种新动物；结果可能会看起来很怪异，从而迷惑计算机。模型最终学习到的是噪声，而不是真实的模式。

内置的“音量旋钮”完全避免了这个陷阱。它不触碰数据，也不创建虚假样本。它只是改变了背后的数学逻辑，表达为：“不要错过那些稀有的案例！”这保持了训练过程的纯净，并让 XGBoost 能够发挥出最佳水平。

“谁”背后的“为什么”

为了确保这个获胜的模型不仅仅是一个做出随机猜测的“黑箱”，研究人员使用了 SHAP 工具（全称是 SHapley Additive exPlanations，即沙普利加性解释）。把 SHAP 想象成一个放大镜，它能清晰地展示侦探利用哪些线索做出了决定。

分析显示，该模型的行为是非常符合逻辑的。最重要的线索是 外部征信分数（来自其他银行的信用评分）。这完全合乎情理：如果一个人有偿还其他贷方债务的历史，那么他们也很可能会偿还你的贷款。模型还观察了贷款金额与还款金额的比率以及借款人的年龄。至关重要的是，模型的推理过程是透明且可辩护的，这对于需要向监管机构解释决策过程的银行来说至关重要。

核心结论

研究结论指出，在你开始生成数以千计的虚假数据点来解决不平衡问题之前，你应该先尝试你模型本身已有的简单内置工具。对于 XGBoost 而言，内置的权重分配不仅更易于使用，而且更为有效，它捕捉到的违约者比传统方法多出了近 22%。

然而，研究人员警告说，这并不是一条普遍适用的规则。由于随机森林在“复印机”方法下表现更好，你不能假设一种技术适用于所有模型。最好的方法完全取决于你正在使用哪位“侦探”。在对违约捕捉至关重要且必须解释决策的受监管银行业务中，这一发现提供了一条更清晰、更高效的路径：先尝试简单的“旋钮”，但一定要检查它是否契合你的特定模型。