📈 economics

Hard and Soft Label Assignment for Cost-Sensitive Semi-Supervised Reject Inference in Credit Scoring

本文提出了 RI-CSCEM，一种成本敏感的半监督期望最大化框架，该框架通过为信用评分中被拒绝的申请人分配硬伪标签或软伪标签，有效地缓解了样本选择偏差和不对称误分类成本，从而在 Lending Club 数据集上表现优于仅基于已接受样本的基准模型。

原作者： Abderrahim EL AMRANI, Mounir EL ANNAS, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abderrahim EL AMRANI, Mounir EL ANNAS, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在决定谁能获得贷款的银行经理。你面前有一份庞大的申请人名单，但你只见过那些被你接受的人的结果。你知道谁还清了贷款，谁违约了。但是，对于那成千上万被你拒绝的人呢？你完全不知道他们原本会是优秀的借款人还是糟糕的借款人。你直接把他们丢弃了。

这造成了一个盲点。如果你只从那些被你接受的人身上学习，你的“风险评分”可能会带有偏差，因为你从未在那些被你说“不”的人身上测试过你的规则。这被称为拒绝推断（Reject Inference）：试图猜测那些被你拒绝的人原本会发生什么。

然而，这里存在第二个问题：在贷款业务中，犯错的代价是不相等的。

错误 A： 你拒绝了一个优秀的人。你损失了一点利息收入。
错误 B： 你接受了一个糟糕的人（违约者）。他们没有偿还贷款，你损失了全部的贷款金额。
错误 B 的代价要高得多。大多数标准的计算机模型将这两类错误视为同等对待，这就像是在说失去一美元和失去一栋房子是一样一样的。

解决方案：RI-CSCEM

该论文的作者构建了一个名为 RI-CSCEM 的新工具。把它想象成一个聪明的、具备成本意识的老师，它既能从通过的学生（被接受的申请人）身上学习，也能从被踢出教室的学生（被拒绝的申请人）身上学习。

它是如何运作的，这里使用简单的类比：

1. “软”预测 vs. “硬”预测

当模型观察一个被拒绝的申请人时，它必须猜测：“这个人原本会还清贷款吗？”

“硬”方法（旧方法）： 模型强行做一个二元选择。它说：“这个人肯定是好的还款者，”或者“这个人肯定是坏的还款者。”这就像一名裁判吹响哨声，以 100% 的确定性判定一次判罚是“安全”还是“出界”。问题在于，如果裁判并不确定，强行做出决定会毁掉比赛。
“软”方法（本文的创新）： 模型会说：“这个人有 60% 的概率是好的还款者，40% 的概率是坏的还款者。”它分配了一个软责任（soft responsibility）。它没有使用单一的标签，而是将申请人分布在两种可能性之中。
- 类比： 想象一个陪审团。他们不是投票“有罪”或“无罪”，而是投票“60% 有罪，40% 无罪”。这保留了细微差别和不确定性，有助于模型更好地学习模式。

2. “成本敏感型”平衡

模型知道捕捉到“坏还款者”比避免“虚假警报”更重要。

它使用了一个特殊的比例尺。如果模型认为某人可能是违约者，它会比认为某人可能是好还款者时，赋予后者更重的权重。
它还有一个保持平衡的规则。它确保模型在被拒绝群体中猜测出的“坏还款者”数量，与它在被接受群体中实际看到的坏还款者比例相匹配。这可以防止模型为了保险起见而变得极端，从而判定所有人都是坏还款者。

3. 学习循环（“老师”法）

该模型使用了一种称为**分类 EM（Classification EM）**的技术。想象一位老师试图为一份有一半答案缺失的试卷评分：

第一步（猜测）： 老师根据目前掌握的信息，对缺失的答案做出最佳猜测。
第二步（教学）： 老师利用这些猜测来重新学习整个班级（包括已知答案和猜测的答案），以改进其评分规则。
第三步（重复）： 老师基于改进后的规则做出新的、更好的猜测，如此循环往复，直到评分规则趋于完美。

他们发现了什么？

作者在 Lending Club（一个大型在线贷款平台）的真实数据上测试了该模型。他们将这个新工具与 12 种其他方法进行了对比，其中包括标准模型和其他“拒绝推断”技巧。

结果： 他们的工具（RI-CSCEM）表现得与仅观察被接受申请人的最佳模型一样出色。它并没有神奇地变得超人，但它成功地利用了“被拒绝”的数据，且没有损害性能。
关键发现： “软”方法是成功的秘诀。当他们强迫模型做出“硬”猜测（确定是好人或坏人）时，模型会变得混乱，并丧失区分好坏借款人的能力。当他们使用“软”猜测（概率）时，模型的区分能力（称为 AUC）显著提升。
“为什么”： 论文解释说，由于银行的拒绝规则是基于可见数据（如信用评分）制定的，因此“被拒绝”的群体并非隐藏着天才或罪犯。他们只是一个与被接受群体相似的混合体。因此，模型不需要成为魔术师来猜测他们的结果；它只需要小心不要犯下昂贵的错误。

核心结论

这篇论文介绍了一种让银行从被拒绝的人身上学习的更聪明的方法。通过将被拒绝的申请人视为“可能好，也可能坏”（软标签），而不是强行做出是非判断，并充分考虑损失资金的成本，该模型变得更加稳健。当拒绝规则是公平的时候，它并不一定会比现有方法更好地预测未来，但它确保了模型在尝试从不完整数据中学习时不会崩溃。

技术摘要：用于成本敏感型半监督信用评分中的硬标签与软标签分配

1. 问题陈述

信用风险评分卡传统上仅在被接受的申请人基础上进行训练，因为只有这些人拥有记录的还款结果。这种做法引入了样本选择偏差（sample selection bias），导致模型在接受人群中表现良好，但在更广泛的申请池中表现较差。此外，标准的分类方法往往忽略了信用评分中误分类的非对称成本：将违约者误判为合格（假阴性，False Negative）的成本显著高于将合格还款者误判为违约（假阳性，False Positive）的成本。

现有的拒绝推断（Reject Inference, RI）方法通常无法同时解决这些问题。许多方法假设类别分布平衡，或将误分类误差视为成本相等，这会导致次优的经济结果。此外，虽然半监督学习将拒绝的申请人视为缺失标签的实例，但很少有框架能在特定的拒绝机制（如随机缺失，Missing at Random, MAR）下提供关于一致性的正式理论保证，同时整合成本敏感目标。

2. 方法论：RI-CSCEM

本文提出了 RI-CSCEM（拒绝推断 - 成本敏感分类期望最大化），这是一个将半监督逻辑回归与成本敏感学习相结合的统一框架。该方法作用于数据集 $D = D_l \cup D_u$ ，其中 $D_l$ 包含已标记（已接受）的申请人， $D_u$ 包含未标记（被拒绝）的申请人。

2.1 核心算法

该算法遵循分类 EM（Classification EM, CEM）程序，包含两个交替步骤：

E-步（标签分配）：
该方法并非为拒绝的申请人分配单一的硬标签，而是采用了一种**软责任（soft responsibility）**机制。对于每个未标记的申请人 $j$ ，计算一个成本加权差异准则：
$\text{Diff}(j) = C_{FN} \log(1 + e^{-z_j}) - C_{FP} \log(1 + e^{z_j})$
其中 $z_j = \beta^\top x_j$ ，且 $C_{FN}, C_{FP}$ 分别为假阴性和假阳性的成本。

该准则通过一个由温度参数 $\tau$ 校准的 Sigmoid 函数映射为软违约概率 $q_j \in (0, 1)$ 。至关重要的是，分配过程受到平衡约束的限制：未标记集合中的预期违约比例必须等于在已接受集合（ $D_l$ ）中观察到的经验违约率 $r$ 。这防止了所有拒绝者都被分配到单一类别的退化解。

此外还定义了一个硬标签变体，作为一种特例：将具有最低成本加权损失的 $\lfloor r \cdot m \rfloor$ 个拒绝者分配为硬标签 1（违约），其余分配为 0。
M-步（参数估计）：
模型在增强后的数据集上拟合一个成本敏感的 $\ell_1$ 惩罚逻辑回归。其目标函数 $L(\beta, q)$ 结合了：
1. 已标记数据（ $D_l$ ）上的加权逻辑损失。
2. 未标记数据（ $D_u$ ）上的软分配加权损失，并由超参数 $\lambda \in [0, 1]$ 进行缩放。
3. 用于特征选择和稀疏性的 $\ell_1$ 惩罚项（ $\mu \|\beta\|_1$ ）。
未标记数据的贡献由 $\lambda$ 进行缩放，从而实现了在纯监督（ $\lambda=0$ ）与全半监督（ $\lambda=1$ ）机制之间的插值。

2.2 理论保证

论文提供了两个关键的理论结果：

单调下降： 对于硬标签变体，交替进行的 E-步和 M-步保证了目标函数是单调不增的，从而确保了收敛性。
MAR 下的一致性： 在 随机缺失（Missing at Random, MAR） 假设下（即拒绝决策仅取决于观测到的协变量，而与未观测到的违约结果无关），RI-CSCEM 估计量是一致的。作者证明，在 MAR 假设下，仅基于接受样本的估计量本身就是无偏的；因此，拒绝推断程序并不会在渐近意义上改进估计量，而是作为一个诊断工具，用于衡量何时拒绝推断能产生价值（特别是当 MAR 不成立时）。

3. 主要贡献

统一框架： RI-CSCEM 在单一的惩罚似然框架内统一了半监督学习和成本敏感学习，同时解决了样本选择偏差和类别不平衡问题。
软分配与硬分配： 本文引入了一种基于成本加权准则的软责任分配方式，根据成本权重将拒绝的申请人分布到不同类别中。实证结果表明，这种方式保留了硬伪标签（hard pseudo-labelling）会破坏的判别能力。
理论严谨性： 该工作为硬标签变体的单调下降以及 MAR 下的一致性建立了正式的保证，为评估拒绝推断的必要性提供了受控环境。
严格基准测试： 研究采用了稳健的实验设计，包括 30 次分层抽样和针对 12 个竞争模型的统计检验（Friedman 和 Nemenyi 检验），这些模型涵盖了传统的拒绝推断、重采样策略以及半监督基准模型。

4. 实验结果

该方法在 Lending Club 数据集（约 127 万已接受申请人和 206 万被拒绝申请人）上进行了评估。

性能： 在 30 次分层抽样中，RI-CSCEM 的平均总误分类成本为 1120.3。
对比： 该性能与表现最好的“仅接受样本”基准模型——成本敏感逻辑回归（1070.4）和 SMOTE 平衡逻辑回归（1104.7）在统计上没有显著差异。
消融研究：
- 成本敏感加权： 从基础 CEM 模型转向成本敏感加权（CEM+CS）显著降低了成本（从 1401.5 降至 1215.6），并使模型远离了平凡的“全非违约”解。
- 软责任： 用软责任取代硬标签（即完整的 RI-CSCEM）进一步降低了成本至 1120.3，并恢复了判别力，使 AUC 从 0.589 提升至 0.614。
- 硬 vs 软： 硬标签变体（RI-CSCEM-hard）的表现与 CEM+CS 相似（1214.3 vs 1215.6），证实了软分配是 AUC 提升的主要驱动力。
统计显著性： Friedman 检验拒绝了各模型性能相等的原假设（ $p < 10^{-3}$ ）。Nemenyi 事后检验确认，RI-CSCEM 与表现最好的“仅接受样本”基准模型属于同一个具有统计显著性的组别。

5. 意义与主张

本文声称 RI-CSCEM 为信用评分文献提供了一个诊断基准。其主要意义在于证明，在 随机缺失（MAR） 的拒绝机制下，拒绝推断相对于经过良好调优的成本敏感“仅接受样本”模型而言，增加的价值微乎其微。作者认为，在 MAR 假设下，仅基于接受样本的估计量本身就是无偏的，所提出的框架证实了这一点。

论文谦虚地总结道，拒绝推断的真正益处应出现在 非随机缺失（Missing Not at Random, MNAR） 的场景中，即拒绝决策取决于未观测到的因素。目前的工作通过证明 MAR 下的一致性，并分离出提升模型性能的具体组成部分（成本敏感性和软分配），为未来的此类扩展奠定了严谨的基础。作者并不声称 RI-CSCEM 在所有机制下都能普遍优于所有基准模型，而是强调在拒绝机制是可忽略的情况下，它能匹配最强的基准模型，同时提供了一个处理未标记数据的、具有理论依据的稳健机制。