Auxiliary-Enhanced Survey Calibration: A Novel Framework for Reject Inference under Sample Selection Bias

技术摘要：用于拒绝推断的辅助增强型调查校准法

问题陈述
信用评分模型通常是在已接受的申请人样本上进行训练的，这产生了样本选择偏差，即训练分布 $P(Y|X, Z=1)$ 与目标总体分布 $P(Y|X)$ 不同。这种现象被称为**拒绝推断（Reject Inference）问题，其根源在于贷方会系统性地拒绝高风险申请人，导致训练集过度富集了“优质还款者”。因此，仅基于接受数据训练的模型往往会低估全量申请池中的违约率。现有的拒绝推断方法通常分为两类：一种是插补（Impute）缺失的拒绝者结果（例如：增广法、重分类法、生成模型）；另一种是重加权（Reweight）**接受样本（例如：逆倾向得分加权法）。作者认为，基于插补的方法在本质上是有缺陷的，因为它们利用一个已经被选择偏差所污染的模型来伪造标签，从而传播并放大了这种扭曲。相反，标准的重加和方法往往会因为违反正性假设（Positivity Assumption）而导致权重极端，从而产生不稳定性。

方法论
本文提出了一种基于调查校准理论（Survey Calibration Theory）（Deville and Sarndal, 1993）的新型框架，该框架完全避免了结果插补。其核心机制是通过计算接受申请人的观测级权重，迫使加权后的样本协变量分布与已知辅助变量的总体总量相匹配。

1. 框架设置：

   • 令 $U$ 为全量申请人总体，$A$ 为接受集合，$R$ 为拒绝集合。
   • 特征被划分为共同变量 $X^{(c)}$（对所有申请人均观测到，用于加权）和非共同/承保变量 $X^{(u)}$（仅对接受的申请人观测到，用于最终的结果模型）。
   • 目标是通过在接受集 $A$ 上最大化加权对数似然函数来估计总体参数 $\theta^*$。

2. 校准权重：

   • 权重 $w_i$ 通过求解一个约束优化问题得出，该问题旨在最小化距离函数 $D(w_i, d_i)$（其中 $d_i$ 是设计权重，通常为 1），并满足加权变量之和等于已知总体总量的约束条件：$\sum_{i \in A} w_i X^{(c)}_i = T^{(c)}$。
   • 作者使用了有界距离函数（具体为有界 Logit 和截断线性距离），而非无界距离函数（如 Raking 或指数距离）。这确保了权重保持在用户指定的区间 $[L, U]$ 内，防止有效样本量坍缩，并避免了与逆倾向得分（IPS）加权相关的稳定性问题。

3. 估计：

   • 使用 Newton-Raphson 算法求解拉格朗日乘子以计算权重。
   • 最终的逻辑回归模型通过最大化校准加权对数似力进行拟合：$\tilde{\ell}(\theta; w) = \sum_{i \in A} w_i [Y_i(\beta_0 + \beta^\top X_i) - \log(1 + \exp(\beta_0 + \beta^\top X_i))]$。
   • 至关重要的是，加权步骤仅使用 $X^{(c)}$，而结果模型则利用完整的特征向量 $X = (X^{(c)}, X^{(u)})$。这使得该方法能够利用仅在接受申请人中可获得的更丰富的承保数据，这是插补方法所不具备的能力。

核心贡献

1. 无插补框架： 作者引入了一种不伪造任何标签的拒绝推断估计器。通过仅依赖重加权，它避免了继承初始“仅接受样本”模型的偏差，而这正是增广法和重分类法固有的缺陷。
2. 理论保证： 本文证明了在随机缺失（MAR）假设下，校准加权估计器具有一致性和 $\sqrt{n}$-渐近正态性。文中还推导出了闭式渐近方差以及用于处理权重估计不确定性的三明治方差估计量（Sandwich Variance Estimator）。
3. 总体投影特征描述： 作者阐明，在模型设定错误的情况下，“仅接受样本”估计器收敛于真实值的选择样本投影，而校准估计器则针对的是总体投影。这种区别正是该方法优于基准模型之处。
4. 权重稳定性： 通过采用有界距离函数，该方法避免了 IPS 和 Raking 等无界重加权技术中常见的极端权重和有效样本量坍缩问题。

实验结果
研究针对三种数据集（Lending Club 数据集、一个带有拒绝者真实标签的半合成 Taiwan Credit 基准数据集以及受控模拟实验）将该方法与九种策略（包括模糊增广、重分类、IPS、Heckman 两步法和生成模型）进行了对比评估。

• 区分度 (AUC)： 在 Lending Club 数据集上，校准方法保持了基准水平的区分度（使用全特征的基准 AUC $\approx$ 0.706，校准后为 0.703）。相比之下，基于插补的方法性能下降，在 Taiwan 基准中损失了高达 11 个 AUC 点，在 Lending Club 中损失了 3.6 个点。作者将此归因于全特征模型能够使用承保变量 ($X^{(u)}$)，而插补方法无法获取这些变量。
• 校准度 (风险估计)： 校准的主要收益在于总体风险估计。在 Lending Club 上，校准将期望校准误差 (ECE) 降低了近三倍（从 0.0112 降至 0.0042），相比于基准模型。在 Taiwan 的设定错误情形下，降幅达到了六倍。插补方法则显著增加了校准误差（最高达 16 倍）。
• 设定错误 (Misspecification)： 在存在模型设定错误（遗漏交互项）的模拟研究中，校准估计器仍能保持接近 Oracle（总体真实值）的水平，而“仅接受样本”基准模型则随着选择强度的增加而显著偏离。
• MNAR 局限性： 正如预期，在 非随机缺失 (MNAR) 选择（即拒绝取决于不可观测的结果）情况下，该方法无法恢复总体参数，这证实了该方法的理论边界。

意义与主张
论文声称校准是拒绝推断的一个安全默认选项。由于将所有权重设为 1 即可完全恢复基准模型，该方法不可能表现得比“仅接受样本”模型更差。其重要性在于：

• 修正总体风险： 它提供了一种统计学上有效的途径来估计总体层面的违约率和校准指标，这对于定价和资本计提至关重要，且不会产生插补法固有的偏差传播风险。
• 对设定错误的鲁棒性： 当工作模型设定错误时，它优于基准模型，能有效地估计总体参数而非有偏的选择样本参数。
• 实际稳定性： 有界距离函数的使用解决了其他重加权方法中常见的数值不稳定性问题。

作者总结道，虽然该方法无法解决 MNAR 选择问题，也无法消除对接受者与拒绝者之间存在共同支撑（Common Support）的需求，但它代表了优于基于插补策略的替代方案，特别是在确保信用评分中总体风险估计的可靠性方面。