技术摘要：基于不平衡数据的聚焦 PU 学习

1. 问题陈述

本文探讨了在严重类别不平衡和难以检测的正例场景下，正例 - 未标记（PU）学习所面临的挑战。在许多实际应用中（例如欺诈检测、疾病基因识别、财务错报检测），训练数据由少量带标签的正例和大量未标记实例组成。未标记池中主要包含负例，但也隐藏着正例。

现有的 PU 学习方法通常依赖于在实际场景中失效的简化假设：

• 类别不平衡：许多方法假设分布平衡或依赖充足的带标签正例，而当正类代表性不足时，这种情况很少见。
• 标记机制：大多数方法假设完全随机选择（SCAR），即带标签的正例是所有正例的随机子集。然而，现实世界数据往往遵循**随机选择（SAR）假设或概率间隙（PG）**假设，即与负例相似的正例被标记的可能性较低。
• 困难正例：当正例与负例分布显著重叠（PG 场景）时，标准风险估计器难以区分它们，导致性能不佳。

作者认为，当前的最先进方法（如 nnPU、PUHDT）要么在 SAR/PG 假设下失效，要么依赖于数据操作（重采样、两步过滤），这些方法在高度不平衡的场景中可能缺乏鲁棒性。

2. 方法论

所提出的方法称为iFPU（不平衡聚焦 PU），引入了一种新的非负风险估计器，将Focal Loss集成到 PU 学习框架中。

2.1 理论基础

该方法建立在 PU 学习的无偏风险估计器（uPU）和非负风险估计器（nnPU）之上。在标准 PU 学习中，风险 $R(g)$ 利用带标签的正例（$P$）和未标记数据（$U$）进行近似，通过将负风险项 $R_N^-(g)$ 替换为涉及 $U$ 和 $P$ 的表达式：
$$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$$
其中 $\pi_P$ 是类别先验。为了防止负的经验风险（这会导致神经网络过拟合），nnPU 方法应用了非负约束：$\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$。

2.2 聚焦风险估计器

作者观察到，在不平衡设置中，标准风险主要由未标记数据主导，导致模型忽视少数难以区分的正例。为解决这一问题，他们用Focal Loss [50] 替换了标准交叉熵损失。

Focal Loss 降低简单样本（那些被正确分类概率高的样本）的权重，并增加困难样本的权重。概率 $p_t$ 的 Focal Loss 定义为：
$$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$$
其中 $\gamma$ 控制聚焦参数。

作者通过将 PU 风险方程中的标准损失项替换为 Focal Loss 公式，推导出了iFPU 风险估计器：
$$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$$

2.3 训练过程

训练过程利用随机优化（SGD）。该算法的一个关键特征是对非负约束的处理：

• 如果项 $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ 为非负，模型使用完整风险的梯度更新参数。
• 如果该项为负（表明潜在过拟合或违反非负约束），模型会对差分项执行梯度上升步骤，将其推回非负区域，而不是简单地忽略梯度。

该方法设计为端到端，兼容任何基于成本最小化的分类器（例如 MLP、XGBoost），无需数据预处理或重采样。

3. 主要贡献

1. 新型风险估计器：推导了一种专门针对不平衡 PU 数据的非负风险估计器，利用 Focal Loss 显式针对难以分类的正例。
2. 假设放宽：该方法在SCAR和SAR假设下进行了评估，证明了在存在标记偏差（即与负例相似的正例被标记的可能性较低）的场景中具有鲁棒性。
3. 端到端集成：与需要先识别可靠负例的两步法不同，iFPU 直接集成到标准分类器（MLP 和 XGBoost）的训练循环中。
4. 现实世界验证：该方法应用于一个具有挑战性的现实世界问题：财务错报检测，其中由于错误检测的延迟，PU 数据自然产生。

4. 实验结果

作者在14 个公开的不平衡数据集和一个现实世界的金融数据集上评估了 iFPU。

4.1 基准数据集

• 设置：14 个具有不同不平衡比率的数据集。实验在 SCAR 和 SAR 假设下运行，分别标记 25%、50% 和 75% 的正例。
• 对比方法：与 uPU、nnPU、i-nnPU、NNIF（两步法）、PUHDT、PUHRF、LBE 和 SAREM 进行了比较。
• 性能：
  • 在SCAR下，使用 XGBoost 的 iFPU 取得了与最先进方法PUHRF（PU Hellinger 随机森林）相当的结果，在大多数情况下没有统计学上的显著差异。
  • 在更具挑战性的SAR假设下，iFPU 显著优于大多数竞争对手。在最困难的场景（25% 带标签正例）中，iFPU 在 PR-AUC 上超越了 PUHRF 5 个百分点。
  • 该方法对不正确的类别先验估计表现出鲁棒性，即使先验被显著低估，仍能保持性能。

4.2 现实世界应用：财务错报检测

• 背景：检测年度报告（2003–2014）中的财务错报，其中错报罕见且往往多年未被发现（SAR/PG 场景）。
• 设置：与监督基线（带有校准 Focal Loss 的 TabTransformer、Fin-SVM、RUSBoost）和 PU 方法（PUHRF）进行了比较。
• 结果：
  • 提出的iFPUXGB达到了最高的R-precision，为19.95%，优于之前的最先进 TabTransformer 模型（17.63%）和 PUHRF（18.22%）。
  • 结果表明，将问题建模为 PU 学习（承认隐藏的正例）比将未标记数据视为负例能产生显著更好的性能。

5. 意义与主张

本文主张，iFPU代表了不平衡设置下 PU 学习的最新解决方案，特别是在概率间隙假设成立的情况下。

• 鲁棒性：该方法在 SAR 假设下表现良好，且无需复杂的数据操作或重采样，这被视为相对于现有基于树或两步法的主要优势。
• 实用性：成功应用于财务错报检测，证明了该方法在标签稀缺且存在偏差的高风险现实领域中的效用。
• 灵活性：通过依赖兼容各种分类器（MLP、XGBoost）的风险最小化框架，该方法为专用 PU 算法提供了一种灵活的替代方案。

作者谦逊地指出，虽然他们为了避免超参数调整以确保公平比较而未进行调优，但进一步优化 XGBoost 和 Focal Loss 参数可能会产生更强的结果。他们还确定了用于校准的温度缩放以及扩展到多类场景作为未来的研究方向。