Neyman-Pearson multiclass classification under label noise via empirical likelihood

1. 研究背景与问题定义 (Problem Statement)

背景：
在许多高风险机器学习应用（如医疗诊断、金融欺诈检测）中，不同类别的误分类代价是不对称的。传统的分类器通常最小化整体误分类率，忽略了这种不对称性。Neyman-Pearson 多分类 (NPMC) 框架旨在通过最小化加权误分类风险，同时为特定类别的误分类概率设定上限（即控制特定类型的错误），从而解决这一问题。

核心挑战：
现有的 NPMC 方法通常假设训练数据的标签是准确的（Clean Labels）。然而，在实际应用中，由于测量误差、标注不一致或对抗性噪声，标签往往是被污染的（Noisy Labels）。

• 现有局限： 忽略标签噪声会导致 NPMC 方法产生过于保守的估计，进而导致第二类错误（Type II error）激增，或者无法满足预设的安全性约束。
• 现有方法缺陷： 处理标签噪声的现有方法（如二元分类中的 NP Umbrella 算法）通常需要先验知识，即已知“噪声转移矩阵”（Noise Transition Matrix，即真实标签到噪声标签的条件概率），但这在实际中很难获得。

研究目标：
在仅拥有带噪声标签的训练数据且未知噪声转移矩阵的情况下，构建一个满足 NPMC 约束（即控制特定类别的误分类率）的分类器，并保证其在统计上的一致性。

---

2. 方法论 (Methodology)

作者提出了一种基于经验似然 (Empirical Likelihood, EL) 的框架，结合指数倾斜密度比模型 (Exponential Tilting Density Ratio Model, DRM) 和 EM 算法 来解决上述问题。

2.1 问题设定与假设

• 数据： 观测到 $n$ 个独立同分布的样本 $\{(X_i, \tilde{Y}_i)\}_{i=1}^n$，其中 $X_i$ 是特征，$\tilde{Y}_i$ 是噪声标签（真实标签 $Y_i$ 不可见）。
• 假设 (Assumption 2.1)： 实例独立噪声 (Instance-independent noise)。即给定真实标签 $Y$，噪声标签 $\tilde{Y}$ 与特征 $X$ 条件独立。这是处理标签噪声的标准假设。
• 目标： 利用噪声数据估计真实类别的先验概率 $w^*_k = P(Y=k)$ 和真实后验概率 $\pi^*_k(x) = P(Y=k|X=x)$，进而构建满足 NPMC 约束的分类器。

2.2 核心模型：密度比模型 (DRM)

作者利用 DRM 建立真实分布 $P^*_k$ 与噪声分布 $\tilde{P}^*_l$ 之间的关系：

1. 指数倾斜关系： 假设真实类别的条件分布满足指数倾斜形式：
   $$\frac{dP^*_k}{dP^*_0}(x) = \exp(\gamma^*_k + \langle \beta^*_k, g(x) \rangle)$$
   其中 $g(x)$ 是基函数（如 $g(x)=x$），$\gamma, \beta$ 是参数。
2. 噪声分布建模： 基于实例独立假设，噪声分布 $\tilde{P}^*_l$ 是真实分布的混合：
   $$\frac{d\tilde{P}^*_l}{dP^*_0}(x) = \sum_{k} M^*_{lk} \frac{dP^*_k}{dP^*_0}(x)$$
   其中 $M^*$ 是混淆矩阵（与噪声转移矩阵 $T^*$ 互为逆关系）。

2.3 估计方法：经验似然 (EL) 与 EM 算法

由于真实标签 $Y$ 缺失，直接最大化似然函数是非凸且困难的。作者采用以下步骤：

1. 经验似然构建： 将基分布 $P^*_0$ 视为非参数分布，利用经验似然函数同时估计参数 $\theta = (w, \gamma, \beta, T)$。
2. EM 算法优化：
   • E 步 (Expectation)： 基于当前参数估计，计算每个样本属于真实类别 $k$ 的后验概率 $\omega_{ik} = P(Y_i=k | \tilde{Y}_i, X_i)$。
   • M 步 (Maximization)： 固定 $\omega_{ik}$，更新参数：
     • 更新类别比例 $w_k$。
     • 更新噪声转移矩阵 $T_{lk}$。
     • 更新 DRM 参数 $(\gamma, \beta)$：这被转化为一个加权多项逻辑回归 (Weighted Multinomial Logistic Regression) 问题，可直接求解。
   • 收敛性： 证明该 EM 算法单调增加轮廓经验似然函数，保证收敛到局部最优。

2.4 分类器构建

一旦通过上述方法获得了真实类别比例 $\hat{w}_k$ 和后验概率 $\hat{\pi}_k(x)$ 的一致估计量，即可直接代入 Tian & Feng (2025) 提出的 NPMC 求解器（基于对偶问题的凸优化算法），构建最终的分类器 $\hat{\phi}$。

---

3. 主要贡献与理论保证 (Key Contributions & Theoretical Guarantees)

3.1 无需先验知识

该方法不需要预先知道噪声转移矩阵 $T^*$ 或其边界。这是与现有方法（如 Yao et al., 2023）的主要区别，后者需要已知噪声参数或边界。

3.2 统计性质

• 一致性 (Consistency)： 证明了最大经验似然估计量 (MELE) $\hat{\theta}$ 是真实参数 $\theta^*$ 的一致估计。
• 渐近正态性 (Asymptotic Normality)： 证明了 $\sqrt{n}(\hat{\theta} - \theta^*)$ 依分布收敛于正态分布，且收敛速率为最优的 $O(n^{-1/2})$。
• 可识别性 (Identifiability)： 在 mild 条件下（如特征系数线性无关、混淆矩阵满秩等），证明了模型参数是严格可识别的，解决了混合模型中常见的标签交换模糊性问题。

3.3 误差控制保证 (Oracle Inequalities)

• 二元分类： 证明了在目标类型 I 错误率 $\alpha$ 下，分类器的类型 I 错误率满足：
  $$P^*_0(\hat{\phi}(X) \neq 0) \le \alpha + O_p(n^{-1/2})$$
  即随着样本量增加，错误率渐近收敛到目标水平。
• 多分类 (NPMC)： 当原始 NPMC 问题可行时，证明了分类器满足 NP Oracle 不等式，即各类别的特定错误率渐近满足预设约束。

---

4. 实验结果 (Experimental Results)

作者通过模拟实验和真实数据集验证了方法的有效性。

4.1 模拟实验

• 设置： 包括高斯分布、均匀分布（圆内）、t-分布等多种数据生成场景，以及不同程度的标签噪声（$\eta \in \{0.05, \dots, 0.2\}$）。
• 对比基线：
  • Vanilla： 忽略噪声，直接训练。
  • NPC / NPC：* 基于 Yao et al. (2023) 的方法，需要已知噪声参数或边界。
  • Oracle： 使用真实干净标签训练的理想情况。
• 结果：
  • Vanilla 方法在噪声下表现极差，通常过于保守（Type I 错误远低于目标，导致 Type II 错误激增）。
  • NPC 方法在噪声参数未知时表现不稳定或过于保守。
  • 本文方法 (Ours) 在 Type I 错误控制上非常接近目标值（略高于目标但在统计允许范围内），且 Type II 错误（或整体风险）显著低于 Vanilla 和 NPC 方法，性能几乎等同于 Oracle（即使模型存在轻微误设）。

4.2 真实数据实验

• 数据集： Landsat Satellite（卫星图像）和 Dry Bean（干豆分类）。
• 结果： 在真实噪声环境下，本文方法在满足误差约束的同时，显著降低了目标函数值（即误分类风险），表现优于忽略噪声的基线方法，且接近 Oracle 性能。

---

5. 意义与结论 (Significance & Conclusion)

核心意义：

1. 填补空白： 首次将 NPMC 框架系统性地扩展到未知噪声转移矩阵的多分类场景，解决了高安全要求场景下标签噪声带来的理论挑战。
2. 实用性强： 不需要昂贵的噪声参数标注或先验知识，通过数据驱动的方式（EL + EM）自动校正噪声影响，具有极高的实际应用价值。
3. 理论严谨： 提供了完整的统计理论支撑，包括可识别性、收敛速率和误差控制界限，为后续研究奠定了坚实基础。

未来方向：

• 结合数据自适应的基函数选择（如深度学习特征提取）。
• 扩展到更复杂的实例依赖噪声 (Instance-dependent noise) 场景。

总结：
这篇论文提出了一种鲁棒且理论完备的方法，使得在标签被污染的情况下，依然能够训练出满足严格安全约束（Neyman-Pearson 准则）的分类器。这对于医疗、金融等对错误类型有严格区分的高风险领域具有重要的应用前景。