SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness

SSLfmm：用于处理混合缺失性的半监督学习 R 程序包技术摘要

问题定义
本文研究了半监督学习（SSL）场景，即在训练数据中特征向量完全观测，但类别标签仅对部分数据可用。一个关键且通常未被建模的方面是控制标签可用性的机制。标准的 SSL 程序通常将缺失标签视为未知的潜在类别，而不去建模其缺失的原因。然而，作者认为缺失过程本身可能包含与分类相关的有用信息。具体而言，本文区分了以下几种情况：

• 完全随机缺失 (MCAR)： 标签的可用性与观测到的特征或类别无关。
• 随机缺失 (MAR)： 标签缺失的概率取决于观测到的特征（特别是分类不确定性/熵），但与缺失的标签本身无关。
• 混合缺失 (Mixed Missingness)： 一种缺失标签源于 MCAR 机制或基于熵的 MAR 机制的场景。至关重要的是，缺失来源（MCAR 与 MAR）可以是观测到的（记录在数据中）或潜在的（未观测到，仅有聚合的缺失指示器可用）。

方法论
作者提出了一个使用高斯有限混合模型的似然框架，其中类别分布与标签缺失过程被共同建模。核心统计公式包括：

1. 类别模型： 每个类别 $i$ 与多元高斯密度 $f_i(y; \omega_i)$ 相关联，其先验概率为 $\pi_i$。
2. 缺失模型：
   • 对于基于熵的 MAR 机制，缺失标签的概率通过观测值的香农熵 $e(y; \theta)$ 的逻辑函数进行建模：$q_j = \text{logit}^{-1}(\xi_0 + \xi_1 \log e(y_j; \theta))$，其中 $\xi_1 > 0$。
   • 对于混合机制，缺失概率是 MCAR 概率 $\alpha$ 与 MAR 概率 $(1-\alpha)q_j$ 的混合。
3. 估计 (ECM 算法)： 使用期望-条件极大化 (ECM) 算法估计参数。
   • E 步： 计算后验类别概率，并将缺失的类别指示器替换为其条件期望。
   • C 步：
     • 如果缺失来源是观测到的，算法根据已知的来源指示器分别更新 MCAR 概率 $\alpha$ 和 MAR 参数 $\xi$，然后更新类别参数 $\theta$。
     • 如果缺失来源是潜在的，算法将每个缺失标签的具体机制（MCAR 与 MAR）视为潜在变量。它计算缺失标签源自 MCAR 通道而非 MAR 通道的后验概率，然后迭代地更新 $\alpha$、$\xi$ 和 $\theta$。

SSLfmm R 程序包
本文介绍了实现这些方法的 R 程序包 SSLfmm。其主要特性包括：

• 统一接口： 单一函数 fit_sslfmm() 可处理完整案例、MCAR、基于熵的 MAR 以及混合 MCAR/MAR 分析。
• 来源处理： 支持两种模式：indicator = "observed"（用户提供缺失来源）和 indicator = "latent"（由推断得出缺失来源）。
• 功能性： 包括模型拟合、预测（类别、后验、熵）、性能评估（准确率、F1、对数损失、Brier 分数）、混合缺失数据模拟以及基于熵的诊断工具。
• 鲁棒性： 使用多个起始值和有界数值优化来处理似然函数的非凸性，特别是对于潜在来源模型。

结果与说明
论文通过两个主要的说明验证了该程序包：

1. 可重复模拟： 一个包含 1,000 个观测值和 31.9% 缺失标签（通过混合 MCAR/MAR 生成）的模拟，比较了观测来源拟合与潜在来源拟合的效果。
   • 两种形式均实现了相似的分类性能（缺失标签子集的准确率 $\approx$ 0.806–0.809）。
   • 潜在来源模型成功恢复了生成参数（$\alpha, \xi_0, \xi_1$），且估计值具有合理的准确度，尽管其估计值的变异性略高于观测来源拟合。
   • 熵诊断确认，在 MAR 机制下生成的观测值表现出更高的分类熵，这与模型的设计一致。
2. 半合成应用（输血数据）： 使用一个人工移除标签以创建 MCAR 和 MAR 子集的真实数据集，作者在等协方差和不等协方差假设下比较了 MCAR、MAR 和混合模型。
   • 在缺失标签子集的硬分类准确率、平衡准确率和宏观 F1 分数方面，混合模型始终优于纯 MCAR 和纯 MAR 模型。
   • 混合模型估计的 MCAR 概率 ($\alpha$) 接近真实的构建值 (0.10)。
   • 熵诊断显示，“MAR”子集（由难以分类的点构建）确实比“MCAR”和“观测”子集具有更高的熵，验证了所拟合模型的解释性。

意义与主张
作者将 SSLfmm 定位为一种专门的工具，旨在架起基于模型的半监督学习与基于似然的缺失数据建模之间的桥梁，而非通用的聚类引擎。

• 独特贡献： 不同于专注于成分分布或处理缺失特征的现有程序包（如 mclust, Rmixmod），SSLfmm 明确地对缺失标签的随机过程进行建模。
• 新颖性： 它是第一个支持混合 MCAR/MAR 机制且缺失来源可以是观测或潜在的实现，并针对每种情况使用了不同的 ECM 算法。
• 实际效用： 该程序包允许研究人员在统一的框架内拟合、比较和诊断关于标签缺失性的不同假设。
• 局限性说明： 作者承认了局限性：目前的实现假设特征完全观测且类别条件分布为高斯分布。他们提醒，当缺失来源是潜在的时，数据中可能包含有限的信息来区分 MCAR 和 MAR 的贡献，因此需要结合诊断工具来仔细解释拟合的参数。他们并不声称混合模型总能占优，而是强调它提供了一个灵活的框架，用于研究关于标签可用性的假设如何影响估计与预测。