Uncertainty-Aware Model Selection with a Calibrated Probability-Generating-Function-Based Bayesian Information Criterion

技术摘要：基于校准 PGF-BIC 的不确定性感知模型选择

问题陈述
从单细胞 RNA 计数数据中选择随机基因表达模型，需要在拟合优度与机制复杂性之间取得平衡。虽然基于概率生成函数（PGF）的贝叶斯信息准则（PGF-BIC）提供了一种高效的方法，用于在无需重建完整计数分布的情况下进行模型比较，但其传统实现依赖于“零阈值规则”。该规则规定，只要复杂模型的惩罚得分较低，就会选择更复杂的模型。然而，这种方法未能考虑到拟合得分差异中的采样不确定性。在有限样本中，经验 PGF 的波动以及估计的协方差权重可能产生看似具有得分优势的复杂模型，而这些优势实际上与噪声无法区分，从而导致过度选择不必要的复杂模型。

方法论
作者提出了一种不确定性感知 PGF-BIC 规则，该规则使用数据驱动的阈值取代了固定的零截断值。该方法通过以下技术步骤进行：

1. 得分分解： 将复杂模型（$M_2$）与简单模型（$M_1$）之间的惩罚得分差异（$\Delta_n$）分解为确定性惩罚项和代表最小化拟合距离差异的随机项。随机成分源于经验 PGF 与估计的协方差联合变异性。
2. 通过 Cantelli 不等式进行阈值公式化： 为了确定一个能够控制错误选择概率的选择边际，作者采用了 Cantelli 单侧不等式。这使得可以推导出一种以得分差异的标准差表示的阈值，从而确保在复杂模型在真实总体层面并无优势时，选择该复杂模型的概率被控制在目标水平 $\alpha$ 之内。
3. 影响函数分析： 为了在不使用重采样（如 Bootstrap）的情况下估计采样波动的规模，作者利用了影响函数。通过将拟合的得分差异视为数据分布的一个泛函，他们推导出了一个一阶泰勒展开式。这产生了一个表示采样波动的形式，即一系列细胞特定贡献（$\psi(X_i)$）之和。
4. 方差估计： 通过估计影响函数的方差来量化得分差异的标准差。该估计考虑了经验 PGF 和估计的协方差权重的变异性。
5. 选择规则： 仅当复杂模型的得分优势超过计算出的阈值（$\Delta_n > c_{n,\alpha}$）时，才选择该复杂模型，其中 $c_{n,\alpha}$ 是根据估计的标准差和目标误差率导出的。

核心贡献

• 校准决策规则： 本文引入了一种改进的 PGF-BIC 规则，该规则将采样不确定性纳入模型选择决策中，超越了二元的“得分越低越优”方法。
• 解析方差估计： 利用影响函数进行的一种新颖推导，提供了对 PGF-BIC 得分差异中采样波动的一阶描述。这使得在无需重采样或额外优化的情况下，即可计算出数据驱动的阈值。
• 保持效率： 该校准保留了原始 PGF-BIC 框架的计算效率，因为它利用现有的模型拟合结果，且不需要重建完整的计数分布或进行重复的似然评估。

结果
作者通过一个基准测试验证了所提方法，该测试对比了泊松模型（较简单）与爆发式模型（Bursty model）（较复杂），其中泊松分布是爆发式分布的一个边界极限。

• 模拟发现： 在由泊松模型生成数据的模拟中，传统的 PGF-BIC 规则频繁地选择了更复杂的爆发式模型（在 $n=100$ 时错误选择率为 ~70%，在 $n=1000$ 时为 ~35%）。
• 校准性能： 在各种样本量（$n=100, 500, 1000$）下，不确定性感知规则显著降低了复杂模型的错误选择率。校准后的阈值成功区分了真实的模型优势与由采样噪声引起的波动。

意义与主张
本文声称，所提出的校准方法解决了标准模型选择准则在单细胞数据背景下的一个关键局限性：即无法在有限样本中区分可重复的拟合优势与噪声诱导的人为现象。通过量化得分差异的不确定性，该方法防止了对随机基因表达模型的过拟合。作者强调，这种方法在将不确定性量化集成到模型选择中的同时，保持了分析大规模单细胞数据集所需的计算可行性，既不需要重采样，也不需要额外的优化步骤。