Improving scDiffusion with Sparsity-Biased Classifier-Free Guidance

技术摘要：通过稀疏偏置分类器自由引导改进 scDiffusion

问题陈述
单细胞 RNA 测序（scRNA-seq）数据具有极高的稀疏性，通常包含 80–90% 的零值条目。虽然扩散模型（特别是 scDiffusion 框架）在生成合成 scRNA-seq 数据方面已展现出潜力，但它们所依赖的引导策略在处理这种稀疏性时表现不佳。标准的分类器自由引导（Classifier-Free Guidance, CFG）和分类器引导（Classifier Guidance）假设无条件模型输出（$\epsilon_{uncond}$）代表了一个不包含特定条件信息的“中性”先验分布。然而，在 scRNA-seq 中，无条件模型学习的是整个数据集的经验边缘分布。由于该分布保留了强大的基因特异性结构（例如，某些特定基因始终为零或具有特定的全局均值），因此 $\epsilon_{uncond}$ 并非中性的。结果是，由条件预测与无条件预测之差（$\epsilon_{cond} - \epsilon_{uncond}$）计算得出的引导信号被削弱了。无条件分支会无意中编码与条件无关的稀疏模式，从而抑制了特定条件的信号，限制了采样过程中的引导效果。

方法论：稀疏偏置分类器自由引导 (SB-CFG)
作者提出了 SB-CFG，这是一种无需重新训练模型的训练后采样修改方案，旨在恢复稀疏数据环境下引导的有效性。其核心思想是用一个刻意设计的“信息量不足”的参考值来替换标准的无条件预测，该参考值保留了全局稀疏统计特性，但移除了基因特异性的身份信息。

该方法的操作流程如下：

1. 构建稀疏基准： 该方法不再使用原始的无条件噪声预测（$\epsilon_{uncond}$），而是通过应用随机二值掩码来生成一个稀疏版本（$\epsilon_{sparse}$）。对于每个基因维度 $i$，以概率 $\pi_i$ 将预测值置零，其中 $\pi_i$ 是该基因在训练数据中的经验零表达概率。
   $$\epsilon_{sparse} = m \odot \epsilon_{uncond}, \quad m_i \sim \text{Bernoulli}(1 - \pi_i)$$
2. 混合（Blending）： 使用混合系数 $\beta \in [0, 1]$ 将原始无条件预测与该稀疏版本进行混合：
   $$\epsilon_{uncond\_bias} = (1 - \beta)\epsilon_{uncond} + \beta\epsilon_{sparse}$$
   当 $\beta=0$ 时，该方法退化为标准 CFG。当 $\beta=1$ 时，无条件分支被完全替换为稀疏基准。
3. 引导采样： 最终的引导预测使用偏置后的无条件分支进行计算：
   $$\tilde{\epsilon}_{SB} = \epsilon_{uncond\_bias} + w(\epsilon_{cond} - \epsilon_{uncond\_bias})$$
   这种方法增强了条件预测与无条件参考之间的对比度，因为参考值不再包含会抵消掉条件信号的基因特异性偏差。

核心贡献

• 分析 CFG 的局限性： 本文识别并分析了标准 CFG 的“中性先验”假设与 scRNA-seq 中高度稀疏且具有基因特异性的边缘分布之间的结构性失配。
• SB-CFG 机制： 作者引入了一种受生物学启发的、无需训练的采样策略，通过构建一个降级的、保持稀疏性的参考值来增强引导对比度。
• 实证验证： 该方法在五个不同的公开 scRNA-seq 数据集（Baron Human/Mouse, Human Lung, Mizrak, PBMC68k）上进行了验证，证明了其相对于标准 CFG 的一致性改进。

实验结果
作者使用完全相同的预训练扩散模型权重评估了 SB-CFG 与标准 CFG 的表现，仅改变了采样过程。关键指标包括平均基因表达的 Pearson 相关系数、细胞类型分类准确率、零率差异以及标志基因（marker gene）特异性。

• 性能提升： SB-CFG 在所有五个数据集中均一致优于标准 CFG。例如，在 Baron Human 数据集上，Pearson 相关系数从 0.81 提高到 0.91，细胞类型分类准确率从 0.27 大幅提升至 0.73。
• 标志基因保真度： 热图和特异性评分表明，与标准 CFG 相比，SB-CFG 能更好地保留特定细胞类型的标志基因的独特表达模式。
• 消融研究： 通过改变混合系数 $\beta$ 进行的研究揭示了一种权衡关系：虽然增加 $\beta$ 通常能提高全局表达保真度（Pearson $r$），但在具有细粒度细胞类型的数据集中，过高的 $\beta$ 值可能会降低细胞类型辨别准确率。研究发现 $\beta=0.5$ 在所有指标和数据集中都能提供稳健的平衡。

意义与主张
本文声称，SB-CFG 为针对稀疏生物数据的条件扩散采样提供了一种原则性的增强方案。通过承认 scRNA-seq 中的无条件模型并非中性，而是编码了特定的稀疏模式，SB-CFG 修正了引导信号，使其能更好地捕捉具有生物学意义的基因表达模式。该方法的意义在于，它无需改变架构或进行额外训练，仅依靠从训练数据中提取的统计信息，即可提高生成质量和生物学保真度。作者指出，尽管该方法行之有效，但未来的工作可以探索针对特定条件的零概率向量以及 $\beta$ 混合系数的自适应选择。