Where in the spectrum does biology live? A confound audit and a compaction law for gene embeddings of single-cell foundation models

技术摘要：“生物学存在于光谱的哪个位置？针对单细胞基础模型基因嵌入的混杂因素审计与压缩律”

问题陈述
单细胞基础模型（scFMs）生成的基因向量嵌入已展现出在无需微调的情况下恢复生物结构（如亚细胞区室、蛋白质复合物、通路）的效用。近期的文献表明，这些嵌入的主导谱轴（leading spectral axes）能够按特定的生物学属性（如定位）组织基因。然而，借鉴自然语言处理（NLP）中的经验——即领先的嵌入方向通常编码的是词元频率而非语义——本文研究了这些 scFM 基因嵌入的主导轴是否同样编码了技术协变量（特别是基因丰度和检测广度），而非生物学意义。此外，本文还质疑了先前研究中确定的“低秩边界”（例如 rank 64）究竟是生物结构的普遍属性，还是特定模型的人工产物。

方法论
本研究分析了八个公开发布的模型的静态基因-词元（gene-token）嵌入矩阵：七个基于表达数据训练的单细胞 Transformer 模型（scGPT、Geneformer 变体、AIDO.Cell、scFoundation、tGPT）以及一个作为负对照的冻结蛋白质语言模型（ESM2-15B，用于 Universal Cell Embeddings）。所有分析均限制在包含 17,846 个基因的共同基因库中。

研究方法分为两个主要部分：

1. 混杂因素审计（Part A）：

   • 谱回归（Spectral Regression）： 作者将每个嵌入矩阵的每个谱轴对两个丰度协变量（平均表达水平和检测广度，即基因在细胞类型中被检测到的比例）的灵活三次 B-样条基进行回归。他们计算每个轴的 $R^2$ 以量化由丰度解释的方差。
   • 线性擦除（Linear Erasure）： 使用零空间投影（针对样条基进行残差化处理）从嵌入矩阵中线性擦除丰度子空间，并重新运行检索基准测试。
   • 丰度匹配负样本（Abundance-Matched Negatives）： 重构检索基准测试，使负样本在丰度和检测广度上与正样本相匹配。这确保了模型不会仅依赖丰度得分而在随机情况下获得高分。
   • 基准测试： 评估了五种关系类型：亚细胞定位、复合物成员身份、通路成员身份、调节因子-靶标链接，以及一个刻意设计的混杂共表达控制组。

2. 压缩律（Part B）：

   • 带宽定义（$k^*$）： 对于每种关系和每个模型，作者定义 $k^*$ 为恢复模型最大检索性能（天花板）95% 所需的最少领先谱轴数量。
   • 方差分解： 对 $\log_2(k^*)$ 进行双因素方差分析（two-way ANOVA），因素为“关系”和“模型”，以确定所需的带宽是生物学的属性（在不同模型间保持一致）还是模型架构的属性。
   • 曲线分析： 对压缩曲线进行拉伸指数函数拟合，以表征性能随保留秩（rank）的变化规律。

关键结果

• 主导轴中的丰度主导地位： 在七个模型中的六个计数训练模型中，领先的谱轴受丰度支配（$R^2 = 0.51–0.76$），显著超过置换零假设。蛋白质语言模型（ESM2）从未接触过表达计数，其丰度载荷极低（$R^2 \approx 0.009$）。这种载荷具有高度集中性；在第 64 个轴之后，丰度的解释力降至 0.01 以下。
• “除顶之外全保留”（All-But-The-Top）效应： 在针对经过丰度匹配的负样本进行测试时，删除前 2–4 个谱轴反而提高了已知生物关系（复合物、通路）的检索性能，而共表达控制组的性能则下降。这复制了在词嵌入中观察到的“除顶之外全保留”现象。
• 生物信号的位置： 带限检索（Band-limited retrieval）的峰值并不出现在光谱顶部，而是出现在 $[32, 64)$ 的谱带中。领先的轴主要承担“记账”（bookkeeping）功能以记录丰度，而生物结构则存在于光谱的中部。
• 混杂程度：
  • 共表达： 很大程度上可以仅通过丰度来解决；当控制丰度后，检索性能会崩溃。
  • 复合物/通路： 在标准协议下，相对于随机水平的表观检索优势中，约有三分之一归因于丰度。
  • 定位： 成对检索能力较弱且信息量有限。然而，监督探测证实，区室信息是真实的且并非由丰度驱动，但该信息分布在许多轴上（数十个），而非由单一主导轴承载。
• 模型特定的带宽： “$k^*$ 是生物学普遍属性”的假设被拒绝。在 $\log_2(k^*)$ 的方差分解中，“模型”因素解释的方差等于或大于“关系”因素（例如，在丰度匹配条件下，模型 $\eta^2 = 0.62$，而关系 $\eta^2 = 0.17$）。绝对压缩预算无法跨架构转移。
• 可复现的排序： 虽然不同模型的绝对 $k^*$ 值各异，但关系的带宽排序在不同架构间是可复现的（Kendall's $W = 0.64$）。例如，共表达关系需要的轴较少，而复合物成员身份和 TF-靶标链接需要的轴较多。
• Rank 64 的充分性： 对于大多数关系，秩为 64 的截断平均保留了 85–95% 的性能天花板，但这并非无损。对于复合物成员身份和 TF-靶标检索，在最坏情况下可能会损失 13–26% 的天花板性能。

意义与主张
本文声称为解释单细胞基础模型中的谱轴提供了必要的校准。作者认为，任何基于领先轴的“生物坐标系”主张都必须伴随丰度回归指标（$R^2$）以及在丰度匹配负样本下的性能表现，以区分生物信号与技术协变量。

关于低秩压缩，本文反驳了存在通用生物压缩律的观点。作者指出，虽然不同生物关系的“相对难度”在不同模型间是一致的，但捕捉这些关系所需的绝对轴数是模型相关的。因此，从业者不应假设一个固定的秩（如 64）对所有关系和所有模型都是足够的；相反，应当测量特定关系所需的带宽。作者强调，混杂控制（擦除与匹配）一致地增加了所需的带宽，这表明以往对低秩充分性的估计可能过于乐观。

这项工作得出结论：所谓的“可行低秩边界”是一个必须针对每个关系和每个模型进行测量的权衡过程，而非数据的恒定属性。作者提出的方法（丰度回归和匹配负样本）被视为未来评估基因嵌入时廉价且默认的检查手段。