PathwayBench: a multi-criterion benchmark of pseudobulk pathway activity scoring methods reveals rank-window competition as a mechanism of biological signal loss in single-cell RNA-seq

想象一下你是一名正在试图破解城市谜题的侦探，而这座城市就是繁忙的人体。你的线索是被称为“基因”的微小信息，你想知道哪些“社区”（通路）正在“开派对”（活跃），而哪些正在睡觉。在单细胞 RNA 测序的世界里，科学家们有五种最喜欢的工具来测量这些社区派对的盛况：ssGSEA、GSVA、z-score、AUCell 和 UCell。

长期以来，研究人员一直将这五种工具视为同一种手电筒的不同品牌，认为它们都会照向同一个真相。但这项名为 PathwayBench 的新研究拿起放大镜发现，情况令人惊讶：这些手电筒不仅照射的角度不同，有时甚至指向完全相反的方向！

伟大的手电筒大对决

研究人员并非仅仅靠猜测；他们使用来自 682 名真实人类、涵盖 八种不同疾病研究（包括阿尔茨海默病、肾脏病和新冠肺炎）的数据，对这五种工具进行了严格的“驾驶测试”。他们检查了 5,923 个样本，并根据 五项严格规则 对工具进行了评估：

1. 生物学相关性： 它是否找到了正确的方向？（派对是开始了还是停止了？）
2. 聚合稳定性： 如果你以不同的方式混合数据，它是否能保持冷静？
3. 离群值敏感性： 如果出现一个奇怪的数据点，它会惊慌失措吗？
4. 归一化稳定性： 如果你改变了测量体积的方式，它还能正常工作吗？
5. 样本量稳定性： 如果研究的人数减少，它还能保持稳定吗？

结论是？没有一个工具能在比赛中胜出。 这就像是在问法拉利、皮卡车或自行车中哪一个是“最好的”交通工具。这完全取决于地形。

• GSVA 是超级明星，通过了 4 项出 5 项 测试。
• UCell 也通过了 4 项出 5 项 测试，但在样本量较小时表现略显吃力。
• z-score 在寻找正确方向方面最为准确（正确率达 77.3%），但当数据变得混乱时，它会有些摇摆不定。
• AUCell 和 ssGاء 则遇到了更多麻烦，AUCell 只有 60.5% 的概率找对方向。

幕后反派：“排名窗口竞争” (Rank-Window Competition)

这是故事中最激动人心的一部分。研究人员发现了为什么有些工具会失败，特别是在疾病导致身体发生剧烈变化（如肾脏或心脏病）时。他们将这个反派命名为 “排名窗口竞争”。

想象一个 VIP 俱乐部，有一个严格的规则：只有 前 10% 的宾客才能进入“VIP 室”（评分窗口）。

• 基于强度的工具 (Magnitude-Aware Tools)（GSVA, z-score）： 这些像是查验每个宾客“喊叫声有多大”的保安。如果“通路派对”的宾客们喊得很大声，无论其他人如何，他们都会获得高分。
• 基于排名的工具 (Rank-Based Tools)（AUCell, UCell）： 这些像是只关心“谁在前 10%”的保安。他们不在乎宾客喊得有多大声，只在乎谁排在队伍的最前面。

问题在于： 在像慢性肾脏病这样的疾病中，整个城市都陷入了疯狂。成千上万个无关的基因（“竞争者”）开始像“通路基因”一样大声喧哗。突然间，“通路派对”的宾客被挤出了前 10% 的队伍，因为“竞争者”宾客挤满了前排。

研究人员通过模拟实验证明了这一点。当他们向混合物中加入 500 个竞争基因 时：

• 基于排名的工具 (AUCell) 完全崩溃了。在 40% 的测试中，它们不仅错过了信号，甚至还弄反了方向（在派对实际开始时，却说派对结束了！）。
• 基于强度的工具 虽然变得稍微安静了一些，但仍能维持运作。

这不仅仅是一个计算机游戏。研究人员查看了慢性肾脏病 (CKD) 的真实数据。他们知道“细胞外基质 (ECM) 重塑”（一种组织修复类型）应该是上调（活跃）的。

• 基于强度的工具 正确指出：“是的，它是活跃的！”（效应量约为 0.33 至 0.40）。
• 基于排名的工具 则说：“不，它是失活或甚至下调的！”（效应量约为 -0.01 至 -0.03）。

这两组工具之间的差距巨大，尤其是在肾脏和心脏组织中，那里的“竞争基因人群”最为拥挤。

那么，你应该使用哪种工具？

由于没有单一的“最佳”工具，作者构建了一个决策树和一个有趣的交互式应用（PathwayBench Advisor），以帮助科学家针对其特定的任务选择合适的手电筒。

• 如果你需要最准确的方向且不介意承担一些风险：选择 z-score。
• 如果你想要一个平衡、稳妥的选择应对大多数情况：GSVA 或 UCell 是你的最佳选择（它们通过了 4/5 项测试）。
• 如果你正在研究伴随大规模广泛变化的疾病（如纤维化或炎症）：避免使用基于排名的工具 (AUCell, UCell)。它们太容易被人群迷惑了。请坚持使用基于强度的工具。

总结

这项研究不仅仅是列出数字；它给了我们一张地图。它表明，当生物学“噪音”变得太大时，那些只看排名的工具就会迷失在人群中。通过理解 “排名窗口竞争”，科学家现在可以挑选合适的工具来完成任务，确保不会在疾病恶化时，误报为病情正在好转。

作者谨慎地表示，这并不是最终的定论。他们将 “PathwayBench” 构建为一个活生生的框架，随着新疾病和新工具的发现，其他科学家也可以对其进行更新。但就目前而言，他们已经解开了为什么手电筒指向不同方向的谜团：因为人群实在太挤了。