scTranslation: A Comprehensive Benchmark for Single-Cell Multi-Omics Modality Translation

大背景：所谓的“翻译官”问题

想象一下，你正试图理解一个人的生平故事。你拥有他记录的三本不同的日记：

1. 蓝图 (DNA/ATAC)： 展示了房子中哪些房间正处于可以进行装修的状态。
2. 日常日志 (RNA)： 展示了这个人现在正在说什么或正在做什么。
3. 成品 (Protein)： 展示了他们已经建造出的物理工具或家具。

在理想的世界里，科学家会对每一个细胞同时阅读这三本不同的日记。但阅读所有三本就像是雇佣了三个不同的昂贵翻译官、使用三个不同的摄像机，并支付巨额费用。这太昂贵且太混乱了。

因此，大多数科学家通常只有一本日记（通常是“日常日志”或“蓝图”）。他们缺失了另外两本。

解决方案： 科学家们构建了计算机程序（AI 模型）来充当翻译官。如果你给他们“蓝图”，AI 会尝试猜测“日常日志”的内容。如果你给他们“日常日志”，它会尝试猜测“成品”。

问题所在：没人知道谁才是最好的翻译官

在过去几年中，许多不同的 AI 翻译官被开发了出来。有些声称自己是最优秀的，但它们都在不同的任务上接受测试。这就像是在比较一位只会做意大利菜的厨师和一位只会做日本菜的厨师，但没有人曾在同一个厨房里让他们烹饪同一道菜，以看看谁做得更好。

由于缺乏标准化的测试，很难得知：

• 哪个模型实际上是最准确的？
• 哪个模型在数据有点混乱时会崩溃？
• 如果只有极少量的数据可以学习，哪个模型依然有效？

论文的解决方案：“scTranslation”（终极测试厨房）

这篇论文介绍了 scTranslation，它本质上是一个标准化的测试场（基准测试），用于测试这些 AI 翻译官。作者不仅构建了一个新的翻译官，还建立了一个巨大的竞技场，公平地测试了六个最流行的现有模型。

以下是他们设置测试的方式：

1. 多样化的菜单（数据集）

他们收集了来自真实生物实验的 8 个不同数据集。可以将这看作是在测试翻译官处理不同菜系的能力：

• 不同的物种（小鼠和人类）。
• 不同的身体部位（大脑、血液、胚胎）。
• 不同的生命阶段（新生儿与成年人）。
• 不同的翻译任务（从 RNA 到 DNA，从 DNA 到蛋白质等）。

这确保了模型不仅仅擅长某种特定类型的细胞，而是作为一个通用的翻译官。

2. 评委（指标）

为了给翻译官评分，他们并没有只看一个分数。他们使用了三种类型的评委：

• 分组评委 (Clustering)： 如果 AI 翻译了数据，它是否仍然能将不同的“细胞类型”区分开来？（例如：它能保持“肝细胞”与“心肌细胞”的区别，还是把它们混为一谈？）
• 数学评委 (Regression)： 翻译在数值上是否准确？如果原始日志说“活动单位为 50”，翻译结果是说“50”还是“5”？
• 群体评委 (Distribution)： 翻译后数据的整体“氛围”看起来是否像真实数据？数据的模式和形状是否相似？

3. 压力测试（影响因素）

作者对模型进行了三种特定的压力测试，以观察它们的鲁棒性（稳定性）：

• “信息过载”测试 (Feature Selection)： 如果我们向模型输入过多的词汇，会发生什么？它会感到困惑，还是能找到信号？
• “凌乱笔记”测试 (Feature Quality)： 真实的数据往往是残缺不全的（就像日记里有撕掉的页面）。他们测试了当 20% 到 80% 的数据被隐藏时，模型猜测缺失部分的能力如何。
• “赶工作业”测试 (Few-Shot Learning)： 如果模型在必须开始翻译之前，只能学习一个例子，它还能做得很好吗？它是需要一整个图书馆的例子才能工作，还是依然能胜任？

他们发现了什么？（结果）

在运行了这场大规模测试后，他们发现了几个关键点：

1. 不存在“超级模型”： 没有哪个单一的 AI 翻译官能在所有类别中胜出。
   • 有些模型擅长区分细胞类型（分组），但在获取精确数值（数学）方面表现较差。
   • 有些模型擅长匹配数据的整体形状，但在区分特定细胞类型方面却失败了。
2. 环境至关重要： 一个在脑细胞上表现完美的模型，在血液细胞上可能会惨败。最好的模型完全取决于你想要翻译的内容。
3. “凌乱笔记”问题： 当数据缺失（页面被撕掉）时，大多数模型在保持单个细胞的特异性方面都遇到了困难。它们倾向于仅仅猜测“平均水平”，从而丢失了特定细胞的独特细节。
4. “赶工作业”的惊喜： 有趣的是，一个基于“扩散”过程（想象一下通过不断细化模糊图像使其变得清晰的过程）的模型，在学习数据极少的情况下，表现反而变得更好或保持了稳定，而其他模型则崩溃了。

总结

该论文的结论是，我们不应该假设一个 AI 模型就是适用于一切的“最佳”模型。相反，研究人员需要根据特定的任务（数据集）和条件（数据是否混乱？数据量是否很少？）来选择合适的翻译官。

作者将他们的“测试厨房”（代码和数据集）进行了开源，以便任何人未来都能运行这些测试，确保新的翻译官能够按照相同的标准接受公平的评判。这通过明确了解什么有效、什么无效，推动了整个领域的发展。