BioMod: Biological Module Tokenization for Single-Cell Foundation Modeling
BioMod 是一个拥有 5000 万参数的单细胞基础模型，它通过将细胞转化为具有生物学意义的重叠模块而非单个基因，从而提高了表征效率和性能，在细胞类型注释和扰动预测等任务中实现了最先进的结果，同时能够在单个 GPU 上进行高效推理。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
细胞是生命的基本单位，每个细胞都携带一份用基因语言编写的独特指令手册。当科学家想要了解人体如何运作，或者疾病为何会发生时，他们通常会观察单个细胞中的这些指令。这一领域被称为单细胞生物学，它让研究人员能够观察组织中每一个细胞的独特身份，从跳动的心脏肌肉到战斗的免疫细胞。然而，海量的数据量令人望而生畏。单个细胞包含数千个活跃基因，而现代实验可以同时对数百万个细胞进行分析。为了从这片信息海洋中理出头绪，研究人员转向了人工智能，特别是“基础模型”。这些是强大的计算机程序，通过在海量数据集上进行训练来学习生物学的底层规则，就像语言模型通过阅读大量的文本库来学习语法规则一样。其目标是创建一个能够识别细胞类型、预测其对药物反应，或理解其在基因改变后如何变化的系统，且无需为每一个新问题都进行重新训练。
挑战在于如何将这些信息输入计算机。大多数现有模型将细胞中的每一个基因都视为句子中的一个单独单词。如果一个细胞有 20,000 个活跃基因，计算机必须处理一个包含 20,000 个项目的序列。这在计算上非常昂贵，并迫使人工智能从零开始去理解基因之间复杂的相互关系，而且由于许多基因在给定细胞中处于沉默或极低活跃状态，AI 往往难以应对这一事实。来自深圳龙岗区（注：原文为Shenzhen Loop Area Institute，此处依原文直译或按语境理解，通常指代相关研究机构）与香港中文大学（深圳）的研究团队提出了一种不同的方法。他们追问：如果能在计算机开始分析之前，先将基因进行功能性分组，是否能更高效地理解细胞？在自然界中，基因很少单独工作；它们以被称为“通路”或“模块”的协调小组形式运作，以执行特定任务，例如对抗感染或修复 DNA。研究人员假设，如果他们能将这些生物团队表示为单一单元，计算机就能学得更快、耗能更少，并且或许能更深入地理解生物学。
为了测试这个想法，该团队开发了一个名为 BioMod 的新模型。他们没有向计算机输入成千上经过个体的基因列表，而是首先将基因组织成 660 个重叠的生物模块。这些模块由科学数据库中已知的生物通路与通过分析单细胞数据发现的新基因组混合而成。一个基因可以属于多个模块，这反映了基因可能同时参与多种不同生物过程的现实。对于每个细胞，研究人员创建了一个仅包含 660 个“标记”（tokens）的紧凑表示，即每个模块对应一个标记，而不是为数千个个体基因创建数千个标记。这个过程类似于人类总结一个长篇故事时，不是通过列出每一个词，而是通过识别主要的主题和人物。随后，该模型在约 7,300 万个涵盖 25 种器官和组织（包括大脑、血液和肺部）的人类细胞大规模数据集上进行了训练。在训练期间，计算机被展示了大部分这些模块的摘要，并被要求猜测缺失的部分，从而迫使它学习不同生物程序之间的深层联系。
结果表明，这种对基因进行分组的方法效果显著。BioMod 包含约 5,000 万个参数（衡量其复杂度的指标），其表现与使用数十亿参数且处理个体基因的更大规模模型相比，不仅不逊色，甚至往往表现更好。在涉及细胞类型识别的测试中，该模型能够高精度地对不同组织的细胞进行分类，其表现经常优于之前的顶尖系统。它还擅长预测细胞在面对遗传变化（如特定基因被关闭）时的反应，以及癌细胞对不同药物的反应。其中最显著的发现是该模型的效率。由于它处理的是仅 6est 660 个项目的序列，而非数千个项目，因此它在计算机硬件上的运行速度显著加快。在一张标准的高性能显卡上，BioMod 每秒可以处理数百个细胞，而其他模型在处理即使是几十个细胞时也会因内存不足而陷入困境。这种速度使得在单台机器上分析大规模数据集成为可能，而这在以前需要昂贵的大规模计算集群才能完成。
研究人员还想知道，他们分组基因的具体方式是否真的重要，还是说成功仅仅归功于模型的架构。为了验证这一点，他们创建了一个对照版本的模型，在该版本中，基因被随机打乱并分配到模块中，从而破坏了自然的生物学关系，但保持了模块的数量和模型的结构完全一致。当他们测试这个打乱后的版本时，其性能显著下降。它在识别细胞类型、整合不同实验数据以及预测药物反应方面的表现都变差了。这证实了基因的生物学组织不仅仅是一个方便的捷径；模块中基因之间特定的、有意义的联系对于模型的成功至关重要。进一步的分析显示，模型已经学会了关注正确的事物。当研究人员观察哪些模块对于识别特定细胞类型最为重要时，他们发现模型高度依赖于包含该细胞已知标志基因（marker genes）的模块。如果隐藏这些关键模块，模型识别细胞的能力就会崩溃，这证明它学习的是正确的生物逻辑，而非仅仅是记忆模式。
这项工作表明，生物人工智能的未来可能不在于构建试图处理细胞每一个细节的更大模型，而在于设计尊重生物学自然组织结构的系统。通过将复杂的基因语言转化为生物模块的功能语言，BioMod 证明了一个规模较小、更高效的模型可以取得更优越的结果。它提供了一种将细胞的海量信息压缩成计算机可以轻松处理的形式的新方法，为更快、更准确地分析人类健康与疾病开辟了大门。该研究并不声称已经解决了单细胞生物学的所有问题，但它提供了强有力的证据，证明将生物学知识直接融入 AI 模型的结构中，可以创造出更强大、更高效的工具，从而在最基础的层面理解生命。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。