Simple models outperform single-cell foundation models on downstream benchmarks
本文表明,利用精细归一化和线性方法的简单、可解释流水线,可以在单细胞 RNA 测序基准测试中达到最先进或接近最先进的性能,且往往在分布外任务中超越计算密集型的 Transformer 类基础模型。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
所有生命体都是由细胞构成的,尽管同一个生物体内的每个细胞都携带相同的遗传蓝图,但它们的外观和功能却大相径庭。皮肤细胞不是肝脏细胞,神经元也不是肌肉纤维。这种差异源于每种细胞类型在开启特定基因集的同时,让其他基因保持沉默。科学家们多年来一直试图解读这些遗传开关,以理解是什么决定了细胞的身份。近年来,测量单个细胞中这些遗传开关的技术呈爆炸式增长,创造了包含人类及其他动物数百万个细胞的海量数据库。为了理清这些汹涌而来的数据,研究人员转向了被称为“基础模型”(foundation models)的强大计算机程序。这些是复杂的人工智能系统,类似于那些翻译语言或预测蛋白质形状的模型,旨在发现遗传数据中的隐藏模式。人们曾寄希望于这些先进的程序能够揭示更深层的生物学秘密,从而成为解码生命逻辑的通用钥匙。
波士顿大学的一个研究小组决定测试这些庞大且计算成本高昂的 AI 模型是否真的必要。他们提出了一个简单的问题:一种依赖于基础数学和精细数据清洗的更简单方法,是否也能同样出色地理解细胞身份?为了找出答案,他们采用了用于训练最先进 AI 模型的相同大型数据集,并将其通过一个精简的流水线进行处理。该流水线并不使用深度学习或复杂的神经网络。相反,它将每个细胞视为一个代表其基因活跃程度的简单数字列表。研究人员仔细清洗了这些数据以去除技术噪声,筛选出最具信息量的基因,并使用直观的统计工具对细胞进行分类。随后,他们在多个具有挑战性的任务上测试了这种简单的方法,包括识别模型从未见过的动物中的细胞类型、区分健康细胞与受病毒感染的细胞,以及绘制细胞随发育过程变化的路径。
结果令人震惊。这种简单、可解释的流水线在几乎所有测试中,都达到甚至超过了最先进基础模型的表现。在一项旨在跨物种(从人类到鸭嘴兽)识别细胞类型的任务中,这种简单方法达到了比复杂 AI 模型更高的准确度。当研究人员观察模型区分健康细胞与病毒感染细胞的能力时,这种简单方法再次证明了其优越性或等效性,且通常能以更少的计算能力找到正确答案。研究人员还检查了数据本身的结构,以理解为何会出现这种情况。他们发现,尽管真实细胞的遗传谱系存在于拥有数万个维度的空间中,但它们实际上位于一个非常接近平坦直线形状的结构之上。由于数据如此有序,先进 AI 模型试图学习的复杂曲线路径往往是不必要的。一旦去除了噪声,识别细胞所需的生物信号在原始数字中就已经清晰可见。
这一发现挑战了该领域目前的趋势,即向构建更大、更复杂的模型发展。研究表明,对于目前可用的数据而言,这些庞大的模型并非在发现新的生物结构,而仅仅是作为一种极其昂贵的数据清洗手段。研究人员指出,虽然蛋白质序列遵循严格的物理规则,使其成为复杂 AI 的理想对象,但细胞行为受环境和时间等杂乱因素的影响,并不总是符合深度学习的框架。通过使用简单、透明的方法,科学家可以获得同样的结果,而无需需要数千块高性能显卡或等待数周的模型训练。这项工作意味着,理解细胞身份的关键可能不在于构建更复杂的机器,而在于利用易于理解和信任的工具,更仔细地审视我们现有的数据。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。