A leakage-controlled benchmark shows apparent codon-language-model advantages in synonymous-variant prediction are evaluation artifacts

想象一下，你正试图教一个机器人理解生命的秘密语言。在生物学中，DNA 是由四个字母（A、C、G、T）组成的代码，这些字母被分组成被称为“密码子”的三联体。这些密码子告诉细胞应该使用哪些建筑模块（氨基酸）来构建蛋白质。这里最棘手的部分在于，大自然在语法上非常精简。虽然存在 64 种可能的密码子三联体，但它们只需要制造 20 种不同的建筑模块。这意味着许多不同的密码子可以表达完全相同的建筑模块。这就像是对于同一个事物，有三种不同的说法——“猫科”、“小猫”和“布丁”，它们都指代同一个东西。

长期以来，科学家们认为这些代表相同事物的不同词汇只是随机的噪声。但最近，一波被称为“密码子语言模型”的新型 AI 模型开始声称，它们能够读懂隐藏在这些词汇选择中的秘密含义。它们辩称，所选的具体词汇（密码子）会改变信息的稳定性或蛋白质构建的速度，即使最终生成的蛋白质是完全相同的。这意义重大，因为它可以帮助我们设计更好的药物和疫苗。然而，一直存在着一个挥之不去的疑问：这些 AI 模型是真的在阅读秘密语言，还是仅仅在依赖捷径，通过记忆错误的线索来获取成功？

这篇论文是一部侦探故事，它调查了究竟是哪种情况。作者 Yuanqing Liang、Weimin Liang 及其团队旨在测试这些 AI 模型是真的拥有阅读密码子选择的超能力，还是它们的成功仅仅是由一个有缺陷的测试所制造的幻象。他们构建了一个新的、更严格的测试场，名为 CodonBench，以观察当移除这些捷径时会发生什么。

伟大的捷径丑闻

故事始于一个令人困惑的发现。在之前的研究中，基于密码子的 AI 模型似乎碾压了它们的竞争对手。当被要求预测 DNA 中的特定变化是否有害时，这些模型的准确率通常比仅观察最终蛋白质的模型高出 2.3 到 14.3 个百分点。这看起来像是密码子模型的一次巨大胜利。

但作者怀疑其中有诈。想象一下，如果你正在参加一场测试，你需要猜测一名学生是否擅长数学。如果你被允许看到这个学生的姓名，你可能会猜“是的”，因为你知道那个特定的学生是数学天才，而不是因为你真的看了他们的试卷答案。在 DNA 的世界里，这个“姓名”就是基因。

作者意识到，旧的测试就像是让 AI 看到了学生的姓名。他们对 DNA 数据进行了随机拆分，这意味着同一个基因（同一个“学生”）同时出现在训练集（AI 学习的地方）和测试集（AI 被评分的地方）中。AI 并不是在学习密码子选择的微妙规则，它只是在记忆“基因 X 通常有坏变异”或“基因 Y 通常有好的变异”。这是一种捷径，而不是一种技能。

“基因留出”陷阱

为了捕捉这些捷径，作者引入了一个严格的规则：基因留出评估（Gene-Held-Out Evaluation）。这就像是在参加一场考试，你面对的是一个你从未见过的学生。你不能利用他们的名字来做猜测；你必须真正阅读他们的答案。

当他们应用这一严格规则时，魔力消失了。

• 密码子模型的巨大优势崩塌了。
• 密码子模型与蛋白质模型之间的差距从巨大的 2.3–14.3 个百分点缩小到了微小的 1.6–2.2 个百分点。
• 在某些情况下，密码子模型的表现甚至比蛋白质模型还要差！

作者发现，这种“超能力”实际上只是一种记忆技巧。AI 学习的是识别基因家族，而不是特定的密码子生物学特性。

“深度”的幻象

还有一个似乎能证明密码子模型真实的最后线索。研究人员注意到，当他们通过使用更复杂的“大脑”（非线性探针）让 AI “思考得更深”时，密码子模型的表现变得更好。这被称为“深度特征（depth signature）”。这看起来像是 AI 正在挖掘更深层的信号。

但作者自己进行了更深入的挖掘。他们意识到这个“深度特征”也是一个陷阱。事实证明，用于构建测试的特定软件工具（例如使用特定的随机数生成器或特定的数据组织方式）在无意中帮助了 AI。当他们剥离了这些软件特有的偏差并使用干净的标准设置时，“深度特征”消失了。AI 获得的额外分数并非来自对生物学的理解；而是由于测试本身存在轻微的偏差。

“最佳轮次”捷径

调查并未就此停止。作者发现了第二个隐蔽的作弊方式，特别是在要求 AI 预测数值（例如一个基因能产生多少蛋白质）而非仅仅是“好”或“坏”的任务中。

在这些数值预测任务中，旧的测试允许 AI 在学习过程中“偷看”最终答案。想象一个学生正在参加模拟考试，但每当他答错一个问题时，老师都会在他进入下一个问题之前低声告诉他正确答案。然后，这个学生选择了那个在模拟考试中得分最高的“大脑版本”，并声称自己是个天才。

作者称之为 “最佳轮次选择偏差（Best-Epoch Selection Bias）”。AI 被允许查看测试集，以决定哪个版本的自己是最“好”的。当他们通过强制 AI 根据隐藏的练习集（验证集）而非真正的测试集来选择其最佳版本，从而停止这种捷径时，巨大的增益消失了。事实上，对于某些任务，AI 的性能实际上显著下降了，这证明了之前的“成功”仅仅是 AI 在记忆测试答案。

最终裁定：没有魔法，只有噪声

作者尝试了最后一种手段，以查看是否还存在任何真相。他们随机打乱了密码子——保持蛋白质不变，但改变了用于拼写它的“词汇”。如果 AI 真的在阅读秘密语言，那么打乱词汇应该会导致其得分下降。

起初，看起来得分确实下降了。但当作者用放大镜观察数据（使用汇总统计）时，他们意识到这种下降仅仅是随机噪声。这种差异如此之小（0.3 个百分点），在统计学上是毫无意义的。这就像抛硬币时，因为连续出现了三次正面，你就以为自己发现了一个规律。

这意味着

作者的结论是，密码子语言模型在预测有害 DNA 变化方面的表观优势是一个人工制品（artifact），是一个由测试设置方式创造的幻象。

• 声称： 密码子模型更擅长阅读 DNA 的秘密语言。
• 现实： 在严格、无泄漏的测试下，它们并非如此。它们据称正在读取的信号非常微弱（大约 0.04 bits 的信息量），目前的 AI 模型和数据规模无法可靠地将其从噪声中分辨出来。

作者并不是说秘密语言不存在；他们只是说我们目前的工具太嘈杂了，听不到它。他们构建了 CodonBench，这是一个新的、公平的测试场，可以防止这些捷径方法（如基因记忆或偷看测试答案），以便未来的科学家可以停止追逐幻影，转而寻找真正的信号。

简而言之，AI 模型并不像我们想象的那么聪明；只是测试太容易了。现在测试变得更难了，模型必须证明它们能够真正阅读代码，而不只是记忆名称或答案。