Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

环境中充满了自然界尚未进化出分解能力的合成化学物质。从家具中的阻燃剂到农作物中的农药，这些物质之所以持续存在，是因为生物体缺乏拆解它们的生物工具。科学家们长期以来一直希望设计出定制的酶——这种微观催化剂——来消化这些污染物并清理这些混乱。近年来，强大的计算机程序已经出现，它们可以编写新蛋白质的遗传蓝图，有望根据需要破坏的污染物的特定化学性质，从头开始设计这些酶。其构想是：向计算机输入一种有毒化学物质的描述，然后让它输出能够中和该物质的蛋白质序列。

一项新研究探讨了这些计算机程序究竟是在设计新工具，还是仅仅在复制旧工具。Terram Technologies 的研究人员构建了一个名为 XenoFold 的系统，用于生成分解外源性物质（xenobiotics，即合成污染物的科学术语）的酶。他们利用已知的酶反应对该系统进行了训练，然后要求它为各种化学物质创建新的候选方案，其中包括一些没有已知天然降解剂的化学物质。团队将这些计算机生成的酶置于一系列标准的计算机测试中，以验证其质量，检查它们是否能折叠成稳定的形状并与目标化学物质结合。结果显示了一个令人震惊的失败：该系统根本没有在设计新的酶。相反，它正在记忆训练数据，并几乎完全复现它们，而每一个用于验证其工作的标准计算机测试都完全忽略了这个缺陷。

研究人员首先通过在十五种不同类别的酶上进行训练，将特定的化学反应与其执行这些反应的蛋白质序列配对。随后，他们要求系统针对四种特定场景生成新酶：两种是自然界中已知酶存在的反应，另外两种涉及如全氟辛酸和一种特定农药代谢物等污染物，而这些污染物在文献中没有任何已知的能够降解它们的天然酶。为了确保生成的蛋白质具有合理性，团队运行了三种广泛接受的计算机验证方法。首先，他们预测了蛋白质折叠成三维形状的能力，这是衡量结构稳定性的指标。其次，他们将新序列与包含所有已知蛋白质的海量公共数据库进行对比，以查看其是否具有新颖性。第三，他们模拟了这些新酶与目标化学物质的结合紧密程度，这一步骤旨在证明它们确实能够胜任工作。

从表面上看，结果似乎是成功的。计算机预测生成的酶会折叠成稳定、明确的形状，且置信度很高。当研究人员将这些新序列与公共数据库进行比较时，得分表明这些设计是独特且区别于以往任何记录的。对接模拟产生的得分也似乎表明这些酶可以与其目标结合。基于这三项标准检查，这项研究最初看起来展示了一个可以设计新酶的有效系统。然而，研究人员意识到这些标准检查并没有讲述完整的真相。他们通过将生成的序列不与通用的公共数据库，而是与计算机在学习阶段记忆的特定训练样本进行对比，进行了一项更深入、更直接的调查。

这种直接对比揭示了真相。当研究人员将生成的酶与训练数据进行比对时，他们发现百分之四十的序列是计算机之前见过的示例的逐字符完全复制。另有百分之四十七的序列与训练示例如此相似，以至于其结构差异极小。即使在要求计算机为那些在训练数据中完全不存在、且没有已知天然降解剂的污染物设计酶时，这种模式依然成立。无论目标化学物质是熟悉的还是全新的，系统产生的这种高复制率都保持不变。计算机并不是根据污染物的化学性质进行推理来创造新方案，它只是在检索并重复存储在内存中的模式。

研究进一步调查了计算机是否真的使用了提供给它的化学信息。在一次测试中，研究人员向经过训练的系统输入了一个与其受训酶类完全无关的化学反应。如果系统对化学输入具有真正的敏感性，那么改变反应应该会改变输出。然而，生成的酶与针对正确反应产生的酶几乎完全相同，其预测的稳定性得分也没有发生任何有意义的变化。这证实了化学输入对最终设计几乎没有影响。该系统基本上忽略了关于污染物的具体指令，转而采用其在训练期间学到的通用模式。

研究人员还仔细审查了最初看起来很有前景的计算机对接测试。他们发现，这些测试无法区分计算机生成的酶与它们试图模仿的天然酶。更关键的是，当研究人员尝试使用对接得分来估算酶的工作速度时，结果极其不准确。对于两种已知的天然酶，计算机对它们效率的估算与现实世界的测量值相比，误差高达十五个数量级。在其中一个案例中，计算机对两个酶的性能排序与实际情况完全相反。由于对接得分无法匹配现实情况，研究人员将其从最终分析中剔除，并得出结论：这些标准的计算机模拟无法被信任用于验证生成设计的质量。

这项工作的核心发现是关于我们如何验证计算机生成生物学内容的警示。研究表明，一个系统可以产生根据标准计算机检查看起来完美的序列——折叠良好、在公共数据库中显得独特、并在结合模拟中得分很高——但实际上它只不过是训练数据的副本。用于该领域的三个最常用的验证工具都未能检测到这种记忆现象。只有通过直接对照计算机学习过的特定数据进行检查，研究人员才能发现这个缺陷。作者总结道，如果没有这些特定的、低成本的检查，声称设计出了新酶的说法可能只是基于一种新颖性的幻觉。他们测试的系统目前并不能产生可用于现实世界的酶，且这项研究表明，该领域需要重新思考如何验证计算机设计，以确保它们是真正的创新而非仅仅是回收的记忆。