Quantifying the Provenance-to-Function Gap in Antidiabetic Peptide Prediction: Homology-Aware Evaluation and the ADP-Hybrid Baseline

糖尿病是一种人体难以管理血糖的疾病，这一问题影响着全球数以亿计的人。为了治疗这种疾病，科学家们对多肽产生了浓厚的兴趣，多肽是作为生物信号的微小、短链氨基酸。其中一些多肽可以帮助降低血糖，研究人员希望寻找新的多肽来作为药物使用。由于可能存在数十亿种多肽序列，在实验室中测试所有序列是不可能的。相反，科学家使用计算机程序来预测哪些序列可能有效，希望能通过这些程序在投入时间和金钱进行实验之前，过滤掉那些无效的序列。这些程序从现有数据中学习：它们被展示已知有效的和无效的多肽示例，并尝试寻找使两者产生差异的模式。其目标是让计算机学习真正的生物学规则，以便能够识别出从未见过的、具有前景的新型多肽。

然而，最近的一项研究表明，用于这项任务的计算机程序可能学错了教训。研究人员采用了一个流行的基准测试——一个用于测试这些预测工具的标准数据集——并仔细观察了数据的组织方式。他们发现，计算机并不一定是在学习什么使多肽对糖尿病有效。相反，它在识别该多肽来自于哪种大型蛋白质。在生物学世界中，多肽通常只是从一个更大的蛋白质中切割出来的一小段碎片，就像拼图中的一块。研究发现，在训练数据中，某些类型的糖尿病治疗方案几乎总是与来自特定源蛋白质的多肽相关联。例如，与一种类型糖尿病相关的多肽几乎完全来自人类胰岛素，而与另一种类型糖尿病相关的多肽则来自牛奶蛋白。因为计算机反复看到这些模式，它学会了仅仅通过识别源蛋白质来猜测答案，而不是理解使多肽发挥作用的实际化学性质。

这个问题被称为“来源与功能间的差距”（provenance-to-function gap）。这意味着计算机正在测试的内容与它本应预测的实际功能之间的距离太远了。研究人员展示了，当使用随机划分的数据进行测试时，计算机得分非常高，因为它能轻易识别出它以前见过的源蛋白质。但当他们以一种更严格的方式重新进行测试，即防止计算机在训练组和测试组中看到来自相同源蛋白质的多肽时，得分显著下降。此时，计算机不再能够依赖识别来源，而是必须依赖实际的化学信号。在这种更严格的测试中，此前被誉为最先进的复杂多层模型的表现，跌落到了与许多简单模型相当的水平。事实上，一个单一且直接的计算机模型表现得与那些复杂的、由多个部分组成的系统一样好，但它的运行速度更快，消耗的计算资源也更少。

研究还揭示了多肽本身的长度本身就是一个计算机利用的重要线索。用于一种类型糖尿病的多肽，平均而言比另一种类型的多肽要短得多。一个仅观察多肽长度的简单模型，就能在约 62% 的案例中正确识别出糖尿病的类型，这个结果对于如此基础的特征来说高得令人惊讶。这表明，复杂的模型并不一定是在寻找深层的、隐藏的生物学秘密，而是在依赖这些明显的、易于识别的特征，如长度和源蛋白质。研究人员测试了另外 16 个关于不同类型多肽活性（如对抗细菌或病毒）的数据集，发现这种源蛋白质偏差的问题在大多数数据集中都普遍存在。这似乎是这些数据集构建过程中的一个共同缺陷，即数据的收集方式不经意间将答案与来源而非功能联系了起来。

研究人员不仅指出了问题，还提出了解决方案。他们创建了一个名为 ADP-Hybrid 的新颖且更简单的模型，该模型在每个预测层使用单个决策树。该模型在第一层测试中达到了与已发表的复杂模型相同的准确度，但运行速度快了 20 到 38 倍。更重要的是，当研究人员移除那些容易利用的捷径（如识别源蛋白质）时，这个更简单的模型表现得更加稳健。研究结论指出，过去几年报道的高分很可能是由于数据划分方式导致的，这使得计算机能够通过记忆多肽的来源而非学习其工作的科学原理来获得高分。作者认为，未来的研究必须检查这些隐藏模式，并确保训练数据和测试数据在生物学起源上是真正分离的。通过这样做，科学家们可以构建出真正有助于发现新药的工具，而不仅仅是擅长猜测多肽来源的工具。