In Other Words: Learning When to Trust Generated Protein Function Descriptions
本文介绍了 ProtTale，这是一种配备了可靠性评估器（pJay）的生成式蛋白质到文本模型，该评估器通过向大语言模型判别器学习，以识别其自由形式的功能描述何时是值得信赖的，从而在不一定提高原始准确率的情况下，显著提升了各种方法的注释精度。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
细胞是生命的基本单位，在每个细胞内部，被称为蛋白质的微型机器正在进行着繁重的体力活。它们构建结构、传递信号，并驱动维持生物体生存的化学反应。几十年来，科学家们已经掌握了这些机器的化学配方——即构成它们的氨基酸序列——但仅仅知道配方并不总能揭示这台机器实际在做什么。虽然极小比例的已知蛋白质已被人类专家仔细研究并进行了描述，但绝大多数蛋白质仍然是一个谜。对于这些未知的蛋白质，科学家不得不依靠计算机通过与已知蛋白质进行对比来猜测其功能，但当新蛋白质看起来与数据库中的任何内容都不同时，这种方法往往会失效。问题不仅在于数据的缺乏，更在于信任的缺失；当计算机写下一段描述时，人们无法判断那是一个精辟的见解，还是一次自信的幻觉。
埃默里大学（Emory University）与波兰的一家合作机构的研究团队开发出一种新方法来解决这个特定的信任问题。他们创建了一个名为 ProtTale 的系统，该系统可以生成关于蛋白质功能的自由文本描述，就像人类在生物教科书中书写的那样。然而，真正的创新不在于写作本身，而在于第二个作为“法官”的组件。这个系统不仅产生一个答案，它还会计算该答案的可靠性评分，告诉用户应该对这段描述投入多少信心。研究人员发现，虽然他们的新方法并非在预测每种功能方面都完美无缺，但在识别自己何时正确以及何时在瞎猜方面表现得非常出色。通过过滤掉低置信度的预测，他们能够将较短蛋白质描述的准确度提高了一倍，将一连串不确定的猜测转化为了可靠的事实集。
该领域的核心难点在于蛋白质的功能是复杂且依赖于环境的。传统的计算机方法试图将这些描述强行归入僵化的类别，比如将蛋白质分配到图表上的某个特定方框中。虽然这保持了连贯性，但往往会忽略蛋白质实际运作方式的细微差别。较新的人工智能模型已经学会了使用自然语言进行写作，提供了更灵活、更具表现力的描述。但这种自由是有代价的：一段流畅的句子即使完全错误，听起来也可能很有说服力。目前还没有一种标准的方法来衡量两个不同的文本描述是否表达了相同的含义，这使得科学家们无法验证计算机是真的理解了蛋白质，还是仅仅模仿了生物学的语言。
为了解决这个问题，研究人员利用一种经过大量文本评估训练的大型语言模型（一种能够评估文本质量的人工智能）构建了一个“法官”。这个法官并不只是检查简单的词汇重叠，而是将计算机生成的描述与已知的人类专家编写的蛋白质描述进行对比，以观察它们是否描述了相同的功能。法官会分配一个标签：自信的匹配、自信的不匹配，或者是介于两者之间。研究人员在数千种蛋白质上测试了这个系统，发现这个法官具有高度的一致性和保守性，只有在功能真正等价时才会给出“匹配”的结论。随后，这个法官成为了主模型 ProtTale 的老师。
ProtTale 是分两个阶段进行训练的。首先，它学习识别蛋白质序列中暗示其共享某种功能的模式，并使用了包含数百万种蛋白质的海量数据库。然后，它学习基于这些模式生成文本描述。至关重要的是，该模型还被训练用于预测自身的可靠性。它学会了观察蛋白质序列，并估算自己的描述通过“法官”测试的概率。这产生了一个得分，作者称之为 pJay，它充当了一个置信度计。高分意味着模型很可能是正确的；低分则意味着模型很可能在瞎猜。
当研究人员在 ProtTale 未曾见过的蛋白质集上进行测试时，他们发现其在原始准确度方面表现得与其它领先方法不相上下。然而，关键的区别在于细节。虽然其他方法在某些蛋白质上是正确的而在另一些上是错误的，但 ProtTale 在另一组蛋白质上是正确的。更重要的是，可靠性评分起到了强大的过滤作用。当研究人员忽略低分预测并仅查看高分预测时，描述的准确度大幅提升。对于短蛋白质而言，精确度几乎翻了一番。这意味着，对于模型感到自信的那些蛋白质，其描述几乎可以肯定是非常准确的。
研究还表明，可靠性评分不仅是模型内部状态的反映，更是蛋白质本身的一种属性。仅从序列本身就容易理解的蛋白质会获得较高的评分，而那些结构复杂或独特的蛋白质则会获得较低的评分。研究人员通过让一位不知道可靠性评分的人类专家对选定的预测进行评审，验证了这一点。专家的评价与模型的置信度高度一致：当模型表示不确定时，人类也认为描述很弱；当模型充满信心时，人类也发现描述非常准确。
这项工作为我们在生物学领域如何使用人工智能树立了新的标准。目标并不一定是要让模型在每一次都做到正确——考虑到生命的复杂性，这可能是不可能的——而是要让模型在正确时保持诚实。通过将生成式描述与习得的置信信号相结合，科学家终于可以使用这些工具来标注蛋白质世界的“黑暗”部分——即那些从未被研究过的庞大数量的蛋白质。研究人员认为，这种能够说出“我不知道”的能力与能够说出“我知道”的能力同样重要，因为它允许实验人员将时间和资源集中在那些他们真正可以信任的预测之上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。