🧬 biology

Viral Proteins Reveal Geometry of Protein Language Models

本研究表明，尽管蛋白质语言模型基于重构困惑度将病毒和细胞序列沿一个主导的“天然性”轴进行组织，但其嵌入仍然保留了足够的病毒特异性信号，从而允许实现超越简单零样本指标的线性可分性。

原作者： Arthur Bigot, Harmon Bhasin, Core Francisco Park, Eugene Shakhnovich, Dianzhuo Wang

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Arthur Bigot, Harmon Bhasin, Core Francisco Park, Eugene Shakhnovich, Dianzhuo Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

核心观点：AI 正在学习生命的“语言”

想象你拥有一个超级聪明的 AI，它几乎读遍了生物学领域写过的每一本书。这个 AI 就是一个蛋白质语言模型 (pLM)。就像人类通过阅读数百万本书来学习英语一样，这个 AI 通过阅读数百万个遗传序列来学习蛋白质的“语言”。

研究人员想知道：如果这个 AI 大部分读的是关于人类、植物和细菌的书，它是否能理解由病毒所使用的“方言”？

病毒非常棘手。它们就像庞大图书馆中一个规模较小、带有噪音的少数群体。它们变异极快，基因组微小，并且依赖宿主生存。研究发现，AI 确实理解它们，但这种理解是以一种非常特定的几何方式实现的。

1. “原生”与“外来”轴线

研究人员发现，在 AI 的大脑内部，存在着一把巨大的隐形尺子（一条数学直线），用于对所有蛋白质进行分类。我们可以称之为**“原生性量表 (Nativeness Scale)”**。

左侧（“本土队”）： 在尺子的这一端，坐落着来自人类、细菌和植物的蛋白质。这些是“原生”蛋白质。AI 已经阅读过它们无数次。它们完全符合 AI 的预期。
中间（“客人”）： 在尺子的中间位置，坐落着病毒蛋白质。它们并不“错误”，但感觉有点像是不太了解当地习俗的客人。它们与本土队不同，但仍然可以理解。
右侧（“胡言乱语”）： 在尺子的远端，是随机、混乱的氨基酸字符串。这些就像是单词顺序错误或由虚构单词组成的句子。AI 认为这些是毫无意义的废话。

这项发现： AI 并不只是把病毒视为“坏”或“随机”的东西。它将病毒视为一个特定的、有组织的群体，位于“完全正常的”细胞蛋白质与“完全无意义”的序列之间。

2. “困惑度分数” (Perplexity)

AI 如何知道将一个蛋白质放在这把尺子的什么位置？它使用一个叫做困惑度 (Perplexity) 的分数。

把它想象成一场“猜下一个词”的游戏。 如果你说：“猫坐在……” AI 会非常有把握地猜下一个词是“垫子上”。这时它的困惑度很低。
如果你说：“猫坐在……” 而下一个词是“香蕉”，AI 就会感到非常困惑（高困惑度）。

研究发现，细胞蛋白质就像是“垫子”（容易预测）。病毒蛋白质就像是“香蕉”（虽然有点难猜，但仍是一个真实的词）。随机垃圾则像是“弗利伯 (flibber)”（完全的胡言乱语）。

AI 的内部尺子几乎与这个“困惑度分数”完美对齐。AI 越困惑，该蛋白质在尺子上的位置就越靠右。

3. 仅仅把 AI 做大并不能解决所有问题

通常情况下，当我们把 AI 做大（赋予它更多的脑力和数据）时，它在各方面都会变得更强。研究人员通过不断增大 AI 模型的大小来测试这一点。

结果： 更大的模型确实提高了对病毒的理解能力，但并非对所有病毒都同样有效。
类比： 想象一位老师试图学习一种新的口音。
- 一些病毒家族（如Retroviridae）就像是那些说话口音与老师母语非常相似的学生。随着老师变得更聪明，他们几乎能完美地理解这些学生。
- 其他病毒家族（如包含流感的Orthomyxoviridae）则像是说着一种完全不同且复杂的方言的学生。即使老师变得超级聪明，他们仍然会对这些特定的学生感到理解困难。

因此，虽然做大模型会有帮助，但它并不会让所有的病毒突然看起来都变得“正常”。有些病毒依然保持着其独特且“外来”的特征。

4. AI 知晓的不止是“困惑”

这是最令人惊讶的部分。研究人员问道：AI 分辨病毒是因为它们很“令人困惑”（高困惑度），还是因为它真的理解了什么是病毒？

他们构建了一个简单的测试：

方法 A： 仅使用“困惑度分数”来猜测一个蛋白质是否为病毒。
方法 B： 使用 AI 深层的内部“思想”（嵌入/embeddings）来猜测。

结果： 方法 B（深层思想）的效果远好于方法 A。
即使当 AI 对病毒的理解变得如此之好，以至于它们看起来不再那么“令人困惑”（低困惑度）时，AI 的内部地图仍然能准确识别出哪些是病毒。

类比： 想象你正试图在人群中识别一名间谍。

方法 A 是观察人们是否看起来很紧张（高困惑度）。
方法 B 是观察他们的肢体语言、步态以及手部动作（嵌入/embedding）。
研究发现，即使间谍不再表现得紧张，AI 仍然能识别出他们，因为 AI 已经学习到了超越单纯“困惑感”的、细微且特定的“病毒特征”。

研究总结

存在一条“原生性”线： AI 将蛋白质排列在一条从“非常正常”到“非常怪异”的直线上。病毒位于中间。
并非越大越好（针对所有人）： 更大的 AI 模型有助于让某些病毒看起来更“正常”，但其他病毒依然保持独特。
AI 能够分辨差异： AI 不仅仅是因为它们难以预测才将病毒区分开来；它实际上保留了一种特定的“病毒信号”，使其即使在病毒看起来与正常蛋白质非常相似时，也能识别出它们。

为什么这很重要（根据论文所述）：
这有助于我们理解这些强大的 AI 工具是如何“看待”生物世界的。它表明，尽管这些模型主要是在人类和动物数据上进行训练，但它们已经开发出了一种结构化的方式来处理病毒这种独特且快速变化的世界。这对于了解何时应该信任 AI 的预测、以及何时需要保持警惕至关重要。

技术摘要：病毒蛋白揭示蛋白质语言模型的几何结构

问题陈述
蛋白质语言模型（pLMs）是在由细胞生物主导的高度不平衡数据集上进行训练的，这引发了人们对于它们如何表示代表性不足的生物群体的疑问。病毒蛋白在进化上具有独特性，并受不同约束（如宿主依赖性、高突变率）的影响，在标准预训练数据中的丰度较低。虽然 pLM 在标准基准测试中表现良好，但在处理病毒突变效应预测时却表现挣扎。本文旨在解决的核心问题是：（1）病毒蛋白在嵌入空间中的分离是否主要由较低的“原生性”（即它们是否较难被预训练分布所建模）来解释？（2）除了这种原生性差距之外，嵌入是否保留了未被重建难度或浅层序列特征所捕捉到的特定病毒信息？

方法论
作者分析了涵盖三个 pLM 系列（ESM2、ESSC 和 ESM3）、参数量跨越三个数量级的病毒蛋白表示。

数据集： 本研究使用了一个包含十个组的多组生物数据集：六个细胞组（细菌、古菌、植物、真菌、昆虫、人类非病毒）和四个病毒组（噬菌体、人类、植物、无脊椎动物）。对照组包括位置打乱的细胞/病毒序列以及独立同分布（i.i.d.）的均匀随机序列。研究还使用了一个特定的“人类病毒/细胞分类”数据集（5,203 个病毒序列 vs. 5,197 个细胞序列）进行下游评估。
原生性指标： 使用掩码重建困惑度（PPL）作为模型相关的原生性度量。较低的 PPL 表示序列更易被预训练分布所建模。
几何分析： 对均值池化后的序列嵌入应用主成分分析（PCA），以识别主要的方差轴。通过测量第一主成分（PC1）与 PPL 之间的对齐程度来进行评估。
缩放分析： 追踪落在“类原生”PPL 阈值以下的病毒序列比例，以评估模型规模如何影响不同的病毒家族。
分类评估： 为了确定病毒信号是否在重建难度之外仍然存在，作者在留出测试集上比较了三种分类器：
1. 基于均值池化嵌入训练的线性探针（逻辑回归）。
2. 基于负向 PPL 的零样本分类器。
3. 基于序列长度、氨基酸组成和二肽组成的浅层基线模型。

核心贡献与结果

主导的原生性轴：
研究识别出一个主导的“原生性轴”（PC1），该轴解释了大部分方差（例如，在 ESMC-600M 中为 73.1%）。该轴与掩码重建困惑度高度对齐（ $\rho \approx +0.96$ ）。它将序列按顺序排列：从被良好建模的细胞蛋白（低 PPL），经过病毒蛋白（中等 PPL），到生物学上无意义的打乱/随机序列（高 PPL）。这种几何结构在 ESM 系列中是一致的，并扩展到了自回归模型（ProGen2）和扩散模型（EvoDiff），表明这是在不平衡生物数据上训练的掩码序列模型的普遍属性。
异质性的缩放效应：
增加模型规模会收缩原生性轴，但其效果在不同病毒家族之间是不均衡的。虽然“类原生”病毒蛋白的平均比例随规模增加而上升，但特定家族的反应各异。例如，Papillomaviridae 和 Retroviridae 随着模型规模扩大显著向原生区域移动，而 Orthomyxoviridae 和 Orthohervesviridae 即使在最大规模（如 6B 参数）下仍保持持久的位移。论文认为这种异质性可能与细胞同源性的存在有关；Retroviridae 与真核生物逆转座子共享结构域，因此与以细胞为主的先验分布更为兼容。
超越原生性的残留病毒信号：
至关重要的是，研究证明了病毒身份在嵌入中被线性编码，且超出了重建难度所能解释的范围。在所有规模下，基于嵌入训练的线性探针均实现了接近天花板的准确率（AUC $\in [0.97, 1.00]$ ），显著优于基于 PPL 的零样本分类器和浅层序列基线。

规模下的分歧： 随着模型规模扩大，基于 PPL 的判别能力往往变得更弱或呈现非单调性（在 ESM2-15B 等超大规模模型中下降），因为部分病毒蛋白变得更容易重建（降低了 PPL），从而减少了仅靠 PPL 实现的分离度。然而，线性嵌入探针保持了高性能，这表明嵌入保留了病毒特有的结构或功能信号，而不仅仅是重建难度的产物。
鲁棒性： 这种可分离性即使在将负类限制为人类宿主蛋白（同一宿主）以及进行留一家族交叉验证时依然成立，证实该信号并非源于记忆特定家族基序或广泛的分类学差异。

意义与主张
论文声称，pLM 的表示是由相对于预训练先验的通用“原生性”概念所构建的，这使得病毒蛋白处于一个虽有位移但仍具结构的中间区域。然而，这种位移并不意味着信息的丢失；相反，嵌入保留了线性可获取的独特病毒信号。

作者指出，“原生性”（低 PPL）可以作为一种诊断工具：具有低原生性的家族可能需要对零样本预测保持谨慎。此外，嵌入能够超越基于同源性的方法来区分病毒与细胞序列，这表明其在生物安全筛查方面具有潜在用途，特别是用于检测标准同源性过滤器可能遗漏的工程化或高度分化的变体。这项工作旨在为更安全的生物模型评估做出贡献，而非单纯的性能部署，强调了理解基础模型如何表示代表性不足的生物群体的必要性。