🧬 biology

AMix-1: A Pathway to Test-Time Scalable Protein Foundation Model

该论文介绍了 AMix-1，这是一个基于贝叶斯流网络（Bayesian Flow Networks）的 17 亿参数蛋白质基础模型，它利用系统性的训练缩放法则、基于多序列比对（MSA）的上下文学习以及进化测试时缩放，实现了稳健的蛋白质设计，并通过生成活性较野生型提高达 50 倍的 AmeR 变体证明了这一点。

原作者： Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuy

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuyi Zhang, Xiaoqing Zheng, Deyi Xiong, Lei Bai, Wanli Ouyang, Ya-Qin Zhang, Wei-Ying Ma, Bowen Zhou, Hao Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正在尝试教会一台计算机如何设计新的蛋白质。蛋白质是我们体内执行各种功能的微小、复杂的机器，从消化食物到对抗病毒，无所不能。设计一个新的蛋白质就像是试图发明一把新钥匙，以适配一把你从未见过的锁，但你必须把钥匙的形状做得完美无缺，否则它将无法发挥作用。

这篇论文介绍了一个名为 AMix-1 的新一代“超级教师”AI，它是专门为掌握这项任务而设计的。作者们不仅仅是构建了一个更大的模型，而是构建了一种更聪明的训练方式。以下是他们实现这一目标的原理，通过简单的类比来解释：

1. 引擎：一个“去噪”收音机

大多数 AI 模型试图通过阅读清晰的文本来学习。AMix-1 则基于一种被称为**贝叶斯流网络（Bayesian Flow Network）**的技术。你可以把它想象成一个最初只有静电噪音的收音机。

工作原理： AI 从一个完全混乱、充满噪声的蛋白质序列开始。然后，它尝试通过一步步“清理”这些噪声，从而揭示出隐藏在下方的清晰蛋白质。
类比： 想象你在试图通过听一个信号非常模糊的电台来猜一首歌。起初，你只能听到静电声。随着信号变得清晰（噪声减少），你开始听到旋律，然后是歌词。AMix-1 通过反复练习这种“清理”过程来学习，直到它能从纯粹的噪声中完美地重建出蛋白质。

2. 地图：缩放法则（“尺寸决定一切”规则）

研究人员想知道：“如果我们把 AI 做得更大，并给它更多的数据，它会变得更好吗？”

发现： 他们发现了这种 AI 的一个可预测的“物理定律”。就像汽车发动机可以通过更多的燃料变得更强大一样，随着增加规模和观察数据的量，AMks-1 理解蛋白质结构的能力也会随之提升。
隐喻： 这就像是在爬山。研究人员精确地绘制了路径，因此只要知道投入了多少“燃料”（计算能力），就能准确预测 AI 能爬多高（它能变得多好）。他们利用这张地图构建了他们最大的版本——AMix-1，它拥有 17 亿个“脑细胞”（参数）。

3. “顿悟”时刻：涌现能力

这是最令人兴奋的部分。研究人员发现，随着规模的增长，AI 不仅仅是变得“稍微好了一点”，它会突然理解一些它之前并不了解的东西。

类比： 想象一个学习数学的学生。起初，他们只是在死记硬背数字。然后，突然间，在经过足够的练习后，他们“开窍了”——他们理解了数字背后的逻辑，并能解决从未见过的难题。
结果： 随着 AMix-1 的训练，它突然开始理解蛋白质形状（结构），尽管它最初只接受了关于蛋白质字母（序列）的训练。它不需要被明确教授几何学；它仅仅通过阅读足够多次的序列，就自行领悟了 3D 形状。

4. 捷径：上下文学习（“展示，而非讲述”的技巧）

通常，要教 AI 一项新任务，你必须从头开始重新训练它。AMix-1 则不同。它只需通过观察几个例子就能学会一项新工作，而无需改变它的“大脑”。

类比： 想象一位名厨。如果你想让他们烹饪一道特定的地方菜肴，你不需要再送他们去烹饪学校。你只需要给他们看几张菜肴的照片，然后说：“做个像这样的东西出来。”这位大厨会利用已有的知识来完成任务。
AMix-1 如何运作： 研究人员给 AI 一个相似蛋白质的“家族相册”（称为多序列比对）。AI 观察相册中的模式，并生成一个符合要求的、全新的蛋白质，使其在形状和功能上都契合其中。

5. 实战测试：“超级酶”

团队不仅进行了模拟实验，还在真实的实验室里进行了测试。

挑战： 他们想要改进一种名为 AmeR 的蛋白质，它在遗传电路中充当开关。天然版本表现尚可，但他们希望它能变得强大得多。
结果： 利用 AMix-1 的“展示，而非讲述”法，他们设计出了一个新版本的 AmeR。在实验室测试中，这个新版本比原始版本活跃度高出了 50 倍。这是一个巨大的飞跃，证明了该 AI 可以设计出真实的、具有功能的生物工具。

6. 进化循环：测试时缩放（“试错”引擎）

最后，他们创建了一个名为 EvoAMix-1 的系统，让 AI 在工作过程中不断自我进化，而无需重新训练。

类比： 想象一位雕塑家制作了 100 个粘土雕像。评委从中选出最好的 5 个。雕塑家随后将这 5 个胜出者作为新的“模具”，来制作下一批 100 个雕像。他不断重复这个过程，每一轮都变得更好，而他的双手（模型本身）从未改变。
工作原理： AI 生成许多蛋白质候选方案。一个“验证器”（计算机程序或实验室测试）挑选出表现最好的那些。随后，AI 将这些优胜者作为新的范例，在下一轮中生成更优秀的蛋白质。
益处： 你给予这个系统越多的“检查次数”（预算），结果就会变得越好。只要你让它持续尝试，它就会不断进步。

总结

AMix-1 是一种新型的蛋白质设计者，它能够：

通过清理噪声进行学习（就像调频收音机）。
遵循一条“越大越好”的可预测路径。
仅通过阅读序列，就能突然“理解”3D 形状。
通过观察示例，瞬间学会新任务。
在真实实验室中成功创造出了比自然界强 50 倍 的蛋白质。
通过试错的进化循环不断自我提升。

该论文声称，这是迈向“实验在环”（lab-in-the-loop）未来的重要一步，在这种未来中，AI 与现实世界的实验将协同工作，以前所未有的速度设计出拯救生命的蛋白质。

技术总结：AMix-1

问题陈述

目前的蛋白质基础模型（如 AlphaFold、ESM）在特定任务（如结构预测和逆向折叠）方面取得了进展，但缺乏类似于大语言模型（LLM）的统一且可扩展的方法论。与 LLM 通过缩放法则（scaling laws）、涌现能力、上下文学习（in-context learning）和测试时缩放（test-time scaling）展现出的持续性能提升不同，蛋白质模型尚未建立起一套系统性的框架，通过利用这些原则来实现可扩展、高保真度的蛋白质设计。核心挑战在于如何构建一个能够系统性地以计算资源换取性能、展现出结构理解的涌现能力、并能在无需针对特定任务进行微调的情况下适应多样化设计任务的蛋白质基础模型。

方法论

作者提出了 AMix-1，这是一个基于 贝叶斯流网络（Bayesian Flow Networks, BFNs） 构建的蛋白质基础模型，并通过一个包含四个支柱的系统化路径进行训练：

1. 模型架构与训练

生成框架： AMix-1 利用 BFNs，通过迭代的贝叶斯更新而非直接对离散氨基酸建模来模拟蛋白质序列分布的连续参数。该过程涉及一个发送者分布（受噪声扰动）和一个接收者分布（由神经网络 $\phi$ 表示），后者通过推断消息来最小化 KL 散度。
架构： 该模型系列基于带有旋转位置嵌入（RoPE）的仅编码器（encoder-only）Transformer。作者将模型规模从 800 万参数扩展到了 17 亿参数。
预训练： 训练在 UniRef50 数据集（4150 万条序列）上进行，采用混合精度（BF16）设置。噪声水平 $\alpha$ 由调度方案 $\beta(t) = \beta_1 t^2$ 控制。

2. 缩放法则与涌现能力

预测性缩放： 作者建立了将交叉熵损失（ $L$ ）与计算成本（FLOPs）、模型大小（ $N$ ）和数据 Token 数（ $D$ ）联系起来的预测性缩放法则。研究发现，在适度噪声水平（ $\alpha = 0.16, 0.32$ ）下，损失遵循幂律关系 $L(F) = E_0 + e^{a \cdot F^b}$ 。极端噪声水平（ $\alpha = 0.08, 0.64$ ）则会导致不可缩放的行为。
结构理解的涌现： 研究表明，随着训练损失降至某一临界阈值以下，结构理解能力（通过 pLDDT 和 TM-score 衡量）会逐步涌现。这种能力是在没有显式结构监督的情况下，纯粹由序列级目标和充足的计算量驱动而产生的。

3. 上下文学习 (ICL)

机制： AMix-1 通过将多序列比对（MSAs）视为提示词（prompts）来统一蛋白质设计。该模型并非进行微调，而是以源自 MSAs 的位置频率谱（position-wise frequency profiles）为条件进行建模。
过程： MSA 被压缩为一个剖面 $P$ （每个位置上氨基酸的分类分布）。随后，AMix-1 在给定 $P$ 的条件下生成序列 $x$ ，从而保留进化约束、结构完整性和功能相关性。

4. 测试时缩放 (TTS)

EvoAMix-1： 为了进一步提升性能，作者引入了一种进化测试时缩放算法。该框架运行一个 提议者-验证者循环（proposer-verifier loop）：
1. 提议（Propose）： AMix-1 基于初始 MSA 剖面生成一批候选序列。
2. 验证（Verify）： 一个外部验证器（计算机模拟指标或湿实验检测）对候选序列进行评分。
3. 更新（Update）： 将前 $k$ 个高适应度变体用于构建精炼的剖面（伪 MSA），该剖面作为下一轮迭代的提示词。
区别： 与传统通过更新模型参数（梯度驱动）的方法不同，EvoAMix-1 通过更新“条件”（提示词）来保持模型权重冻结（条件驱动），从而实现与多种验证指标的即插即用集成。

关键结果

缩放与涌现

模型规模： 成功训练了一个 17 亿参数的模型（AMix-1-1.7B），并展示了可预测的缩放法则。
涌现： 一旦交叉熵损失降至特定阈值以下，结构指标（TM-score, pLDDT）表现出显著的上升（涌现），尤其是在中等噪声水平（ $\alpha=0.16$ ）下。极端噪声水平会抑制这种涌现。

上下文学习性能

计算机模拟（In Silico）： AMix-1 成功生成了具有高结构一致性（TM-score > 0.9）和功能特异性（通过 CLEAN 实现高 EC 编号置信度，通过 CLIPZyme 保留催化活性）的蛋白质，涵盖了包括孤儿蛋白和随机同源物在内的多种场景，且无需微调。
湿实验验证： 该模型被用于设计 AmeR 转录抑制因子变体。表现最佳的 AMix-1 设计变体相比于野生型实现了 50 倍的活性提升（抑制倍数），超越了单突变库以及最先进的定向进化方法 EvoAI。

测试时缩放 (EvoAMix-1)

可扩展性： 在六个计算机模拟定向进化基准测试（涉及结构、生物物理和功能任务）中，EvoAMix-1 随着验证预算（验证器调用次数）的增加，展现出单调的性能提升。
对比： 在 6 项任务中的 5 项中，EvoAMix-1 优于或达到了最先进基准方法（ALDE, EVOLVEpro, MLDE）的水平。它避免了受限于特定突变方案的方法所面临的性能平台期，从而实现了对序列空间更广泛的探索。

重要性与主张

本文声称为蛋白质基础模型建立了一套 系统性的范式，映射了 LLM 的成功。其主要贡献包括：

方法论统一： 提出了一个以缩放法则、涌现能力分析、上下文学习和测试时缩放为基础的可扩展蛋白质设计路线图。
BFN 特征化： 首次在蛋白质建模背景下，针对贝叶斯流网络（BFNs）进行了缩放法则和涌现能力的特征化研究，并指出了噪声调度（noise scheduling）的关键作用。
统一设计框架： 通过利用基于 MSA 的上下文学习，AMix-1 将结构引导和功能引导的设计统一到一个框架内，无需针对特定任务进行微调。
现实世界影响力： 成功工程化了一个高活性 AmeR 变体（50 倍提升），证明了该模型在实际功能蛋白质工程中的潜力。
“实验在环”潜力： EvoAMix-1 算法为“实验在环（lab-in-the-loop）”蛋白质设计奠定了基础，即计算模型可以根据实验反馈迭代改进设计，而无需重新训练。

作者承认了局限性，指出 AMix-1 目前是基于序列的（在训练期间忽略了显式的结构数据），且测试时缩放目前仅在模拟任务上进行了验证，但他们认为这些都是未来的研究目标。