🧬 biology

Adaptive Protein Tokenization

本文介绍了自适应蛋白质标记化（Adaptive Protein Tokenization），这是一种全局标记化方法，通过逐步增加蛋白质表示的细节，克服了现有局部方法的局限性，从而提高了在生成、重构和分类任务中的性能，并实现了自适应推理以及诸如零样本蛋白质收缩等新颖应用。

原作者： Rohit Dilip, Ayush Varshney, David Van Valen

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rohit Dilip, Ayush Varshney, David Van Valen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正试图通过电话向一位朋友描述一座复杂的 3D 雕塑，以便让他们能制作出一个完全相同的复制品。

旧方法（局部标记化/Local Tokenization）：
大多数之前的 AI 模型尝试通过像拼贴画一样逐块描述雕塑来完成这项工作。它们会说：“这里是一块做鼻子的粘土，这里是一块做耳朵的，这里是一块做下巴的。”它们专注于蛋白质的微小局部区域。

问题在于： 如果你在描述鼻子时出了一个小错，整个头部可能会变得歪斜。此外，如果雕塑非常巨大（比如一个巨大的蛋白质复合物），你就必须发送数千个微小的碎片，这既缓慢又低效。如果你漏掉了一个碎片，整个画面就会崩塌。

新方法（自适应蛋白质标记化/Adaptive Protein Tokenization）：
该论文的作者 Rohit Dilip 及其同事提出了一种更聪明的描述雕塑的方法。与其发送数千块微小的拼贴瓷砖，不如发送一系列随着每一步都在变得更加详细的“全局快照”。

这就像是在地图上进行缩放：

标记 1： “这是一个大的、圆形的物体。”（大局观）。
标记 2： “它有一个长长的、弯曲的形状。”（增加上下文）。
标记 3： “左侧有一个螺旋结构。”（增加细节）。
标记 4： “这个螺旋具有特定的纹理。”（增加精细细节）。

这被称为 自适应标记化（Adaptive Tokenization）。AI 不仅仅观察某一个点；每一个新的标记都会为整个蛋白质结构增加一层细节。

它是如何工作的（神奇的成分）

论文引入了一个名为 APT（自适应蛋白质标记化器）的工具。以下是它如何利用简单的类比来运作的：

“由粗到精”的层级结构（Coarse-to-Fine Hierarchy）： 想象你在听一首歌。首先，你听到的是底鼓（节奏/全局形状）。然后，你听到旋律。最后，你听到高帽镲（微小的细节）。APT 的工作原理也是如此。前几个标记描述蛋白质的整体形状。随着添加更多标记，AI 会填充精细的细节。
“智能停止”按钮： 在旧方法中，你必须发送所有瓷砖才能得到清晰的图像。有了 APT，AI 可以决定在获得足够完成当前任务的信息后停止发送标记。如果你只需要知道蛋白质的大致形状，可以在 1 6 个标记后停止。如果你需要构建精确的药物，你可能需要 64 个标记。这节省了时间并减少了错误。
“降噪”功能： 因为 AI 是从“大局”开始逐步构建到细节的，所以它不太可能犯下毁掉整个结构的错误。如果某个小细节稍有偏差，整体形状仍然是正确的。

他们证明了什么（结果）

团队通过三个主要方面，将这种新方法与现有的最佳模型（如 ESM3 和 DPLM2）进行了对比测试：

重建（Reconstruction）： 当他们尝试根据标记重建蛋白质时，APT 与现有的最佳模型一样准确，但它可以使用更少的标记即可完成。
创造新蛋白质（Generation）： 他们要求 AI 发明全新的蛋白质。这种新方法创造出的蛋白质比旧方法更具“可设计性”（即它们可以在实验室中被物理构建而不会崩解）。事实上，它的成功率达到了约 87%，显著超过了之前的领先者。
理解功能（Representation）： 他们测试了 AI 是否能仅通过其标记描述来理解蛋白质的功能。他们发现，由于具备“全局视角”，APT 在蛋白质类型分类方面比那些只观察局部碎片的模型表现更好。

这种方法开启的酷炫新技巧

由于 AI 将蛋白质的尺寸与形状的描述分离开来，作者展示了两个具体的“魔术技巧”：

蛋白质收缩（Protein Shrinking）： 你可以拿一个大型蛋白质并告诉 AI：“保持相同的形状，但让它变小。”AI 能够成功地收缩蛋白质（如血红蛋白），同时保持其核心结构完整。这对于制造更容易进入细胞的药物非常有用。
亲和力成熟（Affinity Maturation，让结合更紧密）： 如果你有一个对目标结合力很弱的蛋白质（“弱结合剂”），你可以使用 AI 生成能更好地结合的变体。AI 可以“搜索”各种可能性，以找到一个效果更好的版本，本质上是在几秒钟内实现蛋白质的进化。

总结

这篇论文展示了一种计算机“谈论”蛋白质形状的新方式。它不再是将蛋白质描述为一堆微小且脆弱的砖块，而是将其描述为一系列不断演进的蓝图。这使得 AI 在处理蛋白质结构时更快、更准确，并且能创造出更多具有科学和医学用途的新型、可用的蛋白质。

注：该论文侧重于计算方法以及生成和收缩蛋白质结构的能力。它并不声称这些蛋白质目前正在进行人体临床试验或作为获批药物使用，但该方法使其具有了“可设计性”（即能够被构建和测试）。

技术摘要：自适应蛋白质标记化 (Adaptive Protein Tokenization)

问题陈述

目前的蛋白质结构标记化方法依赖于局部性 (locality)，即通过对蛋白质序列中空间相邻残基的信息进行池化来创建标记。虽然这些方法实现了高保真度的重建，但作者指出了两个关键局限性：

生成过程中的误差累积： 基于局部标记化的生成模型存在误差传播问题。单个采样错误的标记会导致预测结构发生显著偏差，导致离散方法在生成指标上逊于连续扩散模型。
可扩展性差： 标记数量随蛋白质大小线性增长。这使得建模大型蛋白质复合物的计算成本变得非常昂贵，并限制了有效压缩蛋白质的能力。
表示能力受限： 局部标记器通常需要均值池化操作来为下游任务生成固定大小的表示，这可能会丢弃关键的全局信息，并且在处理随蛋白质大小变化的规模时表现不佳。

方法论

作者提出了自适应蛋白质标记化 (APT)，这是一种全局标记化方法，其中连续的标记贡献于全局表示中不断增加的细节层次，而不是对应于特定的局部邻域。

架构

APT 被实现为一个带有离散瓶颈的扩散自编码器 (diffusion autoencoder)：

输入： 长度为 $L$ 的原始 $C_\alpha$ 坐标序列（归一化为零质量）。
编码器： 双向注意力 Transformer 将原始位置映射到潜序列 $c \in \mathbb{R}^{L \times d}$ 。
离散化： 使用有限标量量化 (Finite Scalar Quantization, FSQ) 对潜序列进行离散化，层级为 $(8, 5, 5, 5)$ ，由此产生 1,000 个有效码本大小。
自适应机制： 为了强制实现自适应性，模型采用了嵌套丢弃 (nested dropout)。在训练期间，上界 $U$ 从 $[1, \min(L, k_{max})]$ 中均匀采样。超过此上界的标记会被丢弃。这鼓励模型将关键的全局信息（低频成分）置于前几个标记中，并将更高频率的细节置于后续标记中。
解码器： 一个使用流匹配目标 (flow-matching objective) 训练的扩散解码器，根据离散标记重建原子坐标。解码器利用随机等变性 (stochastic equivariance)，学习对称性而非显式强制执行对称性。
尺寸预测： 蛋白质尺寸通过第一个标记进行回归，并使用交叉熵损失，从而允许模型将蛋白质尺寸与条件序列长度解耦。

训练与推理

训练： 模型在约 473,000 个来自 Foldseek 分类的 AFDB 数据库的合成 AlphaFold2 预测结果上进行训练。训练分为两个阶段：(1) 训练带有随机旋转的自编码器以学习随机等变性；(2) 在 APT 标记上训练一个自回归（GPT 式）模型。
推理策略：
- 尾部丢弃 (Tail Dropout)： 在生成过程中，模型可以提前停止生成。标记序列的任何前缀都是有效的调节信号。尾部（高频细节）则交给扩散解码器处理。
- 基于熵的停止： 作者引入了基于标记熵（有限截断、基于样条函数的最小熵）的停止准则，以确定停止生成的最佳点，从而平衡表示保真度和生成能力。
- 分类器退火 (Classifier Annealing)： 为了减轻因偏离真实数据流形而产生的伪影，作者在解码过程中采用了分类器退火，在条件引导场和无条件引导场之间进行插值。

核心贡献

全局自适应标记器： 引入了一种标记器，其标记代表一种粗到精的层次化全局描述符，而非局部邻域。
性能验证： 证明了该模型在生成、表示学习和重建任务上，能够达到或超越最先进的 (SOTA) 局部标记器（如 DPLM2, ESM3, Kanzi）。
推理技术： 开发了基于熵的采样和分类器退火技术，以管理样本复杂度并减轻误差暴露，从而提高可设计性。
零样本应用： 展示了将蛋白质尺寸与调节条件长度解耦的能力，实现了诸如蛋白质收缩 (protein shrinking)（在保持结构的同时减少残基数）以及通过推理时缩放实现的亲和力成熟 (affinity maturation)。

结果

重建： 在 CATH、CAMEO 和 AFDB 测试集上，APT 取得了与 SOTA 连续扩散模型相当的 RMSD 和 TM 分数。值得注意的是，仅使用 32–64 个标记即可获得 $< 2$ Å 的 RMSD，证实了蛋白质结构的压缩性。
生成： 在 APT 标记上训练的自回归模型实现了 0.871 的可设计性 (designability)（即 scRMSD $< 2$ Å 的样本比例），显著优于 DPLM2 (0.486) 和 ESM3 等离散扩散模型。这是在无需“Best-of-N”采样技术的情况下实现的。
表示学习： 在 CATH 分类任务中，对 APT 标记进行的非线性 (MLP) 探测优于对 ESM3 和 DPLM2 表示的探测。至关重要的是，APT 提供了固定大小的全局表示而无需均值池化，即使是高度压缩的表示（16 个标记）也优于规模更大的模型。
应用：
- 蛋白质收缩： 通过在较少残基上对扩散过程进行调节，成功生成了具有保留全局和局部结构的更小版本蛋白质（如血红蛋白、β-桶状结构）。
- 亲和力成熟： 展示了利用在潜空间中由奖励函数（如 iPAE）引导的束搜索 (beam search) 将弱结合剂进化为强结合剂的能力。

重要意义

本文声称，自适应蛋白质标记化提供了一种任务感知的方法来扩展生物学任务。通过从局部标记转向全局标记，该方法解决了重建保真度与生成能力之间的权衡。通过在不丢失信息的情况下将蛋白质压缩为固定大小向量的能力，为建模大型蛋白质复合物提供了切实路径，并实现了推理时的缩放。作者将这项工作定位为迈向能够跨多个长度尺度进行推理的生成式模型的关键一步，解决了前沿生物工程中的核心挑战。

注：作者承认存在局限性，特别是 APT 标记对于全局任务非常有效，但不太适用于如基序支架 (motif scaffolding) 等局部任务，且当前的标记器未考虑对某些功能至关重要的侧链或氨基酸组成。