🧬 biology

Yeti: A compact protein structure tokenizer for reconstruction and multi-modal generation

本文介绍了 Yeti，这是一种基于无查找量化与流匹配技术的紧凑且富有表现力的蛋白质结构分词器，其实现了高重建精度与令牌多样性，从而能够训练小型多模态模型，使其具备从头生成合理蛋白质序列与结构的能力。

原作者： Nabin Giri, Steven Farrell, Kristofer E. Bouchard

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Nabin Giri, Steven Farrell, Kristofer E. Bouchard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正在尝试教会计算机理解和创造蛋白质。蛋白质是我们体内微小而复杂的机器，几乎负责所有功能，从消化食物到抵御感染。在计算机眼中，蛋白质看起来像是一串长长的、弯曲的珠子（氨基酸）串，它们折叠成特定的三维形状。

问题在于，计算机通常使用“离散”的词汇（如 0 和 1 或字母）进行交流，而蛋白质形状却是“连续”的（三维空间中平滑、漂浮的坐标）。这就像试图仅用一本由嶙峋岩石组成的词典，来描述一条平滑流动的河流。

本文介绍了Yeti，一种旨在解决这一翻译问题的新工具。以下是其工作原理的简明解释：

1. 问题：“河流与岩石”的两难困境

现有工具试图将蛋白质形状的平滑河流转化为岩石列表（离散标记），以便计算机读取。然而，大多数这些工具就像糟糕的翻译：它们擅长观察一条已形成的河流，并说出“构成这条河流的岩石是这些”，但它们极不擅长凭空想象一条新的河流。它们优先考虑复制的准确性，而非创造的能力。

2. 解决方案：Yeti（大师级翻译）

作者构建了Yeti（代表Yielding Encoded Tokens for Intermodality，即跨模态生成编码标记）。将 Yeti 想象成一位高效的翻译，它将蛋白质的平滑三维形状转化为计算机易于理解和操作的紧凑“单词”（标记）列表。

词典：Yeti 使用包含 8,192 个独特“形状单词”的词典。
方法：Yeti 并非仅仅记忆形状，而是使用一种称为**流匹配（Flow Matching）*的技术。想象一团尘埃（随机噪声）缓慢旋转并凝聚成完美的雪花（蛋白质）。Yeti 学习了尘埃变成雪花的确切路径。这使得它不仅能复制形状，还能生成*新的、合理的形状。

3. Yeti 的独特之处

本文将 Yeti 与其他“翻译器”（如 ESM3、DPLM-2 和 Kanzi）进行了比较，发现了三大优势：

它是紧凑的天才：Yeti 出奇地小。它取得了与大 10 倍的模型相当的效果。这就像一台口袋大小的计算器，其解决数学问题的能力堪比占据整个房间的大型超级计算机。
它充分利用了整个词典：许多翻译器变得懒惰，反复只使用词典中的少数几个词。Yeti 几乎使用了其 8,192 词词典中的每一个词。这意味着它拥有更丰富的词汇量来描述复杂的形状。
它能从零开始创造：作者仅使用 Yeti 的单词和氨基酸序列训练了一个新的人工智能模型，从零先验知识开始。这个新模型能够同时发明蛋白质的序列（珠子串）及其三维形状。它无需庞大的预训练大脑即可完成这一任务，证明了 Yeti 的“单词”质量之高，足以从零构建新的蛋白质。

4. 工作原理（折叠之舞）

本文还观察了 Yeti 在生成过程中如何“折叠”蛋白质。这不是一条直线；而是一场包含两个阶段的舞蹈：

聚拢：首先，蛋白质迅速聚集成一个紧凑的球体（就像人群聚集）。
精炼：只有在最后阶段，它才会瞬间定格为其最终、详细的形状（就像人群突然组成特定的人体金字塔）。

核心结论

Yeti 是一种新颖、高效且富有表现力的方法，用于将蛋白质形状转化为计算机语言。它证明了你不需要庞大臃肿的模型来理解蛋白质；你只需要一个聪明、紧凑的标记器，能够流利地讲述三维形状的语言。这为计算机设计既结构稳固又功能实用的新蛋白质打开了大门，同时比现有方法消耗更少的计算资源。

技术摘要：Yeti——用于重建与多模态生成的紧凑型蛋白质结构分词器

1. 问题陈述

将蛋白质序列、三维结构和功能注释整合为统一的多模态表示，对于推动计算生物学的发展至关重要。然而，当前的方法面临三个主要挑战：

数据异质性：生物数据涵盖多种模态（生物物理约束、文本、成像、体积数据），具有不同的统计特性。
不完整性和噪声：现实世界的数据集常存在模态缺失、测量噪声以及结构 - 功能空间覆盖不均的问题。
可扩展性与耦合性：大多数模型仅在单一尺度或单一模态下运行，缺乏在不同层级（从原子到细胞）之间传递信息的机制，也无法处理耦合过程。

具体而言，尽管最近的生成模型将蛋白质视为使用连续坐标空间（例如 SE(3) 扩散）的三维对象，但存在一个极具吸引力的替代方案：将三维原子结构编码为离散令牌（tokens）。这使得训练过程能够像语言模型一样具有可扩展性且与模态无关。然而，现有的蛋白质结构分词器（如 ESM3、DPLM-2、Kanzi）往往优先考虑重建精度而非生成能力。这里存在一种错位：高重建保真度并不能保证高质量的令牌多样性，或支持序列与结构的无条件协同生成。此外，许多最先进模型依赖巨大的参数量或两阶段训练范式（其中编码器被冻结），这可能限制了端到端的优化。

2. 方法论

2.1 架构：Yeti

Yeti（Yielding Encoded Tokens for Intermodality，即用于模态间交互的编码令牌生成器）是一种紧凑型、单阶段的蛋白质结构分词器，旨在将连续的三维原子坐标映射为离散令牌。

输入：表示为均值中心化 $C_\alpha$ 坐标的蛋白质结构（ $x \in \mathbb{R}^{L \times 3}$ ）。
编码器：基于 Transformer 的编码器，利用带有旋转位置编码（RoPE）的多头注意力机制，将输入映射到连续潜在嵌入 $Z \in \mathbb{R}^{L \times D}$ 。
量化：嵌入被投影到量化空间，并由**无查找量化器（Lookup-Free Quantizer, LFQ）**处理。LFQ 空间是二进制子码本（ $C_i = \{-1, +1\}$ ）的笛卡尔积。量化通过符号操作执行，将向量映射为离散索引，无需查找表，从而产生词汇量 $K = 2^D$ 。
解码器：StripedHyena架构（一种混合信号处理模型）充当解码器。与依赖 SE(3) 不变组件（如不变点注意力 IPA）的传统解码器不同，StripedHyena 解码器学习条件速度场，从噪声坐标中重建结构。

2.2 训练目标：流匹配

Yeti 使用**流匹配（Flow Matching）**目标进行端到端训练，该目标在高斯噪声分布（ $p_0$ ）和目标蛋白质结构分布（ $p_{data}$ ）之间进行插值。

损失函数：模型最小化预测的条件速度场 $v_\theta(x_t, t, c)$ 与目标向量场（ $x_1 - x_0$ ）之间的差异，其中 $x_1$ 是干净结构， $x_0$ 是高斯噪声。
熵正则化：为防止码本坍塌并确保高利用率，在损失函数中添加了熵惩罚项： $L = L_{FM} + \lambda L_{entropy}$ 。
推理：在推理过程中采用分类器自由引导（CFG）。通过在训练期间随机将令牌嵌入置零，模型同时学习条件速度场和无条件速度场，从而允许通过引导解码来细化结构精度。

2.3 多模态协同生成

为了验证 Yeti 令牌的生成效用，作者从头训练了一个掩码扩散模型（Masked Diffusion Model, MDM）。该模型联合生成氨基酸序列和 Yeti 结构令牌，无需任何预训练初始化（不同于 DPLM-2 从序列模型预热启动，或 ESM3 使用级联管道）。

3. 主要贡献

紧凑型端到端分词器：引入了 Yeti，这是一种单阶段分词器，通过流匹配进行端到端训练，避免了以往工作中常见的两阶段“冻结编码器”范式。
高码本利用率：尽管参数量显著更少，Yeti 在码本利用率和令牌多样性方面优于更大的模型（ESM3、DPLM-2）和其他量化方法（FSQ、VQ-VAE）。
参数效率：Yeti 仅用62.5M 参数就实现了具有竞争力的重建精度，约为 ESM3（648M）的1/10，DPLM-2（118M）的1/2。
协同生成概念验证：证明了在 Yeti 令牌上从头训练的紧凑型多模态模型可以执行蛋白质序列和结构的无条件协同生成，其结果与大 10 倍的模型相当。
折叠动力学分析：识别出在流匹配解码轨迹中二级结构的分层涌现特征，表现为早期的全局压缩，随后是“晚期承诺”现象，即全局拓扑在最后步骤中巩固。

4. 结果

4.1 码本分析

利用率：在 8,192 项的码本上，Yeti 实现了高困惑度和熵，显著优于 ESM3 和 Kanzi。在 CATH 数据集上，Yeti 利用了约 66% 的容量（困惑度 = 5414），其结构内多样性（ $\bar{U}$ ）为98.8%，几乎饱和了该指标，表明残基的令牌分配高度不同。
比较：尽管 DPLM-2 和 Yeti 都使用 LFQ，Yeti 在码本利用率方面优于 DPLM-2，这归因于端到端训练范式与 DPLM-2 的冻结编码器方法之间的差异。

4.2 重建精度

指标：Yeti 在 CAMEO 上实现了0.96的 TM-score，在 CASP14 上为0.97，在 CASP15 和 CATH 上为0.95。
效率：虽然 ESM3 显示出略低的均方根偏差（RMSD，归因于其巨大的规模），但 Yeti 的 TM-score 相当或更优，表明其能有效恢复正确的全局拓扑。Yeti 基于流的解码器生成的样本在局部原子位置上具有方差（从而惩罚 RMSD），但全局拓扑一致，这一特征有利于多构象生成。

4.3 无条件协同生成

性能：一个在 260 万种蛋白质（使用 Yeti 令牌）上从头训练的 2.24 亿参数模型，实现了0.70的自洽性 TM-score（scTM）和76.12的 pLDDT。
比较：尽管 DPLM-2 依赖 6.5 亿参数的预训练序列模型，且 ESM3 使用级联管道，但该性能与 DPLM-2（scTM 0.87）相当，并显著优于 ESM3-Open（scTM 0.46）。
可设计性：ProteinMPNN 从生成的结构中恢复了**30.6%**的原始生成序列，证实了协同生成对的几何一致性和可设计性。

4.4 流轨迹动力学

对解码轨迹的分析揭示了特征的非单调涌现：

早期阶段（ $t < 0.6$ ）：快速的全局压缩（回转半径减小）。
晚期阶段（ $t > 0.9$ ）：二级结构元件（ $\alpha$ -螺旋和 $\beta$ -折叠）的快速凝聚以及全局拓扑的巩固。
这表明分词器有效地将粗粒度密度与高频结构细节解耦。

5. 意义与主张

本文主张Yeti可作为训练多模态蛋白质模型的紧凑且富有表现力的基础。其主要意义在于证明：

离散分词化适用于生成：只要分词器具有表现力且训练目标（流匹配）与生成目标一致，无需大规模预训练或级联管道即可实现高质量的序列与结构无条件协同生成。
效率优于规模：精心设计的较小模型（62.5M 参数）在令牌多样性和重建方面可以超越或匹敌更大的模型（600M+），挑战了规模是蛋白质建模性能唯一路径的观念。
统一表示：能够从头在联合序列 - 结构数据上训练模型，验证了通用分子表示的潜力，该表示能够捕捉氨基酸序列与三维结构之间的内在耦合。

作者将 Yeti 定位为并非所有蛋白质设计任务的最终解决方案，而是确立其分词策略可行性的概念验证。他们承认局限性，例如依赖单构象结构，以及需要进一步扩展以匹配像 La-Proteina 这样经过专门深度调优的模型的性能。然而，他们断言 Yeti 为未来的多模态蛋白质模型提供了一个可扩展、高效且有效的骨干网络，能够协同生成高度合理的序列和结构。