🧬 biology

Yeti: A compact protein structure tokenizer for reconstruction and multi-modal generation

本論文は、ルックアップ不要量子化とフローマッチングに基づくコンパクトで表現力に優れたタンパク質構造トークナイザー「Yeti」を導入し、高い再構成精度とトークンの多様性を達成することで、ゼロから妥当なタンパク質配列と構造を生成可能な小型マルチモーダルモデルの訓練を可能にします。

原著者： Nabin Giri, Steven Farrell, Kristofer E. Bouchard

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nabin Giri, Steven Farrell, Kristofer E. Bouchard

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

コンピュータにタンパク質の理解と生成を教えようとしていると想像してください。タンパク質は、消化から感染症への対抗まで、体内でほぼすべてのことを行う、微小で複雑な機械です。コンピュータにとって、タンパク質は、特定の3次元の形に折りたたまれる、長い曲がりくねったビーズ（アミノ酸）の列のように見えます。

問題は、コンピュータは通常「離散的」な言葉（0 と 1、あるいは文字など）で話すのに対し、タンパク質の形状は「連続的」（3 次元空間における滑らかで浮遊する座標）であることです。まるで、ギザギザした岩の辞書だけを使って、滑らかに流れる川を記述しようとしているようなものです。

この論文は、この翻訳の問題を解決するために設計された新しいツール「Yeti」を紹介しています。その仕組みを簡単に説明します。

1. 問題：「川対岩」のジレンマ

既存のツールは、コンピュータが読み取れるように、タンパク質の形状という滑らかな川を、岩のリスト（離散トークン）に変えようとします。しかし、これらのツールのほとんどは、ひどい翻訳者のようです。完成した川を見て、「この川を作っている岩はこれらです」と言うのは得意ですが、ゼロから新しい川を想像するのは苦手です。彼らは、創造能力よりも、正確なコピーを優先します。

2. 解決策：Yeti（熟練の翻訳者）

著者たちは「Yeti（Yielding Encoded Tokens for Intermodality の略）」を構築しました。Yeti は、タンパク質の滑らかな 3 次元形状を、コンピュータが容易に理解・操作できる「単語」（トークン）のコンパクトなリストに変換する、非常に効率的な翻訳者だと考えてください。

辞書： Yeti は 8,192 個の固有の「形状単語」の辞書を使用します。
手法： 単に形状を暗記するのではなく、Yeti は「フローマッチング」という技術を使用します。これは、塵の雲（ランダムなノイズ）がゆっくりと渦を巻き、完璧な雪の結晶（タンパク質）へと凝縮していく様子を想像してください。Yeti は、塵が雪の結晶になるまでの正確な経路を学習します。これにより、単に形状をコピーするだけでなく、新しい、もっともらしい形状を生成することが可能になります。

3. Yeti が特別である理由

この論文は、Yeti を他の「翻訳者」（ESM3、DPLM-2、Kanzi など）と比較し、3 つの主要な利点を見出しました。

コンパクトな天才： Yeti は驚くほど小型です。10 倍も大きいモデルと同等の結果を達成します。まるで、部屋サイズのスーパーコンピュータと同じくらい数学の問題を解く、ポケットサイズの電卓のようです。
辞書全体を活用： 多くの翻訳者は怠け、辞書の数語だけを繰り返し使います。Yeti は 8,192 語の辞書のほぼすべての単語を使用します。これは、複雑な形状を記述するための、はるかに豊かな語彙を持っていることを意味します。
ゼロから創造可能： 著者たちは、Yeti の単語とアミノ酸配列のみを使用して、事前知識ゼロから新しい AI モデルを訓練しました。この新しいモデルは、タンパク質の配列（ビーズの列）と 3 次元形状を同時に発明することができました。巨大な事前学習済み脳を必要とせずにこれを実現したことは、Yeti の「単語」が、何もないところから新しいタンパク質を構築するのに十分な高品質であることを証明しています。

4. 仕組み：折りたたみのダンス

この論文は、生成中に Yeti がタンパク質をどのように「折りたたむ」かも観察しました。それは直線ではなく、2 つの段階を持つダンスです。

集結： まず、タンパク質は素早くまとまってコンパクトな球体になります（人々が集まるように）。
洗練： 最終段階になって初めて、それは最終的な詳細な形状にパチンとはまります（人々が突然特定の人間ピラミッドを形成するように）。

結論

Yeti は、タンパク質の形状をコンピュータ言語に変換する、新しく、効率的で、表現力豊かな方法です。タンパク質を理解するために巨大で肥大化したモデルは不要であり、3 次元形状の言語を流暢に話す、賢くコンパクトなトークナイザーが必要であることが証明されました。これにより、コンピュータは、現在の手法よりも少ない計算資源で、構造的に堅牢かつ機能的に有用な新しいタンパク質を設計できるようになります。

技術的概要：Yeti – 再構築とマルチモーダル生成のためのコンパクトなタンパク質構造トークナイザー

1. 問題提起

タンパク質配列、3D 構造、機能的注釈を統合されたマルチモーダル表現に統合することは、計算生物学の進展にとって不可欠である。しかし、現在の手法は 3 つの主要な課題に直面している：

データ異質性：生物学的データは、生物物理的制約、テキスト、イメージング、体積データなど、固有の統計的特性を持つ多様なモダリティにまたがっている。
不完全性とノイズ：実世界のデータセットは、欠落したモダリティ、ノイズの多い測定値、構造 - 機能空間全体での不均一なカバレッジにしばしば悩まされている。
スケーラビリティと結合：ほとんどのモデルは単一のスケールまたはモダリティで動作し、原子レベルから細胞レベルまでのレベル間での情報転送、または結合プロセスの処理を可能にするメカニズムを欠いている。

具体的には、最近の生成モデルが連続座標空間（例：SE(3) 拡散）を使用してタンパク質を 3D 物体として扱う一方で、魅力的な代替案が存在する：3D 原子構造を離散トークンとして符号化することである。これにより、言語モデルと同様にスケーラブルでモダリティに依存しないトレーニングが可能になる。しかし、既存のタンパク質構造トークナイザー（ESM3、DPLM-2、Kanzi など）は、しばしば生成能力よりも再構築精度を優先している。高い再構築忠実度が、高品質なトークンの多様性を保証するものではなく、配列と構造の無条件な共生成をサポートするものではないというミスマッチが存在する。さらに、多くの最先端モデルは膨大なパラメータ数や、エンコーダーを固定する 2 段階トレーニングパラダイムに依存しており、エンドツーエンドの最適化を制限する可能性がある。

2. 手法

2.1 アーキテクチャ：Yeti

Yeti（Yielding Encoded Tokens for Intermodality）は、連続的な 3D 原子座標を離散トークンにマッピングするように設計された、コンパクトな単一ステージのタンパク質構造トークナイザーである。

入力：平均中心化された $C_\alpha$ 座標として表現されたタンパク質構造（ $x \in \mathbb{R}^{L \times 3}$ ）。
エンコーダー：回転位置符号化（RoPE）を用いたマルチヘッドアテンションを利用する Transformer ベースのエンコーダーが、入力を連続的な潜在埋め込み $Z \in \mathbb{R}^{L \times D}$ にマッピングする。
量子化：埋め込みは量子化空間に投影され、**ルックアップフリー量子化器（LFQ）**によって処理される。LFQ 空間は、二進部分コードブックの直積（ $C_i = \{-1, +1\}$ ）である。量子化は符号操作によって行われ、ルックアップテーブルを必要とせずにベクトルを離散インデックスにマッピングし、語彙サイズ $K = 2^D$ を生み出す。
デコーダー：StripedHyenaアーキテクチャ（ハイブリッド信号処理モデル）がデコーダーとして機能する。不変点アテンション（IPA）などの SE(3) 不変コンポーネントに依存する従来のデコーダーとは異なり、StripedHyena デコーダーはノイズの多い座標から構造を再構築するための条件付き速度場を学習する。

2.2 訓練目的：フローマッチング

Yeti は、ガウスノイズ分布（ $p_0$ ）と対象とするタンパク質構造分布（ $p_{data}$ ）を補間するフローマッチング目的を用いてエンドツーエンドで訓練される。

損失関数：モデルは、予測された条件付き速度場 $v_\theta(x_t, t, c)$ と目標ベクトル場（ $x_1 - x_0$ ）との差を最小化する。ここで、 $x_1$ はクリーンな構造、 $x_0$ はガウスノイズである。
エントロピー正則化：コードブックの崩壊を防ぎ、高利用を確保するために、損失関数にエントロピーペナルティが追加される： $L = L_{FM} + \lambda L_{entropy}$ 。
推論：推論中はクラスラフリーガイダンス（CFG）が採用される。トレーニング中にトークン埋め込みをランダムにゼロにすることで、モデルは条件付きおよび無条件の速度場の両方を学習し、ガイダンス付きデコーディングによって構造精度を向上させることができる。

2.3 マルチモーダル共生成

Yeti トークンの生成有用性を検証するために、著者らは**マスクド拡散モデル（MDM）**をゼロから訓練した。このモデルは、事前学習された初期化を使用せずに（DPLM-2 が配列モデルからウォームスタートする、または ESM3 がカスケードパイプラインを使用するのとは異なり）、アミノ酸配列と Yeti 構造トークンを同時に生成する。

3. 主要な貢献

コンパクトなエンドツーエンド・トークナイザー：先行研究で一般的な 2 段階の「エンコーダー固定」パラダイムを回避し、フローマッチングでエンドツーエンドに訓練された単一ステージのトークナイザー Yeti の導入。
高コードブック利用率：Yeti は、はるかに少ないパラメータ数でありながら、より大規模なモデル（ESM3、DPLM-2）や他の量子化手法（FSQ、VQ-VAE）と比較して、優れたコードブック利用率とトークンの多様性を達成する。
パラメータ効率：Yeti は、ESM3（648M）の約10 分の 1、DPLM-2（118M）の2 分の 1程度の6250 万パラメータのみで、競争力のある再構築精度を達成する。
概念実証としての共生成：Yeti トークン上でゼロから訓練されたコンパクトなマルチモーダルモデルが、タンパク質配列と構造の無条件共生成を実行でき、10 倍規模のモデルと同等の結果を達成することを示した。
フォールディングダイナミクスの分析：フローマッチングデコーディング軌道中における二次構造の階層的な出現の特定。これは、初期のグローバルな凝縮に続き、最終段階でグローバルなトポロジーが統合される「遅延コミットメント」現象によって特徴づけられる。

4. 結果

4.1 コードブック分析

利用率：8,192 項目のコードブックにおいて、Yeti は高いパープレキシティとエントロピーを達成し、ESM3 や Kanzi を大幅に上回る。CATH データセットでは、Yeti はその容量の約 66% を利用し（パープレキシティ = 5414）、構造内多様性（ $\bar{U}$ ）は**98.8%**であり、指標をほぼ飽和させ、残基に対して非常に明確なトークン割り当てを示している。
比較：Yeti は、DPLM-2 と同様に LFQ を使用しているにもかかわらず、コードブック利用率において DPLM-2 を上回る。これは、DPLM-2 の固定エンコーダーアプローチに対するエンドツーエンドのトレーニングパラダイムに起因する。

4.2 再構築精度

指標：Yeti は、CAMEO で TM スコア0.96、CASP14 で0.97、CASP15 および CATH で0.95を達成する。
効率性：ESM3 はその巨大な規模によりわずかに低い RMSD を示す一方で、Yeti の TM スコアは同等かそれ以上であり、正しいグローバルなトポロジーを効果的に回復することを示している。Yeti のフローベースのデコーダーは、局所的原子位置のばらつき（RMSD を罰する）を持つサンプルを生成するが、グローバルなトポロジーは一貫しており、これは多コンフォメーション生成に有益な特徴である。

4.3 無条件共生成

性能：Yeti トークンを使用して 260 万のタンパク質でゼロから訓練された 2 億 2400 万パラメータのモデルは、自己整合性 TM スコア（scTM）0.70、pLDDT76.12を達成した。
比較：この性能は、6 億 5000 万パラメータの事前学習済み配列モデルに依存する DPLM-2（scTM 0.87）と同等であり、カスケードパイプラインを使用する ESM3-Open（scTM 0.46）よりも大幅に優れている。
設計可能性：ProteinMPNN は、生成された構造から元の生成配列の**30.6%**を回復し、共生成されたペアの幾何学的整合性と設計可能性を確認した。

4.4 フロー軌道ダイナミクス

デコーディング軌道の分析は、特徴の非単調な出現を明らかにした：

初期段階（ $t < 0.6$ ）：急速なグローバルな凝縮（回転半径の減少）。
後期段階（ $t > 0.9$ ）：二次構造要素（ $\alpha$ ヘリックスと $\beta$ シート）の急速な凝集とグローバルなトポロジーの統合。
これは、トークナイザーが粗粒度密度と高周波構造詳細を効果的に分離していることを示唆している。

5. 意義と主張

本論文は、Yetiがマルチモーダルタンパク質モデルの訓練のためのコンパクトで表現力のある基盤として機能すると主張している。その主な意義は、以下の点を示していることにある：

離散トークン化は生成に viable である：大規模な事前学習やカスケードパイプラインなしでも、トークナイザーが表現力豊かで、トレーニング目的（フローマッチング）が生成目標と整合していれば、配列と構造の高品質な無条件共生成は可能である。
規模よりも効率性：6250 万パラメータという慎重に設計された小規模モデルは、トークンの多様性と再構築において 6 億パラメータ以上の大規模モデルを上回るか同等の性能を発揮し、タンパク質モデリングにおける性能への道筋が規模だけではないという概念に挑戦する。
統合された表現：結合された配列 - 構造データ上でゼロからモデルを訓練する能力は、アミノ酸配列と 3D 構造の間の内在的な結合を捉える普遍的な分子表現の可能性を検証する。

著者らは、Yeti をすべてのタンパク質設計タスクに対する最終的な解決策としてではなく、トークン化戦略の実用性を確立する概念実証として位置づけている。単一コンフォメーション構造への依存や、La-Proteina のような専門的で厳密に調整されたモデルの性能に匹敵するためのさらなるスケーリングの必要性などの限界を認めている。しかし、Yeti は、極めて妥当な配列と構造を共生成できる将来のマルチモーダルタンパク質モデルのための、スケーラブルで効率的かつ効果的なバックボーンを提供すると主張している。