Towards A Generative Protein Evolution Machine with DPLM-Evo

「DPLM-Evo を用いた生成性タンパク質進化機械の実現」論文の詳細な技術的サマリーは以下の通りです。

1. 問題定義

既存の離散拡散タンパク質言語モデル（DPLM）は、タンパク質配列の理解と生成において有望な成果を示してきました。しかし、これらは生物学的現実との根本的な不一致に悩まされています。

• マスキング対進化: 現在の DPLM は、前方過程でトークンをマストークンに置き換え、生成においてはこれらのマスクを反復的に回復させる「マスク拡散」に依存しています。これは、タンパク質がマスクの空虚な状態から出現するのではなく、置換、挿入、欠損といった「蓄積された編集」を通じて進化するという生物学的直観に反しています。
• 固定長制限: マスク拡散は固定長の配列上で動作します。ループなどの可変領域の再構築、リンカー長の調整、機能的モチーフの作成に不可欠な「挿入と欠損（Indels）」を扱うネイティブなメカニズムが欠如しています。
• 非効率的な学習: 標準的な拡散モデルは、しばしば均一なノイズを用いて汚染を行いますが、これは生物物理学的制約や進化的依存関係を無視しており、変異パターンの学習を非効率にします。

その結果、既存のモデルは、多重配列アラインメント（MSA）に依存することなく、可変長の生成、既存タンパク質の現実的な事後編集、および（特に Indels に関する）変異効果の正確な予測において困難に直面しています。

2. 手法：DPLM-Evo

著者らは、置換、挿入、欠損操作を明示的にモデル化する進化的離散拡散フレームワークである「DPLM-Evo」を提案します。

A. 潜在アラインメント空間の分離

固定次元の計算フレームワーク内で可変長の配列を処理するために、DPLM-Evo は以下の 2 つの空間を分離します。

1. 観測空間（$X$）: 可変長のタンパク質配列 $x$。
2. 潜在アラインメント空間（$Z$）: 元の残基と、交互に配置された「ギャップトークン（$\phi$）」を含む、アップサンプルされた長さ（例：$2 \times L$）の空間。

• メカニズム: 前方拡散過程は潜在空間 $Z$ 上で定義されます。Indels は、残基とギャップトークン間の遷移（$\text{Residue} \leftrightarrow \phi$）として表現されます。
• 圧縮: 決定論的関数 $\Gamma^{-1}$ がギャップトークンを除去し、潜在配列を観測配列にマッピングします。これにより、モデルは拡張された潜在キャンバス上で長さ変更操作（挿入/欠損）を実行しつつ、圧縮された観測配列上で効率的に動作できます。

B. 進化的ノイズカーネル

前方ノイズ過程は、ランダムな汚染ではなく、生物学的進化を模倣するように設計されています。

• 文脈化された進化的ノイズカーネル: 均一なランダム置換の代わりに、モデルは「データ依存カーネル」を使用します。ターゲット位置に対して、モデルは補助的な部分的にマスクされた文脈をサンプリングし、モデルに予測を問い合わせ、この分布を用いてトークンを汚染します。これにより、局所配列文脈と進化的制約を尊重する生物学的に妥当な変異が生成されます。
• ウォームアップ戦略: 学習初期にはモデルの信頼性が低いため、最初は単純なデータ非依存カーネル（マスキング）を使用します。学習が進むと、モデルは文脈化されたカーネルに切り替わります。
• 遷移行列（$Q_{noise}$）: 置換、挿入、欠損の比率を明示的にパラメータ化し、進化的軌跡を制御可能にします。

C. 構造と学習

• 3 ヘッド予測: 脱ノイズ中、モデルは観測配列の各トークンに対して 3 つの量を予測します。
  1. 置換ヘッド: アミノ酸分布を予測。
  2. 欠損ヘッド: トークンを削除する（$\phi$ へ遷移する）かどうかを予測する二値分類器。
  3. 挿入ヘッド: 右側に新しい残基を挿入するかどうかを予測する二値分類器。
• 損失関数: 学習目的は、クラス不均衡（置換は頻繁、Indels は稀）に対処するための特定の重みを持つ 3 つのコンポーネント（置換、欠損、挿入）に分解されます。欠損と挿入は、モード崩壊を防ぐために「二値交差エントロピー（BCE）」タスクとして扱われます。

D. サンプリング（生成）

逆過程には、反復的な脱ノイズループが含まれます。

1. 欠損: 欠損確率が高いトークンを削除。
2. 挿入: 挿入確率が高い位置にマスクトークンを挿入。
3. 置換: 置換ヘッドに基づき、すべてのノイズトークンを更新。
4. 再ノイズ: 多様性を維持し局所最適解を回避するため、選択された低信頼度トークンを文脈化されたカーネルを用いて再ノイズ。

3. 主要な貢献

1. 進化的離散拡散: 単一の離散拡散過程内で置換、挿入、欠損を明示的にモデル化する最初のフレームワーク。「マスク回復」パラダイムを超えています。
2. 長さ適応型モデリング: 潜在アラインメント空間を観測空間から分離することで、計算オーバーヘッドをほぼ増やすことなく、可変長の生成と編集を可能にします。
3. 生物学的に裏付けられたノイズ: 進化的に妥当な変異を生成する文脈化された進化的ノイズカーネルを導入し、学習効率とモデルが進化的依存関係を捉える能力を大幅に向上させました。
4. 統合された理解と生成: このフレームワークは、生成モデリングと進化生物学の間の溝を埋め、高品質な配列生成と正確な変異効果予測の両方を可能にします。

4. 実験結果

A. 変異効果予測（理解）

• ProteinGym 置換ベンチマーク: DPLM-Evo は、単一配列モデル間で**最先端（SOTA）**の性能を達成し、ESM-2、ESM-1v、および元の DPLM を上回りました。構造を使用する ESM-IF1 でさえ、単一配列設定において上回っています。
• ProteinGym Indel ベンチマーク: DPLM-Evo は、0.495 のスピアマン相関を達成し、他の単一配列ベースライン（例：ProGen2 M の 0.464）を大幅に上回り、MSA ベースの手法に迫っています。これは明示的な Indel モデリングの有効性を裏付けています。
• アブレーション: 文脈化されたカーネルを均一ノイズに置き換えると、性能は大幅に低下します（スピアマン相関 0.42 $\to$ 0.29）。これは生物学的に裏付けられたノイズの重要性を実証しています。

B. 無条件生成

• フォールディング性: 生成された配列は、高い pLDDT スコア（83.6）を達成し、DPLM（84.0）や DiMA（83.3）と同等です。
• 多様性: DPLM-Evo は、マスク拡散モデルよりも高い配列エントロピーと低い反復比率を示し、モード崩壊を効果的に緩和しています。
• 長さ制御: モデルは、初期シードに近い長さに集中した配列を生成し、保守的かつ制御された Indel 使用を示しています。

C. 条件付き生成と最適化

• モチーフ足場化: ゼロショットおよび微調整設定において、DPLM-Evo は動的な長さ調整を活用し、EvoDiff や DPLM-Mask と比較して機能的モチーフの足場化において高い成功率を達成します。
• 指向性進化（GFP）: 緑色蛍光タンパク質（GFP）を最適化する際、Indel サポートを備えた DPLM-Evo は、7 回の反復で pTM スコア0.857に達しました（置換のみの場合より 65% 高速）。ESM-2（0.737）を上回り、クロモフォア構造を維持しつつ全体的な安定性を向上させることに成功しました。
• シミュレーション上のファミリー拡張: モデルは、単一のシードから多様な配列を生成でき、構造的類似性（低い RMSD）を維持しつつ、配列同一性を低く（<50%）保つことができます。これにより、自然なファミリーの拡張を効果的にシミュレートできます。

5. 意義

DPLM-Evo は、拡散モデルの数学的フレームワークをタンパク質進化の生物学的現実と整合させることで、タンパク質生成モデリングにおけるパラダイムシフトを表しています。

• 実用的影響: 可変長のタンパク質設計を可能にし、エンジニアがループやリンカーを自然に挿入/削除できるようにします。これは以前、固定長モデルでは困難でした。
• 科学的洞察: 文脈化されたカーネルの成功は、タンパク質進化が高度に文脈依存性であることを示しており、モデルが効果的であるためにはこれらの依存関係を学習しなければならないことを実証しています。
• 効率性: 計算コストの高い MSA を必要とすることなく変異予測で SOTA 性能を達成し、迅速なタンパク質工学や創薬のための強力なツールとなります。

要約すると、DPLM-Evo は、静的な配列回復ツールであった離散拡散を、進化的制約の理解と明示的な編集軌跡を通じた新規かつ機能的なタンパク質の生成の両方を実現する動的な進化シミュレータへと変革します。