EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

技術的サマリー：EvoStruct

問題：GNN ベースの CDR 設計における語彙の崩壊
抗体の相補性決定領域（CDR）を設計するための現在の最先端手法は、等変性グラフニューラルネットワーク（GNN）に大きく依存しています。これらの手法は高い配列回復率を達成しますが、「語彙の崩壊」と呼ばれる致命的な失敗モードに陥っています。この現象において、限られた構造化データ（約 3,000 個の抗体 - 抗原複合体）で訓練されたモデルは、アミノ酸の完全な分布を学習できず、代わりにチロシンやグリシンといった狭いサブセットのアミノ酸を過剰に予測し、トリプトファン、システイン、メチオニンといった機能的に重要だが稀なアミノ酸を無視してしまいます。

この崩壊は、GNN エンコーダーが、数億ものタンパク質配列を含むデータベースに符号化された豊かな進化的置換パターンを捨象し、希薄な構造化訓練セットから de novo（新規に）アミノ酸置換パターンを学習しようとするために発生します。その結果、これらのモデルは以下の特性を示します：

1. 多様性の低下：実効語彙（$V_{eff}$）が、ネイティブな約 15.5 から 3.0〜5.5 まで低下します。
2. 結合ペア学習の欠如：モデルはパラトープ（抗体）とエピトープ（抗原）のアミノ酸ペア間の特定の相関を捉えることに失敗します。
3. 接触部位の弱さ：抗原と接触する部位における配列回復率は、非接触部位と比較して著しく低く、これは抗原特異的な結合物理の学習失敗を示しています。

手法：進化的事前知識と構造的事前知識の架橋
これらの問題を解決するため、著者は凍結されたタンパク質言語モデル（PLM）と 3D 構文脈をクロスアテンションアダプターを介して架橋するフレームワーク、EvoStruct を提案します。このアーキテクチャは、2 つの並列パスで動作します：

1. 進化的パス（PLM バックボーン）：モデルは凍結された ESM-2（6 億 5,000 万パラメータ）を利用して、抗体の重鎖に対する埋め込みを生成します。推論中に CDR 位置をマスクすることで、ESM-2 は 2 億 5,000 万以上の配列での訓練から得られた高品質な進化的事前知識と、調整されたアミノ酸語彙を提供します。
2. 構造的パス（GNN エンコーダー）：関係性を意識した E(3)-等変性 GNN が、完全な 3D 抗体 - 抗原複合体グラフを符号化します。これは空間幾何学、残基間相互作用、およびエピトープ近接性を捉えます。メモリ管理のため、GNN は CDR に対する抗原コンテキストを、$K_{ag}$ 個の最も近い残基にクロップします。
3. ミニ構造化アダプター：これが中核的な革新です。これはクロスアテンションを実行し、以下の構成を持ちます：
   • クエリ（$Q$）：ESM-2 の CDR 埋め込み（進化的事前知識）から導出されます。
   • キー（$K$）と値（$V$）：GNN 符号化された構造的コンテキスト（CDR + クロップされた抗原残基）から導出されます。
   • アダプターはこれらを共有空間に射影し、進化的表現が「私はどのような構造的環境にいるのか？」と問いかけ、GNN の構造的回答を受け取ることを可能にします。出力は ESM-2 の埋め込み空間へ再び射影されます。
4. シーケンスヘッド：最終的な予測は、PLM の埋め込み空間内で完全に動作するシーケンスヘッドによって行われ、ESM-2 の語彙の調整性を維持します。

トレーニング戦略
EvoStruct は、構造的タスクへの適応中に進化的事前知識の破滅的忘却を防ぐための特定のトレーニングレジメンを採用します：

• 段階的アンフリーズ：Howard & Ruder (2018) に従い、ESM-2 バックボーンは当初凍結されたままとし、アダプターと GNN を訓練します。その後のフェーズでは、上位のトランスフォーマー層を段階的にアンフリーズし、最終的にすべてのパラメータを微調整します。
• R-Drop 一貫性正則化：ドロップアウト変動に対する堅牢性を確保するため、モデルは異なるドロップアウトマスクを用いて 2 回のフォワードパスを実行し、結果として生じるシーケンス損失間の不一致にペナルティを課します。
• マルチタスク損失：目的関数は、シーケンス交差エントロピー、座標損失（Huber）、ペアリング対照損失（InfoNCE）、ドッキング損失、およびシャドウパラトープ損失（ペアワイズ距離監督）を組み合わせます。

主な貢献

1. 定量的診断：本論文は、実効語彙（$V_{eff}$）と結合ペア相関指標を用いて CDR 設計における語彙の崩壊を体系的に分析し、GNN 手法がネイティブなアミノ酸多様性のわずか 20〜35% しか回復できないことを明らかにしました。
2. 新規適応：PLM と構造の架橋パラダイムを CDR 設計に特化して適応させ、この領域における固有の多様性 - 精度のトレードオフに対処するため、段階的アンフリーズと R-Drop 正則化を導入しました。
3. 実証的検証：本研究は、PLM の語彙調整が CDR 設計に成功裡に転用可能であることを示し、高い精度と高い多様性を同時に達成するという、従来のトレードオフを打破しました。

結果
11 のベースライン（GNN、拡散モデル、自己回帰手法を含む）に対するCHIMERA-BENCHベンチマークでの評価において、EvoStruct は以下の結果を達成しました：

• 最高シーケンス回復率：0.43 のアミノ酸回復率（AAR）を達成し、最高の GNN ベースライン（0.37）に対して 16% の相対改善を示しました。
• 最低パープレキシティ：1.88（RAAD に対して 43% 削減）であり、より自信に満ちた調整された予測を示しています。
• 回復された多様性：実効語彙（$V_{eff}$）12.4 を達成し、ネイティブな多様性の 80% を回復しました（GNN ベースラインでは 4.7〜5.3）。アミノ酸多様性を 2.3 倍生成しました。
• 改善された結合相関：最高のパラトープ - エピトープペア相関（$r=0.73$）とインターフェースエンリッチメント相関（$r=0.81$）を達成し、抗原情報がシーケンスヘッドへ正常にルーティングされたことを示唆しています。
• 構造的品質：RMSD 1.84 Å の CDR バックボーンを生成し、トップクラスの GNN 手法と同等の品質でした。

意義と限界
本論文は、EvoStruct が進化的事前知識を活用できない GNN の体系的失敗を解決し、凍結された PLM と構造化エンコーダーを架橋することが抗体設計の有効な戦略であることを証明すると主張しています。ESM-2 のようなモデルの語彙調整が CDR 設計に転用可能であり、モデルが同時に高い精度と高い多様性を達成できることを確立しました。

ただし、著者は結合指標に関しては控えめです。EvoStruct はシーケンス品質において優位ですが、最高の結合インターフェース指標（例：$fnat$ および DockQ）を達成しているわけではありません。特に、抗原に条件付けされていない RefineGNN はわずかに高い結合スコアを達成しました。著者はこれを、クロスアテンションアダプターがインターフェース予測のために抗原の構造化情報を十分に活用できていないことに起因すると帰し、接触部位の回復がすべての手法にとって依然として課題であると指摘しています。今後の研究では、より豊かなアダプターアーキテクチャと代替目的関数を探索し、抗原特異的な結合予測をさらに改善すべきであると提案しています。