技術要約: LC-SEPLM

問題提起

ESM2などのタンパク質言語モデル（pLM）は、マスクされた言語モデリング（MLM）を通じて文脈依存性をモデル化することにより、アミノ酸配列から転移可能な表現を学習することに成功している。しかし、これらのモデルは主に配列の文脈に基づいた残基の同一性を学習しており、明示的な三次元構造の関係を学習しているわけではない。決定的な限界として、標準的なMLMの目的関数は、モデルに対して、一次配列では離れているが折り畳み後に空間的に近接する残基のペアである「長距離残基接触」を特定させるための明示的な制約を与えないことである。配列データに含まれる進化的な制約は、間接的に何らかの構造情報をコードしているものの、マスクされた残基を予測すること自体は、エンコーダーに対して特定の空間的に隣接する残基ペアを特定することを強制するものではない。

構造情報を組み込む既存のアプローチの多くは、ダウンストリームの推論時に、構造座標、予測構造、または構造由来のトークン（例：3Di状態）をインプットとして必要とする。この依存性は、配列データのみが利用可能なシナリオにおける適用性を制限する。本研究が取り組む中心的な課題は、ダウンストリームの展開時には構造入力を必要とせずに、いかにして配列のみのモデルの適応過程において直接的な構造的監督を導入するかである。

手法

著者らは、事前学習済みのESM2モデルを、Low-Rank Adaptation (LoRA) と長距離残基対接触の監督を用いて適応させるフレームワークである LC-SEPLM (Long-range Contact-supervised ESM Protein Language Model) を提案している。

コアアーキテクチャと適応:

• ベースモデル: 本手法は ESM2-t30-150M-UR50D を適応させている。
• LoRAの統合: LoRAモジュールを、最後の8つのTransformerレイヤー（Tail-8）のAttention投影行列（$q\_proj$ および $v\_proj$）に挿入する。元のESM2の重みは凍結されたまま、低ランク行列（$A$ および $B$）が学習される。
• 接触監督ブランチ: 長距離接触を予測するための、トレーニング専用のブランチが追加される。このブランチは、Swiss-Protタンパク質からのAlphaFold予測構造を利用して、グラウンドトゥルースのラベルを生成する。
  • ラベルの定義: 正の接触は、配列分離 $|i-j| \ge 12$ かつ C$\alpha$-to-C$\alpha$ 距離 $d_{ij} \le 8$ Å である残基ペア $(i, j)$ として定義される。
  • ペア・クエリ・メカニズム: 各サンプルされた残基ペアに対して、モデルはペア固有のクエリを構築する。このクエリは、残基の状態、それらの絶対差、要素ごとの積、および正規化された配列距離を結合したものである。
  • クロスアテンション: ペア固有のクエリは、クロスアテンションを介して完全な残基配列に注意を向ける。これにより、接触予測が、特定のペアに関連するグローバルな配列文脈を、局所的な特徴のみに依存することなく取り入れることが可能になる。
  • 損失関数: 全体の損失は、接触予測のバイナリクロスエントロピー損失（$L_{contact}$）と、補助的なマスクされた言語モデリング損失（$L_{MLM}$）を組み合わせたものであり、重みは $\lambda_{MLM} = 0.6$ とする。

推論:
極めて重要な点として、適応後には接触監督ブランチ（ペア・クエリ、クロスアテンション、および接触ヘッドを含む）は削除される。ダウンストリームの推論は、適応されたESM2エンコーダーとアミノ酸配列のみに依存し、平均プーリングを介して640次元のタンパク質埋め込みを生成する。構造座標、接触マップ、または構造由来のトークンは、推論時には一切必要とされない。

学習データ:
モデルは500,000個のAlphaFold予測Swiss-Protタンパク質を用いて学習された。配列は512残基に切り詰められ、計算量を管理するために、候補となるペアは近似的な2:1の負例対正例比率でサンプリングされた。

主な貢献

1. 新しい適応戦略: LC-SEPLMは、配列のみの推論パイプラインを維持しながら、長距離接触の監督を通じて、配列のみのpLMに構造的知識を注入する手法を提案している。
2. ペア固有のグローバルコンテキスト: ペア関係を独立した位置状態へと圧縮する手法とは異なり、フルシーケンスに対するクロスアテンションを用いたペア・クエリ・メカニズムの導入により、特定の残基ペアに関連するグローバルな構造コンテキストを学習できる。
3. 限定的な構造的監督: 本研究は、構造的監督をトレーニングフェーズに効果的に限定でき、ダウンストリームのアプリケーションにおける構造入力の必要性を回避できることを示している。

結果

著者らは、凍結された適応済みエンコーダーを、8つのタンパク質レベルのタスクと2つの残基レベルの診断指標で評価し、ベースとなるESM2および構造情報を持つESM-Sモデルと比較した。

タンパク質レベルのタスクにおける性能:

• 普遍的な改善: LC-SEPLMは、すべての8つのタンパク質レベルのタスクにおいて、ベースのESM2と比較して性能を向上させた。
• 遠縁ホモロジー: 最も顕著な利得は、遠縁ホモロジー認識（Pfam-clan）で見られ、マクロF1スコアが0.6122から0.6769へと増加した（+0.0647）。
• その他のタスク: Gene Ontology Molecular Function (GO-MF)、Pfamファミリー分類、および細胞内局在においても、緩やかではあるが一貫した利得が見られた。
• 独立したベンチマーク: 公式のESM-Sベンチマークにおいて、LC-SEPLMは酵素（EC）予測タスクでESM-S (150M) を上回り、F1-maxの利得は最大0.1771に達した。しかし、特定のフォールド分類やGO-MFのスプリットにおいてはESM-Sを下回っており、その恩恵がすべてにおいて普遍的ではないことを示唆している。

局所的診断における性能:

• 改善なし: 本手法は、ProteinGymの変異効果予測（Spearman相関の低下）や、UniProtの翻訳後修飾（PTM）部位予測において改善を示さなかった。
• 解釈: これは、長距離接触の監督が、局所的な残基レベルの信号よりも、グローバルなタンパク質表現（フォールドレベル）をより効果的に強化することを示唆している。

チェックポイントの選択:
著者らは、接触予測精度を最大化するチェックポイント（Epoch 12）と、ダウンストリームの転移性能が最高となるチェックポイント（Epoch 10）が異なることを指摘しており、モデル選択におけるダウンストリームでの検証の必要性を強調している。

重要性と主張

本論文は、LC-SEPLMを、配列のみの表現に構造情報を豊かにするための実用的かつ限定的な戦略として位置づけている。

• 恩恵の範囲: 著者らは、本手法は遠縁ホモロジー認識や酵素機能予測のような、グローバルな構造コンテキストに依存するダウンストリームタスクにおいて最も効果的であると主張している。
• 限界: 本研究は、このアプローチがすべての予測タスクを普遍的に改善するわけではないことを明示的に認めている。局所的な生化学的効果（変異の影響やPTM部位など）が支配的なタスクに対しては、説得力が低い。
• トレードオフ: 監督のためにAlphaFold予測構造を使用することは、スケーラビリティの面では強みであるが、構造ソースからの予測バイアスを転移させる可能性があるという潜在的な限界でもある。
• 結論: LC-SEPLMは、ダウンストリームのアプリケーションが学習された表現のグローバルな性質と一致していれば、残基対の接触監督が、配列のみのモデルに構造的制約を導入する実行可能な経路であることを示している。この手法は、構造を考慮した推論の複雑さを回避しつつ、進化および機能分類に関連するタンパク質の折り畳みの主要な側面を捉えることができる。