技術的概要：ProtSent（タンパク質文書トランスフォーマ）

問題定義

ESM-2 などのタンパク質言語モデル（pLM）は、進化情報や構造情報を効果的に捉える残基ごとの表現を生成します。しかし、それらの標準的な平均プーリングされたシーケンス埋め込みは、タンパク質全体間の機能的、進化的、または構造的な類似性を明示的に反映するように訓練されていません。その結果、埋め込み空間の幾何学は、生物学的に関連するタンパク質が空間的に近接することを保証しません。この制限により、下流タスクにおける単純な最近傍検索の利用が妨げられ、通常は凍結された埋め込みの上にタスク固有の分類器（プローブ）を訓練する必要があります。著者は、自然言語処理（NLP）における BERT 型モデルが、意味的に類似した文が近傍となるように埋め込み空間を再構成するコントラスト学習を用いた Sentence-BERT の登場まで、同様の制限に直面していたというアナロジーを引いています。

手法

著者は、pLM のバックボーンを汎用埋め込みモデルに適応させるために設計されたコントラスト微調整フレームワークであるProtSent（Protein Sentence Transformers）を提案します。

構造と訓練

• バックボーン: このフレームワークは、SentenceTransformers フレームワークにラップされた ESM-2（35M および 150M パラメータの両方のバリアント）を利用します。すべてのトランスフォーマ層はエンドツーエンドで微調整されます。
• 埋め込み生成: シーケンスレベルの埋め込みは、パディングされていない残基トークン上で平均プーリングを行うことで得られます。
• 損失関数: 主要な目的はMultipleNegativesRankingLoss (MNRL) であり、これは正のペア間のコサイン類似度を最適化し、バッチ内の他の正のサンプルを負として扱います。連続的なフィットネススコアを提供する離散ペアではないディープ変異スキャン（DMS）データについては、連続スコアの順序を保持するランキングベースの目的関数であるCoSENTLossを採用します。
• データソース: ProtSent は、異なる生物学的シグナルの均等な表現を確保するためにラウンドロビン方式でサンプリングされた 5 つの異種タンパク質ペアデータセットで訓練されます。
  1. Pfam ファミリー: 進化的および機能的相同性を表す 3290 万ドメイン。
  2. Pfam ハードネガティブ: 高シーケンス類似性を持つが有害な効果をもたらす変異体など、構造的に導出された「ハード」ネガティブを伴う 180 万のアンカー。これにより微細な識別を強制します。
  3. AlphaFold DB (AFDB) 構造ペア: Foldseek 構造クラスターでグループ化された 1 億 3390 万のシーケンス。大規模な構造監視を提供します。
  4. STRING-DB: 機能的関連性を捉える 3650 万のタンパク質 - タンパク質相互作用ペア（中程度の信頼度）。
  5. ディープ変異スキャン（DMS）: ProteinGym および臨床データからの 220 万ペア。CoSENTLoss を通じた補助的な回帰シグナルとして使用されます。
• 評価プロトコル: 著者は凍結埋め込みプロトコルを使用して性能を評価します。微調整されたモデルがシーケンスをエンコードし、得られた埋め込み上で単純なk 近傍（KNN）プローブ（k=3、ユークリッド距離）が訓練されます。このアプローチは、学習された分類器の能力ではなく、埋め込み空間の幾何学的な本質的な品質を測定します。

主要な貢献

1. フレームワークの導入: 5 つの異なるタンパク質ペアデータセットをラウンドロビンサンプリングと組み合わせて汎用埋め込みを作成するコントラスト微調整フレームワーク、ProtSent の導入。
2. 性能向上: 埋め込み近傍の品質に依存するタスク、具体的には遠縁相同性検出と構造検索において、タスク固有の監視なしにコントラスト微調整が大幅な改善をもたらすことの証明。
3. スケーラビリティ: 2 つのモデルスケール（35M および 150M パラメータ）および多様な生物学的タスク（機能、構造、エンジニアリング、変異）にわたって改善が一貫していることの検証。
4. アブレーション分析: 各訓練データソースとサンプリング戦略の寄与を体系的に分離し、Pfam ファミリーが支配的なシグナルを提供する一方、ハードネガティブは一部のタスクに対して過度に攻撃的な勾配をもたらす可能性があることを明らかにしました。
5. リソース公開: モデル、コード、訓練データ、および訓練レシピの公開。

結果

著者は、ProtSent を 23 の下流タスク（二値分類、多クラス分類、回帰）および構造検索ベンチマーク（SCOPe-40）で評価しました。

• KNN プローブの性能:
  • ESM-2 150M: 23 のタスクのうち 15 で改善。顕著な改善としては、遠縁相同性検出で**+105%、変異体効果予測（GB1）で+17%、SCOPe-40 構造検索で Recall@1 が+19.9%**などがあります。
  • ESM-2 35M: 23 のタスクのうち 16 で改善。顕著な改善としては、遠縁相同性で**+40.5%、SCOPe-40 で Recall@1 が+15.5%**などがあります。
  • タスクの詳細: 二値分類タスク（PPI 予測、溶解性など）では広範な改善が見られました。回帰タスクでは結果が混合しており、蛍光とβ-ラクタマーゼのフィットネスは改善しましたが、一部の安定性タスクでは劣化しました。これは、コントラスト目的関数が単一のタンパク質の変異近傍内の順序関係を常に保持するわけではないことを示唆しています。
• 構造検索（SCOPe-40）: ProtSent は、すべての閾値において Recall@K で一貫した 2 桁の改善を達成し、埋め込み空間が構造的に類似したタンパク質を互いに近づけるように再編成されたことを示しています。
• 少ショット学習: 低データ領域（N=50 から N=1000）において、ProtSent はベースラインに対して特に構造的または機能的なグループ化を必要とするタスク（N=100 における遠縁相同性で +244.5% など）で顕著な相対的改善を示しました。
• アブレーションの知見:
  • Pfam ファミリーを除去すると性能が最も大きく低下し、進化的相同性が主要なシグナルであることを確認しました。
  • ハードネガティブを除去すると、タスク全体の平均デルタが驚くべきことに改善し、バッチ内ネガティブのみで十分であり、ハードネガティブが特定のタスクの埋め込み空間を撹乱する可能性があることを示唆しました。
  • AlphaFold DBペアを除去すると、構造および酵素分類タスクの性能が大幅に低下し、構造監視の価値を浮き彫りにしました。
  • ラウンドロビンサンプリングは堅牢であり、比例サンプリングも同様の結果をもたらしました。

意義と主張

本論文は、ProtSent がコントラスト微調整を通じてタスク固有の監視を必要とせずに、タンパク質の機能と構造をよりよく捉えるようにタンパク質埋め込み空間を再構成することに成功したと主張しています。著者は、コントラスト学習が近傍構造を再構成することに成功すれば、単純な近傍識別プローブが改善の最も敏感な検出器となるはずであると論じ、ProtSent を「汎用基盤モデル」として位置づけています。

この研究は、その規模（5 つのソースから 7000 万を超えるタンパク質ペアで訓練）と広さ（単一の類似性軸ではなく 23 の多様なタスクで評価）において、ProtTucker や PLMSearch などの先行研究と区別されます。著者は、訓練データが 5 つのソースによって捉えられる関係タイプに限定されていること、およびマッチしたベンチマークにおける専門的な検索システムとの直接的な比較を行っていないことを限界として認めています。彼らは、コントラスト微調整が、検索、クラスタリング、および少ショット転送のための事前学習済み pLM を適応させるための広く適用可能な戦略であると結論付けています。