技術的概要：タンパク質言語モデルにおける表現の形状の理解に向けた取り組み

問題提起

進化スケールモデリング（ESM）ファミリーなどのタンパク質言語モデル（PLM）は、de novoタンパク質設計、構造予測、機能注釈において大きな可能性を示している。PLM の表現がフォールディングモデルの有効な初期化として機能することは経験的に理解されているが、これらの隠れ表現に符号化された情報の正確な性質については、依然として十分に理解されていない。既存の解釈可能性の取り組みは、主に個々の配列が潜在ベクトルに変換される方法、または単一の配列内での特定の機能（例：結合モチーフ、共進化統計）の同定に焦点を当ててきた。しかし、これらのアプローチは、タンパク質表現の「空間全体」の幾何学的構造と、この潜在空間内で異なるタンパク質が互いにどのように関連しているかを軽視している。さらに、標準的な慣行は、配列次元を平均化することなどで縮約し、完全なテンソル表現に内在する「形状」情報を破棄してしまうことが多い。本論文は、PLM 表現空間のグローバルな計量幾何学と、構造的機能が符号化される特定のコンテキスト長に関する理解のギャップに取り組む。

手法

著者らは、タンパク質表現の「形状」を分析するための枠組みを提案し、それを主に 2 つの数学的アプローチを用いて計量空間にマッピングする。

1. 平方根速度（SRV）表現

表現空間のグローバルな幾何学を分析するために、著者らはタンパク質配列とその PLM 埋め込みを順序付けられた点群として扱う。

• 曲線補間: 点群（3 次元構造または PLM 埋め込みを表す）は、二次スプラインを用いて補間され、$\mathbb{R}^m$内の連続曲線$\gamma(t)$を形成する。
• SRV 変換: これらの曲線は、平方根速度（SRV）表現$q(t) = \dot{\gamma}(t)/\sqrt{\|\dot{\gamma}(t)\|^2}$に変換され、無限次元球面$S^\infty$上に射影される。
• 商化: 並進と回転（$SE(m)$の等長変換）に対する不変性を強制するために、特異値分解（SVD）を用いて回転群$SO(m)$を商化し、2 つの曲線を整列させる最適な回転を求める。
• 計量空間: このプロセスにより、タンパク質間の距離を計算できるリーマン幾何学的形状空間が作成される。著者らはこの空間を利用して以下のものを計算する。
  • フレシェ半径: すべての表現のフレシェ平均からの平均距離であり、形状の広がりの尺度として機能する。
  • 有効次元: 形状空間多様体上の接線主成分分析（Tangent PCA）を通じて計算され、形状変化の内在次元を測定する。

2. グラフ濾過

PLM のコンテキスト長感度を調査するために、著者らはトポロジカルデータ分析からのグラフ濾過アプローチを採用する。

• グラフ構築: 与えられたタンパク質とその PLM 表現に対して、アミノ酸残基間のユークリッド距離に基づいて$k$近傍グラフを構築する。
• 濾過: 近傍数$k$（または距離閾値$t$）を変化させることで、グラフの濾過を生成する。
• 計量比較: 著者らは、真の 3 次元タンパク質構造グラフの隣接行列と、PLM 表現グラフの隣接行列を比較する。
• グラフ濾過モーメント: 正規化された計量を、タンパク質構造とその PLM 埋め込みとの距離と、タンパク質構造とランダムな点群との距離との比率として定義する。これは、PLM が異なるスケール（コンテキスト長）で構造的近接性をどの程度よく保持するかを定量化する。

分析は、SCOPe データセットからサンプリングされた 1,377 個のタンパク質に対して行われ、さまざまなサイズの ESM2 モデルおよび Ankh モデルを介して処理された。

主要な結果

1. PLM 形状空間の幾何学

• 次元の拡大と収縮: 形状空間の有効次元は、層全体で非線形なパターンを示す。初期層、特に大規模モデルでは次元が著しく拡大し、その後、深い層で収縮する。
• 低次元部分空間: 最終層において、有効次元は非常に低くなり、周囲の埋め込み次元よりも著しく低くなる。これは、PLM が高次元空間をspanしている一方で、タンパク質形状の変化は少数の特定の形状記述子で記述できることを示唆している。
• フレシェ半径: フレシェ半径は一般的に深さとともに減少し、表現が形状空間内でよりクラスター化することを示している。注目すべきは、すべてのモデル間で形状のばらつきが低く、半径はモデルサイズによって著しく変化しないことである。
• 一般化可能性: この拡大 - 収縮パターンは、ESM2 モデルと Ankh モデルの両方で観察され、PLM アーキテクチャの根本的な性質であることを示唆している。

2. コンテキスト長感度

• 二峰性符号化: グラフ濾過分析は、構造的符号化において二峰性のパターンを明らかにする。PLM は、2 つの異なるスケールで 3 次元構造特徴を最適に符号化する。
  1. 即座の近傍: 非常に短いコンテキスト長（約 2 残基）において。
  2. 局所近傍: やや長いコンテキスト長（約 8 残基）において。
• 層依存性: 構造的符号化はネットワーク全体に存在するが、最終層では最適ではない。最も高い構造的忠実度は、最後の層に直前の層で見られる。
• クラス変異: 異なるタンパク質クラスは、構造的忠実度において異なる度合いを示す。アルファ/ベータタンパク質は、PLM 表現と 3 次元構造との間で最も高い類似性を示すのに対し、小型および設計されたタンパク質はより明確な形状を示す。
• 長さからの独立性: 深い層において、局所コンテキスト構造の符号化は、タンパク質の全長に依存しないように見える。

意義と主張

本論文は、個々の配列分析を超えて表現空間の集合的構造を理解するために、PLM 表現に対する新しい幾何学的視点を提供すると主張している。

• 解釈可能性: この研究は、明示的な構造監督なしにマスク言語モデリングタスクのみで訓練されたにもかかわらず、PLM がタンパク質構造を暗黙的に符号化していることを実証している。構造が特定のコンテキスト長（2 残基と 8 残基）で符号化されているという発見は、モデルが配列予測の副産物として局所的および準局所的な幾何学的制約を学習していることを示唆している。
• モデルアーキテクチャへの洞察: 有効次元における観察された拡大 - 収縮パターンは、初期層における高抽象化領域と、後続層における具体的で意味に富む領域に関する理論と一致する。深い層における低い有効次元は、タンパク質フォールディングという複雑なタスクが、少数の形状変換を通じてナビゲート可能であることを示唆している。
• フォールディングへの実践的含意: 著者らは、最終層における構造的符号化の最適でないことと、それ以前の層における高い忠実度との対比が、タンパク質フォールディングモデルの改善に向けた潜在的な道筋を提供すると示唆している。具体的には、最終層そのものではなく、最終層の直前の層からの表現を用いてフォールディングモデルを初期化することで、より良い性能が得られる可能性がある。ただし、著者らは、線形モデルや小規模ネットワークを用いた初期の検証試みが一般化しなかったことに言及しており、より大規模なモデルを用いたさらなる研究が必要であることを示している。

要約すると、本論文は、PLM 表現空間が、次元の拡大に続く収縮によって特徴付けられる明確な幾何学的構造を有しており、これらの表現が、特に最終出力に先行する層において、特定の短から中程度のコンテキスト長でタンパク質の構造的特徴を最も効果的に捉えていることを確立している。