Multi-Modal Protein Representation Learning with CLASP

CLASP は、タンパク質のアミノ酸配列、3 次元構造、および機能記述テキストという 3 つのモダリティを対照学習と大規模言語モデルを統合して学習するユニファイドフレームワークであり、最先端の手法を上回るゼロショット分類や検索タスクを可能にします。

要約

この論文は、**「CLASP（クラップ）」という新しい AI 技術について紹介しています。これを一言で言うと、「タンパク質の『姿（3D 構造）』、『名前（アミノ酸の並び）』、『役割（説明文）』の 3 つを同時に理解し、それらをすべて同じ言語で会話できるようにする翻訳機のようなもの」**です。

難しい専門用語を避け、身近な例えを使って解説しますね。

1. タンパク質を理解するまでの「3 つの視点」

まず、タンパク質というものをどう捉えるか、3 つの異なる視点があることを想像してください。

1. アミノ酸の並び（文字列）: タンパク質は、20 種類のアミノ酸という「レゴブロック」が並んでできています。これを**「レシピの文字」**と考えるとわかりやすいです。
2. 3D 構造（形）: レシピの文字だけ見ても、それがどう折りたたまれて、どんな「立体の形」をしているかはわかりません。でも、この**「形」**が、タンパク質がどんな働きをするかを決める最も重要な部分です。
3. 説明文（テキスト）: 科学者たちは、そのタンパク質が「細胞の中で何をしているか」「どんな病気に関係するか」を、**「文章」**で説明しています。

これまでの AI は、このうちの「文字」だけを見るか、「形」だけを見るか、「文章」だけを見るか、どれか 1 つか 2 つしか見ていませんでした。でも、本当の理解には、これら 3 つをすべて同時に見る必要があります。

2. CLASP の正体：3 つの視点を繋ぐ「魔法の橋」

CLASP は、この 3 つの視点を一つに繋ぐ**「共通の言語」**を作ります。

• 従来の方法: 「レシピ（文字）」と「形」を比べるには、それぞれ別の辞書で調べる必要があり、ズレが生じやすかった。
• CLASP の方法: 「レシピ」「形」「説明」の 3 つを、**同じ「意味の地図」**の上に投影します。

【例え話：料理のレシピ】

• レシピ（文字）: 「小麦粉 200g、卵 2 個…」と書かれた紙。
• 形（3D）: 実際に焼かれた「クッキー」の立体。
• 説明（テキスト）: 「これは朝食に美味しい、子供が好きなクッキーです」という文章。

CLASP は、「この文字のリスト」「このクッキーの形」「この説明」が、すべて「同じクッキー」を指していることを学習します。
もし、CLASP が「卵 2 個」という文字と「丸いクッキーの形」を見て、「これは同じものだ！」と学習できれば、「子供が好きなクッキー」という文章を与えられたとき、その文章から「卵 2 個」や「丸い形」を思い浮かべられるようになります。

3. CLASP がすごいところ（できること）

この「共通の地図」を作ったおかげで、CLASP は驚くようなことができます。

• ゼロショット分類（初見でもわかる！）:
  学習していない新しいタンパク質が出てきても、「この形は、この説明と合っている！」と即座に判断できます。まるで、見たことのない料理の形を見て、「これは多分カレーだ」と言い当てられるようなものです。
• 検索機能の強化:
  「このタンパク質の形に似たものを探して」と言えば、形から検索できますし、「がん治療に関わるタンパク質を探して」と言えば、文章から形や名前を逆引きして見つけることができます。
  • 実験結果: 3 万 5 千種類以上のタンパク質から、たった 1 つの「自由な文章（例：『細胞の壁を壊す酵素』）」だけで、正しいタンパク質を98% 以上の確率で見つけ出すことができました。

4. なぜこれほどすごいのか？（3 つの魔法）

CLASP が他の AI より優れているのは、3 つの要素を組み合わせる「魔法」を使っているからです。

1. 3D 構造を正しく見る目（幾何学的深層学習）:
   単に形を見るだけでなく、分子が「回転しても、移動しても、同じ形」と認識する特別な技術（E(3)-不変性）を使っています。これは、料理が皿の上で回転しても「同じカレー」だと認識するのと同じです。
2. 3 つの視点を同時に学ぶ（対照学習）:
   文字、形、文章の 3 つを同時に比べて、「これは同じだ」「これは違う」と学習します。これにより、どれか 1 つの情報が欠けても、他の情報で補えるようになります。
3. 相互補完:
   「形」からは見えない機能のニュアンスを「文章」から学び、「文章」だけでは曖昧な部分を「形」で補います。3 つが協力し合うことで、より深く、正確な理解が可能になります。

まとめ

この研究は、**「タンパク質という複雑な存在を、文字・形・文章という 3 つの異なる角度から同時に捉え、それらを一つに統合する」**という画期的なステップです。

これにより、将来は以下のようなことが可能になるかもしれません：

• 「この病気に関係しそうなタンパク質の形」を、自然な言葉で検索して見つける。
• 新しい薬を作るために、目的の働きをするタンパク質の「形」を、言葉だけで設計する。

CLASP は、生物学の「言葉」と「形」の壁を取り払い、科学者がタンパク質の世界をより直感的に理解し、活用するための強力なツールとなったのです。

技術概要

以下は、提示された論文「Multi-Modal Protein Representation Learning with CLASP」の技術的な要約です。

1. 背景と課題 (Problem)

タンパク質の機能理解には、以下の 3 つの異なる視点（モダリティ）を統合することが不可欠ですが、既存の手法はこれらを単独または 2 種類のみで扱うことが多く、完全な統合がなされていませんでした。

1. アミノ酸配列 (Sequence): 大量の未ラベル配列データから学習されたタンパク質言語モデル（pLMs: 例 ESM, ProtT5）は強力ですが、配列だけでは機能や構造の保存性を完全には捉えられません。
2. 3D 構造 (Structure): X 線結晶構造解析や Cryo-EM などで得られる原子レベルの構造情報は、配列よりも保存性が高く、機能との相関が強いですが、従来の手法では配列やテキストとの統合が不十分でした。
3. テキスト記述 (Text): UniProt などのデータベースや研究論文に含まれる生化学的・機能的な記述は、高レベルの意味論的知識（細胞内での役割、疾患関連など）を含みますが、構造や配列から直接推論できない情報です。

課題: 既存のモデルは「配列 - 構造」または「配列 - テキスト」の 2 モダリティ整合に留まることが多く、3 つのモダリティ（構造、配列、テキスト）を同時に統合し、相互に補完的な表現を学習する枠組みが不足していました。

2. 提案手法：CLASP (Methodology)

著者らは、CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining) という、3 モダリティ統合フレームワークを提案しました。これは、CLIP（Contrastive Language-Image Pre-training）の概念をタンパク質の 3D 構造に拡張したものであり、以下の構成要素で成り立っています。

• アーキテクチャ:
  • 構造エンコーダ: PDB ファイルを原子レベルのグラフに変換し、E(3)-不変グラフニューラルネットワーク (EGNN) を使用して構造埋め込みを生成します。EGNN は、回転や並進に対して不変であり、分子幾何学の特性を保持します。
  • 配列エンコーダ: 事前学習済みのタンパク質言語モデル ProtT5（固定化）から得られた 1024 次元の配列埋め込みを使用します。
  • テキストエンコーダ: 生体医学に特化した大規模言語モデル BioGPT（固定化）を用いて、タンパク質の機能記述から 1024 次元のテキスト埋め込みを生成します。
• アライメントモジュール:
  • 各モダリティの埋め込みを、学習可能な線形投影層を通じて共通の 512 次元空間にマッピングします。
  • 3 モダリティ対照学習 (Tri-modal Contrastive Learning): 3 つのモダリティペア（構造 - 配列、構造 - テキスト、配列 - テキスト）すべてに対して、対照損失（Cross-Entropy Loss）を適用します。これにより、同じタンパク質に対応する 3 つの埋め込みは近づけ、異なるタンパク質の埋め込みは遠ざけるように学習します。
  • 損失関数には、正則化項と、3 つの対称的なクロスエントロピー項が含まれます。

3. 主要な貢献と結果 (Key Contributions & Results)

3.1 ゼロショット分類と検索タスクでの卓越した性能

CLASP は、事前学習データに存在しないタンパク質に対しても、モダリティ間での一致判定（ゼロショット分類）や検索において、最先端のベースラインを凌駕する性能を示しました。

• 構造 - 配列アライメント: 与えられた構造と配列が同一タンパク質かどうかを判定するタスクにおいて、CLASP は AUROC 0.976、MCC 0.841 を達成し、Progres や COLLAPSE などの構造エンコーダを用いた CLIP ベースのモデルや、ProstT5（配列と構造の翻訳モデル）を大幅に上回りました。
• 構造 - テキストアライメント: 機能記述と 3D 構造の整合性判定においても、CLASP は最も高い精度（AUROC 0.858）を記録しました。
• 配列 - テキスト検索: 35,911 件の候補配列から、テキスト記述（UniProt 形式、学術論文風、自由記述）に基づいて正しい配列を検索するタスクにおいて、CLASP はすべての記述スタイルで上位 1% 以内（平均 98.9% 以上）の順位で正解を特定しました。特に、訓練データとは異なる「自由記述」に対しても高い頑健性を示しました。

3.2 生物学的意味の保持とクラスタリング

• ファミリークラスタリング: CLASP が学習した構造埋め込みは、キナーゼ、GPCR、イオンチャネルなどのタンパク質ファミリー間で、Progres や ProstT5 などの既存モデルよりも明確にクラスタリングされました（シルエットスコア、Calinski-Harabasz 指数などの指標で優位）。
• 多様性の統合: 3 モダリティの対照学習により、構造エンコーダが単なる幾何学的特徴だけでなく、配列や機能記述から得られる生物学的文脈も取り込むようになり、より意味のある表現空間が形成されました。

3.3 アブレーション研究による検証

• EGNN の重要性: 通常の GNN に置き換えると性能が著しく低下し、3D 構造の幾何学的対称性（E(3)-不変性）の保持が重要であることが示されました。
• 3 モダリティの必要性: 2 モダリティ（CLIP 形式）のみの学習と比較して、3 モダリティ同時学習の方が全タスクで優れており、各モダリティが相補的に機能していることが確認されました。
• プーリング戦略: グラフレベルの集約において、和（Sum）プーリングが平均や最大値プーリングよりも優れていました。

4. 意義と将来展望 (Significance)

CLASP は、タンパク質の「物理的決定要因（構造・配列）」と「意味的・機能的文脈（テキスト）」を単一の埋め込み空間に統合する最初の包括的なフレームワークの一つです。

• 解釈可能性の向上: 構造、配列、機能記述を相互に関連付けることで、タンパク質の機能を多角的に理解・推論することが可能になります。
• 応用可能性: 創薬、タンパク質アノテーション、文献駆動型のタンパク質設計、構造的類似性に基づく疾患関連タンパク質の検索など、幅広いバイオインフォマティクスタスクへの応用が期待されます。
• 汎用性: 特定のタスクに特化した教師あり学習を必要とせず、ゼロショットで多様なモダリティ間タスクを処理できるため、一般目的のタンパク質理解基盤として機能します。

本研究は、深層学習、幾何学的深層学習、自然言語処理を融合させることで、タンパク質科学における表現学習の新たなパラダイムを確立した点に大きな意義があります。