Understanding protein function with a multimodal retrieval-augmented foundation model

本論文は、進化制約の文脈内学習と構造条件付けを組み合わせたマルチモーダル検索拡張型基盤モデル「PoET-2」を提案し、ゼロショット変異効果予測や少量データにおけるタンパク質機能予測において最先端の性能を達成したことを報告しています。

要約

この論文は、**「PoET-2（ポエット・ツー）」**という新しい人工知能（AI）モデルについて紹介しています。この AI は、生命の設計図である「タンパク質」の仕組みを理解し、新しいタンパク質をデザインするのを助けるために作られました。

専門用語を抜きにして、わかりやすい例え話で解説します。

1. タンパク質とは？そして、なぜ AI が必要なの？

まず、タンパク質とは、私たちの体や生き物の中で「仕事」をする小さな機械のようなものです。酵素として化学反応を助けたり、ウイルスと戦ったりします。
このタンパク質は、アミノ酸という「ビーズ」が鎖のように繋がってできています。ビーズの並び順（配列）が変わると、その機械の性能（機能）も変わってしまいます。

これまでの AI は、このビーズの並びを勉強して「どの並びが丈夫か」「どの並びが機能するか」を予測しようとしました。しかし、大きな課題が 3 つありました。

1. 複雑な変化に弱い： 1 つのビーズを変えるだけならわかるが、ビーズを「足したり」「抜いたり」したり、複数のビーズを同時に変えるような複雑な変化は予測できなかった。
2. データ不足： 実験データがほとんどない新しいタンパク質の設計には、あまり役に立たなかった。
3. 巨大すぎる： より正確にしようとして AI を巨大化させると、計算コストが上がりすぎて実用性が落ちた。

2. PoET-2 のすごいところ：3 つの魔法

PoET-2 は、これらの問題を解決するために、3 つの「魔法」を組み合わせています。

① 「家族のアルバム」を見る（検索強化）

これまでの AI は、自分自身で全てを暗記しようとしていました。でも、PoET-2 は違います。
**「このタンパク質の『親戚』や『兄弟』（進化の過程で似ているタンパク質）のアルバムを見せて！」**と AI に頼むと、PoET-2 はそのアルバム（データベース）から関連する情報を瞬時に取り出して、文脈を把握します。

• 例え： 料理のレシピを覚える際、自分だけで全部覚えておくのではなく、「おばあちゃんのレシピ帳」や「料理の専門書」をその場で参照しながら、新しい料理を考え出すようなイメージです。これにより、巨大な脳みそ（パラメータ）がなくても、賢く振る舞えます。

② 「形」と「言葉」の両方を理解する（マルチモーダル）

タンパク質は、文字の並び（配列）だけでなく、3 次元の「形」で機能します。PoET-2 は、「文字の並び」と「立体の形」の両方を同時に理解できます。

• 例え： 普通の AI が「文字だけ」で本の内容を推測するのに対し、PoET-2 は「文字」だけでなく、その本に描かれた「イラスト（3 次元構造）」も見て、より深く理解します。これにより、形が崩れるとどうなるか、逆に形を指定して文字（配列）を生成するといったことが可能になります。

③ 「読み手」と「書き手」の二刀流（双方向学習）

PoET-2 は 2 つのモードを持っています。

• 書き手モード（生成）： 「このタンパク質の次はどんなアミノ酸が来る？」と予測して、新しいタンパク質をゼロから作ります。
• 読み手モード（理解）： 「このタンパク質のこの部分は、どんな意味を持っている？」と深く分析して、特徴を抽出します。
  この 2 つを同時に使うことで、新しいタンパク質を作るだけでなく、既存のタンパク質の「なぜそうなっているのか」を深く理解できます。

3. 何ができるようになったの？

PoET-2 は、これまでの AI が苦手としていたことを得意にしました。

• 複雑な変異の予測： ビーズを「足す」「抜く」といった、長さを変える変化や、複数のビーズを同時に変えるような複雑な変化でも、正確に「機能するかどうか」を予測できます。
• 少ないデータで学ぶ： 実験データが少ししかない場合でも、PoET-2 は「親戚のアルバム」を参考にしながら、少ないデータから高性能な予測モデルを作れます。これは、新しい薬や酵素を開発する際に非常に重要です。
• 医療への貢献： 人間の遺伝子変異が病気の原因になるかどうかを、これまでよりも高い精度で判別できるようになりました。

4. まとめ：なぜこれが重要なのか？

PoET-2 は、**「巨大な AI 」を作るのではなく、「賢い検索と、形と言葉の両方を理解する AI」**を作ることで、より効率的にタンパク質の謎を解き明かそうとしました。

• 従来の AI： 全てを頭で暗記しようとする「天才だが、記憶容量が足りない学生」。
• PoET-2： 参考書（検索）を上手に使い、図解（構造）も見て理解する「勉強が得意で、応用力のある学生」。

この技術は、新しい薬の開発、環境に優しい酵素の設計、難病の原因究明など、私たちの生活や健康に直結する分野で、劇的なスピードアップをもたらす可能性があります。

つまり、PoET-2 は「生命の設計図」を読み解き、より良い未来をデザインするための、新しい強力なパートナーなのです。

技術概要

PoET-2: 多モーダル・検索拡張型基盤モデルによるタンパク質機能の理解

本論文は、OpenProtein.AI の Timothy F. Truong Jr. と Tristan Bepler によって提案された、タンパク質言語モデル（PLM）の新しいアーキテクチャ「PoET-2」に関する研究です。PoET-2 は、配列情報と構造情報の両方を統合し、検索拡張（Retrieval-Augmentation）技術を活用することで、タンパク質の変異効果予測や機能設計において最先端（State-of-the-Art）の性能を達成するモデルです。

以下に、論文の技術的な概要を問題定義、手法、主要な貢献、結果、意義の観点から詳述します。

1. 問題定義と背景

既存のタンパク質言語モデル（PLM）には、以下のような課題が存在していました。

• 挿入・欠失（Indels）や高次変異の予測限界: 従来のマスク言語モデル（MLM）ベースのアプローチは、単一置換変異の予測には優れていますが、アミノ酸の挿入や欠失（Indels）、および複数の変異が組み合わさった際のエピスタシス（相互作用）効果を予測することが困難でした。
• スケーリングの限界: モデルパラメータ数の増大（スケーリング）は構造予測の精度向上には寄与しますが、変異効果の理解や機能予測の質を必ずしも向上させず、むしろ過学習（memorization）やコスト増大を招く懸念がありました。
• データ効率と汎化: 実験データが限られる状況（Few-shot）での学習において、未観測の位置に対する汎化性能やデータ効率のさらなる向上が求められていました。
• マルチモーダル情報の統合不足: 既存のモデルは、配列、構造、進化（ホモログ）の情報を別々に、あるいは部分的にしか統合していませんでした。

2. 手法：PoET-2 のアーキテクチャ

PoET-2 は、これらの課題を解決するために、多モーダル性、検索拡張、二重の学習目的を統合した新しい基盤モデルです。

2.1 基本アーキテクチャ

PoET-2 は、1 つのエンコーダと 2 つのデコーダ（自己回帰型と双方向型）を持つエンコーダ・デコーダ形式のトランスフォーマーです。

• 入力: タンパク質配列、バックボーン原子構造（N, Cα, C 原子間の距離）、および構造予測の信頼度（pLDDT）を統合した埋め込みベクトルを使用します。
• 階層的注意機構（Hierarchical Attention）: 文脈（プロンプト）に含まれる複数のタンパク質（ホモログ）の順序に依存しない（equivariant）処理を実現するため、PoET-1 で導入された階層的注意機構を採用しています。これにより、モデルは文脈内のタンパク質の順序に依存せず、進化上の制約を学習できます。
• 構造ベースの注意バイアス: 自己注意機構において、配列上の距離ではなく、3 次元構造上の Cα-Cα 距離に基づいたバイアスを追加し、構造的な近接性を考慮した学習を可能にしています。

2.2 検索拡張（Retrieval-Augmentation）とコンテキスト学習

PoET-2 は、ユーザーが指定した「文脈（Context）」（関連するタンパク質ファミリーの集合）と「クエリ（Query）」（部分的に指定された配列や構造）に基づいて動作します。

• インコンテキスト学習: 訓練データに含まれていない新しい配列をプロンプトとして与えることで、そのファミリーに固有の進化上の制約を即座に学習し、生成や評価を行います。
• 柔軟な制御: 配列の長さ、シグナルペプチドの存在、活性部位、あるいは全体の骨格構造（逆フォールディング）などをクエリとして指定し、生成を制御できます。

2.3 二重の学習目的（Dual Training Objectives）

PoET-2 は、2 つの異なるデコーダを同時に学習させることで、生成と表現の両方の能力を最適化します。

1. 自己回帰デコーダ（CLM 目的）: 配列生成と、変異シーケンスの尤度計算（スコアリング）に使用されます。これにより、可変長の配列（Indels 含む）の確率分布をモデル化し、ゼロショットでの変異効果予測が可能になります。
2. 双方向デコーダ（MLM 目的）: 文脈を考慮した高品質な埋め込み表現（Embedding）を生成します。この表現は、全体的な依存関係を捉えるため、教師あり学習（Supervised Learning）での機能予測に利用されます。

2.4 モデル規模

• パラメータ数：1 億 8200 万（182M）。
• 既存の巨大モデル（数十億パラメータ級）と比較して非常に軽量であり、推論コストが低く抑えられています。

3. 主要な貢献と結果

PoET-2 は、ProteinGym ベンチマークを用いた広範な評価において、既存の手法を上回る性能を示しました。

3.1 ゼロショット変異効果予測（Zero-shot Prediction）

実験データを用いずに、モデルの尤度のみで変異の影響を予測するタスクです。

• Indels と高次変異: 挿入・欠失（Indels）や 3 つ以上の変異を含む高次変異の予測において、既存の最優秀モデル（VenusREM など）を大幅に上回る性能を達成しました（Indels 予測で Spearman 相関係数 $\rho \approx 0.566$、VenusREM に対し約 20% の改善）。
• 臨床変異の予測: 人間の疾患関連変異（臨床データセット）の病原性予測においても、最優秀の AUROC 値（0.952）を記録しました。
• 構造条件付けの効果: 構造情報をプロンプトに含めることで、安定性関連の予測精度が向上しましたが、臨床変異予測や教師あり学習では構造情報の追加による恩恵は限定的でした。

3.2 教師あり学習とデータ効率（Supervised Learning）

限られた実験データからタンパク質の機能（適応度）を学習するタスクです。

• 性能: ガウス過程（GP）回帰モデルと組み合わせた PoET-2 の埋め込みは、従来の SOTA である Kermut や ProteinNPT をすべてのクロスバリデーション分割（Random, Modulo, Contiguous）で上回りました（平均 Spearman $\rho = 0.693$）。
• データ効率: 特に重要なのは、極端な少データ（Few-shot）環境での性能です。最大 100 点以下のデータで学習させた PoET-2 は、最大データ量（約 2600 点）で学習させた既存の強力なモデル（ESM C など）と同等の性能を発揮しました。これは、PoET-2 の埋め込みがタンパク質の機能と構造の関係を非常に効率的に学習していることを示しています。

3.3 構造条件付けの役割

• ゼロショット予測: 構造情報（特に安定性に関連するアッセイ）の予測には有効ですが、臨床変異や機能予測には直接的な効果は限定的でした。
• 教師あり学習: 構造情報を明示的にプロンプトに含めても、埋め込み表現自体が構造情報を暗黙的に含んでいるため、追加の予測精度向上には寄与しませんでした。

4. 意義と結論

PoET-2 は、タンパク質の理解と設計における以下の重要な進展をもたらしました。

1. 複雑な変異の予測能力: 従来の MLM ベースのモデルが苦手としていた Indels や高次変異（エピスタシス）を、自己回帰的な生成モデルとして自然に扱えるようにしました。
2. 検索拡張の有用性: 巨大なモデルパラメータ数に依存せず、検索拡張（コンテキスト学習）を通じてファミリー固有の進化制約を学習させるアプローチの有効性を示しました。これにより、182M というコンパクトなモデルで SOTA 性能を達成しています。
3. 実用的なデータ効率: 実験データが限られる実際のタンパク質エンジニアリングの現場において、少量のデータで高精度な予測を可能にする基盤モデルを提供しました。
4. マルチモーダル統合: 配列、構造、進化情報を単一のモデルで統合的に処理する枠組みを確立し、特に「構造条件付き配列生成（逆フォールディング）」や「変異スコアリング」を柔軟に行えるようにしました。

総じて、PoET-2 は、大規模なパラメータ数に依存する従来のアプローチとは異なる、検索拡張と多モーダル学習を組み合わせることで、効率的かつ高精度なタンパク質基盤モデルを実現する新しいパラダイムを示す重要な研究です。