📄 molecular biology

FlexRibbon: Joint Sequence and Structure Pretraining for Protein Modeling

FlexRibbonは、アミノ酸配列と3D構造を、マスクされた言語モデリングと拡散ベースのデノイジングの組み合わせを用いて共同で事前学習させる新しいタンパク質基盤モデルであり、多重配列アライメント（MSA）に依存することなく、従来のMSAベースの手法が苦戦する変異の多い領域において、多様なタスクにわたって最先端の性能を達成している。

原著者： Zhu, J., Shi, Y., Bi, R., Jin, P., Liu, C., Zhang, Z., Huang, H., Guo, Z., Hu, P., Ju, F., Huang, L., Tai, X., Li, C., Gao, K., Wei, X., Xia, H., Zhang, J., Min, Y., Wang, Z., Wang, Y., He, L., Liu, H

公開日 2026-07-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhu, J., Shi, Y., Bi, R., Jin, P., Liu, C., Zhang, Z., Huang, H., Guo, Z., Hu, P., Ju, F., Huang, L., Tai, X., Li, C., Gao, K., Wei, X., Xia, H., Zhang, J., Min, Y., Wang, Z., Wang, Y., He, L., Liu, H., Qin, T.

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

タンパク質の世界を、巨大で活気あふれる都市として想像してみてください。長い間、この都市を理解しようとする科学者たちは、二つの全く異なる地図のどちらかを選ばなければなりませんでした。

第一の地図は、文法の教科書のようなものでした。それはタンパク質を構成する文字（アミノ酸）の配列のみに注目し、都市が実際にどのような姿をしているかは無視していました。それは生命の「言語」を理解することには優れていましたが、建物の3D形状を特定しようとすると、道に迷ってしまうことがよくありました。

第二の地図は、クラウドソーシングによる調査のようなものでした。それは、数千もの似たような都市（進化上の従兄弟たち）を見ることに頼り、新しい都市がどのような姿になるかを推測していました。これは標準的な建物については非常に正確でしたが、もし全く新しい、奇妙な形のスカイスクレイパーや、レイアウトが変わりすぎた都市をマッピングしようとすると、比較できる類似の例が存在しないため、その調査は失敗しました。

そこで登場したのが、教科書と調査のどちらかを選ぶのではなく、両方を同時に学ぶことに決めた新しい種類の地図作成者、FlexRibbonです。

秘訣：双方向の道

従来のモデルの多くは一方通行の道のようなものでした。それらは一連の文字を受け取り、その形を推測しようとしました。しかし、FlexRibbonは双方向の道を築きました。文字が形を決定するというだけでなく、形もまた、どのような文字であるべきかを教えてくれるのだということを学んだのです。

これを教えるために、研究者たちは巧妙なトレーニング・ゲームを用いました。彼らはあるタンパク質を取り出し、その3D形状にノイズを加えて（スノーグローブを振るように）かき乱し、モデルにそれをクリーンアップさせました。同時に、配列の中のいくつかの文字を隠し、モデルにそれらを推測させるのですが、ここにはひねりがありました。モデルは、正しい推測をするためのヒントとして、乱れた3D形状を使わなければならなかったのです。これにより、モデルは配列と構造が、切り離すことのできない鍵と鍵穴のように、互いに固く結びついていることを理解せざるを得なくなりました。

なぜこれが重要なのか：「乱れた」部分

真の魔法は、都市の「乱れた」部分で起こります。生物学において、一部のタンパク質は柔軟で、ゆらゆらとした腕（抗体のループなど）を持っていたり、何かに掴みつく際に形を変えたりします。従来の「調査」モデル（進化的な類似関係に依存するもの）は、これらのゆらゆらとした部分において、進化的なデータの中に明確なパターンが見出せないため、しばしば行き詰まってしまいます。

しかし、FlexRibbonはこれらのトリッキーな領域を、異なる方法で処理します。この「従兄弟の群れ」に頼ってパターンを見つける代わりに、FlexRibbonはその調査の必要性を完全に回避します。個々の配列と構造の間の直接的なつながりを直接モデリングすることで、進化的なシグナルが弱い、あるいは欠落している領域であっても、驚くべき精度でこれらの柔軟で高度に変異した領域を予測できるのです。

証拠：12の異なる挑戦

チームは単に「うまくいく」と言っただけではありません。彼らはFlexRibbonが現実世界の課題に対処できるかどうかを確認するために、12の異なるタスクという試練にかけました。結果は以下の通りです。

抗体設計： ウイルスに付着する抗体（体の防御因子）を設計するよう求められた際、FlexRibないは標準的な抗体で61.3%、ナノボディ（小さな抗体）で**51.1%の成功率を記録しました。これは、約46.7%と44.0%**で停滞していた従来の最高の手法を大きく上回る数値でした。
ペプチド結合： 小さなタンパク質鎖（ペプチド）がより大きなタンパク質にどのように付着するかを予測する際、FlexRibbonは**91.4%の成功率を叩き出し、次点の優れた手法を7.0%から10.2%**上回りました。
創薬： 薬物分子がタンパク質にどの程度結合するかを推測する際、FlexRibbonは0.848の相関スコアと1.150の誤差率を達成し、テストされた他のすべての手法を凌駕しました。
形状変化： このモデルは、薬物が結合したときにタンパク質がどのように形を変えるかも予測でき、あるテストケースでは、実物に極めて近い0.985という構造類似度（TM-score）を達成しました。

それが「行わない」こと

FlexRibbonが行わないことも知っておくことが重要です。それは、古いモデルが予測を行うために使用していた「クラウドソーシングによる調査」（多重配列アラインメント）には依存しません。もし、進化的な従兄弟が非常に少ないタンパク質を与えられた場合、古いモデルはその調査データがないために苦戦するかもしれませんが、FlexRibbonは、配列と構造の直接的なつながりに対する内部的な理解に頼ることで成功します。これにより、アラインメントのシグナルが弱い領域でも進むことができるのです。

結論

この論文は、配列と構造を後から順番に学ぶのではなく、一緒に学ぶようにモデルを教えることで、より柔軟で正確なツールが得られることを示唆しています。これは単に優れた推測器ではなく、より優れた「設計者」なのです。病気と戦うための新しい抗体を作ることでも、薬がその標的にどのように適合するかを解明することでも、配列と構造が互いに会話することを許せば、システム全体がより良く機能することを示すのがFlexRibbonです。

著者らは、CASP15チャレンジやPoseBusters V1データセットといった特定のベンチマークでこれらの結果を測定し、他の手法が躓きやすい、変異の多いトリッキーな領域において、FlexRibbonが常に高いスコアを叩き出していることを明らかにしました。これは、タンパク質を文章を書くのと同じくらい容易にゼロから設計できる未来への一歩です。

技術要約: FlexRibbon

問題提起

タンパク質基盤モデル（PFM）は急速に進化しているが、一般的に明確な限界を持つ2つの支配的なパラダイムに分類される。配列ベースの言語モデル（例：ESM-2, ProtT5）は、大規模なスケールで配列のセマンティクスを捉えることができるが、物理的な妥当性や三次元的な幾何学的情報に欠けており、タンパク質の機能の構造的基盤をモデル化する能力に限界がある。対照的に、MSA（多重配列アライメント）ベースの予測器（例：AlphaFold 2/3）は、進化的な共進化関係を利用することで高い精度を実現しているが、相同配列に強く依存している。この依存性は、アライメントが疎な領域、高度に変異した領域、あるいは柔軟なインターフェース（抗体のCDRループや天然変性領域など）において、信頼性を低下させる要因となる。さらに、既存の結合モデルの多くは、構造を双方向的にモデル化するのではなく補助的な信号として扱っているか、あるいは配列のセマンティクスと全原子レベルの構造学習を同時に行おうとする際にメモリのボトルネックに直面している。

メソドロジー

FlexRibonは、MSAを必要とせずにアミノ酸配列と三次元構造を共同学習するように設計された、30億パラメータを持つ事前学習済みタンパク質モデルである。

1. 事前学習戦略

核心となる革新は、**マスクされた言語モデリング（MLM）と拡散ベースのデノイジング（除去）**を組み合わせた統一的な事前学習目的関数である。これにより、双方向の配列・構造学習が可能になる：

構造情報付きマスク言語モデリング（SIMLM）： このモデルは、配列復元中に拡散ノイズを構造表現に統合する。具体的には、3つのトレーニングモードを採用している。(1) 配列から構造への変換（標準的な拡散）、(2) 結合摂動（残基をマスクし、その局所的な構造にノイズを加える）、(3) 配列マスクされたグローバル摂動（残基をマスクしながら、すべての構造にノイズを加える）。これにより、配列の同一性と3Dコンフォメーションの間の双方向の関係を堅牢に学習することを促進する。
拡散事前学習： モデルは、重原子の3D座標をデノイジングするために、分散拡大（variance-exploring）拡散プロセスを使用する。重い等変アーキテクチャに頼るのではなく、データ拡張（ランダムなSO(3)回転）によって回転不変性を強制し、構造を重心に配置することで並進の自由度を取り除く。

2. アーキテクチャ

FlexRibbonは、効率性と表現力のバランスを取るために、階層的な3段階のアーキテクチャを利用している：

配列モジュール： タンパク質残基と低分子原子を共同で埋め込むTransformerエンコーダ。2D共有結合の特徴を学習済み投影を通じて組み込んでおり、原子の同一性から結合パターンを復元できる。
粗視化構造モジュール： 配列埋め込みを条件として、タンパク質については残基レベル、低分子については原子レベルで座標をデノイジングする拡散トランスフォーマー（DiT）。
全原子構造モジュール： 粗視化された出力をフルアトム解像度に精緻化する第2のDiT。化学的な妥当性を確保するために共有結合に対する学習可能なアテンションバイアスを使用し、グローバルな残基コンテキストと詳細な原子間相互作用を調和させる。

3. トレーニングと損失関数

学習目的は、以下の4つのコンポーネントを統合している：

拡散損失 ( $L_{MSE}$ ): 構造再構成のためのデノイジング損失。
MLM損失 ( $L_{MLM}$ ): マスクされた残基予測による配列復元。
距離損失 ( $L_{Dist}$ ): 現実的な三次構造の幾何学を維持するために、予測された残基間距離を正則化する。
Smooth-lDDT損失 ( $L_{smooth-lDDT}$ ): 局所的な幾何学的精度指標に学習を適合させる。
適応型重み付け： pLDDT由来のシグモイド重みに基づいて寄与をスケーリングする信頼重み付き拡散損失を用い、低信頼領域（例：AlphaFold 2による予測構造）からのノイズを減少させ、信頼できる信号を強調する。

学習は、配列長を増加させ（384 $\to$ 768 $\to$ 1024 残基）、後半のステージでMLMと信頼ヘッドのトレーニングを導入する、3つの進行的なステージ（A, B, C）で進行する。

主な貢献

斬新な事前学習戦略： FlexRibbonは、MLMと拡散ベースのデノイジングを組み合わせることで、タンパク質の構造予測と設計を統一し、一方向の「配列から構造へ」の写像ではなく、双方向の「配列と構造」の写像を学習する。
階層的モデリング： 配列表現と構造表現の間でスケーラブルな容量のバランスを取る戦略を導入し、従来の全原子モデルのメモリボトルネックを克服し、効果的な大規模構造学習を可能にした。
共同設計能力： タンパク質の配列と構造の共同設計を可能にし、特にMSAベースの手法が苦手とする柔軟な領域や高度に変異した領域（抗体/ナノボディのCDRループなど）において優れた性能を発揮する。
広範な汎用性： 12の多様なタスクにおいて一貫した向上を示し、配列・構造の事前学習が単純なタンパク質折り畳みの枠を超えて広く転移することを示している。

実験結果

FlexRibbonは、柔軟なインターフェース予測/設計、分子間相互作用予測、およびタンパク質機能予測の3つのタスクファミリーで評価された。

柔軟なインターフェース： 抗体およびナノボディのインターフェース予測（SAb23H2）において、FlexRibbonは抗原-抗体間で61.3%、抗原-ナノボディ間で**51.1%**の成功率を達成し、IgGMをそれぞれ14.6%および7.1%上回った。タンパク質-ペプチドインターフェース予測（FoldBench）では、**91.4%**の成功率を達成し、AlphaFold 3やPepGLADを凌駕した。
抗体/ナノボディ設計： FlexRibbonは、抗体で41.4%、ナノボディで**21.8%のアミノ酸回収率（AAR）を達成し、成功率はそれぞれ46.0%および43.7%**となり、dyMEANやIgGMなどのベースラインを上回った。
分子間相互作用：
- ドッキング： PoseBusters V1ベンチマークにおいて、FlexRibbonは71.82%（random-1）および78.70%（oracle）の成功率を達成し、AlphaFold 3のようなMSAベースの手法と同等の性能に達し、シングルシーケンスのベースラインを大幅に上回った。
- コンフォメーション変化： リガンド誘起によるコンフォメーション変化予測において、FlexRibbonはゼロショットで0.889のTM-ensスコアを達成し、ESMDiffを0.038改善した。
- 結合親和性： CASF-2016において、FlexRibbonは比較対象の中で最高のRMSE（1.150）とピアソン相関係数（0.848）を記録した。
機能予測： Gene Ontology (GO) および Enzyme Commission (EC) タスクにおいて、FlexRibbonはF1スコア（EC: 0.891, GO-BP: 0.539, GO-MF: 0.694, GO-CC: 0.560）を達成し、配列のみのモデルやハイブリッド型のベースラインを上回った。
構造予測： CASP15において、FlexRibbonは0.703のTM-scoreを達成し、ESMFoldおよびESM3を上回った。
信頼度推定： モデルが予測したpTMスコアは、CASP15における観測されたTMスコアと強い相関（R = 0.89）を示した。

重要性と主張

本論文は、FlexRibbonが12の多様なタスクにおいて新たなSOTA（State-of-the-Art）を確立したと主張しており、特にMSAベースの手法が失敗しやすい変異の多い設定において顕著な利点を示している。著者らは、これらの結果が結合的な配列・構造事前学習の一貫した優位性を浮き彫りにしていると断言しており、このようなアプローチが配列と構造の共同設計を可能にし、生物学的機能に不可欠な柔軟なコンフォメーションを捉えられることを示している。MSAに依存せずに双方向の依存関係を正常にモデル化することで、FlexRibbonはタンパク質モデリングの恩恵を、単純な折り畳みから複雑な設計や相互作用予測タスクへと拡張する汎用的な基盤モデルとして提示されている。