🧬 biology

Protein Folding with Neural Ordinary Differential Equations

本論文は、Evoformer アーキテクチャの連続深度ニューラル ODE 定式化を提案するものであり、AlphaFold などの従来の深層学習モデルに代わる軽量かつ適応的な代替手段を提供しつつ、妥当なタンパク質構造を予測する能力を維持しながら計算コストとメモリ使用量を大幅に削減する。

原著者： Arielle Sanford, Shuo Sun, Christian B. Mendl

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Arielle Sanford, Shuo Sun, Christian B. Mendl

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

複雑な折り紙の鶴を一枚の紙から折りたたもうと想像してみてください。生物学の世界では、タンパク質はこれらの紙のようなものですが、アミノ酸の長い鎖でできており、機能するためには特定の3次元の形にねじれ、曲がって折りたたまれる必要があります。間違って折りたたまれると、機能しません。

長らく、これらのタンパク質の折りたたみ方を予測する「ゴールドスタンダード」は、アルファフォールド（AlphaFold）と呼ばれるシステムでした。アルファフォールドを、膨大なステップバイステップの指示書を使う熟練の折り紙職人と考えてください。最終的な形を正しく仕上げるために、この職人は48の異なるステップ（「ブロック」と呼ばれる）を通過しなければなりません。各ステップで、紙を見てわずかな調整を行い、次のステップに渡します。48のステップすべてを終える頃には、紙は完璧に折りたたまれています。

しかし、落とし穴があります：48のステップを通過するのは遅く、多くのエネルギー（計算能力）を必要とします。まるで48階建ての階段を一段ずつ登り、各踊り子で地図を確認するために立ち止まなければならないようなものです。

新しいアイデア：階段ではなく滑らかなスライド

この論文の著者であるアリエル・サンフォード、スン・シュオ、クリスチャン・B・メンデルは、シンプルな問いを投げかけました：もし、すべてのステップで立ち止まらなくてもよいとしたらどうでしょうか？もし、滑らかなスロープを滑り降りるだけでよいとしたらどうでしょうか？

彼らはニューラル常微分方程式（Neural ODEs）と呼ばれる数学的概念から着想を得ました。簡単に言えば、折りたたみプロセスを48の個別の、硬直的なジャンプ（離散的なステップ）の系列として扱うのではなく、連続的な流れとしてモデル化したのです。

次の違いを想像してみてください：

古い方法（アルファフォールド）：階段を48の異なるステップで登ります。ステップ1、ステップ2、そしてステップ48に至るまで、どこにいたかを正確に覚えておく必要があります。これは多くの精神的な空間（メモリ）と時間を消費します。
新しい方法（ニューラル ODE Evoformer）：滑らかで曲がったスライドを滑り降ります。特定の点で止まるのではなく、上から下へとただ流れます。すべてのインチごとに位置を「保存」するために立ち止まらないため、それほど多くを記憶する必要はありません。

どのように行ったか

研究者たちは、この滑らかなスライドのように機能するアルファフォールドの「エンジン」（Evoformer）の新しいバージョンを構築しました。

エンジン：48の異なる指示セットの代わりに、時間とともにわずかに変化する1つの単一の指示セットを使用しました。
結果：48段の階段を、単一の連続的な数学関数に置き換えました。

発見した結果

彼らはタンパク質のデータセットを用いて、この新しい「スライド」を元の「階段」と比較してテストしました。以下が起きたことです：

はるかに速く、安価である：新しいモデルは驚くほど効率的でした。元のアルファフォールドがタンパク質の形状を予測するのに約65秒を要したのに対し、新しいモデルは約5秒で完了しました。これは10倍以上速いことになります。
メモリを節約する：モデルが連続的に流れるため、すべてのステップの「スナップショット」を保存する必要がありません。これは、ゲーム用PCで見られるような標準的な単一のグラフィックカード（GPU）で実行可能であり、巨大なスーパーコンピュータを必要としないことを意味します。
学習は簡単だった：元のアルファフォールドは、数百もの強力なチップ上で非停止で11日間の計算を要して学習しました。この新しいモデルは、1台の modest なコンピュータでわずか17.5時間で同じタスクを学習しました。
品質：新しいモデルはまだ完璧ではありません。それは良い見習いの折り紙職人のようなものです。大きな絵は正しく捉えています——主要な「腕」や「脚」（αヘリックスと呼ばれます）を正しく折りたたみ、全体的な形状を理解しています。しかし、元の48ステップの職人が正しく行う、ループやきついねじれといった、小さく複雑な詳細については、時折苦労します。

結論

この論文は、タンパク質の折りたたみを完全に解決したとか、即座に医療用途に使えると主張しているわけではありません。代わりに、それは概念実証（proof of concept）を提供します。

それは、わずかな精度を犠牲にすることで、巨大な速度と効率の向上を得られることを示しています。硬直的な48ステップのプロセスを、滑らかな連続的な流れに変えることで、研究者たちは、軽量で高速、かつ日常のハードウェアで実行可能な強力なタンパク質折りたたみツールを構築できることを証明しました。48段の梯子を登るよりも、滑らかなスロープを滑り降りる方が、底に到達するはるかに良い方法であるという実証です。

技術的概要：ニューラル常微分方程式を用いたタンパク質フォールディング

問題定義

AlphaFold 2 および 3 に代表される最近のタンパク質構造予測における画期的な進歩は、Evoformer などの深層ニューラルアーキテクチャに依存しており、複雑な空間的および進化的制約を捉えています。Evoformer は、多重配列アラインメント（MSA）および対の残基表現を反復的に洗練させる、48 段の重み共有なしのブロックで構成されています。このアーキテクチャは非常に高精度ですが、その深さと硬い層ごとの離散化により、トレーニングおよび推論の両方で莫大な計算コストを要します。さらに、固定された深さは、実行時間と精度の間の動的なトレードオフを可能にする能力を制限します。本研究は、Evoformer の中核的な表現能力を維持しつつリソース要件を削減する、より効率的で軽量かつ解釈可能な代替案の必要性に対処します。

手法

著者らは、ニューラル常微分方程式（Neural ODE）を用いたEvoformer の連続深度定式化を提案します。48 の離散ブロックを積み重ねる代わりに、モデルは隠れ状態の微分を時間（深度）の連続関数としてパラメータ化し、数値的 ODE ソルバーを用いてこれを積分します。

アーキテクチャ設計

提案されるニューラル ODE Evoformerは、離散的なスタックを単一の共有ベクトル場 $f(m, z, t, \theta)$ に置き換え、連続深度変数 $t$ における MSA（ $m$ ）および対（ $z$ ）表現の進化を支配します。

ベクトル場の構築: この関数は、単一の Evoformer ブロックの累積変換を近似します。Evoformer 様式のアップデートの完全なパスを計算して中間状態 $(m', z')$ を生成し、その後、差分 $(m'-m, z'-z)$ を計算します。
時間依存ゲート: 滑らかな進化を確保するため、差分は、スカラー深度変数 $t$ 上の浅い MLP によって実装される学習されたゲート関数 $\sigma_m(t)$ および $\sigma_z(t)$ によってスケーリングされます。得られる ODE は以下の通りです：
$\frac{d(m, z)}{dt} = (\sigma_m(t) \cdot (m' - m), \sigma_z(t) \cdot (z' - z))$
簡略化された操作: メモリオーバーヘッドを削減し、積分を可能にするため、アーキテクチャは元の AlphaFold と比較していくつかのコンポーネントを簡略化します：
- 三角形アテンションモジュール（流入/流出）の省略。
- チャンク化されたソフトマックスや融合カーネルなしの単純な QKV 射影の使用。
- 完全な外積の代わりに、低ランクの外積平均の使用。
- 三角形アップデートのための対称近似。
- 対の遷移のための基本的な 2 層 MLP。
メモリ効率: モデルは、逆伝播に随伴感度法を利用しており、中間活性化をフォワードパス中に保存する必要がないため、深度に対して一定のメモリコストを実現します。

トレーニング戦略

モデルは、真の軌跡を生成する参照としてOpenFoldを使用してトレーニングされました。

データセット: トレーニング用として 500 個のタンパク質モノマー（長さフィルタリング後 370 個）、検証用 50 個、テスト用 50 個のタンパク質。入力には、一次配列、MSA（最大 64 配列にクラスタリング）、および PDB70 からの構造テンプレートが含まれます。
2 フェーズトレーニング:
1. 予備フェーズ: OpenFold Evoformer のブロック 0, 8, 16, 24, 32, 40, 48 からサンプリングされた中間表現に対して教師あり学習を行い、漸進的な進化ダイナミクスを捉えます。
2. 主要フェーズ: 完全な変換軌跡を学習するため、端点（ブロック 1 の入力対ブロック 48 の出力）のみに教師あり学習を行います。
構成: モデルは、隠れ次元を 64（MSA および対ストリームで均一、AlphaFold の 384/128 と比較）とし、古典的な 4 次ルンゲ・クッタ（RK4）ソルバーを使用しました。トレーニングは、単一の NVIDIA Quadro P4000 GPU 上で 17.5 時間実施されました。

主要な結果

計算効率

50 個のテストタンパク質（21〜852 残基）でのベンチマークは、大幅な速度向上を示しました：

実行時間: ニューラル ODE Evoformer はタンパク質あたり平均4.85 秒であり、標準的な OpenFold Evoformer の65.06 秒と比較して、残基あたり 7 倍以上の高速化を実現しました。
スケーリング: ニューラル ODE モデルは配列長に対して線形スケーリング（ $time \approx 0.0046 \times residues$ ）を示しましたが、OpenFold は二次スケーリング（ $time \approx 0.0006 \times residues^2$ ）を示しました。これは、連続深度アプローチが長いタンパク質にとって特に有利であることを示唆しています。

構造精度

タンパク質 1fv5、4epq、および 1ujs の予測構造の視覚的検査により、以下の点が明らかになりました：

強み: モデルは、特に $\alpha$ ヘリックスにおいて、二次構造要素を確実に捉え、タンパク質の主要なグローバルトポロジーを反映しています。
限界: モデルは元の 48 ブロックアーキテクチャの精度を完全に再現するものではありません。微細な詳細、特にループ領域およびグローバルパッキングにおいて、偏差が観察されます。
比較: これらの偏差にもかかわらず、ODE ベースのモデルは、切り詰められた 24 ブロックの OpenFold モデルよりも、より組織化された構造を高い信頼性で生成しました。

意義と主張

本論文は、この研究をバイオ分子モデリングにおける連続深度モデルの概念実証として位置づけています。著者らは以下を主張します：

実現可能性: 連続時間モデルは 48 の離散 Evoformer ブロックの累積効果を近似でき、漸進的な洗練が滑らかな力学系としてモデル化できるという仮説を検証しました。
リソース効率: このアプローチは、AlphaFold の元のトレーニングに必要な大規模な計算クラスター（数百の TPU）と比較して、劇的に少ないリソース（単一 GPU での 17.5 時間）で妥当な構造予測を達成します。
柔軟性: 適応型 ODE ソルバーの使用は、実行時間と精度の間の原理的なトレードオフを導入し、これは固定深度アーキテクチャには欠けている柔軟性です。
解釈可能性: この定式化は、深層スタックアーキテクチャに対する軽量で理論的に解釈可能な代替案を提供し、効率的なタンパク質構造予測フレームワークのための新たな方向性を開きます。

著者らは、現在のモデルが AlphaFold の完全な精度には達していないものの、連続深度近似が計算フットプリントを大幅に削減しながら大規模モデルの振る舞いを効果的に表現できることを実証していると明確に指摘しています。今後の研究としては、より大きな MSA クラスタ、増加した隠れ次元、適応型ソルバー、および制限のない配列長を含めることが提案されており、これにより性能格差をさらに縮小することが期待されます。