🧬 biology

AMix-1: A Pathway to Test-Time Scalable Protein Foundation Model

本論文は、系統的な学習スケーリング則、MSAに基づくインコンテキスト学習、および進化的なテストタイム・スケーリングを活用することで、野生型に対して最大50倍の活性向上を示すAmeR変異体の生成によって実証された、ベイズフローネットワークに基づく17億パラメータのタンパク質基盤モデルであるAMix-1を紹介する。

原著者： Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuy

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Changze Lv, Jiang Zhou, Siyu Long, Lihao Wang, Jiangtao Feng, Dongyu Xue, Yu Pei, Hao Wang, Zherui Zhang, Yuchen Cai, Zhiqiang Gao, Ziyuan Ma, Jiakai Hu, Chaochen Gao, Jingjing Gong, Yuxuan Song, Shuyi Zhang, Xiaoqing Zheng, Deyi Xiong, Lei Bai, Wanli Ouyang, Ya-Qin Zhang, Wei-Ying Ma, Bowen Zhou, Hao Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

あなたは、コンピュータに新しいタンパク質を設計する方法を教えようとしていると想像してください。タンパク質は、消化からウイルスの撃退まで、私たちの体の中であらゆる役割を果たす、小さく複雑な機械のようなものです。新しいものを設計することは、見たこともない鍵の形にぴったり合う新しい鍵を発明するようなものですが、その鍵の形を完璧に合わせなければなりません。そうでなければ、機能しないからです。

この論文は、このタスクをマスターするために設計された、新しい「スーパー教師」AIであるAMix-1を紹介しています。著者たちは、単にモデルを大きくしたのではなく、よりスマートな「学習方法」を構築しました。以下に、簡単な比喩を用いてその仕組みを説明します。

1. エンジン：「デノイジング（除去）」ラジオ

ほとんどのAIモデルは、明瞭なテキストを読み取ることで学習しようとします。しかし、AMix-1はベイズフローネットワークと呼ばれるものに基づいています。これは、最初はノイズ（静電気）だけで構成されたラジオのようなものです。

仕組み: AIは、タンパク質の配列の完全にバラバラでノイズだらけの状態からスタートします。そして、ステップバイステップでノイズを取り除き、その下にあるクリアなタンパク質を明らかにしようと試みます。
比喩: 非常にノイズの多いラジオ局から曲を推測しようとしている場面を想像してください。最初はノイズしか聞こえません。信号がクリアになるにつれて（ノイズが減るにつれて）、メロディが聞こえ始め、次に歌詞が聞こえてきます。AMix-1は、純粋なノイズからタンパク質を完璧に再構成できるようになるまで、この「クリーニング」のプロセスを何度も練習することで学習します。

2. ロードマップ：スケーリング則（「サイズが重要」というルール）

研究者たちは、「AIを大きくし、より多くのデータを与えれば、性能は向上するのか？」という問いを立てました。

発見: 彼らは、このAIにおける予測可能な「物理法則」を発見しました。車のエンジンがより多くの燃料で強力になるのと同様に、AMix-1は、そのサイズと学習させるデータ量を増やすことで、タンパク質の構造を理解する能力が高まります。
メタファー: それは登山のようです。研究者たちは、どれほどの「燃料（計算資源）」を投入すれば、AIがどれほど高く登れるか（どれほど優秀になるか）を正確に予測できるほど、精密に登山道をマッピングしました。彼らはこのマップを使用して、17億個の「脳細胞（パラメータ）」を持つ最大級のバージョン、AMix-1を構築しました。

3. 「アハ体験」：創発的能力

ここが最もエキサイティングな部分です。研究者たちは、AIが成長するにつれて、単に少しずつ良くなるだけでなく、以前は知らなかったことを突然理解し始めることを見出しました。

比喩: 数学を学んでいる学生を想像してください。最初は数字を暗記しているだけです。しかし、十分な練習を積んだ後、突然「コツ」を掴みます。数字の背後にある「論理」を理解し、見たこともない問題を解けるようになるのです。
結果: AMix-1の学習が進むにつれ、タンパク質の「文字（配列）」のみを学習していたにもかかわらず、突然**タンパク質の形状（構造）**を理解し始めました。幾何学を明示的に教えられなくても、配列を何度も読み込むことで、3D形状を自力で理解したのです。

4. ショートカット：インコンテクスト学習（「言葉ではなく、見せて学ぶ」テクニック）

通常、AIに新しいタスクを教えるには、ゼロから再学習させる必要があります。しかし、AMix-1は異なります。脳の構造を変えることなく、いくつかの例を見るだけで新しい仕事を学ぶことができます。

比喩: マスターシェフを想像してください。もし彼に特定の郷土料理を作らせたい場合、再び料理学校へ送り込む必要はありません。ただその料理の写真を数枚見せて、「これに似たものを作って」と言うだけでいいのです。シェフは既存の知識を使って、それを実現します。
AMix-1のやり方: 研究者たちは、AIに似たタンパク質の「家族アルバム」（多重配列アライメントと呼ばれます）を与えます。AIはそのアルバムの中にあるパターンを見て、正しい形状と機能を維持しながら、その中にぴったり収まる新しいタンパク質を生成します。

5. 実世界でのテスト：「スーパー酵素」

チームはシミュレーションを行っただけではありません。実際のラボでテストを行いました。

挑戦: 彼らは、遺伝子回路におけるスイッチとして機能するAmeRというタンパク質を改良したいと考えました。野生型（自然界にあるもの）も悪くはありませんでしたが、彼らはもっと強力なものを作りたかったのです。
結果: AMix-1の「言葉ではなく、見せて学ぶ」手法を用いて、彼らは新しいバージョンのAmeRを設計しました。ラボでのテストの結果、この新しいバージョンはオリジナルよりも50倍強力に活性化しました。これは劇的な飛躍であり、AIが実際に機能する生物学的ツールを設計できることを証明しています。

6. 進化のループ：テストタイム・スケーリング（「試行錯誤」のエンジン）

最後に、彼らは学習をやり直すことなく、動作中にAIをさらに進化させるEvoAMix-1と呼ばれるシステムを作成しました。

比喩: 100体の粘土人形を作る彫刻家を想像してください。審査員がその中から最高の5体を選びます。彫刻家は、その5体の「勝者」を新しい「型」として使い、次の100体のバッチを作ります。このプロセスを繰り返すことで、彫刻家の手（アルゴリズム）を変えることなく、どんどん優れた作品を作っていきます。
仕組み: AIは多くのタンパク質候補を生成します。「検証器（Verifier）」（コンピュータプログラムまたはラボでのテスト）が、その中から優れたものを選び出します。AIは、これらの勝者を新しい例として使い、次のラウンドでさらに優れたものを生成します。
メリット: このシステムにどれだけの「チェック（予算）」を与えるかによって、結果は向上し続けます。試行錯誤のプロセスを継続させる限り、性能は向上し続けます。

まとめ

AMix-1は、次のような新しいタイプのタンパク質設計機です：

ノイズを浄化することで学習する（ラジオのチューニングのように）。
「大きければ大きいほど良い」という予測可能なマップに従う。
配列を読むだけで、突然3D形状を「理解」する。
例を見るだけで、即座に新しいタスクを学ぶことができる。
実験室において、自然界のものより50倍強力なタンパク質を実際に作り出した。
試行錯誤の進化ループを通じて、向上し続けることができる。

この論文は、これが「ラボ・イン・ザ・ループ（実験室とAIの循環）」の未来への大きな一歩であり、AIと現実世界の実験が連携して、かつてない速さで命を救うタンパク質を設計していく未来への道筋であると主張しています。

技術要約: AMix-1

問題提起

現在のタンパク質基盤モデル（AlphaFoldやESMなど）は、構造予測や逆フォールディングといった特定のタスクにおいては進歩しているが、大規模言語モデル（LLM）と比較できるような統一されたスケーラブルな手法を欠いている。一貫した性能向上を示すスケーリング則、創発的能力、インコンテキスト学習、およびテスト時スケーリングを備えたLLMとは異なり、タンパク質モデルは、これらの原理を活用して高忠実度なタンパク質設計を実現するための体系的なフレームワークをまだ確立できていない。中心となる課題は、計算リソースを性能と体系的にトレードオフでき、創発的な構造理解を示し、タスク固有のファインチューニングなしに多様な設計タスクに適応できるタンパク質基盤モデルを構築することである。

手法

著者らは、Bayesian Flow Networks (BFNs) に基づいて構築され、以下の4つの柱からなる体系的な経路を用いて訓練されたタンパク質基盤モデル AMix-1 を提案している。

1. モデルアーキテクチャと訓練

生成フレームワーク: AMix-1はBFNを利用しており、これは離散的なアミノ酸を直接モデリングするのではなく、反復的なベイズ更新を通じてタンパク質配列分布の連続パラメータをモデリングする。このプロセスには、ノイズによって摂動を受けた送信分布（sender distribution）と、KLダイバージェンスを最小化するようにメッセージを推論するニューラルネットワーク $\phi$ を持つ受信分布（receiver distribution）が含まれる。
アーキテクチャ: モデルシリーズは、Rotary Position Embeddings (RoPE) を備えたエンコーダーのみのTransformerに基づいている。著者らは、モデルを800万パラメータから17億パラメータへとスケールアップさせた。
事前学習: 訓練はUniRef50データセット（4,150万配列）を用いて、混合精度（BF16）設定で行われた。ノイズレベル $\alpha$ は、スケジュール $\beta(t) = \beta_1 t^2$ によって制御される。

2. スケーリング則と創発的能力

予測的スケーリング: 著者らは、クロスエントロピー損失（ $L$ ）と、計算コスト（FLOPs）、モデルサイズ（ $N$ ）、データトークン数（ $D$ ）を結びつける予測的スケーリング則を確立した。中程度のノイズレベル（ $\alpha = 0.16, 0.32$ ）において、損失はべき乗則 $L(F) = E_0 + e^{a \cdot F^b}$ に従うことが判明した。極端なノイズレベル（ $\alpha = 0.08, 0.64$ ）では、スケーラブルではない挙動が見られた。
創発的構造理解: 本研究は、訓練損失が臨界閾値を下回ると、構造的理解（pLDDTおよびTM-scoreで測定）が段階的に創発することを明らかにしている。この能力は、明示的な構造の教師あり学習なしに、純粋に配列レベルの目的関数と十分な計算量によって駆動される。

3. インコンテキスト学習 (ICL)

メカニズム: AMix-1は、多重配列アラインメント（MSA）をプロンプトとして扱うことで、タンパク質設計を統一する。ファインチューニングを行う代わりに、モデルはMSAから導出された位置ごとの頻度プロファイルに条件付けられる。
プロセス: MSAはプロファイル $P$ （各位置におけるアミノ酸のカテゴリ分布）へと圧縮される。その後、AMix-1は $P$ に条件付けられた配列 $x$ を生成し、進化的な制約、構造的完全性、および機能的関連性を保持する。

4. テスト時スケーリング (TTS)

EvoAMix-1: 性能をさらに向上させるため、著者らは進化的なテスト時スケーリングアルゴリズムである EvoAMix-1 を導入した。このフレームワークは、プロポーザー（提案者）ーベリファイアー（検証者）ループとして機能する：
1. 提案 (Propose): AMix-1は、初期のMSAプロファイルに基づいて候補配列のバッチを生成する。
2. 検証 (Verify): 外部の検証器（in silico メトリックまたはウェットラボのアッセイ）が候補のスコアを算出する。
3. 更新 (Update): 上位 $k$ 個の高フィットネス変異体が精緻化されたプロファイル（疑似MSA）を構成するために使用され、それが次回のプロンプトとして機能する。
区別: モデルのパラメータを更新する従来のメソッド（勾配駆動型）とは異なり、EvoAMix-1はモデルの重みを固定したまま、条件（プロンプト）を更新する（条件駆動型）。これにより、多様な検証メトリクスのプラグアンドプレイ的な統合が可能になる。

主な結果

スケーリングと創発

モデル規模: 17億パラメータのモデル（AMix-1-1.7B）の訓練に成功し、予測可能なスケーリング則を示した。
創発: 構造指標（TM-score, pLDDT）は、クロスエントロピー損失が特定の閾値を下回ると、特に中程度のノイズレベル（ $\alpha=0.16$ ）において、急激な上昇（創発）を示した。極端なノイズレベルはこの創発を抑制した。

インコンテキスト学習の性能

In Silico: AMix-1は、オーファンタンパク質やランダムなホモログを含む多様なシナリオにおいて、ファインチューニングなしで、高い構造的一貫性（TM-score > 0.9）と機能的特異性（CLEANによる高いEC番号の信頼性、CLIPZymeによる触媒活性の保持）を持つタンパク質を生成することに成功した。
ウェットラボでの検証: モデルは AmeR 転写抑制因子の変異体設計に使用された。AMix-1によって設計された最良の変異体は、野生型と比較して50倍の活性増加（抑制倍率）を達成し、単一変異ライブラリおよび最先端の指向性進化法であるEvoAIを上回った。

テスト時スケーリング (EvoAMix-1)

スケーラビリティ: 6つのin silico 指向性進化ベンチマーク（構造的、生物物理学的、および機能的タスク）において、EvoAMix-1は検証予算（検証器の呼び出し回数）が増加するにつれて、単調な性能向上を示した。
比較: EvoAMix-1は、6つのタスクのうち5つにおいて、最先端のベースライン（ALDE, EVOLVEpro, MLDE）と同等またはそれを上回る性能を示した。制限された変異スキームを持つ手法で見られる性能の停滞を回避し、配列空間のより広範な探索を可能にした。

意義と主張

本論文は、LLMの成功を反映した、タンパク質基盤モデルのための体系的なパラダイムを確立したと主張している。その主な貢献は以下の通りである：

手法の統一: スケーリング則、創発能力分析、インコンテキスト学習、およびテスト時スケーリングに基づいた、スケーラブルなタンパク質設計のためのロードマップを提示した。
BFNの特性評価: タンパク質モデリングの文脈において、特にノイズ・スケジューリングの重要な役割を特定し、Bayesian Flow Networksに関するスケーリング則と創発能力を初めて特性評価した。
統一された設計フレームワーク: MSAベースのインコンテキスト学習を活用することで、AMix-1はタスク固有のファインチューニングを必要とせずに、構造および機能ガイドの設計を単一のフレームワークへと統合した。
実世界への影響: 高活性なAmeR変異体の設計成功（50倍の改善）は、実世界の機能的タンパク質エンジニアリングにおけるモデルの可能性を示している。
Lab-in-the-Loopの可能性: EvoAMix-1アルゴリズムは、「ラボ・イン・ザ・ループ」型のタンパク質設計の基礎を築くものであり、実験的なフィードバックに基づいて、モデルの再学習なしに反復的に設計を改善できる。

著者らは、AMix-1が現在は配列ベースであり（訓練中に明示的な構造データを使用していない）、テスト時スケーリングはシミュレーションされたタスクでのみ検証されていることを限界として認めているが、これらは将来の研究における直接的な目標であると考えている。