Unlocking Multimodal Protein Language Models at Inference Time
本論文は、マルチモーダルなタンパク質言語モデルの推論時サンプリング戦略を、具体的にはタスク特化型のClassifier-Free Guidanceおよび報酬ガイド付きビームサーチを通じて最適化することが、モデルの再学習を必要とせずに複数のタスクにわたる性能を大幅に向上させることを実証するための3段階のフレームワークを確立し、同時にベースモデルの挙動に関する従来のコンセンサスに異を唱えるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
タンパク質は生命を動かし続ける分子機械であり、細胞内の不可欠な仕事を遂行するために、複雑な三次元構造へと折り畳まれます。これらの機械を構築するための指示は、20種類の異なるアミノ酸からなる単純な鎖に書き込まれていますが、その線形なコードと最終的な機能的形状との関係は、生物学における最も深遠な謎の一つです。何十年もの間、科学者たちは、アミノ酸の列がどのように折り畳まれるかを予測したり、全く新しいタンパク質をゼロから設計したりするために、複雑なコンピュータモデルに頼ってきました。近年、文字の配列と3D構造の両方を単一の統一された言語として扱う、新しい世代の人工知能モデルが登場しました。これらのモデルは新しいタンパク質を生成することができますが、これまでは、研究者の多くはモデルの訓練方法に焦点を当てており、最終的な生成ステップにおいてコンピュータが自身の答えをどのように「読み取る」かは、すでに解決済みの問題であると想定してきました。
香港の研究チームは、この想定が正しくないことを発見しました。彼らは、これらの強力なモデルから最終的なタンパク質設計を抽出する方法は、訓練そのものと同じくらい重要であることを突き止めたのです。生成フェーズにおけるコンピュータの意思決定プロセスを導く方法を体系的にテストすることで、チームは、モデルの基礎となるコードを変更することなく、生成されるタンパク質の品質を劇的に向上させられることを示しました。彼らの研究は、これらのモデルで使用されているデフォルトの設定がしばしば最適ではない結果を招くものの、コンピュータが可能性を探索する方法と特定の経路にコミットする方法を調整することで、単一のタスク向けに設計された専門ツールに匹ら、あるいはそれを凌駕する性能を引き出せることを明らかにしています。
研究者たちはまず、これらのモデルが現在どのように動作しているかを調査することから始めました。モデルがタンパク質を構築しようとするプロセスを、完全にマスクされた画像から始まり、ステップごとにアミノ酸とその位置を徐々に明らかにしていく、空白のキャンバスを埋めていくプロセスだと想像してみてください。チームは、4つの基本的なタスク（全く新しいタンパク質の作成、特定の機能部位に適合するタンパク質の設計、配列からのタンパク質の形状予測、および与えられた形状に折り畳まれる配列の設計）にわたって、3つの異なるモデルをテストしました。彼らはまず、モデルがこれらの決定を下すために使用する標準的な、箱出しの状態の指示である基本的な「バニラ」の設定を調査しました。その結果、デフォルトの設定は、直面している特定のタスクに対して最適ではないことが多いことが分かりました。例えば、全く新しいタンパク質を設計するように求められた場合、モデルは安定した構造を見つけるために、高いランダム性を伴って幅広い可能性を探索する必要があります。しかし、既知のタンパク質の形状を予測するように求められた場合、モデルは既知の制約に密接に従い、より精密で決定的である必要があります。
これらの基本設定の数千ものバリエーションを実行することで、チームは各タスクに対する最適な「レシピ」を特定しました。彼らは、硬直したステップバイステップのアプローチから、より柔軟で同時的なアプローチへと切り替えるだけで、モデルがより多くの実行可能なタンパク質を生成できることを発見しました。新しいタンパク質の作成に関する一つの特定のケースでは、デフォルトの設定下では弱いと見なされていたモデルが、サンプリング戦略を調整したところ、突然、機能的な設計をほぼ3倍多く生成しました。この発見は、一部のモデルが本質的に劣っているという従来の考えに異を唱えるものであり、それらは単に、その仕事に対して間違った道具を使って使われていただけであることを示唆しています。
次に、研究者たちは、モデルをより良い結果へと導くための「優しい後押し」として機能するテクニックを導入するという、第二の制御レイヤーへと進みました。タンパク質設計の文脈において、これは、特定の目標を持つタンパク質の推測と、その目標を持たない場合の推測を比較し、その差を増幅させることで、結果を望ましい方向へ押し進めることを意味します。「分類器フリー・ガイダンス（classifier-free guidance）」として知られるこの手法は、強力なレバーであることが証明されました。ゼロからの新しいタンパク質の設計というタスクにおいて、このガイダンスは、モデルが反復的で不自然なパターンを避けるのを助け、より安定し多様な構造を生み出しました。その改善は非常に顕著であり、以前はベースラインの性能を持つと見なされていたモデルが、デフォルトの設定下で競合他社を上回る結果を出しましたが、さらなる最適化が行われるまでは、依然として専門的なシステムには及びませんでした。
最後に、チームは単なる次のステップではなく、全体像を見る第三の戦略を探求しました。解決策への単一の経路に従うのではなく、地図上のいくつかの潜在的なルートを開いたままにするように、コンピュータに複数の異なるバージョンのタンパク質を同時に生成するよう指示しました。定期的な間隔で、システムは構造の全体的な品質に基づいてどの経路が最も有望に見えるかを評価し、より弱い選択肢を削ぎ落とし、最良の候補のみを継続させます。この「ビームサーチ（beam search）」アプローチにより、モデルは、平凡な解決策に落ち着いてしまうような局所的な罠から逃れることができました。最も有能なモデルに適用されたとき、この戦略は性能を新たな高みへと押し上げ、追加の訓練や外部データなしに、以前は優れていると考えられていた専門的なシステムさえも凌駕する成功率と設計品質を達成しました。
本研究は、生成の瞬間におけるこれらのモデルの使用方法は、これまで大きく見過ごされてきた隠れた変数であると結論付けています。研究者たちは、新しい可能性の探索と既知の優れた解決策の活用とのバランスを注意深く調整することで、これらのモデルの性能を一貫して向上させられることを実証しました。この研究は、現在のタンパク質言語モデルの潜在能力が過小評価されていることを示唆しています。それはモデル自体に欠陥があるからではなく、その答えを解き放つための方法が最適化されていなかったためです。これらの推論戦略を洗練させることで、科学者たちは、全く新しいモデルをゼロから構築する必要なく、既存のツールからより多くの成果を大幅に引き出すことができ、新しい医薬品や生物学的材料の発見を加速させられる可能性があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。