✨ 要約🔬 技術概要
非常に賢い自動化されたシェフ(AI)が存在する世界を想像してみてください。そのシェフは、生命を形作る微細な構成要素である「タンパク質」の新しいレシピを考案することができます。このシェフは、医薬品や汚染を浄化する酵素のような、役立つ新しい料理を生み出すことに長けています。
しかし、ある懸念があります。もし誰かが、このシェフを使って、危険な料理(有害なタンパク質)のレシピを密かに書き換えようとしたらどうなるでしょうか?見た目のレシピ(紙の上での記述)は全く別物に作り変えられているのに、実際には味も働きも変わらないままにする、という手法です。もしこのようなことが行われた場合、食料品店(DNA原料を販売する企業が使用しているバイオセキュリティ・スクリーニング・ソフトウェア)の「警備員」は、その危険なレシピを認識できず、通過させてしまうかもしれません。
Wittmann氏らによる最近の研究は、AIツールがこの「レシピの入れ替え」というトリックを容易に実行できる可能性を示唆しました。彼らは、AIツールを使えば、危険なタンパク質を取り込み、その材料リストをかき混ぜて無害に見せかけつつ、それでもなお元の危険なタンパク質として機能させることができると主張しました。
この新しい論文が行ったこと: 研究者たちは、コンピュータ上のシミュレーションをただ信じるのではなく、現実の世界、つまり実験室ベースの「安全チェック」でテストすることに決めました。彼らは、AIシェフが実際にこのトリックを成功させることができるのかを確認するために、4段階の安全プロセス(テスト、評価、検証、確認)を設定しました。
結果: 彼らは、2024年初頭の時点では、AIシェフは恐ろしいシナリオで示唆されたほど巧妙ではないという結果を見出しました。AIは新しいレシピを書くことはできますが、次の2つのことを同時に行うことに苦戦します。
危険なレシピを完全に偽装し、警備員に見つからないようにすること。
新しいレシピが、実際に機能する危険なタンパク質として調理されることを確実にすること。
結論: これは、模倣者が有名な絵画をコピーしようとする様子に似ています。AIは「新しい」絵を描くことは得意ですが、専門家には全く別物に見えるほど見た目を変えつつ、かつ元の絵の「魔法」をそのまま維持したまま、特定の危険な絵を完璧にコピーするほどの実力はまだありません。現時点では、現在のAIツールは、セキュリティシステムを確実に突破して、隠された機能を持つ脅威を作り出すほど強力ではありません。
技術要約:AI駆動型タンパク質設計のリスクに関する実験的評価
問題提起 タンパク質工学における機械学習の急速な進歩は、二重用途(デュアルユース)のジレンマを提示している。すなわち、これらのツールは有益な応用を加速させる一方で、重大なバイオセキュリティ上の懸念を同時に引き起こしている。具体的には、生成AIが「懸念される配列(SOCs)」(毒素や病原体をコードするものなど)を合成ホモログへと再構成するために利用されるリスクがある。Wittmannらによって指摘されているように、このようなAI駆動型のパイプラインは、元のSOCsの生物学的機能を維持しつつ、核酸合成プロバイダーが現在採用しているバイオセキュリティ・スクリーニング・ソフトウェア(BSS)による検知を回避する配列を理論的に生成できる可能性がある。特定された決定的なギャップは、この脆弱性の真の深刻さを確定するための実験的データが不足していることである。イン・シリコ(in silico)による理論的な予測だけでは、これらのAI生成配列が実世界の文脈において機能的に生存可能であるか、あるいはスクリーニングを回避する能力があるかを判断するには不十分である。
手法 このギャップに対処するため、著者らはAI支援型タンパク質設計(AIPD)のテスト、評価、検証、および検証(TEVV)のための汎用的なフレームワークを提案し、実装する。本研究は、AIPDモデルによって生成された合成ホモログの実験的検証に焦点を当てている。計算機シミュレーションのみに依存するのではなく、本研究は、これらAI設計された配列の物理的な合成と生物学的試験を伴う。この手法は、以下の2つの主要な基準を同時に評価するものである:
機能的活性: 再設計された合成ホモログが、元のタンパク質の生物学的活性を保持しているかどうか。
回避能力: これらの活性を持つホモログが、合成プロバイダーが使用する標準的なバイオセキュリティ・スクリーニング・ソフトウェア(BSS)による検知を正常に回避できるかどうか。
評価は、2024年初頭時点で実際に使用されていた一般的なAIPDモデルを具体的に対象としている。
主な貢献
実験的フレームワーク: 本論文は、理論的なリスク評価を超えて、経験的なテストを行うことで、AIPDに関連するバイオセキュリティ・リスクを評価するために特別に設計された厳格なTEVVフレームワークを導入している。
AIの限界に関する経験的データ: 本研究は、バイオセキュリティ回避のためのタンパク質配列の書き換えという文脈における、生成AIの現在の能力に関する初の実験的証拠を提供する。
スクリーニングの耐性の検証: これらのモデルの実際の生物学的出力をテストすることにより、本研究は、テストされた特定のクラスのAI生成脅威に対する、現在のBSSプロトコルの継続的な有効性を検証している。
結果 実験結果は、2024年初頭の時点では、一般的なAIPDモデルは、Wittmannらが記述した特定の脅威シナリオを確実に実行できるほどには、まだ十分に強力ではないことを示している。本研究では、これらのモデルが、与えられたタンパク質の生物学的活性を維持することと、既存のバイオセキュリティ・スクリーニング・ソフトウェアによる検知を回避するように配列を書き換えることという、2つの相反する目的を同時に達成することに苦慮していることが判明した。テストされたシナリオにおいて、AIモデルは、機能的に活性であり、かつBSSによって検知不可能であるような合成ホモログを生成することに失敗した。
意義 本論文は、これらの知見が、生成AIを取り巻くバイオセキュリティへの懸念に対して、地に足の着いた実験的な現実チェックを提供しているという点で重要であると主張している。現在のAIPDモデルは、機能を維持しながらスクリーニングを回避するようにタンパク質配列を確実に書き換えることはまだできないことを示すことで、本研究は、AI駆動型のタンパク質設計による回避という即時的な脅威レベルが、いくつかの理論的モデルが示唆するものよりも低い可能性を示唆している。著者らは、イン・シリコによる予測のみに頼ることは現在のリスクを過大評価する可能性があると論じ、実験的検証(TEVV)の必要性を強調することで、実験的な現実確認の重要性を説いている。著者らは、自らの結果を、将来のリスクを永久に否定するものではなく、技術の「現在の」状態(2024年初頭)の評価として位置づける控えめな姿勢を維持しており、これにより、AIの能力が進化するにつれて継続的なモニタリングを行うためのベースラインを確立している。
毎週最高の synthetic biology 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。 登録 ×