Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

環境は、自然界が分解するように進化してこなかった合成化学物質に満ちています。家具に使われる難燃剤から農作物に含まれる農薬に至るまで、これらの物質は、生物がそれらを解体するための生物学的な道具を持っていないために残留し続けます。科学者たちは、長年、これら汚染物質を消化して惨状を片付けるための「微小な触媒」であるカスタム酵素（天然の酵素）を設計することを切望してきました。近年、強力なコンピュータ・プログラムが登場しており、それが新しいタンパク質の遺伝的ブループリント（設計図）を書くことで、破壊すべき汚染物質の特定の化学特性に基づき、ゼロからこれらの酵素を設計できる可能性を秘めています。そのアイデアとは、コンピュータに毒性のある化学物質の説明を入力させると、それを無力化できる能力を持つタンパク質配列を出力させるというものです。

新たな研究では、これらのコンピュータ・プログラムが実際に新しいツールを設計しているのか、それとも単に古いものを模倣しているだけなのかを検証しています。テラ・テクノロジーズ（Terram Technologies）の研究者たちは、外来生物由来の化合物（ゼノバイオティクス：合成汚染物質の科学用語）を分解するための酵素を生成するシステム「XenoFold」を構築しました。彼らは既知の酵素反応を用いてこのシステムを訓練した後、さまざまな化学物質に対して新しい候補を作成するよう指示しましたが、そこには自然界に既知の分解者が存在しないものも含まれていました。チームは、生成された酵素に対し、それらが安定した形状に折り畳まれ（フォールディング）、標的となる化学物質と結合できるかどうかを確認するために、一連の標準的なコンピュータテストを実施しました。その結果、驚くべき失敗が明らかになりました。システムは新しい酵素を設計していたのではなく、学習データを記憶し、それをほぼ正確に再現していたのです。そして、作業の妥当性を確認するために使用されたあらゆる標準的なコンピュータ・テストが、この欠陥を完全に見逃していました。

研究者たちはまず、15種類の異なる酵素クラスについてモデルを訓練し、特定の化学反応とその反応を実行するタンパク質配列をペアリングしました。次に、システムに対し、4つの特定シナリオのための新しい酵素を生成するよう求めました。そのうち2つは自然界の酵素がよく知られている反応であり、残りの2つはペルフルオロオクタン酸や特定の農薬代謝物のように、それを分解できる既知の天然酵素が存在しない汚染物質に関する反応でした。生成されたタンパク質がもっともらしいものであることを確実にするため、チームは広く受け入れられている3つのコンピュータ検証法を用いました。第一に、タンパク質がいかに3次元構造へと折り畳まれるかを予測し、構造の安定性の指標としました。第二に、新しく作成された配列を膨大な公開データベースと比較し、それらが新規であるかを確認しました。第三に、新しい酵素が標的とする化学物質といかに強く結合するかをシミュレーションし、実際にその役割を果たせることを証明しようと試みました。

表面上、結果は成功しているように見えました。コンピュータは、生成された酵素が高い信頼度で安定した明確な形状に折り畳まれると予測しました。研究者がこれらの新しい配列を既存のタンパク質を含む公開データベースと比較すると、スコアは、デザインされたものが過去に記録されたいかなるものとも異なり、独特であることを示唆していました。ドッキング・シミュレーションによるスコアも、酵素がターゲットに結合できることを示す数値を生み出しました。これら3つの標準的なチェックに基づけば、本研究は当初、新しい酵素を設計するための機能的なシステムの成果を示しているように見えました。しかし、研究者たちは、これらの標準的なチェックでは物語の全容を語っていないことに気づきました。彼らは、生成された配列を一般的な公開データベースではなく、コンピュータが学習フェーズ中に記憶した具体的なトレーニング例と比較するという、より直接的かつ深い調査を行いました。

この直接比較によって真実が暴かれました。生成された酵素を学習データと照合したところ、40パーセントの配列が、コンピュータが見てきた例と文字単位で一致する全く同じコピーであることが判明したのです。さらに別の47パーセントについても、トレーニング例と非常に似通っており、その構造のわずかな部分しか異なっていませんでした。このパターンは、未知の自然デグレーダーヤー（分解者）に関連する汚染物質のために設計を行うようコンピュータに命じた場合でも同様でした。つまり、対象となる化学物質が馴染みのあるものであっても、あるいは完全に新しいものであっても、システムは高い複製率を示すことが分かりました。コンピュータは、汚染物質の化学組成から推論して新しい解決策を作り出しているのではなく、メモリ内に保存されたパターンを単純に検索し、繰り返していただけだったのです。

研究はさらに、コンピュータが提供された化学情報を実際に利用しているかどうかについても調査しました。あるテストにおいて、研究者は訓練されたシステムに対し、これまで学習してきた酵素クラスとは全く関係のない化学反応を入力しました。もしシステムが本当に化学入力に対して敏感であれば、反応を変更すれば出力も変わるはずです。ところが実際には、生成された酵素は正しい反応に対して作られたものとほとんど同一であり、予測される安定性スコースにも意味のある変化は見られませんでした。これにより、化学入力が最終的なデザインに与える影響は極めて小さいか、あるいは皆無であることが裏付けられました。システムは、汚ors物の具体的な指示を事実上無視し、学習期間中に習得した一般的なパターンにデフォルト設定として戻っていたのです。

研究者たちはまた、当初有望に見えたコンピュータ・ドッキング・テストについても精査しました。彼らは、これらのテストが、本来模倣すべき天然の酵素とコンピュータが生成した酵素を区別できていないことを見出しました。より決定的なのは、ドッキング・スコアを使用して酵素の動作速度を推定しようとした際、結果が現実の世界の実測値と比較して著しく不正確であったことです。既知の2つの天然酵素について、コンピュータが出した効率の推定値は、現実世界の測定値と最大で1万5千倍もの差がありました。あるケースでは、コンピュータは実際の性能とは正反対の順序で2つの酵素をランク付けさえしました。ドッキング・スコアがあまりにも劇的に現実に適合しなかったため、研究者たちはこれらの標準的なコンピュータ・シミュレーションは品質を検証するには信頼できないと結論づけ、最終分析から除外することにしました。

本研究の核心的な教訓は、計算機が生み出した生物学的情報の検証方法についての警告です。この研究は、生成された配列が、（構造の）折り畳みが良好で、公開データベース上で新規性が認められ、結合シミュレーションで高スコアを得ているといった、「標準的なコンピュータ上のチェックによれば完璧に見える」状態であっても、実は学習データの単なるコピーに過ぎない可能性があることを示しています。この分野で使用されている最も一般的な3つのバリデーション用ツールは、この暗記現象を検出しませんでした。出力内容をコンピュータが学習した特定のデータと直接対比させて初めて、研究者たちはその欠陥を突き止めることができたのです。筆者は、こうした安価で特化したチェックが行われない限り、新しい酵素のデザインに関する主張は、新規性の錯覚に基づいている可能性があると結んでいます。今回テストされたシステムは、現在のところ実世界での使用に耐えうる酵素を生み出す段階にはなく、本研究は、設計物が真に新しいものであることを保証するためには、フィールド全体がコンピュータによる設計の検証方法を再考する必要があると提言しています。