Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

科学者が、実験室で実際に実験を行うことなく、特定の遺伝的変化に対して生細胞がどのように反応するかを予測できる世界を想像してみてください。これは「仮想細胞」モデルの約束です。これは、遺伝子のオン・オフをシミュレートするために設計されたコンピュータプログラムです。現実の世界では、研究者は強力なツールを使用して遺伝子を一つずつ無効化し、その結果として生じる細胞活動の変化を測定していますが、このプロセスは時間がかかり、コストも高く、規模を拡大することが困難です。もしコンピュータがこれらの結果を正確に予測できれば、それは大きな近道となり、創薬開発者が数千もの潜在的な治療法を極めて短時間でスクリーニングすることを可能にするでしょう。長年、この分野はこれらのモデルを構築するために競争してきました。多くの研究者は、より複雑な人工知能システムが最終的にこのタスクを習得すると賭けてきました。

しかし、新しい研究は、現在の世代のこれらのモデルが決定的なテストに失敗していることを示唆しています。この研究を行ったエリュシデータ（Elucidata Corporation）のチームは、これらのコンピュータプログラムが真に生命の生物学的ルールを学習しているのか、それとも単に与えられたデータからパターンを記憶しているだけなのかを確認しようとしました。彼らは、標準的なテスト条件下ではうまく機能するように見えるものの、見たことがない遺伝子の影響を予測しようとすると崩壊することを発見しました。この研究は、最新の基盤技術に基づいて構築されたものを含む最も洗ло的なモデルであっても、はるかに単純な手法に対して何の優位性も持たないことを明らかにしています。細胞の基礎となるメカニズムを理解している代わりに、これらのプログラムは本質的に過去の例との類似性に基づいて推測を行っており、その戦略は未知の、馴染みのない生物学的シナリオに直面した際に破綻してしまうのです。

なぜこれが重要なのかを理解するには、まずこの課題の性質を把握する必要があります。科学者が遺伝子を研究するとき、特定の遺伝子が取り除かれたときに細胞の内部指示がどのように変化するかを見ます。典型的な実験では、単一の細胞タイプにおいて数百の遺伝子をテストすることがあります。コンピュータモデルの目標は、これら数百の例から学習し、次に遭遇したことのない異なる遺伝子が取り除かれた場合に何が起こるかを予測することです。これは難しいタスクです。なぜなら、遺伝子とその影響の関係は必ずしも明白ではなく、細胞内の複雑な相互作用のネットワークに依存しているからです。これらのモデルをテストする標準的な方法は、データをランダムに分割し、コンピュータにいくつかの遺伝子を学習させ、残りのいくつかの遺伝子を予測させるというものでした。このアプローチの問題は、「新しい」遺伝子が、コンピュータがすでに知っているものと生物学的に類似していることが多い点です。これは、学生に対して、勉強した問題のわずかな変形に過ぎない問題でテストを受けるよう求めるようなものです。学生は、主題を理解しているからではなく、パターンを認識したために満点を取るかもしれません。

カヌプリヤ・ティワリ氏率いる研究チームは、ルールの変更を試みました。彼らは、より現実的な条件下でこれらのモデルをストレステストするために設計された、EL-PERTURBと呼ばれる新しいテストフレームワークを導入しました。ランダムな分割の代わりに、彼らは遺伝子が実際に細胞の挙動にどのように影響するかに基づいてグループ化しました。そして、モデルに対して、訓練された遺伝子とは機能的に異なるグループの遺伝子の影響を予測することを強制しました。このセットアップは、開発者がこれまで研究されたことのない遺伝子の影響を予測する必要があるという、現実世界のシナリオを模倣しています。彼らは、単純な統計ツールから、膨大な生物学的知識の事前学習済みデータベースを使用する複雑なディープラーニングシステムに至るまで、20種類の異なるモデルをテストしました。彼らは、細胞の生存に不可欠な遺伝子と、ゲノムワイドなスクリーニングで見られるより広範な遺伝子の両方をカバーする、4つの異なるヒト細胞株のデータを用いてこれらのテストを実施しました。

結果は明白かつ一貫していました。モデルが訓練データに似た遺伝子でテストされたとき、それらは合理的に機能し、既知の例の間を補間（インターポレーション）できることを確認しました。しかし、研究者が機能的に異なる遺伝子を用いた、より厳格な新しいテストを適用したとき、すべてのモデルの性能は劇的に低下しました。高度なニューラルネットワークや、膨大な生物学的テキストとデータで事前学習された基盤モデルを使用するシステムを含む複雑なモデルであっても、状況は改善しませんでした。実際、いくつかのケースでは、より単純なモデルの方が踏みとどまることができました。この研究は、最も洗練されたアーキテクチャであっても、これらの新しい、未知の生物学的状況に対処するための信頼できる優位性を提供しないことを明らかにしました。モデルは、遺伝子がどのように細胞を制御するかという因果関係の論理を学習しているのではなく、単に類似した例の記憶された近傍から答えを検索していたに過ぎなかったのです。

研究者たちはまた、複数の細胞タイプからのデータを使用することで、モデルがより良く汎化できるかどうかについても調査しました。彼らは、このアプローチが、異なる細胞タイプ間での生物学的反応が非常に類似している場合（例えば、共通のストレス応答を引き起こす必須遺伝子の場合）にのみ機能することを発見しました。しかし、より多様で混沌とした生物学的反応を伴うゲノムワイドなスクリーニングに移行すると、複数の細胞タイプを使用するメリットは完全に消失しました。これらの複雑なシナリオでは、モデルは知識を効果的に転移させることができず、最も成功した予測器は、基本的な回帰ツールや、データから学習するのではなく既知の生物学的事実を検索する方法に依存する、より単純なものが多いことが分かりました。これは、ボトルネックがモデルの設計にあるのではなく、データの性質と、細胞の挙動を駆動する因果メカニズムの真の理解の欠如にあることを示唆しています。

もう一つの重要な発見は、「基盤モデル」の使用に関するものでした。これらは、膨大な遺伝情報のデータセットで事前学習された大規模な人工知能システムです。多くの研究者は、一般的な生物学のパターンを学習したこれらのシステムが、特定の遺伝子効果を予測するための好スタートを切れると考えていました。研究では、これらの基盤モデルから派生したエンベディング（遺伝子のデジタル表現）を、精選された手作業による生物学的知識から構築された表現と比較しました。結果は、基盤モデルのエンベディングが、精選された知識に対して何の改善も提供しないことを示しました。いくつかの構成では、予測をわずかに悪化させることさえありました。これは、現在の世代のこれら大規模なモデルが、少なくとも、より単純で直接的な情報源を凌駕するような方法では、遺伝的変化に対して細胞がどのように反応するかを予測するために必要な特定の因果情報を、まだエンコードできていないことを示しています。

研究は、標準的なテスト方法が容易すぎるために、分野がこれらのモデルの能力を過大評価していると結論付けています。ランダムな分割と寛大な量の訓練データに依存することで、従来のベンチマークは、真の補外（エクストラポレーション）ではなく、補間を通じてモデルを成功させてきました。著者らは、将来のモデルはパターンマッチングを超え、摂動が相互作用のネットワークを通じてどのように伝播し、特定の結末を生み出すかという、実際の生物学の因果構造をエンコードしなければならないと主張しています。それまでは、「仮想細胞」が実験室での実験を確実に代替できるという約束は手の届かないままであり、遺伝的影響を予測するための最も効果的なツールは、複雑さへの急進の中で見落とされてきた、より単純で透明性の高い手法であり続けるでしょう。