新薬発見の競争において、科学者たちはしばしば困難な課題に直面します。それは、特定の「鍵」に対して適切な「錠前」を見つけ出すことです。「鍵」とは小さな分子である潜在的な薬であり、「錠前」とは人体内で疾患を駆動するタンパク質です。薬がタンパク質によく適合すると、疾患のプロセスを停止させたり、壊れた機能を修復したりすることができます。薬がタンパク質にどれほど強く結合するかを予測することは、何百万もの候補をスクリーニングする上で極めて重要なステップであり、研究者が最も有望なものにリソースを集中させることを可能にします。長年、コンピュータモデルは膨大な既知の薬物・タンパク質相互作用のデータベースから学習し、これらの予測を行うために訓練されてきました。その目標は常に、未知の結合強度を正確に推測できるモデルを構築することでした。それは、既知のタンパク質に対して新しい薬がどのように振る舞うかを予測することであれ、既知の薬が全く新しいタンパク質標的に対してどのように相互作用するかを予測することであれ、同様です。

しかし、ハルビン師範大学による新しい研究は、「どのモデルが最適か」という問いへの答えは、問われている内容によって完全に異なることを示唆しています。研究者のKui Haobo氏とCui Xinyuan氏は、ゲームのルールが変わったときに、これらのコンピュータモデルのランキングが安定しているかどうかを検証することを目的としました。創薬の実世界では、モデルは、これまで見たことのない化学化合物に対する相互作用を予測するように求められたり、これまでにないタンパク質に対する相互作用を予測するように求められたり、あるいはその両方の混合パターンに直面したりすることがあります。研究チームは、あるシナリオで勝ったモデルが別のシナリオでは敗北すること、そしてモデルの順位付けは、特定のテスト条件下によって完全に逆転し得ることを発見しました。彼らの研究は、100回以上の厳密に制御された実験を実施したものであり、単一の「最高の」モデルはあらゆる状況において存在するのではなく、代わりに、適切な選択とは、モデルをそれが直面する特定の汎化の課題に適合させることであるという事実を明らかにしました。

この調査の規模を理解するために、科学者が5種類の異なるエンジンのテストを行っている研究所を想像してみてください。標準的なテストでは、彼らはすべてのエンジンを滑らかで慣れ親しんだトラックで走行させるかもしれません。しかし、実世界では、あるエンジンは凍結した道路に対応する必要があり、またあるエンジンは険しい山道をナビゲートしなければなりません。KuiとCuiは、滑らかなトラックで勝ったエンジンが、氷の上や山道でも勝つかどうかを確認するための厳格なテストフレームワークを構築しました。彼らは、一方のソースから118,000件以上、もう一方のソースから30,000件以上の記録を含む、2つの大規模で整理された薬物・タンパク質相互作用のデータベースを使用しました。このデータから、彼らは3つの明確なテスト環境を作成しました。第1は「ウォーム（温かい）」設定で、モデルが訓練中にすでに見たことのある薬物とタンパク質に対してテストされ、本質的に、学んだことをいかに記憶し、補間できるかを測定するものです。第2は「コールド・ドラッグ（冷たい薬物）」設定で、モデルがこれまで遭遇したことのない全く新しい化学化合物に対する相互作用を予測しなければならないものです。第3は「コールド・ターゲット（冷たい標的）」設定で、モデルが全く新しいタンパク質配列に直面し、新しく発見された疾患メカニズムに対する薬を見つけるという挑戦をシミュレートするものです。

研究者たちは、単にモデルを一度走らせて結果を取ったわけではありません。彼らの発見がランダムな偶然によるものではないことを確実にするため、彼らは「マルチシード」として知られる手法を用いて、わずかに異なる開始条件で各実験を3回ずつ実行しました。彼らは、3つの異なる薬物とタンパク質の情報の組み合わせ方法と、2つの確立されたベースライン手法を比較し、すべてのモデルがほぼ同等の計算能力を持つようにしました。合計で126回の個別のトレーニング実行を行い、データの分割と評価ルールを一貫して同一に保ちました。決定的なことに、彼らは最終的なテスト結果をすべての実行が完了するまで封印し、モデルがテストデータに適合するように微調整されるという偶発的なバイアスを防ぎました。この厳格で監査可能なアプローチにより、彼らはすべての結果をそのソースまで遡ることができ、比較の完全性を保証することができました。

結果は衝撃的であり、直感に反するものでした。研究者が「ウォーム」条件下でのモデルのランキングを見たとき、一つのモデルが他のモデルを一貫して上回りました。しかし、彼らが「コールド・ドラッグ」のシナリオに切り替えると、ランキングは劇的に変化しました。最も極端なケースでは、より大きなデータセットを用いた場合、「コールド・ターゲット」シナリオにおけるモデルの順位は、「コールド・ドラッグ」シナリオの順位と正反対になりました。新しいタンパク質との相互作用を予測することにおいて明確な勝者であったモデルが、新しい薬との相互作用を予測することを求められたときには、明確な敗者となったのです。ランキングを比較する統計的ツールによって測定されたこの完全な逆転は、モデルの成功とは絶対的な性質ではなく、文脈によって変化する相対的なものであることを示しました。

さらに、本研究は、同じテストシナリオ内であっても、結果が常に完全に安定しているわけではないことを強調しました。モデルの平均値ではなく個別の実行に着目したとき、研究者たちは、モデルの正確な順位がトレーニングの実行ごとに変動し得ることを発見しました。これは、単一の実験の結果に頼って勝者を宣言することは、トレーニングプロセスのランダムなノイズによって結果が影響を受ける可能性があるため、リスクがあることを意味します。複数のシードを実行することで、チームはモデルのパフォーマンスが真にどの程度信頼できるかという全体像を見ることができました。彼らは、特定の領域（例えば、特定の融合戦略が両方のデータセットでより優れた性能を発揮した「コールド・ドラッグ」設定など）において一貫した優位性を示すモデルはあるものの、すべての指標とすべてのシナリオにおいて支配的な単一のモデルは存在しないことを発見しました。

研究者たちは、この発見が実世界のアプリケーションにどのように翻訳されるかを探るため、血管新生に関与し、がん治療の主要な標的であるVEGFR2と呼ばれる、未発表の特定のタンパク質標的に注目しました。彼らは、実験から得られた凍結された予測を用いて、この特定の標的に対する潜在的な薬物候補のランキングを異なるモデルがどのように行うかをシミュレートしました。その結果、モデルは異なるトップ候補のリストを生成することがわかりました。あるモデルは特定の化合物を最良の選択肢としてランク付けする一方で、別のモデルはそのランクを大幅に下げることがあります。これは、モデルの選択が単なる学術的な演習ではなく、科学者がラボでテストすべき薬物候補を直接的に左右することを実証しました。もし研究者が「ウォーム」設定のパフォーマンスに基づいてモデルを選んでしまうと、新しい標的に対して誤った化合物に優先順位をつけてしまう可能性があります。

結局のところ、この研究は計算による創薬の未来にとって不可欠なガイドとなります。それは、あらゆる問題に適用できる普遍的なチャンピオンモデルという考えに異議を唱えるものです。代わりに、モデルの比較の信頼性は、評価方法を意図された用途に一致させることにかかっていると示唆しています。もし目標が新しい標的のための薬を見つけることであるなら、モデルは新しい標的を用いてテストされなければなりません。もし目標が既知の標的に対する新しい薬を見つけることであるなら、モデルは新しい薬を用いてテストされなければなりません。研究者たちは、モデルの選択が真に信頼できるものであるためには、シナリオに適合し、マルチシードであり、かつ監査可能でなければならないと結論付けています。ランキングが異なる評価レジーム間で変化することを理解することで、科学者はより情報に基づいた意思決定を行うことができ、使用するツールが創薬パイプラインの特定の課題に適していることを確実にすることができるのです。