Benchmarking Single-Pose Docking, Consensus Rescoring, and Supervised ML on the LIT-PCBA Library: A Critical Evaluation of DiffDock, AutoDock-GPU, GNINA, and DiffDock-NMDN

本研究は LIT-PCBA ライブラリ上で各種ドッキングおよびスコアリング手法を評価し、AutoDock-GNINA のような単一手法よりも教師あり機械学習による再ランク付けがエンリッチメントを著しく向上させるものの、すべてのターゲットにおいて支配的な単一アプローチは存在せず、現実的なデータセットに対する現在のバーチャルスクリーニングワークフローの性能が依然として限定的であることを示している。

要約

あなたが、約60万個の岩が収められた巨大な倉庫の中に隠された1万個の特定の希少な宝石を見つけようとする宝探しハンターだと想像してください。あなたの目標は、すべての岩を一つ一つ調べる必要なく、宝石をできるだけ素早く見つけ出すことです。これは、創薬における「バーチャルスクリーニング」が本質的に何を行うかです：数百万個の「不活性」な分子の中から、病気を治す可能性があるわずかな「活性」分子を見つけ出そうとするのです。

この論文は、非常に現実的で厄介な倉庫「LIT-PCBA」の中でこれらの宝石を見つけるために研究者たちが用いた4つの異なる「検索戦略」（ツール）に関する成績表です。以前の実験では、見つけやすい偽物の宝石が使われていましたが、この倉庫には本物の岩と本物の宝石が含まれており、作業ははるかに困難です。

以下に、彼らがテストしたツールと発見したことを、簡単な比喩を用いて解説します。

4つの検索戦略

1. AutoDock（古き良き測量士）

   • 仕組み: これは伝統的な、物理法則に基づくツールです。地図とコンパスを使って、岩がどの穴にぴったり収まるかを正確に計算する測量士のようなものです。遅いですが、物理法則に依存しています。
   • テスト: 彼らは、最適な収まりを見つけるために、すべての岩に対してこのツールを10回実行しました。

2. DiffDock（AI 直感主義者）

   • 仕組み: これは新しい、AI 駆動のツールです。物理を計算する代わりに、「直感」（拡散モデル）を使って岩がどこに行くかを推測します。人間がパズルのピースを測らずにどこに収まるかを推測するのと同様です。これは宝石を見つける未来の技術であるはずでした。
   • テスト: 各岩に対して20の推測を生成し、最も自信があるものを選びました。

3. GNINA（専門家鑑定士）

   • 仕組み: これは見つけ手ではなく、判定者です。測量士や直感主義者が場所を見つけると、GNINA は「3D カメラ」（ニューラルネットワーク）で収まり具合を見て、それが「良い」収まりかどうかを決定します。肉眼では本物に見える偽物の宝石を見分けることができる専門家鑑定士のようなものです。

4. NMDN（新しい鑑定士）

   • 仕組み: もう一人の専門家判定者ですが、訓練方法が異なります。これは特に AI 直感主義者（DiffDock）と連携するように設計されました。

大実験

研究者たちは、これらのツールをさまざまな方法で組み合わせて試みました。

• ソロ活動: 測量士のみ、直感主義者のみ、または測量士/直感主義者＋鑑定士。
• チームワーク（コンセンサス）: 複数のツールのランキングを取り、平均化して、個々よりも集団の方が賢いかどうかを確認しました。
• コーチ（機械学習）: 彼らは、すべてのツールのスコアを見て、ツール単独よりもさらに岩をうまくランク付けする方法を学ぶ「コーチ」（機械学習モデル）を訓練しました。

結果：誰が宝石を見つけましたか？

1. 古き良き測量士＋専門家鑑定士の勝利（AutoDock-GNINA）
驚いたことに、伝統的な測量士（AutoDock）と専門家鑑定士（GNINA）の組み合わせが、最も信頼できる単一のチームでした。

• 比喩: 慎重な測量士に場所を見つけさせ、その後、鋭い目を持つ鑑定士にそれらを二重チェックさせるようなものです。
• スコア: 彼らは、ランダムに岩を選んだ場合よりも、上位1%の岩の中で約2.14倍多くの宝石を見つけました。
• 欠点: 勝者であっても、偶然よりもわずかに良いだけでした。100個の岩を選べば、約2個の宝石が見つかる程度です。それは素晴らしいことではありませんが、何もしないよりはマシです。

2. AI 直感主義者（DiffDock）の苦戦
新しいハイテク AI ツール（DiffDock）は、期待されたほどには機能しませんでした。

• 比喩: AI は物事がどこに「あるかもしれない」かを推測するのは得意でしたが、専門家鑑定士（GNINA）がその推測を見ると、それらはしばしば間違っていました。
• スコア: 古き良き測量士よりも少ない宝石しか見つけられませんでした。場合によっては、上位1%でゼロ個の宝石しか見つけられませんでした。
• コスト: AI ツールを実行するには、測量士に比べて4〜8倍のコスト（計算能力と時間）がかかりました。これは、簡単なサンドイッチを作るために、家庭料理人よりも速く安く済むはずの有名シェフを雇うようなものです。

3. 新しい鑑定士（NMDN）の不安定さ
彼らが AI 直感主義者と共に NMDN 判定者を使おうとしたとき、それはあまり役立ちませんでした。実際、時には状況を悪化させました。それは、すべての岩ではなく、特定の種類の岩でのみうまく機能しているように見えました。

4. 「コーチ」（機械学習）が真の MVP でした
最大の驚きは機械学習モデルでした。

• 比喩: 測量士、直感主義者、鑑定士からのすべてのメモを取り、それらを「勝つ」岩の仕組みを学習する超賢いコーチに与えることを想像してください。
• スコア: このコーチは成功率を2倍にしました！100個の岩から2個の宝石を見つけることから、4.5個の宝石を見つけることにまで向上しました。
• 警告: これは、コーチを訓練するための大量のデータがあったからだけでした。この論文は、訓練データなしでこのコーチを全く新しい種類の岩（新しい疾患ターゲット）に適用しようとすると、失敗する可能性があると警告しています。

平易な英語での主要な教訓

• 魔法の弾はない: どのターゲットにも完璧に機能する単一のツールはありません。時には古き良き方法が最もよく機能し、時には AI の方が優れています。それは特定の「倉庫」（タンパク質ターゲット）に依存します。
• 新しいからといって常に良いわけではない: この現実的なデータセットでテストされた際、高級な AI ドッキングツール（DiffDock）は、従来の方法よりも遅く、高価で、精度が低かったです。
• チームワークは役立ちますが、すべてを解決するわけではありません: 異なるツールを組み合わせる（コンセンサス）ことは、結果をより安定させ、信頼性のあるものにしましたが、最高の単一チーム（AutoDock-GNINA）には勝てませんでした。
• 人間（または AI）コーチは強力です: 十分なデータがあれば、他のツールの結果から学習する機械学習モデルは、正しい薬を見つける可能性を大幅に向上させることができます。
• 現実の確認: この研究における最良の方法でさえ、ランダムな推測よりもわずかに良いだけでした。これは、これらのツールがリストを絞り込むのに有用である一方で、完璧ではないことを意味します。実際の治療法を見つけるためには、依然として多くの現実世界でのテストを行う必要があります。

要約すると: 研究者たちは、信頼性の高い伝統的なアプローチと賢い鑑定士を組み合わせることが、現時点では最も「費用対効果」が良い方法であることを発見しましたが、それを訓練するデータがあれば、賢い AI コーチは成功率を倍にすることができます。しかし、このプロセス全体はまだ完璧からは程遠く、薬を見つけることは依然として困難で、当たり外れのあるゲームです。

技術概要

技術的概要：LIT-PCBA ライブラリにおける単一ポーズドッキング、コンセンサスリスコアリング、および教師あり機械学習のベンチマーク評価

問題定義

バーチャルスクリーニング（VS）は、現代の創薬において実験的テストのための化合物を計算機上で優先順位付けることを目指す重要な構成要素である。しかし、VS 手法の予測能力は、アナログバイアスやデコイアーティファクトを含むバイアスのかかったベンチマークデータセット（例：DUD-E）の使用によってしばしば損なわれ、過大評価された性能指標をもたらす。さらに、DiffDock などの最近の人工知能（AI）手法が標準ベンチマークで強力な結果を報告している一方で、実験的にキュレーションされバイアスのないライブラリにおけるその実用的有用性は依然として不確かである。低ヒット率を特徴とする現実的なデータセットにおいて、最先端の AI 駆動型ドッキングおよびリスコアリング手法が従来の物理ベースのアプローチを上回るかどうか、およびコンセンサス戦略や教師あり機械学習（ML）が初期エンリッチメントをさらに改善できるかどうかを厳密に評価する必要がある。

手法

本研究では、LIT-PCBA（文献由来の PubChem バイオアッセイ）ライブラリにおけるドッキングおよびスコアリングワークフローを評価した。このライブラリは、15 の多様なタンパク質ターゲットにまたがる578,295 のリガンド - ターゲットペア（10,008 のアクティブと 568,287 のインアクティブ）で構成されている。評価は、ポーズ生成のための 2 つの主要な経路に焦点を当てた。

1. AutoDock 経路: AutoDock-GPU（AutoDock 4.2 の GPU 加速実装）を使用。各リガンドに対して 10 回の独立した実行を行い、最も親和性の高いポーズを保持した。
2. DiffDock 経路: ブラインドドッキングのための拡散生成モデルである DiffDock を使用。各リガンドあたり 20 のポーズをサンプリングし、最も信頼性の高いポーズを保持した。

スコアリングおよびリスコアリング:
両経路からのポーズは、以下の手法を用いてリスコアリングされた。

• GNINA: 3 次元畳み込みニューラルネットワーク（CNN）スコアリング関数。
• NMDN（正規化混合密度ネットワーク）: pKd 値を予測する深層学習ベースのリスコアリング関数。
• ネイティブスコア: AutoDock の結合エネルギーおよび DiffDock の内部信頼性スコア。

コンセンサスおよびフィルタリング戦略:
本研究では、複数の手法を組み合わせるためのランクベースのコンセンサススコアリングを実装した。

• 無重みコンセンサス: ランクの単純な平均化。
• 較正済みコンセンサス（CC）: ML ベースのスコアラー（GNINA、NMDN）をベースラインのドッキングスコア（1 倍）と比較して 2 倍の重み（2 倍）を付与した重み付き平均。
• フィルタリング: ランキング前にスコアカットオフ（例：NMDN スコア ≥ -800、GNINA CNNaffinity ≥ 0.1）に基づいて、3 つのフィルタリング戦略（Medium、Strong、Weak）を適用した。
• グローバルコンセンサス: AutoDock 経路と DiffDock 経路の両方からのランキングを統合。

教師あり機械学習:
いくつかの ML モデル（Wide Neural Networks、Deep MLPs、Random Forests、XGBoost、LightGBM）を、リガンドの再順位付けのために訓練した。特徴量には、生のドッキングスコア、導出された非線形変換、および相互作用項が含まれた。モデルは、データ漏洩を防ぐために、ターゲットごとにデータの 75/25 で分割して訓練された。

指標:
性能は、1% および 10% におけるエンリッチメント因子（EF1%、EF10%）、ROC-AUC、BEDROC（α=20）、および古典的な分類指標（Precision、Recall、Balanced Accuracy）を用いて評価された。

主要な結果

1. 単一手法の性能

• AutoDock-GNINAが最も信頼性の高い単一手法として浮上し、中央値 EF1% は 2.14、バランスドアキュラシーは 50.5% を達成した。これは DiffDock ベースの手法およびベースラインを大幅に上回った。
• DiffDock の限界: DiffDock 単独（中央値 EF1% = 1.17）および GNINA（中央値 EF1% = 0.84）または NMDN（中央値 EF1% = 0.67）でリスコアリングされた DiffDock は、性能が低かった。特に、DiffDock ベースの変種はOPRK1ターゲットにおいて完全に失敗（EF1% = 0）したが、同じターゲットにおいて AutoDock-GNINA は EF1% 12.5 を達成した。
• NMDN の一貫性の欠如: NMDN によるリスコアリングは一貫性がなかった。AutoDock ポーズと組み合わせた場合など、特定のターゲット（例：FEN1）では性能を向上させたが、DiffDock ポーズや他のターゲットに適用された場合、性能を低下させることが多かった。

2. コンセンサスおよびフィルタリング

• ロバスト性: 較正済みコンセンサスランキング（CC-Medium）はロバスト性を向上させ、両経路で中央値 EF1% 1.8を達成した。これにより、AutoDock-GNINA 単独では見逃していた 2 つのターゲット（FEN1 および IDH1）を成功裡に救済した。
• グローバルコンセンサス: グローバルコンセンサスによる両経路の統合は、コンセンサス変種の中で最も高い中央値 EF1% 1.9 を達成したが、依然として AutoDock-GNINA 単独の性能には及ばなかった。
• フィルタリングのトレードオフ: 強力なフィルタリング（UC-Strong）は、特定のアウトライヤー（例：PPARG）において高い平均 EF1% を生み出したが、中央値 EF1% は 0 となり、アクティブな化合物の保持率はほぼゼロとなり、高い変動性を示した。弱いフィルタリング（CC-Weak）は、競争力のあるエンリッチメントを維持しながら、高いアクティブ化合物の回収率（約 100%）を維持した。

3. 教師あり機械学習

• 大幅な改善: 教師あり ML による再順位付けが最大の改善をもたらした。最良のモデルであるWide Neural Network（WNN）は、EF1% 4.49を達成し、最良の古典的スコアラー（2.14 の AutoDock-GNINA）に対して約 110% の改善を示した。
• 指標の改善: WNN は、バランスドアキュラシーを 50.5%（AutoDock-GNINA）から**55.4%へ、Precision を 1.85% から8.2%へ、Recall を 2.02% から15.0%**へ向上させた。
• 比較: ML モデルは、すべてのランクベースのコンセンサス戦略（中央値 EF1% 約 1.8–1.9）を上回った。これは、単純な平均化では捉えきれないスコアリング関数間の非線形パターンを ML モデルが捉えうることを示唆している。

4. 計算効率

• スループット: AutoDock は、DiffDock に比べてはるかにコスト効果が高く、高速であった。AutoDock は RTX 3090 上で約 1 秒あたり 2 リガンドを処理するのに対し、DiffDock はより強力な A100 GPU 上で 1 リガンドあたり 1〜2 秒を要する。本研究は、この文脈において、DiffDock は劣る精度を提供するために4 倍から 8 倍の計算能力を必要とすると推定している。

意義と主張

本論文は、ドッキングベースのバーチャルスクリーニングは有用なエンリッチメントを提供する一方で、LIT-PCBA のような現実的なデータセットにおける絶対的な予測能力は限定的であると結論付けている。主な主張は以下の通りである。

1. 万能なソルバーの不在: 単一のドッキング手法がすべてのターゲットで信頼性高く機能することはない。性能はターゲットに強く依存しており、DiffDock のような手法は、古典的手法（AutoDock-GNINA）が成功する特定のターゲット（例：OPRK1）において完全に失敗する。
2. 古典的手法と ML リスコアリングの優位性: 従来の物理ベースのサンプラー（AutoDock）と最新の ML リスコアリング関数（GNINA）の組み合わせは、単一手法の中で精度、コスト、信頼性の最も良いバランスを提供する。
3. 教師あり学習の価値: 十分な実験データが訓練に利用可能であれば、教師あり ML モデルはエンリッチメントを大幅に向上させ（EF1% を倍増）、単一スコアラーおよび単純なコンセンサス戦略を上回る。
4. 新しさへの警戒: 本研究は、トレーニングデータのバイアス（例：DiffDock のトレーニングセットにおける「近隣」）が一般化可能性を損なう可能性があり、特に予測不可能な結果をもたらす可能性のある予測不能な新規 AI 手法に依存するのではなく、厳密にテストされ、よく理解されたドッキング手法を採用することを提唱している。
5. 本質的な限界: 最良の性能を発揮する手法（AutoDock-GNINA、ML 再順位付け）であっても、中程度の識別力（バランスドアキュラシー約 50〜55%）しか達成できず、構造ベースのドッキング単独ではヒット発見の問題を完全に解決できず、サンプリングおよびスコアリング以外の要因によって制約されている可能性を示唆している。

著者は、効果的なワークフローは、新しい AI 駆動型アプローチの普遍的優位性を仮定するのではなく、特定のターゲットまたは密接に関連するシステムに対して検証された手法を優先すべきであると強調している。