PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

本論文は、現在の深層学習ベースのタンパク質-リガンドドッキング手法が、物理的に妥当な構造を生成できなかったり、新規の配列への汎化に失敗したりすることが多いことを示す検証ツールであるPoseBustersを紹介し、それによって、不可欠な物理原則をより適切に取り入れている古典的なドッキングツールよりも性能が劣ることを実証している。

要約

完璧にフィットする非常に特殊で複雑な鍵を探している場面を想像してみてください。創薬の世界では、この「鍵」は体内のタンパク質であり、「鍵」は潜在的な医薬品（分子）です。この鍵がどのようにして鍵穴に適合するかを正確に解明するプロセスを「ドッキング」と呼びます。

長年、科学者たちはルールに基づいた従来のコンピュータプログラムを使用してこれを行ってきました。最近では、新しい波である「AI」（ディープラーニング）が登場し、より速く、より優れた方法でこの作業を行うことを約束しています。これらのAIモデルは、何百万もの鍵と鍵穴の例を暗記した優秀な学生のようなものです。

しかし、PoseBustersと呼ばれる新しい研究は、これらのAIの学生たちが鍵の「形」を覚えることは非常に得意ですが、その鍵が実際にどのように機能するかという「物理学」を理解することについては非常に稚拙であることを示唆しています。

以下に、この論文の発見を簡単に解説します。

1. 「RMSD」の罠：見た目だけの正解

科学者は通常、RMSDを測定することでドッキングプログラムの性能を判断します。RMSDを「定規」だと考えてください。もしAIが予測した鍵の位置が、実物の写真（結晶構造）における実際の位置から2ミリメートル（オングストローム）以内であれば、AIは合格点を得られます。

この論文は、多くのAIプログラムがこの定規テストで高いスコアを獲得していることを明らかにしました。彼らはこう言います。「見てください！我々の精度は90%です！」

2. 現実との照らし合わせ：「ありえない」鍵

問題は、これらのAIプログラムが定規による測定値に集中しすぎるあまり、時として「物理的に不可能な鍵」を作り出してしまうことです。

例えば、AIが次のような鍵を予測したとします。

• 結合（原子同士のつながり）が、乾燥した小枝のように細く引き伸ばされ、今にも切れそうな状態。
• リング状の部分が、化学的にはパンケーキのように平らであるべきなのに、プレッツェルのようにねじ曲がっている状態。
• 鍵の2つのパーツが、まるで同じドアを同時に通り抜けようとする2台の車のように、衝突している状態。

論文では、これらを「物理的に不自然（physically implausible）」と呼んでいます。それは、遠くから見れば正しく見える鍵の絵を描いたものの、実際に作ろうとするとバラバラに崩れたり、壊れたりしてしまうような状態です。

3. PoseBustersの登場：検査官

これらの不適切な予測を捕まえるために、著者らはPoseBustersと呼ばれるツールを構築しました。PoseBustersは、厳格な建築検査官や品質管理マネージャーのようなものです。

PoseBustersは単に定規（RMSD）で測るのではなく、すべての予測に対して「物理法則」をチェックします。

• 化学的妥当性： 分子は化学的に理にかなっているか？（例：電荷は正しいか？ 原子は適切に接続されているか？）
• 幾何学的形状： リングは平らか？ 結合の長さは適切か？
• 衝突（クラッシュ）： 鍵が鍵穴や機械の他の部分と衝突していないか？

予測がこれらのチェックに失敗した場合、たとえ定規による測定値がどれほど良くても、「無効」と判定されます。

4. 大いなる判明：旧世代 vs 新世代

研究者たちは、5つの新しいAIドッキング手法を、2つの伝統的な手法（AutoDock VinaおよびGold）と比較しました。

• 馴染みのある鍵（学習データ）の場合： AIが学習中に見てきた鍵に対してテストを行った際、定規テストにおいては驚異的な結果を示しました。あるAI（DiffDock）は、従来のメソッドを上回っているように見えました。
• 「物理」フィルター： しかし、PoseBustersが物理チェックを行ったところ、AIのパフォーマンスは激減しました。多くの「完璧な」予測は、実際には不可能な構造でした。従来のメソッドは、AIよりわずかに遅いものの、正確であり、かつ物理的に可能な鍵を生み出していました。
• 未知の鍵（汎化性能）の場合： 研究者たちが、AIが一度も見（学習）たことがない全く新しい鍵（ベンチマークセット）でテストを行ったところ、AIはひどく苦戦しました。AIは汎化ができなかったのです。パターン記憶に頼らず、物理的なルールに基づいている従来のメソッドは、これらの新しい鍵に対してより優れた対応を見せました。

5. 「微調整」だけでは解決しない

著者らは、予測の後に物理エンジン（力場と呼ばれるもの）を使用して、奇妙な形状を滑らかにする「ポリッシング（磨き上げ）」ステップを加えることで、AIを助けようと試みました。

• 結果： これはAIが壊れた鍵を修正する助けにはなりましたが、従来のメソッドよりも優れたものにすることはありませんでした。従来のメソッドは最初から強固な土台からスタートしているのに対し、AIは壊れた土台を修復しようとしているからです。

結論

本論文は、AIベースのドッキング手法は、まだ従来のツールに取って代わる準備ができていないと結論付けています。

AIは高速で、正しい場所を推測することはできますが、化学や物理の基本法則を無視してしまうことがよくあります。真に「最先端（state-of-the-art）」であるためには、2つのテストに合格する必要があります。

1. 定規テスト： 正しい場所にいるか？
2. 物理テスト： それは実在し、組み立て可能な物体か？

現在、従来のメソッドは両方のテストに合格しています。AIの手法は、最初のテストには合格しますが、多くの場合、2番目のテストで失敗します。著者らは、開発者がこれらのAIモデルが物理をより良く理解できるようにするために、この「PoseBusters」のようなツールを活用することを期待しています。そうすることで、将来的に真に正確な薬の予測が可能になるはずです。

技術概要

問題点
近年、深層学習（DL）ベースのタンパク質-リガンドドッキング手法が数多く登場しており、構造ベースの創薬における速度と精度の著しい向上を約束している。しかし、決定的な欠陥が特定されている。これらの手法は、結晶構造に対する予測結合モードの平方二乗平均平方根偏差（RMSD）に基づいて最先端の性能を報告することが多いが、物理的に不自然な分子構造を生成してしまうことが頻繁にある。これらの構造は、不正確な結合長、芳香環の歪み、あるいはリガンドとタンパク質間の深刻なステリッククラッシュ（立体障害）など、基本的な化学的ルールに違反している場合がある。その結果、ドッキング手法をRMSDのみで評価することは、古典的な物理ベースの手法が備えている「誘導バイアス（物理的な整合性や物理的リアリズムを保証する性質）」をDLベースの手法が欠いている可能性があることを考慮すると、不十分である。

手法
このギャップに対処するため、著者らは、RDKitケモインフォマティクスツールキットを利用して、ドッキング予測に対する包括的な品質チェックを実行するPythonパッケージであるPoseBustersを導入した。このテストスイートは、以下の3つのカテゴリの特性を検証する：

1. 化学的妥当性と一貫性： RDKitによるサニタイズ、分子式の保持、結合の接続性、四面体キラル、および入力リガンドに対する二重結合の立体化学のチェックが含まれる。
2. 分子内妥当性： このグループは、リガンド自体の物理的な妥当性を評価する。これには、結合長と結合角（距離幾何学の境界から25%以内）、芳香環と二重結合の平面性（0.25 Å以内）、内部のステリッククラッシュ、および配座エネルギー比（ユニバーサル力場、UFFを使用）が含まれる。
3. 分子間妥当性： このグループは、リガンドとその環境との相互作用を評価し、ファンデルワールス半径に基づくタンパク質-リガンドおよびリガンド-補因子のクラッシュ（0.75の閾値）と、体積の重なり（交差を7.5%未満に制限）をチェックする。

著者らは、7つのドッキング手法（5つのDLベースのアプローチ：DeepDock, DiffBlock, EquiBind, TankBind, Uni-Mol、および2つの確立された古典的手法：AutoDock Vina, CCDC Gold）を評価するためにPoseBustersを適用した。評価は以下の2つのデータセットに対して行われた：

• Astex Diverse Set： 85個の複合体を含む標準的なベンチマークであり、その多くはDL手法の学習データと重複している。
• PoseBusters Benchmark Set： 2021年以降にリリースされた、高品質な308個の複合体からなる新規かつ厳格なテストセットであり、テストされたDL手法の学習データ（PDBbind General Set v2020）との重複がないことを保証している。このセットは、新規の配列および構造への汎化性能を評価するために使用された。

さらに、著者らは、DLによる予測に対して分子力学力場（AMBER ff14sbおよびSage）を用いたポストドッキングエネルギー最小化を行い、物理的な妥当性が古典的なリファインメントを通じて回復できるかどうかを判断した。

主な貢献

• PoseBusters テストスイート： 単純なRMSD指標を超えて、化学的に不整合で物理的に不自然なリガンドポーズを系統的に特定するオープンソースツールの開発。
• 厳格なベンチマーキング： 現在のDLベースのドッキング手法が、新規の配列に対して汎化できず、低RMSDスコアを得ている場合でも無効な構造を生成することが多いことを示す比較分析。
• 欠落している物理学の特定： DL手法が、古典的な力場には自然にエンコードされている化学幾何学やステリック制約に関する特定の誘導バイアスを欠いているという証拠。

結果

• Astex Diverse Setにおける性能： RMSDのみに基づくとDiffDockが優れているように見えたが（72%の予測が2 Å以内）、物理的な妥当性を考慮するとその性能は大幅に低下した（PB-validは47%）。RMSDと物理的妥当性の両方が要求される場合、古典的な手法（GoldおよびAutoDock Vina）はすべてのDL手法を上回った。
• PoseBusters Benchmark Setにおける性能： 未知のデータにおいて、その差は広がった。GoldとAutoDock Vinaがトップの性能を維持した。最高のDL手法であるDiffDockは、わずか12%のPB-validityしか達成できず、他のDL手法（Equi-Bind, Uni-Mol, TankBind）は物理的に妥当なポーズをほとんど生成できなかった。
• 汎化と過学習： DL手法は、学習セットとの配列同一性が低い（<30%）タンパク質に対して著しく性能が低下しており、ターゲットに対する深刻な過学習を示唆している。
• エネルギー最小化の影響： ポストドッキングエネルギー最小化を適用することで、DL予測の物理的妥当性が大幅に改善された（有効なポーズの数が増加した）。これは、力場が現在のDLモデルに欠けているドッキングに関連する物理学を含んでいることを示している。しかし、このリファインメントを行っても、DL手法が古典的なツールを上回ることはなかった。
• 具体的な失敗モード： 本研究では、各DL手法の異なる失敗パターンを特定した。例えば、TankBindは立体化学を見落とし、Uni-Molは非標準的な結合長を予測し、EquiBindはタンパク質-リガンドのクラッシュを生成した。

意義
本論文は、ドッキング手法の評価をRMSDのみで行う現在の標準は不適切であり、誤解を招くものであると主張している。ある手法が「最先端」であると見なされるためには、ネイティブに近い結合モードを予測するだけでなく、化学的に一貫し、物理的に妥当な構造を生成しなければならない。著者らは、PoseBustersがDLモデルにおける欠落した誘導バイアスを特定するための必要な枠組みを提供すると主張している。現在のDL手法が物理的リアリズムを考慮した場合に古典的なドッキングツールをまだ凌駕していないことを強調することで、本研究は、ディープラーニングの速度と古典的な力場の物理的厳密さを統合した、より正確で現実的な予測手法の開発を促進することを目指している。