Assessment of scoring functions for computational models of protein-protein interfaces

技術要約：タンパク質間相互作用の計算モデルにおけるスコアリング関数の評価

問題提起
タンパク質間相互作用（PPI）に関する計算的研究の主な目的は、ヘテロダイマーを形成する2つのモノマー間の結合部位を予測することである。剛体ボディ・リドッキング（既知の結合コンフォメーションから結合複合体を再構成すること）は、高いヒット率を持つ「解決済み」の問題と見なされることが多いが、近傍ネイティブ（near-native）モデルと低品質なデコイを区別するスコアリング関数の精度は一貫して欠けている。従来の評価は、ランクベースの指標（例：「ヒット率」）や分類指標（例：ROC曲線下面積、AUC）に大きく依存してきた。しかし、これらの手法は計算モデルのサンプリング分布に対して非常に敏感である。標準的なデータセットでは、近傍ネイティブモデルは低品質なモデルによって圧倒的に数が少なく、これが分類スコア（高いAUC）を膨張させ、スコアリング関数と構造的精度（DockQ）との間の実際の単調相関を反映しない結果を招いている。さらに、既存の研究は、ターゲットごとのスコアリング性能の評価や、モノマーの構造変化（コンフォメーションの柔軟性）を考慮できていないことが多い。

手法
著者らは、7つの最先端のPPIスコアリング関数（VoroMQA, ITScorePP, PyDock, Rosetta, ZRank2, Deeprank-GNN-ESM, GNN-DOVE）および物理的特徴に基づく新しいサポートベクター回帰（SVR）モデルを厳密に評価するためのフレームワークを開発した。

1. データセットの構築:

   • 主要データセット: 解像度（$\le$ 3.5 Å）、非タンパク質ポリマーの不在、および配列類似性（$<$ 20%）でフィルタリングされた、タンパク質データバンク（PDB）からの84個の高解像度ヘテロダイマーX線結晶構造。
   • 検証データセット: ZDOCK Benchmark 5.5から抽出された62個の非冗長なターゲット。
   • フレキシブル・ドッキング・サブセット: 構造変化を研究するために、利用可能な非結合状態のモノマー構造を持つ15個のヘテロダイマー。

2. 一様サンプリング戦略:

   • 標準的なランダムサンプリング（低品質なモデルへのバイアスを生む）の代わりに、著者らはZDOCK 3.0.2を用いて、ターゲットごとに540,000個の剛体ボディ・リドッキングモデルを生成した。
   • これらのモデルをサブサンプリングし、DockQ指標（ネイティブ構造に対する構造的類似性の連続的な尺度、$0 \le$ DockQ $\le$ 1）の全範囲にわたってモデルが一様に分布するデータセットを作成した。
   • 各ターゲットについて、約1,000個のモデルを選択し、「ポジティブ」（DockQ $\ge$ 0.23）と「ネガティブ」のモデルが同数になるようバランスを調整した。

3. 評価指標:

   • スピアマン相関係数 ($\rho$): スコアリング関数の出力と各ターゲットのDockQスコアとの間で算出。これは、予測スコアと構造的精度の間の単調な関係を測定する。
   • ヒット率およびAUC: サンプリングバイアスに対する感度を示すために算出。
   • 物理的特徴解析: 多項式SVMを用いて界面の分離性（$S$）を定量化し、重原子距離に基づく界面接触数（$N_c$）を算出した。

4. フレキシブル・ドッキングへの拡張:

   • フレキシブルボディ・ドッキングに対処するため、著者らは非結合状態と結合状態の間を線形補間することで中間的なモノマーコンフォメーションを生成した。結合状態からの平方二乗平均平方根偏差（RMSD）が増大するにつれて、スコアリング性能がどのように低下するかを評価するために、これらの変形されたコンフォメーションに対して剛体ボディ・ドッキングを行った。

主な貢献と結果

1. スコアリング指標の再評価:

   • 本研究は、モデルの品質が一様にサンプリングされていない場合、ヒット率やAUCの値が信頼できないことを示している。例えば、あるデータセットはAUC 0.959を示す一方で、スピアマン相関（$\rho$）はわずか $\approx$ 0.256となることがある。
   • DockQ上で一様にサンプリングした場合、$AUC \approx -0.5\rho + 0.5$ という線形関係が現れる。これにより、ターゲット固有のスコアリング関数の評価に、一貫した $\rho$ を用いることが可能になる。

2. 現在のスコアリング関数の性能:

   • 一様サンプリング下では、現在のスコアリング関数は多くのターゲットに対して性能が低い。約50%のターゲットにおいて $|\rho| < 0.70$ となっている。
   • 「容易な（easy）」ターゲット（$|\rho| > 0.8$）に分類されるのは約25%であり、23のターゲットは「困難な（hard）」ターゲット（$|\rho| < 0.6$）であった。
   • テストされた関数の中で、ZRank2が最も高い平均相関（$|\langle\rho\rangle| \approx 0.78$）を示したが、VoroMQAは容易なターゲットでのみ最高の性能（$|\langle\rho\rangle| \approx 0.56$）を示した。機械学習ベースのGNN手法（Deeprank-GNN-ESM, GNN-DOVE）は混合した結果を示し、GNN-DOVEは高DockQモデルを一貫して高スコアに分類することに失敗した。

3. スコアリングの困難さの物理的決定要因:

   • 著者らは、スコアリングの困難さと相関する2つの主要な物理的特徴を特定した。
     • 界面の分離性 ($S$): 幾何学的な相補性の尺度。より絡み合った界面（低い $S$）は、高い $|\rho|$（スコアリングが容易）と相関する。
     • 界面接触数 ($N_c$): 高い $N_c$ は、高い $|\rho|$ と相関する。
   • 非常に絡み合ったモノマーと多くの界面接触を持つターゲットは、スコアリングが容易である。逆に、平坦で分離しやすい界面と少ない接触数を持つターゲットは、困難である。
   • 「DockQランドスケープ」（構成空間における構造的類似性の分布）は、容易なターゲットではより等方的であるが、困難なターゲットは、スコアリング関数がネイティブの盆地（basin）と重ならない異方的なランドスケープを示す。

4. 簡略化されたスコアリングモデルの開発:

   • 2つの物理的特徴（$S$ と $N_c$）のみを使用して、著者らは単純なSVRモデルを構築した。このモデルは、既存の最も正確なスコアリング関数（ZRank2など）と同等またはそれを上回る性能を示した。これは、主要な物理的記述子が正しく重み付けされていれば、複雑なエネルギー関数は必ずしも必要ではないことを示唆している。

5. 柔軟性の影響:

   • フレキシブル・ドッキング実験において、PPIスコアとDockQの間のスピアマン相関は、モノマーが結合状態から変形する（iRMSDが増大する）につれて強く減少した。これは、現在のスコアリング関数が、入力モノマーがネイティブな結合状態にない場合に、著しく苦戦することを浮き彫りにしている。

意義と主張
本論文は、PPIスコアリングの分野が、サンプリングバイアスに敏感な指標（ヒット率、AUC）によって誤導されてきたと主張している。DockQを用いた一様サンプリングを実装することで、現在のスコアリング関数は、以前考えられていたよりもはるかに精度が低いこと、特に特定の界面幾何学（低い接触数、高い分離性）を持つターゲットにおいて顕著であることを明らかにしている。

本研究の意義は以下の点にある：

• スコアリング関数のターゲットごとの評価において、より信頼性の高い相関ベースの指標（$\rho$）を確立したこと。
• スコアリングの困難さが、単にスコアリング関数の複雑さではなく、界面の幾何学（分離性と接触密度）に物理的に根ざしていることを特定したこと。
• 2つの物理的特徴に基づく単純なモデルが複雑な最先端の関数に匹敵することを示し、より解釈可能で効果的なスコアリング関数への道を示唆したこと。
• フレキシブル・ドッキングという重要な課題を浮き彫りにした。そこでは、モノマーのコンフォメーションが結合状態から逸脱するにつれてスコアリング精度が急速に低下しており、より識別力の高い物理的特徴を取り入れるか、コンフォメーション・アンサンブルをより良く扱う手法が必要であることを示している。

著者らは、PPIドッキングの予測を改善するには、単に現在のベンチマーク慣行に頼るのではなく、スコアと構造的類似性（DockQ）との間の相関に焦 관심을 向け、特定の識別力のある物理的特徴をスコアリング関数に統合することに焦点を当てる必要があると結論付けている。