Local structure-activity landscape roughness detects the activity-cliff failure mode that standard QSAR reliability methods miss

技術要約：QSARの信頼性のための局所的な構造活性ランドスケープの粗さ（Roughness）

問題提起
定量的構造活性相関（QSAR）モデルおよびディープラーニング手法は、根本的に「構造が類似した分子は性質も類似している」という分子類似性の原理に依存している。しかし、「アクティビティ・クリフ（活性の崖）」、すなわち、構造は類似しているが活性に大きな差がある分子のペアは、この仮定が成立しない原則的な例外である。近年のベンチマーク（例：MoleculeACE）は、機械学習モデルがアクティビティ・クリフが存在する化合物に対して、他の化合物よりも著しく性能が低下することを裏付けている。

決定的な問題は、標準的な化合物ごとの信頼性推定器が、これらの特定の失敗モードを検出できないことである。ランダムフォレストのアンサンブル分散、距離に基づく適用領域（AD）解析、Sheridanの3指標誤差モデル、および信頼性・密度・近傍（RDN）法を含む既存のツールは、すべて「訓練データへの近接性」という概念に基づいている。アクティビティ・クリフは、近接したアナログが密集する高密度かつ十分にサンプリングされた領域で発生するため、近接性に基づく手法は、クリフ化合物に対して高い信頼度を報告してしまい、結果として失敗を見逃してしまう。

手法
本研究では、標準的な信頼性推定器を、新しい指標である**局所的な構造活性ランドスケープの粗さ（local structure–activity landscape roughness）**に対してベンチマーク評価している。

• データ: 解析は、MoleculeACEベンチマーク（30の生体高分子ターゲット、約48.7Kの測定値）および外部の物理化学的ベンチマーク（ESOL溶解度および親油性）を用いて行われた。
• モデル: 主要な解析にはランダムフォレスト（200ツリー）を使用し、汎用性の確認のために勾配ブースティング決定木、サポートベクター回帰（RBF）、およびグラフ同型ネットワーク（GIN）を用いた。
• 記述子:
  • 標準的なベースライン: アンサンブル分散、距離ベースのAD（最近傍とのタニモト類似度 1 - Tanimoto similarity）、Sheridanの誤差モデル、およびRDNの回帰適応版。
  • 提案される指標（局所的な粗さ）: クエリ自身の活性（$y_i$）を使用せずに、最近傍の訓練データ（$N_k$）から算出される一連の関数。主な記述子は以下の通り：
    • 近傍活性分散（$D$）: 近傍における活性の標準偏差。
    • ペアワイズSALI密度（$S_{mean}$）: 近傍ペアにおける $|y_a - y_b| / \max(1-s_{ab}, \epsilon)$ の平均。
    • ランドスケープ記述子: クエリ自身の活性を使用するディリクレ・エネルギーやリプシッツ定数などのバリアント（これらは理論的な境界として使用されるが、展開可能な信号としては使用されない）。
• 評価: 性能は、高誤差化合物およびラベル付けされたアクティビティ・クリフを特定するためのROC-AUCによって測定された。統計的有意性は、Spearman相関、偏相関（ADを制御）、および線形混合効果モデルを介して評価された。

主な結果

1. アクティビティ・クリフの検出: 標準的な信頼性手法は、アクティビティ・クリフを特定しようとする際、チャンスレベル（偶然）と同等かそれ以下の性能しか示さない。例えば、距離ベースのADはROC-AUC 0.35（反転）を示し、アンサンブル分散は0.51（チャンスレベル）であった。対照的に、局所的な粗さは、クリフのフラグ立てにおいて中央値0.69のROC-AUCを達成した。
2. 明確に異なる信頼性の軸: 局所的な粗さは、適用領域（AD）とは統計的に明確に区別される。偏相関および混合効果モデリングを通じて、最近傍の類似性と局所密度を制御した後でも、粗さは依然として有意な誤差予測因子であった（制御後の近傍分散の相関 $\rho \approx 0.23$）。これは、粗さが、近接性に基づく指標が見逃してしまう失敗モード（高密度領域におけるクリフ）を捉えていることを裏付けている。
3. 汎用性: 粗さと誤差の関係は、異なるモデルクラス（ランダムフォレスト、勾配ブースティング、SVR）および異なる分子表現（ECFP4、ECFP6、物理化学的記述子）にわたって維持された。また、このシグナルは外部の物理化学的ベンチマーク（溶解度および親油性）でも再現された。
4. 運用上のトリアージ: アンサンブル分散は、依然として一般的な高誤差予測に対する最も強力な単一のフラグであるが、クリフの特定には失敗する。粗さは、クリフのフラグ立てにおいてより優れた指標であり、上位20%のフラグ立てられた化合物の中で、ラベル付けされたクリフの33%を回収した。一方、分散はチャンスレベル（濃縮倍率1.0倍）であった。
5. 共形予測（Conformal Prediction）のキャリブレーション: 共形予測を局所的な粗さに基づいて条件付けることで、アクティビティ・クリフにおける有効な被覆率（coverage）が回復される。分散やADに基づいて条件付ける標準的な手法では、クリフにおける被覆率は公称値（例：目標90%に対し86%）を下回る。粗さで層別化したMondrian予測器は、粗さの範囲全体にわたって平坦な被覆率を維持し、クリフの被覆率を**89.5%**まで引き上げた。

意義と主張
本論文は、局所的なランドスケープの粗さが、訓練データからの距離とは異なる、補完的な化合物ごとの信頼性軸を提供すると主張している。その主要な貢献は、不確実性の定量化を置き換えることではなく、標準的な手法が系統的に見逃してしまう「クリフによる失敗モード」に対する特定の感度を加えることにある。

訓練データの近傍のみに基づいて、構造活性ランドスケープがどの程度「粗い（急峻に変化している）」かを特定することで、本手法はクリフを考慮した共形予測器の構築を可能にする。これにより、QSARモデルが最も失敗しやすく、かつ最も自信を持って誤った予測を行う領域において、予測区間が妥当であることを保証できる。著者らは、このアプローチが実用的かつ再現可能であり、クエリ化合物の試験を必要とせずに展開可能であり、計算機を用いた創薬ツールにおける信頼性の重要なギャップに対処するものであることを強調している。