Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

技術要約：EGFR活性予測におけるソースおよびリリースを考慮したキャリブレーション

問題提起
EGFR（表皮成長因子受容体）に対するリガンドベースの活性予測モデルは、ランダム分割による評価では高い内部精度を示すことが多い。しかし、本論文は、これらの指標が共有されたアナログシリーズ、重複する化学構造、およびソース固有のアッセイ慣習によって膨張していると主張している。実際の創薬研究における展開において、モデルは以下のドメインシフトに直面する：

1. スキャフォールドおよび時間的シフト： 新しい化学スキャフォールドや将来の期間への汎化。
2. クロスソース・シフト： ChEMBLからBindingDBのような独立したデータベースへの転移。
3. 将来リリース・シフト： トレーニングのカットオフ（例：ChEMBL30）以降にデータベースに追加された分子（例：ChEMBL36の分子）に対する予測。

厳格な評価プロトコルの下で、本論文は、標準的なモデル（フィンガープリント、アンサンブル、グラフニューラルネットワーク、さらにはペアワイズの活性崖（activity-cliff）を考慮したモデルさえも）が、これらのシフトした分布に対して評価されると崩壊することを実証している。具体的には、2,907個の非重複なChEMBL36分子からなる真の将来リリースパネルにおいて、ChEMBL30で訓練されたモデルは負の $R^2$ スコアを記録し、単純な平均値ベースラインよりも低い性能を示した。

手法
本研究は、これらの失敗を診断し、克服するための厳格かつ再現可能なフレームワークを採用している：

• 厳格なデータキュレーション： 高品質なEGFR IC50ベンチマークを、厳格なルール（完全な等価関係、nM単位、有効なアッセイタイプ、重複する不一致の除去（SD > 0.5））を用いてChEMBL（およびBindingDB）から再構築した。
• ベンチマーク構築：
  • 将来リリースパネル： トレーニングをChEMBL30に固定し、評価はChEMBL36から抽出した非重複の2,907分子に対して行った。
  • クロスソースパネル： 重複除去を厳格に行った上で、BindingDBのデータで評価を行った。
  • 公開ベンチマーク： MoleculeACEおよびACNetの活性崖データセットでの評価。
• ベースラインモデル： Morganフィンガープリント、Ridge/RandomForest/XGBoost、および現代的なDirected Message Passing Neural Network（GINE/D-MPNN）を含む幅広いアーキテクチャをテストした。
• 提案手法：ソースおよびリリースを考慮した残差キャリブレーション（Residual Calibration）：
  • ベースモデルの再学習を行う代わりに、軽量でバックプロパゲーションを必要としないキャリブレーションヘッドを提案する。
  • メカニズム： シフトした分布（例：BindingDBまたはChEMBL36）からの少数の「サポート」ラベル（数十から数百の分子）を使用して、ベースモデルの残差誤差 $r(x) = y - f(x)$ を推定する。
  • キャリブレーションヘッド： 平均オフセット、線形回帰、Morgan残差リッジ（残差をフィンガープリントに回帰）、およびMorgan kNN残差（近傍からの残差転移）を含む複数の推定器をテストした。
  • 予測： キャリブレーションされた予測は $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$ となる。
  • 不確実性： 分割コンフォーマル予測区間を、シフトしたサポートセットからの残差を用いて再キャリブレーションし、有効なカバレッジを回復させた。

主な結果

1. シフトによるモデルの崩壊：

   • ChEMBL30 $\to$ ChEMBL36の将来リリースパネルにおいて、未キャリブレーションのモデル（GNNを含む）は $-0.33$から$-2.52$の範囲の$R^2$ 値を記録し、平均ベースラインにすら勝てなかった。
   • 同様の崩壊は、BindingDBおよび時間的な外部分割においても観察された。
   • ペアワイズの活性崖目的関数は局所的なSAR指標を改善したが、グローバルなドメインシフトを解決することはできなかった。

2. 少数のショットによるリカバリー：

   • シフトした分布から得られた、スキャフォールドが重複しない少数のサポートラベルを使用することで、残差キャリブレーションヘッドが正の $R^2$ を回復させた。
   • BindingDB： 512個のサポートラベルを使用することで、RMSEは1.5959（ゼロショット）から0.8285へと改善した。
   • 将来リリース（ChEMBL36）： わずか64個のラベルでRMSEは1.42 ($R^2$ -0.33) から1.00 ($R^2$ +0.33) へ、512個のラベルでは0.85 ($R^2$ +0.52) へと改善した。
   • この手法は、16〜64個という極めて少ない分布一致ラベルでも効果的であった。

3. 汎用性と効率性：

   • ターゲット転移： 同様のキャリブレーションレシピは、ベースモデルがゼロショットで $R^2$ 値 $-1.81$および$-2.45$ を示した、独立した非EGFRキナースタゲット（ABL1およびBRAF）においても性能を回復させることに成功した。
   • 計算効率： 小規模なラベル予算（16〜64ラベル）において、バックプロパゲーションを伴わないキャリブレーションは、フルGNNファインチューニングと同等またはそれを上回る性能を示し、かつ約1桁少ない計算時間（例：0.38秒に対し0.01秒）で実現した。
   • 不確実性： ドメイン内コンフォーマル区間は、将来リリースデータに対して大幅なアンダーカバレッジ（過小評価）となった。数個のシフトしたラベルを用いてコンフォーマル半径を再キャリブレーションすることで、公称カバレッジに近い値を回復させた（例：目標値0.90 $\to$ 実測値0.90のカバレッジ）。ただし、区間はより広く、より誠実なものとなった。

意義と主張
本論文は、観察されたEGFR活性予測の劣化は、表現学習（GNNも失敗したため）の本質的な失敗ではなく、解決可能なドメインシフトの問題であると主張している。中心的な貢献は、実践的で実行可能なデプロイメント・レシピである：

• 表現転移や内部検証指標のみに依存してはならない。
• インドメインのトリアージにはモデルを使用するが、クロスソースや将来リリースシナリオに移行する際には、分布が一致した小さなサポートセット（数十の分子）を収集すること。
• このサポートセットに対して残差キャリブレーションを適用し、有効な予測と不確実性推定を回復させること。

著者らは、このアプローチが、フルファインチューニングに伴う計算コストや破滅的忘却のリスクを負うことなく、失敗しているリリース前方モデルを実用的なものに変えるものであると強調している。また、活性崖を考慮した目的関数は局所的なSARには価値があるが、ソースを考慮したキャリブレーションなしには、グローバルなドメイン適応には不十分であることも強調している。

認められている限界
本論文は、厳格なキュレーションが活性崖の数を減少させること、少数のショットによるキャリブレーションはターゲットソースのラベルが存在することを前提としていること、そしてChEMBL30から36への実験は強力な遡及的ストレス・テストではあるものの、真の前向きなウェットラボ検証こそが最高レベルの証拠であることを述べている。さらに、現在のXAIラベルは、専門家が精査したファーマコフォアではなく、弱い構造的注釈であることも指摘されている。