Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

論文「AI 駆動型分子物性および活性予測におけるモデルスケーリングのベンチマーク評価：より大きなモデルは本当に創薬で勝つのか？」の詳細な技術的サマリーを以下に示す。

1. 問題定義

AI 駆動型創薬の分野は現在、「スケーリング中心」の物語が支配しており、大規模な事前学習済み基盤モデル（例：大規模言語モデル、大規模グラフニューラルネットワーク）が、コンパクトでタスク固有のモデル（例：ランダムフォレスト、古典的 QSAR）を普遍的に凌駕すると示唆されている。しかし、創薬データセットは往々にして小規模で、ノイズが多く、不均衡であり、化学的にクラスタリングされている。本論文は、パラメータ数や事前学習コーパスサイズの増加が、自動的に分子物性や生物学的活性の予測性能の向上につながるという仮説に異議を唱える。核心的な問いは以下の通りである：モデルの規模はエンドポイントレベルの性能を確実に予測するのか、それとも性能はモデルの帰納的バイアス、データレジーム、および特定の生物学的エンドポイントとの整合性によって駆動されるのか？

2. 手法

ベンチマークの範囲とデータセット

著者らは、167,056 のホールドアウトされたタスク - 分子評価を含む22 の異なるエンドポイントにわたってモデルを評価した。

• 公開 ADMET（8 タスク）: Therapeutics Data Commons に由来する、5 つの二値分類タスクと 3 つの回帰タスク（例：Caco2 透過性、溶解度）。
• Tox21（12 タスク）: 高いクラス不均衡（陽性率 2.9–16.2%）を有する 12 の二値毒性アッセイ。
• 抗感染薬（2 タスク）:
  • 抗結核薬: M. tuberculosis H37Rv に対する 49,266 分子（1 µM 閾値）。
  • 抗マラリア薬: P. falciparum（3D7 および Dd2 株）に対する 2,088 分子（100 nM 閾値）。

比較されたモデルファミリー

本研究は、複雑さにおいて桁違いの 4 つのモデルファミリーを比較した。

1. 小規模 ML モデル: 設計された特徴量（ECFP4/6 フィンガープリント、MACCS キー、RDKit 記述子）に基づいて訓練された古典的 QSAR 学習器（ランダムフォレスト、ExtraTrees、GBDT、ロジスティック回帰）。
2. 中規模グラフニューラルネットワーク（GNN）: 分子グラフから直接構造的表現を学習する、タスク固有のグラフモデル（GCN、GAT、GIN、Ligandformer）。パラメータ数は約 10⁵–10⁶。
3. 事前学習済み分子シーケンスモデル: SMILES 事前学習から微調整された、10M–77M パラメータを持つトランスフォーマーベースモデル（ChemBERTa、ChemBERTa2、MoLFormer）。
4. LLM-SAR 推論ベースライン: 最先端の LLM が訓練データに基づいて SAR 規則（正規表現/SMARTS）を生成し、それをホールドアウトされたフォールドに適用するルールベースシステム（GPT5.5-SAR、Opus4.7-SAR）。これらは微調整された予測器ではなく、規則適用エンジンである。

評価プロトコル

• 検証戦略: 構造類似性で分離された 5 回交差検証。ECFP4 フィンガープリントを用いて MiniBatchKMeans で分子をクラスタリングし、構造的に類似した分子（化学的隣接分子）が訓練セットとテストセットの間に分割されないようにした。これにより「近隣漏洩」を防ぎ、ランダム分割よりも先見的な性能をよりよくシミュレートする。
• 指標:
  • 分類: PR-AUC（不均衡な Tox21 データに重要）および ROC-AUC。
  • 回帰: MAE（平均絶対誤差）およびピアソン相関係数。
• 実装: 各ファミリー内での公平な比較を確保するため、すべてのモデルは特定のハイパーパラメータ（不均衡に対するクラス重み付けなど）で最適化された。

3. 主要な結果

全体的な性能の勝者

167,056 の評価全体を通じて、大規模モデルが普遍的に勝ったわけではない。

• 古典的 ML（RF、ExtraTrees）: 10 の主要指標タスクで勝利。ADMET 回帰タスクおよび多くの Tox21 アッセイで卓越した。
• GNN（GIN、Ligandformer）: 9 のタスクで勝利。特定の ADMET エンドポイント（例：DILI、hERG）および抗マラリア薬タスクで強みを示した。
• 事前学習済みシーケンスモデル（MoLFormer、ChemBERTa2）: 3 のタスクのみで勝利（具体的には DILI、hERG、NR-AR/NR-AhR）。
• LLM-SAR ベースライン: 最良の訓練済みモデルに対して、主要指標タスクで勝利したことはなかった。

ドメイン別の特異的知見

• ADMET および Tox21: 古典的 ML モデルは、特に回帰タスクおよび高度に不均衡な毒性アッセイにおいて、依然として非常に競争力があり、あるいは優れていた。ML と GNN の間の性能差は、往々にして微妙で、エンドポイントに依存していた。
• 抗感染薬活性:
  • 抗結核薬: RF および ExtraTrees（ECFP4）は、MoLFormer および LLM-SAR ベースラインを上回った（MoLFormer の PR-AUC は約 0.448 に対し、約 0.565）。
  • 抗マラリア薬: GNN（特に GIN）が分野をリードし（PR-AUC 0.556）、シーケンスモデルおよび LLM-SAR を上回った。
• LLM-SAR の性能: LLM-SAR ベースラインは最高の予測精度を達成しなかったが、「訓練フォールド由来の SAR 知識」（訓練セットから学習された規則）を追加することで、測定可能ではあるが不均一な改善が得られた。例えば、抗結核薬において、学習された規則により LLM-SAR の ROC-AUC は約 0.51 から約 0.61 に改善したが、依然として教師あり予測器には及ばなかった。

回帰対分類

• 回帰: 古典的 ML モデル（特に RDKit 記述子を用いた ExtraTrees）は、シーケンスモデルよりも低い MAE と高いピアソン相関係数を達成し、回帰タスク（Caco2、親油性、溶解度）を支配した。
• 不均衡への感度: Tox21 において、PR-AUC は ROC-AUC よりも区別力の高い指標であった。多くのモデルは ROC-AUC では成功しているように見えたが、PR-AUC では陽性クラスを効果的に識別できず、不均衡な創薬環境において ROC-AUC のみに依存することの危険性を浮き彫りにした。

4. 主要な貢献

1. 普遍的なスケーリングの経験的否定: 本論文は、「大きければ良い」というのが創薬における普遍的な法則ではないという厳密な証拠を提供する。コンパクトで専門化されたモデルは、特定のデータ制約のあるエンドポイントにおいて、巨大な基盤モデルを上回る場合が多い。
2. 包括的なベンチマーク: 22 の多様なエンドポイント（公開および内部）を網羅し、以前の研究で一般的であったデータ漏洩の問題に対処する厳密な構造分離検証プロトコルを備えた、大規模かつ標準化されたベンチマークを確立した。
3. 帰納的バイアスの分析: 本研究は、予測の成功が以下の間の整合性に依存することを示した。
   • 分子表現: フィンガープリント（ECFP）対グラフ対 SMILES トークン。
   • 帰納的バイアス: 局所的な SAR パターン（RF が好む）対トポロジカルパターン（GNN が好む）対大域的な化学的規則性（トランスフォーマーが好む）。
   • データレジーム: 小規模/ノイズの多いデータセットは単純なモデルを好む；大規模で多様なデータセットは事前学習の恩恵を受ける可能性がある。
4. 創薬における LLM の再定義: 著者らは、LLM を QSAR モデルを置き換える直接の予測器ではなく、仮説生成、SAR 解釈、規則抽出のための推論エンジンとして位置づける。これらは説明可能性には価値があるが、ラベル付きデータが利用可能な場合、生粋の予測精度では劣っている。

5. 意義と含意

• 実務家への実践的ガイダンス: 創薬チームは、大規模な基盤モデルを盲目的に採用すべきではない。多くの標準的な ADMET および活性予測タスクにおいて、フィンガープリントや記述子に基づいてコンパクトなモデルを訓練することが、依然として最も効果的で、費用対効果が高く、堅牢なアプローチである。
• 検証プロトコルの重要性: 交差検証戦略の選択（ランダム対構造分離）は、モデルのランキングを劇的に変える。本論文は、モデルが局所的なアナログを暗記するのではなく、新しい化学系列に汎化することを保証するために、構造分離された分割を推奨する。
• 将来の研究の方向性: 大規模モデルの価値は、定量的予測のための教師あり予測器を置き換えることではなく、ゼロショット推論、メカニズム的仮説生成、および複雑な SAR の解釈にある。将来の研究は、LLM の推論能力を活用して予測モデルの特徴量エンジニアリングやアーキテクチャを導くハイブリッドアプローチに焦点を当てるべきである。

結論: 本論文は、モデルの規模が創薬における性能を説明する弱い変数であると結論づける。代わりに、成功は「モデル - タスク適合性」、すなわちモデルの帰納的バイアスと特定の生物学的エンドポイント、データ特性、および検証プロトコルとの精密な整合性によって決定される。