Do Larger Models Really Win in Drug Discovery?A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

このベンチマーク研究は、創薬において大規模なAIモデルが常に小規模なモデルよりも優れているという前提に疑問を呈し、大規模な基盤モデルと比較して、コンパクトで特化されたモデルが、多様な分子物性および活性タスクにおいて、しばしば同等かそれ以上の予測精度を達成することを示しています。

要約

新しい化学物質がレシピの中でどのように振る舞うかを予測しようとしていると想像してください。長らく、AI 界における大きな考え方は「大きければ大きいほど良い」というものでした。その前提は、すべてを学習した巨大で全知の AI 脳（「大規模モデル」）を構築すれば、それは特定の作業のためにだけ作られた小さく特化したツールよりも、自動的に賢く、正確になると信じられていました。

この論文は、その前提を創薬の世界でテストすることにしました。彼らは単に推測しただけではなく、167,056 個の異なる課題（分子が体内でどのように相互作用するか、毒性があるかどうか、結核やマラリアなどの疾患と戦えるかどうかを予測する）を用いて、大規模なレースを行いました。

彼らが発見したことを、いくつかの単純なアナロジーを用いて説明します。

レース：巨人対スペシャリスト

競争相手を 3 種類の異なるレーサーとして考えてみましょう。

1. 「古典的」レーサー: これらは専門のメカニックのようです。小さく、速く、特定の問題を解決するために、レンチやドライバーのようなシンプルで実証済みのツールを使用します。この研究では、これらは標準的な化学的フィンガープリントを使用した従来の機械学習モデルでした。
2. 「グラフ」レーサー: これらは建物の部品がどのように接続しているかを眺める建築家のようなものです。これらは少し複雑で、分子の形状や構造を見て回ります。
3. 「巨人」レーサー: これらはスーパーヒーロー（大規模言語モデル）です。図書館のほぼすべての本を読み尽くしています。彼らは巨大で強力であり、ほぼ何でも話すことができます。彼らの巨大なサイズが、化学的振る舞いの予測において最良のものになると期待されていました。

結果：小さな方がより頻繁に勝利

レースが始まると、「巨人」レーサーは圧勝しませんでした。実際、結果は非常に驚くべきものでした。

• 専門のメカニックが 22 戦中 10 戦で勝利しました。彼らは結果を予測する際に最も正確でした。
• 建築家が 9 戦で勝利しました。彼らは非常に僅差で追従しました。
• スーパーヒーローの巨人はわずか 3 戦しか勝利しませんでした。その巨大なサイズと膨大な学習データにもかかわらず、彼らは小さく焦点を絞ったモデルを自動的に打ち負かすことはできませんでした。

「マジック 8 ボール」ベースライン

研究者たちはまた、「ルールベース」のアプローチもテストしました。これは、非常に賢いが硬直した規則書（または特定の AI プロンプト）に、以前に見たパターンに基づいて単に推測させるようなものです。これらも主要なレースでは勝利しませんでしたが、予測がなぜ行われたかを説明する際には役立ちました。まるで試合後の分析を行うコーチのようでした。

大きな教訓

この論文からの主な教訓は、サイズがすべてではないということです。

• 普遍的な勝者はいない: モデルが巨大で汎用的であるからといって、それがすべての特定の作業において優れているわけではありません。
• マッチングによる違い: モデルが勝つかどうかは、その「脳」が特定の種類の課題、利用可能なデータの量、そして問われている特定の生物学的質問にどの程度適合するかにかかっています。
• 巨人が輝く場所: この論文は、大規模モデルが正確な数値を予測する上で最良ではないかもしれないが、ゼロショット推論（トレーニングなしで見たことのない問題を解決すること）、結果の解釈、そして新しいアイデア（仮説）には依然として価値があると示唆しています。

要約すると: 薬物分子がどのように作用するかを正確に予測する必要がある場合、小さく特化したツールの方が、巨大で汎用的な AI よりもよく仕事をこなします。「大きければ大きいほど良い」というルールはここには当てはまりません。重要なのは、特定の作業に合った適切なツールを持っていることです。

技術概要

「創薬において本当に大規模モデルが勝つのか？AI 駆動型分子特性および活性予測におけるモデルスケーリングのベンチマーク評価」と題された論文の、詳細な技術的サマリーを以下に示す。

1. 問題提起

創薬分野は現在、大規模言語モデル（LLM）および分子基盤モデルの成功に牽引され、「スケーリング中心」のパラダイムが支配している。より大規模で汎用的な事前学習モデルが、従来のコンパクトな化学情報学モデルやタスク固有のグラフニューラルネットワーク（GNN）を予測タスクにおいて必然的に凌駕するという前提が広く存在する。

しかし、この前提は多様な分子エンドポイントにわたって厳密な実証的検証を欠いている。本研究が扱う核心的な問題は、モデルの規模と汎化能力が、特定の創薬文脈（ADMET、毒性、抗感染活性）において真に優れた予測性能に結びつくのか、それとも専門特化型の小規模モデルの方が依然として効果的なのかという点である。

2. 手法

著者らは、データ漏洩を排除し、異なるモデルアーキテクチャ間での公平な比較を確保するために設計された包括的なベンチマーク評価を実施した。

• データセットと範囲:
  • エンドポイント: 22 の異なる分子特性および活性エンドポイント。
  • ソース: 公開ベンチマーク（ADMET、Tox21）および 2 つの内部抗感染活性データセット（抗結核および抗マラリア）。
  • 評価規模: 合計167,056 のホールドアウトタスク－分子評価。
• 検証プロトコル:
  • 構造類似性分離 5 回交差検証: これは重要な方法論的選択である。ランダム分割とは異なり、このアプローチはテストセットの分子がトレーニングセットの分子と構造的に類似していないことを保証し、モデルが単に類似構造を記憶するのではなく、新しい化学空間へ一般化する能力を厳密にテストする。
• 評価対象モデル:
  • 古典的機械学習（ML）: ECFP4 指纹を用いたランダムフォレスト（RF）および RDKit 記述子を用いた ExtraTrees。
  • グラフニューラルネットワーク（GNN）: GIN（グラフ同型ネットワーク）および Ligandformer。
  • 事前学習分子シーケンスモデル: 「大規模モデル」カテゴリを代表する MoLFormer および ChemBERTa2。
  • ルールベース SAR 推論ベースライン: LLM ベースの推論を代表する GPT5.5-SAR および Opus4.7-SAR。
• 指標: 各エンドポイントに固有の主要指標を用いて性能を測定し、予測精度と汎化に焦点を当てた。

3. 主要な貢献

• 体系的ベンチマーク: 本研究は、多様な化学空間にわたる 16 万回以上の評価を網羅し、創薬におけるモデルスケーリングの比較分析として最大かつ最も厳格なものの一つを提供する。
• 「スケーリング仮説」への挑戦: 業界のトレンドである「大規模であるほど優れている」という仮説を実証的に検証し、モデルの規模と事前学習の影響を専門特化型アーキテクチャに対して隔離して評価した。
• ユースケースの分化: 論文は、予測性能（定量的精度）と解釈/推論能力（定性的洞察）を区別し、大規模モデルが実際に価値を追加する領域についてニュアンスのある見解を提供する。

4. 主要な結果

結果は、大規模モデルが普遍的に支配するという考え方に挑戦するものである。

• 勝利分布:
  • 古典的 ML（RF、ExtraTrees）: 主要指標タスクの10件で勝利。
  • GNN（GIN、Ligandformer）: 9件で勝利。
  • 事前学習シーケンスモデル（MoLFormer、ChemBERTa2）: わずか3件で勝利。
  • ルールベース SAR（GPT5.5、Opus4.7）: 事前指定された主要指標の下では、どのタスクでも勝利しなかった。
• 性能特性:
  • 古典的 ML、GNN、事前学習シーケンスモデル間の性能差は、しばしばわずかなものであり、エンドポイントに強く依存していた。
  • より大規模またはより汎用的なモデルは、普遍的な予測上の優位性を提供しなかった。
  • SAR 推論: ルールベースの SAR ベースラインは主要予測指標では勝利しなかったが、トレーニング折れから導出された SAR 知識を組み込むことで、推論および解釈タスクにおいて測定可能（ただし不均一な）な改善が得られた。

5. 意義と示唆

• モデル選択の再評価: 分子特性および活性予測という特定のタスクにおいては、コンパクトで専門特化されたモデルが依然として極めて有効であるという知見が得られた。創薬実務家は、特定のデータレジームとエンドポイントの生物学を考慮することなく、自動的に大規模基盤モデルに依存すべきではない。
• 文脈依存の性能: 予測の成功はモデルの規模のみに依存するものではない。それは以下の間の整合性に依存する。
  • 分子表現（例：指纹対グラフ対シーケンス）。
  • モデルの帰納的バイアス。
  • データレジーム（規模と多様性）。
  • エンドポイントの特定の生物学。
  • 検証プロトコル（例：構造分離分割）。
• 大規模モデルの役割: 大規模モデルは現時点では生粋の予測精度において専門特化モデルを上回らない可能性があるが、ゼロショット推論、構造 - 活性相関（SAR）の解釈、および仮説生成において潜在的な価値を保持している。
• 将来の方向性: 論文は、「スケーリング中心」の見方から、モデルのパラメータ数だけでなく、創薬タスクの特定の制約と目標に基づいてモデルアーキテクチャを選択する「目的適合（fit-for-purpose）」のアプローチへの転換を提唱している。