Critical Assessment of ML models for ADMET Prediction in TDC leaderboards

本論文は、TDC の ADMET リーダーボードにおけるベンチマーク手法を批判的に評価し、コードの欠如やデータ漏洩、テストセットへの過剰適合など多くの問題が指摘された結果、隠しテストセットや厳格なデータ管理など、より信頼性の高いベンチマークの必要性を強調している。

要約

この論文は、「AI による薬の安全性予測」という分野で行われている「成績表（リーダーボード）」の信頼性について、非常に厳しい目で見直した報告書です。

まるで「オリンピックの記録」や「学校のテストの成績」を調査しているような話ですが、実はそこには大きな問題が潜んでいました。

以下に、難しい専門用語を使わず、身近な例え話を使って解説します。

---

🕵️‍♂️ 物語の舞台：「薬のテスト場」という巨大なゲーム

薬を作る会社や研究者たちは、新しい薬が人体に安全かどうかを、実際に人間や動物で試す前に、AI（人工知能）に予測させることが増えています。
これを「ADMET（吸収、分布、代謝、排泄、毒性）」の予測と呼びます。

世界中の研究者は、**「TDC（Therapeutics Data Commons）」**という巨大な「練習用テスト場」で AI を鍛え、その成績（スコア）を競い合っています。この「成績表（リーダーボード）」の上位にいる AI は「世界一優秀な AI」として崇められ、論文発表や資金獲得に繋がります。

🔍 調査の目的：「本当に実力があるのか？」

今回の調査チーム（Receptor.AI 社など）は、「この成績表の上位にいる AI は、本当に実力があるのか？それとも、『テストの答えを丸暗記』しただけではないか？」と疑いました。

彼らは、リーダーボードのトップ 3 に入った 22 種類の AI モデルを、一つずつ徹底的にチェックしました。

🚨 見つかった 3 つの大きな問題

調査の結果、多くのトップ AI に以下の「不正」や「欠陥」が見つかりました。

1. 「コードが壊れている」または「消えている」

• 例え話： 料理のレシピ本で「世界一美味しいカレー」のレシピが載っていたのに、**「材料のリストが破れていて読めない」か、「本自体がどこかへ消えてしまった」**ような状態でした。
• 事実： 多くのトップ AI は、コードが公開されていないか、動かそうとするとエラーが出て全く動かないものでした。「優秀な AI」を名乗るのに、誰も再現できないのです。

2. 「テストの答えを盗み見た」（データ漏洩）

• 例え話： 試験勉強をする際、「本番の試験問題（テストセット）」を事前に勉強してしまっていた生徒がいたようなものです。
  • 例：ある AI は、「テストに出る問題」と「練習問題」が実は同じだった（あるいは非常に似ていた）ため、高得点を取っていました。
  • 例：ある AI は、テスト問題に含まれる「特定の分子」を、学習用のデータセットから削除するはずが、「立体構造（鏡像）」の違いだけで見逃してしまい、結果として答えを覚えてしまっていたことが発覚しました。
• 事実： 多くのモデルが、学習データとテストデータの境目が曖昧で、実質的に「答えを覚えて」高得点を出していました。

3. 「テスト用データに特化しすぎた」（過剰適合）

• 例え話： 本番の試験ではなく、「模試の過去問」だけを何百回も解いて、その問題にだけ完璧に答えられるように訓練された生徒です。
  • 過去問（公開されたテストデータ）には完璧ですが、全く新しい問題（新しい薬の分子）が出たら、全く答えられなくなる可能性があります。
• 事実： 研究者たちは、自分の AI が上位に上がるために、あえて「テストデータに合わせて調整」していました。これにより、実際の薬開発現場では役に立たないのに、成績表だけが良いという現象が起きました。

🏆 生き残った 3 つの「真の優秀な選手」

22 種類の AI をチェックした結果、「コードも動くし、答えも盗んでいないし、実力もある」と証明されたのは、たった3 つだけでした。

1. CaliciBoost
2. MapLight
3. MapLight + GNN

これらは、他のモデルが「答えを覚えて」いる間に、本当に薬の性質を理解しようとしていた少数の真面目な選手たちです。

🧪 実験：「あえて不正をしてみたらどうなる？」

調査チームは、さらに面白い実験を行いました。
彼らが作った「正直な AI」に、**「あえてテストデータ（答え）を丸暗記させて」**調整してみました。

• 結果： 驚くべきことに、「不正な AI」は、多くのテスト項目でトップ 3 に入りました。
• 意味： これは、「今の成績表は、実力ではなく『いかにテストデータに合わせられるか』で決まっている」ということを示しています。正直に勉強した AI より、答えを覚えた AI の方が、成績表では上位に来るのです。

💡 この論文が伝えたいこと（結論）

この研究は、現在の AI 薬開発の「成績表（リーダーボード）」には大きな欠陥があると言っています。

1. 公開されたテストデータは危険： テスト問題が公開されている限り、AI は「答えを覚える」ことに最適化されてしまいます。
2. 再現性の欠如： 「すごい！」と言われている AI でも、実際に動かそうとすると動かないことが多いです。
3. 新しいルールが必要：
   • テストデータは**「隠しておく」**（誰にも見せない）。
   • データのバージョンを**「厳密に管理する」**（いつのデータか明確にする）。
   • 結果だけでなく、「AI そのもの（環境込み）」を提出するようにする。

🌟 まとめ

この論文は、**「現在の AI 薬開発のランキングは、実力ではなく『テスト対策』の結果かもしれない」**という警鐘を鳴らしています。

本当の意味で「新しい薬」を見つけてくれる AI を見つけるためには、**「答えが見えないテスト」を行い、「誰にでも再現できるルール」**で競争する必要があるのです。

まるで、**「過去問を丸暗記した生徒」ではなく、「新しい問題にも対応できる本物の天才」**を見極めるために、試験の仕組みそのものを変えようという呼びかけです。

技術概要

論文要約：TDC リーダーボードにおける ADMET 予測 ML モデルの批判的評価

この論文は、創薬分野で広く参照されている「Therapeutics Data Commons (TDC)」の ADMET（吸収、分布、代謝、排泄、毒性）予測リーダーボードについて、再現性、データリークの耐性、テストセットへの過剰適合（オーバーフィッティング）の観点から批判的な評価を行った研究です。

以下に、問題提起、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題提起 (Problem)

創薬プロセスにおいて、化合物の ADMET 特性の早期評価は失敗コストを削減する上で極めて重要です。近年、機械学習（ML）モデルが ADMET 予測の主流となっていますが、その性能比較を行うための基準として TDC リーダーボードが「ゴールドスタンダード」として利用されています。

しかし、以下の重大な問題点が指摘されています。

• 公開テストセットのリスク: テストデータが公開されているため、研究者が意図的または無意識にそのテストセットに最適化（過剰適合）させ、実際の汎化性能を反映しない高いスコアを記録する可能性があります。
• 再現性の欠如: 多くのトップモデルがコードの未公開、実行環境の構築失敗、または依存関係の不整合により、結果の再現が不可能です。
• データリーク: 訓練データとテストデータの間に化学的な類似性（または同一分子）が存在し、評価が歪められている可能性があります。
• 実験誤差を超える精度: 一部のモデルが、実験データ自体のノイズや誤差を上回る精度を報告しており、これは生物学的な関係性ではなくデータセット固有のノイズを学習している（過剰適合）兆候です。

2. 手法 (Methodology)

著者らは、TDC の 22 個の ADMET エンドポイント（予測タスク）におけるトップ 3 モデルを対象に、統一されたプロトコルによる厳密な検証を行いました。

1. モデルの選定: 各エンドポイントのトップ 3 モデル（重複を除き、計 10 種類のアーキテクチャ：ADMETrix, CFA, GradientBoost+, MapLight, MiniMol など）を選定。
2. 多段階評価プロトコル:
   • 再現性チェック: ローカル環境でのコード実行、依存関係の解決、報告されたメトリクスの再計算。
   • データリーク評価: 訓練セットとテストセット間のタンニモト類似度（Morgan フingerprints 使用）を計算し、分子の重複や高度な類似性を検出。
   • 最適化手順の検証: ハイパーパラメータ調整がテストセットを介して行われていないか（データリーク）、手順が明確に記載されているかを確認。
   • 最終再評価: 条件を満たしたモデルのみを TDC 公式手順に従って再評価し、ランキングを再計算。
3. 社内モデル（In-house Models）の比較:
   • 誠実なモデル: LightGBM と Mol2Vec 埋め込みを使用し、厳密な交差検証とベイズ最適化（Optuna）を行い、テストセットを一切使用せずに構築したモデル。
   • 意図的な過剰適合モデル: 上記の社内モデルを、あえてテストセットに対して最適化（SFS と HPO の両方でテストデータ使用）し、リーダーボード順位がどの程度上昇するかをシミュレーション。

3. 主要な貢献と発見 (Key Contributions & Results)

A. 再現性と実行可能性の欠如

• 選定されたトップモデルの多くは、コードへのリンク切れ、依存ライブラリのバージョン競合、インストール手順の不備により、実行環境の構築自体が不可能でした。
• 最終的にすべてのチェックをパスし、再現可能な結果を示したのは3 つのモデルのみ（CaliciBoost, MapLight, MapLight+GNN）でした。

B. データリークの特定

• MiniMol モデル: 事前学習データセット（LargeMix）から TDC テストセットを除外したと主張されていますが、単純な SMILES 文字列によるフィルタリングでは、立体異性体（chirality）や互変異性体（tautomerism）の違いにより、化学的に同一の分子が漏れなく除去されておらず、データリークが発生していました。
• GradientBoost と XGBoost モデル: ハイパーパラメータ調整時の検証セット生成において、公的なテストセットの一部が誤って検証セットに混入するバグ（ランダムシードの硬编码など）が発見されました。これを修正して再評価したところ、ランキングは大幅に低下しました（1 位→3 位、2 位→8 位など）。

C. 過剰適合の影響

• 意図的な過剰適合の実験: 社内モデルをテストセットに意図的に過剰適合させたところ、22 個のエンドポイントのうち10 個でトップ 3 入りを果たしました（誠実なモデルは 2 回のみ）。
• これは、公開テストセットへの最適化が、モデルの実質的な能力向上ではなく、単にリーダーボード順位を不当に引き上げる強力な手段であることを示しています。
• 一方、MapLight や MiniMol などの既存のトップモデルは、単一のアーキテクチャで広範なエンドポイントで安定して上位に位置しており、特定のタスクへの過剰適合だけでなく、優れた記述子選択やパイプラインの汎用性が功を奏している可能性が示唆されました。

D. 再現性の限界

• 再現可能なモデル（MapLight など）であっても、TDC 公式のメトリクスと再評価値にわずかな差異が見られました。これは、TDC がデータセットのバージョン管理（バージョン番号、チェックサム、変更履歴）を明示していないため、再評価時のデータセットと元の評価時のデータセットが微妙に異なっていることが原因と考えられます。

4. 意義と提言 (Significance & Recommendations)

この研究は、現在の ADMET 予測ベンチマークのあり方に根本的な問題があることを示唆し、以下の提言を行いました。

1. 隠しテストセットの導入: テストデータを完全に非公開にし、モデルの提出時に推論環境（コンテナ等）を含めて提出させることで、テストセットへの過剰適合を防ぐべきです。
2. 厳格なデータセットのバージョン管理: 各データセットリリースに一意のチェックサムとバージョン ID を付与し、結果の再現性を保証する必要があります。
3. モデル提出の標準化: 単なるスコアの提出ではなく、標準化された推論環境を含むモデルそのものの提出を義務付けることで、自動的な品質管理と再現性を確保すべきです。

結論:
TDC リーダーボードは有用な参考指標ですが、現在の形式では「高い順位＝優れた予測能力」を直接保証するものではありません。再現性のないコード、データリーク、およびテストセットへの過剰適合により、多くのトップモデルの性能は過大評価されている可能性があります。創薬研究の進展のためには、より厳格で透明性の高い評価基準への移行が急務です。