Empty scaffold allocation bias in molecular distribution shift evaluation

あなたは、ロボットに料理の仕方を教えようとしているシェフだと想像してください。あなたは、ロボットが本当に料理の「原理」を学んでいるのか、それとも単に特定のレシピを暗記しているだけなのかを知りたいと考えています。そこで、あなたは練習用の料理（訓練セット）を与え、次に、見たことがまったくない全く新しい料理（テストセット）でテストを行うことにしました。

AI化学の世界では、科学者たちはこの方法を実行するために「スキャフォールド・スプリッティング（骨格分割）」を使用します。彼らは分子を、それらを構成する「骨格（リングとリンカーの核となる構造）」によってグループ化します。考え方は単純です。もしロボットに一つの種類の骨格について教えるのであれば、そのロボットが本当に化学を理解しているかを確認するために、別の骨格でテストすべきである、というものです。もしロボットが新しい骨格に対して失敗するなら、それは単に古い骨格を暗記していただけだということになります。

しかし、ここにひねりがあります。骨格を持たない分子が存在するのです。

「ゴースト」分子

化学には、分子の骨格を見つけるための標準的な方法があります。しかし、一部の奇妙で、ぐにゃぐにゃとしていたり、小さかったりする分子の場合、このプロセスは空のバケツを返します。これらが「ノー・スキャフォールド（骨格なし）」分子です。彼らには共通のリング構造がなく、残骸が混沌と混ざり合ったものです。

中国石油大学（東華）および天工大学のTao Song、Yong Wang、および彼らのチームによる論文は、AIシェフのテストにおける重大な欠陥を発見しました。

グリッチ（不具合）：
標準的なテスト規則は、「同じ骨格を持つ分子をすべて同じグループに入れなさい」というものです。しかし、「骨格なし」分子はすべて「空の」骨格を持っているため、コンピュータはそれらをすべて一つの巨大なグループとして扱ってしまいます。つまり、すべてを一つのバケツにまとめてしまうのです。

問題点：
これらは分割不可能な一つのグループとして扱われるため、コンピュータはしばしば、これらの「ゴースト」分子をすべてテストセットに放り込み、訓練セットには一つも残しません。

• 例え話： あなたが学生に果物の識別を教えているとしましょう。あなたはリンゴ、バナナ、オレンジを見せます。しかし、最終試験では、彼らに「謎のムッシュ（正体不明の塊）」の入ったボウルを与えます（ノー・スキャフォールド分子）。あなたは彼らに「ムッシュ」がどのようなものか教えていませんが、その味を推測することを期待しています。
• 結果： 学生（AI）は無残に失敗します。しかし、それは学生が化学に劣っているからでしょうか？ それとも、練習中に「ムッシュ」というカテゴリーを丸ごと隠してしまったことで、あなたがズルをしたからでしょうか？

これはどの程度一般的なのか？

著者たちは単に推測したのではなく、データを調査しました。彼らは、この「ゴースト」問題が至る所にあることを発見しました。

• MoleculeNetの16の主要なデータセットのうち、8つの8割において、10%以上の分子が骨格を持っていませんでした。
• FreeSolvやQM7のような特定のデータセットでは、50%近くの分子が「ゴースト」でした。
• 大規模な薬物試験タスク（Deep-PK/ADMET）では、73タスク中40タスクで、10%以上のノー・スキャフォールド分子が含まれていました。

「空のバケツ」は混乱している

著者たちは、これらの「ゴースト」分子が互いに似ているかどうかを調べました。その結果、彼らは似ていないことがわかりました。

• 本物の骨格グループは、いとこ同士の家族のようなもので、見た目が似ています。
• 「ノー・スキャフォールド」グループは、ランダムなガラクタの山のようなものです。彼らの平均的な類似度はわずか 0.110 であり、これはランダムなノイズとほとんど変わりません。
• 彼らはまた、AIが実際に学習した分子からも非常に遠くにあります。ゴースト分子に最も近い「隣人」となる訓練セット内の分子の類似度はわずか 0.300 ですが、本物の家族の隣人は 0.477 から 0.573 の類似度を持っています。

これほどまでに訓練データからかけ離れているため、AIがこれらを学習するチャンスはありません。

結末：スコアが嘘をつく理由

ゴースト分子に対してテストを行う際、AIが訓練でそれらを見ていないと、結果は悲惨なものになります。しかし、それはAIが「賢いが運が悪い」からではありません。

1. 分類（Yes/Noの問い）の場合：
AIは正しくランク付けすることをやめてしまいます。そのスコアは「事前分布のベースライン（prior baseline）」へと押しつぶされます。

• 例え話： もしあなたが学生に100個の謎のアイテムを「最高」から「最低」までランク付けするように頼んだとします。もし彼らがそれらが何であるか全く分からなければ、彼らはすべてに対して「普通」と答えるかもしれません。
• データ： 著者らは、ランキング性能が大幅に低下したことを発見しました。MoleculeNetのデータセットでは、中央値のスコアが通常の 0.259 から、ゴーストの場合は 0.035 へと低下しました。ADMETでは、0.409 から 0119 へと低下しました。
• 衝撃： Tox21データセットでは、通常の分子の 0.303 に対し、ゴーストの場合は 0.018 まで急落しました。AIは単に失敗しているだけでなく、諦めてランダムに推測していたのです。

2. 回帰（数値予測）の場合：
誤差が爆発しました。

• データ： 相対誤差（relMAE）は平均して 1.35倍 に増加しました。
• 極端な例： ケースによっては、誤差が通常より 2倍、あるいは 3倍 も高くなっていました。MoleculeNetでは、44.8% のテストポイントが少なくとも2倍の誤差を持っていました。これは、通常の変化が非常に小さいことと比較すると、極めて大きな差です。

他の手法は解決できたのか？

著者らは、UMAPクラスタリング、DataSAIL、LoHiといった他の有名なデータ分割法をチェックしました。彼らは、これらのよりスマートな手法が問題を解決してくれることを期待しました。

• 判定： 解決できませんでした。これらの手法は、標準的な方法のようにすべてのゴーストをテストセットに放り込むことはしませんでしたが、それでも訓練セットに残されたゴーストは非常に少ないままでした。
• データ： 標準的な分割では、最悪のケースで訓練セットのゴーストは 0% でした。DataSAILでは、訓練セットのゴーストは依然として 14.7% しかなく、一方でテストセットには 81.6% が入っていました。
• 結論： 現在の手法はどれも、AIがテストの前にこれらの「ゴースト」分子を練習できることを保証していません。

解決策：「空の骨格を考慮した」修復（ESA）

著者たちは単に問題を指摘しただけでなく、ESAと呼ばれるパッチを構築しました。

• 仕組み： 「本物の」分子（骨格を持つもの）については標準的な分割を維持しますが、「ゴースト」分子については注意深く再分配を行いました。彼らは、テストセットにもいくらかのゴーストを残してAIが対処できるかを確認しつつ、訓練セットにも公平な量のゴーストが渡されるようにしました。
• 結果： これにより不均衡が解消されました。訓練セットのゴースト比率は、14.7% から 26.0% へと増加しました。テストセットは、81.6% から 11.5% へと減少しました。
• 安全性チェック： 彼らは、AIがテストの答えを「覗き見」することにならないよう確認しました。訓練セットのゴーストとテストセットのゴーストの間の類似度は低いまま維持されており、AIは単に暗記するのではなく、学習しなければならない状態を保っています。

まとめ

この論文は、「高いスコアが出たから、AIの準備は万端だ！」と判断してはいけないと主張しています。もしテストセットが、訓練中に一度も見せてもらっていない「ゴースト」分子で満たされているなら、そのスコアは誤解を招くものです。それは汎化性能のテストではなく、ライフジャケットなしで深い海に投げ込まれたときに、AIがどれだけうまく対処できるかを試すテストなのです。

著者らは、将来のテストにおいて、以下の3点を明確に報告すべきだと提案しています。

1. 「ゴースト」分子はいくつあるのか？
2. AIはそれらのうちいくつを練習できたのか？
3. テスト用にいくつ残されたのか？

これを修正しない限り、私たちは分子AIがどれほど賢いかを過大評価してしまうことになるかもしれません。