How good are universal MLIPs for alloys? A benchmark is only as trustworthy as its controls

科学者が、実験室で金属を一度も溶かすことなく、ジェットエンジンのための超強力な合金や超高効率のバッテリーを設計できる世界を想像してみてください。その代わりに、彼らは強力なコンピュータ・シミュレーションを使用して、原子がどのように振る舞うかを予測します。これらの予測におけるゴールドスタンダード（標準）は、密度汎関数理論（DFT）と呼ばれる複雑な数学的手法です。DFTを「どんな料理でも完璧なレシピを作り出せるマスターシェフ」だと考えてください。ただし、一皿を作るのに何時間もかかります。正確ですが、非常に時間がかかるのです。

これを加速させるために、研究者たちは「機械学習原子間ポテンシャル（MLIP）」を作り出しました。これらは「副料理長」のようなものです。彼らはマスターシェフのレシピを徹底的に研究したため、ほとんど同じ味の食事を、わずか数秒で作り出すことができます。これらのAIモデルはどんどん進化しており、科学者たちはどのモデルが最高であるかを競い合っています。彼らは通常、スコアボードを見て判断します。つまり、エネルギーの予測において最も間違いが少なかったモデルがトップに立ちます。しかし、ここに落とし穴があります。もし、そのスコアボード自体が不正に操作されていたらどうでしょう？ もし、「間違い」の原因が副料理長の腕が悪いからではなく、彼らが使っている「計量カップ」が審判のものと違っているからだとしたら？

これこそが、ガス・ハートとジェイコブ・パーズリーによる新しい研究が取り組んだパズルです。彼らは、リーダーボード（順位表）を鵜呑みにするのをやめ、探偵のように行動することに決めました。彼らは最も人気のある14のAIモデルを集め、特定の種類の材料、すなわち金属合金を用いてテストを行いました。しかし、単にエネルギーのスコアを通常の参照値と比較するのではなく、科学者が結果を信頼する前に自分の装置をチェックするように、一連の「コントロール（制御）」を導入しました。彼らはこう問いかけたのです。「これらのモデルは本当に原子の物理学を学んでいるのか、それとも単に訓練に使用されたデータベースの特定のルールや慣習を暗記しているだけなのか？」

結果は衝撃的なものでした。この論文は、現在のAIモデルのランク付け方法には深い欠陥があることを明らかにしています。公開リーダーボードの「勝者」は、必ずしも賢いために勝っているわけではありません。彼らは、テスト対象となったデータベースと同じ計量慣習を偶然引き継いでいたために勝っているのです。著者たちがこれらの人工的な優位性を取り除くと、ランキングは劇的に変化しました。失敗作に見えたモデルが実は非常に優秀であったり、逆に「チャンピオン」たちのリードが大幅に縮まったりしました。

以下は、調査の物語として分解された、この研究の実際の内容です。

「計量カップ」の問題
あなたが製菓コンテストの審査員だと想像してください。審査員は「最も軽いケーキを作った人が勝者です」と言います。しかし、実はその審査員の秤は、本来よりも50グラム重く表示されるように調整されていました。もしあるパン屋がたまたま同じ秤を使っていたら、そのケーキは完璧に見えるでしょう。しかし、別の秤を使っていた別のパン屋のケーキは、たとえ同じ大きさであっても、ひどいものに見えてしまいます。

原子の世界では、「重さ」は材料のエネルギーにあたります。この研究では、多くのAIモデルが（Materials Projectのような）特定の計算ルールを用いるデータベースで訓練されていることが分かりました。研究者がこれらのモデルを全く別の独立したデータベース（AFLOW）に対してテストしたとき、モデルの成績は悪く見えました。しかし、研究者がモデルを「再校正」したとき――つまり、「おい、新しい審判と同じ計量カップを使ってくれ」と伝えたとき――エラーは消え去りました。

例えば、CHGNetと呼ばれる一つのモデルは、巨大なミス（約126 meV/atom）をしているように見えました。しかし、研究者が「計量カップ」の不一致を修正すると、エラーは73 meV/atomに減少しました。その「失敗」の半分以上は、スキルの欠如ではなく、単なる帳簿上の処理の違いだったのです。

「緩和（リラクゼーション）」の罠
テストにはもう一つのトリックがありました。モデルに原子の配置の形状を予測させた際、あるモデルは「緩和」（原子を動かして最も心地よい位置を見つけること）が許されていましたが、他のモデルは審判が与えた位置に強制的に留まらせられました。eqV2というモデルは、審判の心を読み取るのがあまりに上手かったため、ほとんど動きませんでした。それは、何の努力も必要なかったため、高いスコアを得られたのです。

研究者たちはこれが不公平であると気づきました。彼らは、すべてのモデルが同じ地点から出発し、同じ量の作業を行うようにテストをやり直しました。その結果、「勝者」のリードは半分に縮まりました。トップのモデルは必ずしも物理学に優れていたわけではなく、テストの設定によって有利なスタートを切っていただけだったのです。

「ノイズフロア」の現実チェック
著者たちはさらに根本的な問いを投げかけました。「モデルは一体どこまで良くなり得るのか？」彼らは、3つの異なる独立した「完璧な」計算データベース（AFLOW、Alexandria、OQMD）を比較しました。その結果、これらの「完璧な」データベース同士でさえ、完全に一致することはないと分かりました。典型的な構造において、それらは6から8 meV/atom、状況が複雑になると24〜28 meV/atomの差が生じます。

これは、「ノイズフロア（底限の誤差）」が存在することを意味します。どれほど賢いAIであっても、人間が作成した計算結果同士の不一致よりも正確になることはできません。研究は、最高のモデルがすでにこのフロアに到達していることを示しました。彼らは、参照データが許容する限界まで到達しているのです。しかし、論文は警告しています。我々は、これ以上細かくモデルをランク付けすることはできない、と。もし2つのモデルの差がごくわずかなmeV単位であれば、それは実質的な品質の差ではなく、単なるランダムなノイズである可能性があります。

「悪い参照データ」の謎
最も驚くべき発見の一つは、「悪い」データに関するものでした。研究者たちは、約15,000の構造において、AIモデルが目標を大きく外れ、ひどいミスをしているように見えることに気づきました。モデルが惨めに失敗しているように見えたのです。

しかし、詳しく調べてみると、モデルが間違っているのではなく、むしろ「審判」（参照データベース）の方が間違っていることが分かりました。モデルは互いに一致していたのですが、参照データベースが外れ値となっていたのです。彼らが「コンセンサス検出器」（モデルが何を考えているかを問い、それが審判と一致するかを確認する手法）を使用したところ、これらの「失敗」のほとんどはモデルの誤りではなく、参照データの誤りであることが判明しました。これらをフィルタリングした結果、「悪い参照データ」の数は15,000から1,700へと激減しました。

真の勝者と敗者
これらすべてのコントロール（計量カップの修正、開始位置の均一化、悪いデータの除去）を適用した後、リーダーボードは全く異なる姿を見せました。

• 新しく大規模なデータセット（「OMat」世代）で訓練されたモデルは、総じてパフォーマンスが高く、未知の構造に対しても優れた汎用性を示しました。
• 古いデータ（「MP」世代）で訓練されたモデルは苦戦しましたが、MACE-MPAのように、「計量カップ」のバイアスを取り除けば安定性の予測において非常に優れた性能を示すものもありました。
• 生のエネルギースコアにおける「勝者」であるeqV2は、依然として好成績でしたが、そのリードは見た目ほど圧倒的なものではありませんでした。実際、剛性（弾性）や、どの形状が安定しているかの予測といった他の重要な特性を見ると、ランキングは完全に塗り替えられました。

まとめ
論文は、「ベンチマークの信頼性は、そのコントロール（制御）の信頼性に依存する」と結論付けています。単一のスコアボードの数字だけを見て、勝者を宣言することはできません。「最高の」モデルとは、何を測定したいかによって完全に異なります。エネルギーの予測に最適なモデルを知りたいなら、あるモデルが勝つでしょう。材料の安定性を予測するのに最適なら、別のモデルが勝つでしょう。

著者たちは、単一の「最高の」モデルを追い求めるのではなく、物語の全体像を伝えるための「ベクトルの指標（複数のスコアのリスト）」を用いる必要があると主張しています。また、次世代のモデルは、単にエラーの数値を下げるだけでなく、独立したデータに対してテストされ、人間の計算における「ノイズフロア」に対して校正され、そして単なる訓練データの繰り返しではない、複雑で現実世界の化学現象を扱う能力についてテストされるべきであると提言しています。

要するに、AIモデルは驚異的な速さで進化しており、すでに人間の計算の限界に達しつつあります。しかし、誰が真に最高であるかを知るためには、計量カップを使った「ズル」をやめ、全体像を見る必要があるのです。