AtomBench: A Benchmarking Framework for Generative Crystal Reconstruction Models in Conventional Superconductors

技術要約: AtomBench

問題提起
本論文は、材料科学における生成モデルのベンチマークにおける重大な欠陥、すなわち、結晶再構成（逆設計）タスクを評価するための標準化された公平なフレームワークの欠如に対処している。多くのモデルが、de novo 生成（安定性、一意性、新規性の評価）において成功を主張している一方で、既知の結晶構造を部分的な情報から正確に再構成する能力は、しばしば見落とされている。

特定された主な問題は、既存の比較が、アーキテクチャの性能と情報の非対称性を混同していることである。異なるモデルは、ターゲットとなる結晶に関する情報の量（例：あるモデルは組成のみを受け取る一方、別のモデルは組成に加えて全構造の潜在埋め込みを受け取るなど）が不平等な条件下で評価されることが多い。これにより、直接的なアーキテクチャ比較が無効となっている。さらに、「マッチ率」や「マッチしたRMSD（matched RMSD）」といった標準的な指標は、ハードな閾値（例：pymatgen の StructureMatcher）に依存しており、モデルがたまたま一致させた構造のサブセットに対してのみスコア付けされる不連続な評価を生み出している。これは、予測の大部分における系統的な失敗を覆い隠してしまう可能性がある。

手法
著者らは、従来の超伝導体を用いた結晶再構成タスクにおいて、生成モデルをベンチマークするために設計された、拡張可能でモデルに依存しないフレームワークである AtomBench を導入する。

1. データセット: 本研究では、以下の2つのDFT生成データセットを利用している：

   • JARVIS Supercon-3D: 1,058個の結晶/$T_c$ ペア。O、Al、Tiが支配的であり、多様な結晶系を含む。
   • Alexandria DS-A/B: 8,253個の結晶/$T_c$ ペア。Ti、Rh、Alが支配的であり、主に立方晶および正方晶。
   • 両データセットは、特定のプロトコル（$\mu^*$ 値、擬ポテンシャルなど）を用いた密度汎関数摂動理論（DFPT）を使用している。

2. ベンチマークされたモデル: 4つの異なる生成アーキテクチャを学習および評価した：

   • AtomGPT: 結晶をテキストとして扱う、ファインチューニングされた大規模言語モデル（Mistral-7B）。
   • CDVAE: SE(3) 等変グラフニューラルネットワークを用いた拡散変分オートエンコーダ。
   • FlowMM: リーマン流マッチングネットワーク。
   • MatterGen: 等変スコアネットワークを用いた結合拡散モデル。
   • 条件付きバリアント: 条件付けをサポートするモデル（AtomGPT、MatterGen）については、$T_c$（超伝導転移温度）による条件付けを行うものと行わないもののバリアントを学習させた。

3. 評価プロトコル:

   • データ分割: 各データセットの10%をテスト用に保持。
   • 情報レジーム: 予測前に利用可能な情報に基づいてモデルをグループ化：
     • 全構造埋め込み (Full-structure embedding): CDVAE（ターゲットの全構造の潜在ベクトルを受け取る）。
     • 組成 + $T_c$: AtomGPT/MatterGen ($T_c$ 条件付き)。
     • 組成のみ: FlowMM、AtomGPT、MatterGen（無条件）。
   • 指標:
     • 格子パラメータ: 平均絶対誤差（MAE）および分布のカルバック・ライブラー・ダイバージェンス（KLD）。
     • 原子座標:
       • マッチしたRMSD (Matched RMSD): StructureMatcher によって一致と判定された構造に対する平均誤差。
       • 連続補正RMSD (ccRMSD): 本研究で導入された新しい指標。Average Minimum Distance (AMD) デスクリプタとチェビシェフ距離を使用し、離散的な一致が見つかったかどうかにかかわらず、すべてのテスト構造に対して局所的な幾何学的忠実度を連続的に測定する。これにより、「一致しにくい」構造を破棄してしまうバイアスを排除している。

主な貢献

1. AtomBench フレームワーク: JARVISリーダーボードへの直接提出をサポートする、結晶の逆設計モデルの評価を標準化するオープンソースのPythonパッケージ（atombench）。
2. ccRMSD 指標: 従来の matched RMSD よりも堅牢な、マッチ率に依存しない連続的な局所幾何学的忠実度の評価を提供する指標の導入。
3. 情報理論的ベンチマーク: アーキテクチャの公平な比較を保証するため、「条件付きエントロピー」レジーム（既知の情報量）に基づいてモデルを厳密にグループ化。
4. 系統的分析: 超伝導体再構成におけるこれらの特定のアーキテクチャの大規模な比較を行い、$T_c$ 条件付けの影響と結晶系の対称性を分析。

結果

• 指標別の性能:
  • 原子座標: MatterGen が最高の再構成忠実度（最小の ccRMSD および matched RMSD）を達成し、次いで AtomGPT となった。CDVAE と FlowMM は著しく高い誤差を示した。
  • 格子パラメータ: CDVAE が格子パラメータの再構成において最も正確（最小の MAE および KLD）であり、次いで AtomGPT、MatterGen となった。FlowMM は最も精度が低かった。
  • 速度 vs 精度: FlowMM は推論速度が最も速かったが、精度は最も低かった。MatterGen は最も高い座標精度を提供したが、計算コストは高かった。
• $T_c$ 条件付けの影響: $T_c$ による条件付けは、AtomGPT または MatterGen のいずれにおいても、再構成の忠実度を一貫して向上させることはなかった。これは、この文脈においては単一のスカラー特性が、組成を超えた構造情報をほとんど追加しないことを示唆している。
• 結晶系の傾向: 再構成誤差は結晶系によって異なった。立方晶系（高対称性、自由度が低い）は最も誤差が小さく、単斜晶系や六方晶系は、特に格子パラメータ $c$ において高い誤差を示した。
• 指標の乖離: 本研究は、matched RMSD が誤解を招く可能性があることを強調した。例えば、FlowMM はマッチ率が非常に低く（<10%）、その matched RMSD は統計的に信頼できないが、ccRMSD は全データセットに対して意味のある誤差推定を提供した。

意義と主張
本論文は、情報の非対称性がいかにパフォーマンス指標を人工的に膨らませるかを暴くことで、AtomBench がこの分野に必要な修正を提供すると主張している。ccRMSD を導入することで、著者らは「一致か破棄か」の評価から、全予測の分布を考慮した連続的な忠実度指標への移行を提唱している。

著者らは、自らの知見はアーキテクチャを普遍的にランク付けするものではなく、むしろ再構成の忠実度が推論情報のレジームによってどのように変化するかを示すものであると控えめに述べている。用途に応じたモデルの選択を強調している：

• 速度が最優先される高スループット・サンプリングには FlowMM。
• 高い格子パラメータ精度を必要とするタスクには CDVAE。
• 高精度な原子座標配置を必要とするタスクには MatterGen。

結論として、現在のモデル（CDVAE, AtomGPT, MatterGen）は、DFT計算の初期値として適した精度レベルに達しているものの、生成モデルを適切に評価・改善するためには、ccRMSD のような連続的な指標が必要であるとしている。