Element priors and target support shape chemical transfer in materials graph networks

技術要約：材料グラフネットワークにおける元素事前分布とターゲットサポートによる化学的転移の成形

問題提起
材料グラフニューラルネットワーク（GNN）は、訓練データにおいて表現が極めて乏しい、あるいは完全に欠落している化学領域に対して予測を転移させる際に、頻繁に課題に直面する。具体的には、「Leave-One-Element-Out（LOEO：要素一つ抜き）」シナリオにおいて、モデルは訓練セットから除外された元素を含む化合物（例：生成エネルギー）の特性を予測しなければならない。現在の理解では、この転移には2つの潜在的な経路があることが示唆されている。一つは、定義済みの元素事前分布（周期表の位置や物理化学的属性といった、ノード特徴量にエンコードされた静的な関係）への依存であり、もう一つはターゲットサポート（ターゲット元素を含む構造からの教師ありエビデンス）からの学習である。しかし、標準的なベンチマークではこれらの経路が絡み合っていることが多く、個々の役割を分離して特定することが困難である。中心となる問いは、直接的なターゲットサポートが導入されるにつれて、初期の元素表現への依存度がどのように変化するか、そしてなぜ転移の成功度合いが元素によって大きく異なるのか（例：Pt、I、Bに比べて、H、O、Fは極めて困難である）という点である。

手法
著者らは、モデルのアーキテクチャと評価スプリットを一定に保ったまま、訓練セットの構成を操作することで、元素事前分布とターゲットサポートを分離する実験フレームワークを提案する。

1. 実験設計:

   • ゼロショットLOEO: 特定のターゲット元素を含むすべての構造を訓練から除去する（$n=0$）。モデルは、ターゲット元素の推論を元素表現（ノード特徴量）のみに依存して行う。
   • 漸増的ターゲットサポート: ターゲットを含む構造を $n = 2, 4, 10, 100,$ または $1000$ 個ずつ段階的に訓練セットに追加し、誤差が減少する速度を測定するための「サポート応答曲線」を作成する。
   • 元素事前分布: 元素間の「帰納バイアス」を変化させるために、7つの異なる入力表現をテストした：
     • Fixed-zero（固定ゼロ）: 元素の区別なし（幾何学的構造のみ）。
     • One-hot（ワンホット）: 階層的な関係を持たないカテゴリ的な同一性。
     • z / zpg: 原子番号、または原子番号＋周期/族。
     • k-hot: ビン分割された物理化学的記述子（CGCNNにおける標準）。
     • Continuous（連続値）: 数値的な物理化学的属性。
     • Label-informed（ラベル情報付き）: ランダムスプリットのモデルから初期化された重み。
   • メカニズム制御: 単なる出力補正と真の学習を区別するために、以下のメカニズム制御を用いた：
     • 残差校正（Residual Calibration）: ゼロショット予測に対して定数またはアフィン補正を適合させる。
     • Frozen-Stem（ステム凍結）: ターゲットサポートを用いた再訓練中に、初期の元素投影層を凍結する。
     • Elemental-Only Support（元素のみのサポート）: 純粋な元素構造を用いて訓練を行う（化合物ではなく）。
     • 摂動制御（Perturbation Controls）: 特徴ベクトルを元素間で再割り当てし、性能が単に入力次元や数値の形式ではなく、特定の元素・特徴間の対応関係に依存しているかどうかをテストする。
   • 類似性グラフ事前分布（Similarity-Graph Prior）: 物理化学的属性と周期的な隣接関係から構築されたラベルフリーのグラフを用い、元素間の関係を再編成することでゼロショット誤差が減少するかをテストした。

2. モデルとデータ:

   • 主要な分析には ALIGNN（Atomistic Line Graph Neural Network）を使用し、CGCNN は標的の再現に使用した。
   • データセット：Materials Project 2021（生成エネルギー予測）。
   • ターゲット元素：Pt, I, B（難易度が低い）および H, O, F（難易度が高い）。

主要な結果

1. 表現に対するゼロショットの感度:

   • ターゲットサポートが存在しない場合（$n=0$）、性能は元素表現に強く依存する。
   • One-hot 入力は、特に H, O, F において、fixed-zero（幾何学のみ）のベースラインよりも性能が悪くなることが多く、これはターゲットデータがない場合に制約のないカテゴリ的な同一性が有害となり得ることを示唆している。
   • 構造化された事前分布（例：k-hot, continuous, zpg）は一般に one-hot よりも優れた性能を示したが、すべての元素に対して普遍的に最適な単一の表現は存在しなかった。例えば、continuous 特徴量はヨウ素（Iodine）に対して有効であったが、zpg は白金（Platinum）に対して効果的であった。
   • 摂動制御により、ゼロショットの誤差は単に入力次元や数値スケールではなく、元素・特徴間の具体的な組織化（共有パス）に依存していることが確認された。

2. ターゲットサポートの急速な影響:

   • ターゲットを含む構造を少量追加するだけで（$n=10$）、予測誤差は劇的に減少した。困難な元素（H, O, F）において、わずか2つの構造で MAE は >75% 低下し、$n=10$ ではすべての6元素が MAE < 0.2 eV/atom に達した。
   • 極めて重要なことに、異なる事前分布間の性能差（例：one-hot vs k-hot vs continuous）は急速に縮小した。$n=10$ において、H, O, F に対するこれらの事前分布間の MAE の範囲は、それぞれ 0.065, 0.046, 0.096 eV/atom にまで縮まった。これは、ターゲットサポートが元素表現の初期の帰納バイアスを上書きすることを示している。

3. メカニズムに関する洞察:

   • 校正を超えて: 単純な出力校正（アフィンまたは定数）では、ターゲットサポートを伴う再訓練によって達成された誤差減少のわずかな部分しか説明できなかった。
   • 元素の同一性を超えて: 孤立した元素構造のみで訓練を行っても、化合物を用いた場合に得られた利得を再現することはできず、化学的環境の重要性が浮き彫りになった。
   • Frozen-Stem 分析: 初期元素投影層を凍結しても、5つのスプリットにおいて性能向上の大部分が保持された。これは、ターゲットサポートが主に、元素投影そのものを完全に再学習する必要はなく、既存の表現を新しい化学環境の中でどのように使用するかをモデルが学習することを助けていることを示唆している。
   • 類似性グラフ事前分布: ラベルフリーの類似性グラフ事前分布は、標準的な k-hot や continuous 入力と比較してゼロショット誤差を減少させた。これは、静的な化学関係を再編成することで、ターゲットラベルが利用できない場合のゼロショットのリスクを軽減できることを示している。

意義と主張
本論文は、材料学習において通常混同される2つのメカニズム、すなわち「静的な元素関係への依存」と「ターゲットを含む環境からの学習」を分離することを主張している。

• 転移レジームのシフト: 本研究は、化学的転移が、元素事前分布に支配されるレジーム（ターゲットサポートが欠如している場合）から、環境条件付きの教師あり学習に支配されるレジーム（限定的なターゲットサポートであっても利用可能な場合）へと移行することを確立した。
• 事前分布の役割: 元素事前分布はゼロショット転移のための必要な帰納バイアスとして機能するが、その具体的な設計は重要である。しかし、ラベル付きターゲットデータが導入されると、その影響は急速に減退する。
• 実用的な示唆: ターゲット特性のラベルが利用できない場合、ラベルフリーの化学的に制約された事前分布（提案された類似性グラフなど）に投資することで、ゼロショットのリスクを軽減できる。逆に、ラベルを取得できる場合は、たとえ非常に少数のターゲット含有構造（$n \approx 10$）であっても、元素表現のみを最適化することよりも、より直接的かつ効果的な改善経路を提供する。
• 方法論的貢献: 「漸増的ターゲットサポート」というフレームワークは、静的なベンチマーク分割を超えて、学習のダイナミクスを分析するための新しい診断ツールを提供する。

著者らは、事前分布の設計はゼロショットシナリオにおいては極めて重要であるが、ターゲットサポートの導入は学習の景観を根本的に変え、初期の入力構成への依存度を減少させ、ボトルネックをターゲットを含む環境の可用性へとシフトさせる、と結論付けている。