LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction

技術要約: LLM4Mat-Bench

問題提起

大規模言語モデル（LLM）は、自然言語処理および様々な科学分野において目覚ましい成功を収めているが、材料科学、特に結晶材料の特性予測への応用においては、標準化された評価手法が欠如している。既存のベンチマーク（MatBenchやTextEdgeなど）は、範囲の限定、サンプルサイズの小ささ、および材料表現（テキストによる記述や結晶構造の欠如など）の多様性の不足という課題を抱えている。このような包括的かつ標準化されたベンチマークの不在は、この領域におけるLLMの能力を厳密に評価することを妨げ、効果的な予測モデルの開発を遅らせている。

手法

著者らは、材料特性予測におけるLLMを評価するために設計された大規模ベンチマークであるLLM4Mat-Benchを導入する。

1. データ収集と構築:

• ソース: Materials Project (MP)、Open Quantum Materials Database (OQMD)、JARVIS-DFT、hMOF、GNoMEを含む、10の公開材料データベースからデータを集約した。
• 規模: デデュープリケーション（重複排除）とフィルタリングを経て、約198万個の一意な結晶構造サンプル（計270万個の構造ファイル）を含む。
• 特性: 電子的、弾性的、熱力学的特性を網羅する45の異なる特性を含み、合計65のタスク（60の回帰と5つの分類）で構成される。
• 入力モダリティ: 各サンプルに対して3つの異なる入力表現を備えている：
  • 組成 (Composition): 化学式（470万トークン）。
  • CIF: 結晶構造情報ファイル（6億1550万トークン）。
  • 記述 (Description): Robocrystallographerを用いた結晶構造の決定論的なテキスト記述（31億トークン）。この手法により、テキストが人間にとって読みやすく、かつ一般的な汎用LLMの学習データからのデータ汚染を防ぐようにしている。
• 分割: データをランダムに8割の訓練セット、1割の検証セット、1割のテストセットに分割した。

2. 評価対象モデル:
本研究では、様々なサイズとアーキテクチャを持つ幅広いモデルをベンチマークしている：

• タスク特化型予測モデル:
  • LLM-Prop: テキスト記述に微調整された、T5-smallベースの35Mパラメータモデル。
  • MatBERT: 材料科学の文献で事前学習された、109.5MパラメータのBERT-baseモデル。
  • CGCNN: 本ベンチマーク上でゼロから学習させたグラフニューラルネットワーク（GNN）のベースライン。
• 汎用生成LLM (チャット型):
  • Llama (3B, 7B, 8B)、Gemma (7B, 9B)、Mistral (7B) の各バリアント。
  • これらは、ファインチューニングを行わず、ゼロショットおよびフューショット (5-shot) プロンプティングを用いて評価された。

3. 実験設定:

• 指標:
  • 回帰: 真値の平均絶対偏差 (MAD) と予測値の平均絶対誤差 (MAE) の比率の加重平均 (MAD:MAE)。比率が高いほど性能が良いことを示す（目標値 > 5.0）。
  • 分類: 重み付きAUC (Area Under the ROC Curve)。
• プロトコル: データベース間の計算手法（例：DFTの設定）の差異を考慮するため、実験はデータソースごとに別途実施された。

主な結果

1. タスク特化型モデルが汎用LLMを凌駕する:
小型のタスク特化型モデルは、より大規模な汎用生成LLMを大幅に上回る性能を示した。

• LLM-PropとMatBERTは、大多数のデータセットで最高の精度を達成した（LLM-Propは8/10の回帰データセット、MatBERTは残りの2つで最高精度）。
• 会話型LLMよりも200倍および64倍小さいにもかかわらず、タスク特化型モデルは優れた性能を発揮した。
• 汎用LLM（Llama, Gemma, Mistral）は**ハルシネーション（幻覚）**に苦しみ、有効な特性値を生成できなかったり、異なる入力に対して同じ値を出力したりすることが頻繁に確認された。この問題は、入力がCIFファイルである場合に最も顕著であった。

2. 入力モダリティの影響:

• テキスト記述: 結晶構造を化学式や生のCIFファイルと比較してテキスト記述として提供した場合、LLMベースの予測器は最高の性能を示した。これは、LLMが自然言語データから学習することに長けていることを示唆している。
• CIFファイル: CIFは豊富な構造情報を含んでいるが、チャットモデルにおいては無効な出力を招くことが多かった。しかし、有効な出力が得られた場合、CIF入力は一般的に単純な化学式よりも優れた性能を示した。
• 記述の長さ: LLMベースのモデルは短いテキスト記述のデータセットで優れた性能を示したが、GNNベースライン（CGCNN）は、テキストの長さに依存せず構造グラフ全体を活用するため、長い記述のデータセットでより高い性能を示した。

3. 生成モデルのスケーリングの限界:
異なるバージョンのLlama、Mistral、Gemma（例：Llama 2 vs Llama 3/3.1）を比較した結果、より大規模で高品質なデータセットでの学習が、必ずしも材料特性予測における大幅な改善には直結しないことが明らかになった。数兆トークンで学習されたモデルであっても、この特定のドメインにおける妥当性と精度の向上には限界があった。

4. 特性の予測可能性:
エネルギー特性（例：生成エネルギー）は、すべてのモデルとデータセットにおいて、他の特性と比較して一貫して高い精度で予測された。これは、過去のコミュニティ・ベンチマークで見られる傾向と一致している。

意義と主張

本論文は、LLM4Mat-Benchを、材料特性予測におけるLLMを評価するための、現在までで最も広範なベンチマークとして位置づけている。その主な貢献は以下の通りである：

1. 標準化: 固定された訓練・検証・テスト分割と多様な入力モダリティを備えた、統一された再現可能なフレームワークを提供し、この分野における標準化された評価の欠如に対処した。
2. 実証的エビデンス: 現在の汎用LLMは、ハルシネーションやドメイン適応の問題があるため、材料特性予測においてタスク特化型モデルに取って代わる準備がまだ整っていないことを示した。
3. 今後の研究への方向性: 結果は、単に汎用な基盤モデルのスケールアップに頼るのではなく、材料科学に特化したタスク特化型予測モデルやインストラクション・チューニングされたLLMを開発する必要性を強調している。

著者らは、LLMは材料発見に革命をもたらす可能性を秘めているものの、精度と信頼性の現在の限界を克服するためには、専門的なベンチマークとモデルが必要であると結論付けている。