Scale-Dependent Input Representation and Confidence Estimation for LLMs in Materials Property Prediction

本研究は、材料物性予測における最適な入力表現がLLMの規模に依存することを示しており、コンパクトな形式は小規模モデルに適し、詳細な記述は大規模モデルに有益であるとともに、微調整済みモデルに対して平均負対数尤度を効果的な学習不要の信頼性指標として確立した。

要約

新しい物質の性質（例えば、その物質を作るのに必要なエネルギーや電気伝導度など）をコンピュータに推測させる方法を想像してみてください。この論文は、あなたが発する指示をどのように最善に理解させるかについての、2 つの異なるサイズの「脳」（AI モデル）向けのガイドブックのようなものです。

以下に、研究者たちが発見した内容を簡単な概念に分解して物語として紹介します。

1. 2 つの脳：幼児と教授

研究者たちは「Llama」と呼ばれる AI の 2 つのバージョンをテストしました。

• 1B モデル（幼児）： 小さくシンプルな脳。
• 8B モデル（教授）： より大きく複雑で、知識豊富な脳。

彼らは、脳のサイズによって教え方が変わるかどうかを確認したかったのです。そこで、結晶のような物質を記述する 5 つの異なる方法を与えました。

1. レシピカード： 材料のリストのみ（化学組成）。
2. 見出し： 材料と物質の「形状」や対称性を含む短い要約（結晶要約）。
3. ローカル・ツアー： 近隣の原子が互いにどう「抱き合っている」かを記述したもの（局所環境）。
4. 完全な小説： 構造全体を記述する長く詳細な物語（完全記述）。
5. 設計図： 数値と座標で満たされた生々しい技術ファイル（CIF）。

2. 「短さと長さ」の教訓

最大の発見は、**「一つのサイズがすべてに合うわけではない」**ということです。

• 幼児（1B モデル）にとって： 長い物語は混乱を招きます。「完全な小説」や複雑な「設計図」を与えると、つまずいてしまいました。最もよく機能したのは、「レシピカード」や「見出し」を与えた場合です。仕事を正しくこなすためには、短く力強い事実が必要でした。
• 教授（8B モデル）にとって： この脳は詳細を好みました。「完全な小説」を与えると、短い要約よりも実際には良いパフォーマンスを発揮しました。長く複雑な記述を読み込み、優れた推測を行うために必要な微妙な手がかりを引き出すことができたのです。ただし、教授でさえ、生の「設計図」（技術ファイル）には少し苦労しました。これは、これらの AI 脳にとって、生のコードよりも自然言語（言葉）の方が依然として理解しやすいことを示唆しています。

黄金律： 小さな AI を持つ場合は、指示を短く保ってください。大きな AI を持つ場合は、詳細な物語を与えることができます。

3. 「対称性」の魔力

指示の中の特定の要素が、幼児と教授の両方にとってスーパーパワーであることが判明しました。それは対称性です。

同じレゴブロックで作られた 2 つの異なる形状を持っていると想像してください。AI に「赤と青のブロックで作られている」とだけ伝えても、AI は形状の違いを区別できません。しかし、「正方形の形状だ」という「見出し」を追加すると、AI は突然違いを理解できるようになります。この論文は、物質の対称性（形状/グループ）に関する情報を含めることが、単に材料をリストアップするよりも、両方のモデルが物質の性質をより正確に推測するのに役立つことを発見しました。

4. 「信頼度メーター」（AI が推測しているかどうかを知る方法）

2 つ目の大きな問いは、**「AI が答えに自信を持っているのか、それともただ作り話をしているのか、どうやってわかるのか？」**です。

AI の世界には、**NLL（Negative Log-Likelihood：負の対数尤度）**と呼ばれる数値があります。これは AI の内部的な「信頼度メーター」と考えてください。

• 低い NLL： AI は答えに非常に確信を持っています。
• 高い NLL： AI は不確実か、推測しています。

注意点：

• トレーニング前： AI がまだ物質について教えられていない「ベース」モデルの段階では、この信頼度メーターは壊れていました。完全に間違っている場合でも「すごく確信がある！」と言っていたのです。
• トレーニング後： LoRA という特殊な方法を使ってモデルを「ファインチューニング（教育）」すると、メーターが機能し始めました。明確なパターンが見つかりました。AI の信頼度メーターが高い（NLL が低い）場合、その答えは通常正しいことがわかりました。

つまり、トレーニング後には、AI の内部的な信頼度スコアを見て、その予測を信頼するかどうかを判断できます。スコアが低い（不確実性が高い）場合は、その答えを無視して、悪い推測から身を守ることができます。

5. トレードオフ：速度対精度

この論文は、実用的な欠点も指摘しています。これらの AI モデルは賢く柔軟ですが、遅いのです。

• 従来の専用コンピュータプログラム（グラフニューラルネットワークなど）は、約1 分で 10,000 種類の物質をチェックできます。
• これらの AI モデルは、同じ仕事を完了するのに数時間を要しました。

まとめ

この論文は、AI を用いて物質の性質を予測する際に私たちに教えることがあります。

1. 入力とモデルをマッチさせる： 小さな AI に長い物語を与えないでください。要約を与えてください。大きな AI には完全な物語を与えてください。
2. 対称性を含める： 物質の形状について AI に伝えると、より良い推測ができます。
3. まず教育し、その後信頼する： AI の「信頼度メーター」を信頼できるようになる前に、AI に物質について教える必要があります。一度トレーニングされれば、そのメーターは悪い推測をフィルタリングするための優れたツールとなります。

研究者たちは、この手法が即座に既存のすべてのツールを置き換える準備ができているとは主張していません（遅い速度が理由です）。しかし、適切な設定を行えば、これらの柔軟な AI モデルは科学者にとって非常に効果的で、自己認識能力を持つツールになり得ることを示しました。

技術概要

技術的サマリー：材料物性予測における LLM 向けのスケール依存型入力表現と信頼性推定

問題提起

大規模言語モデル（LLM）が物性予測などのタスクにおいて材料科学に応用される機会が増加する一方で、2 つの重要な課題が未解決のまま残されています。

1. 入力表現とモデル規模の関係: 最適な入力表現（化学組成、自然言語記述、構造化ファイルなど）が LLM の規模や微調整（ファインチューニング）の有無にどのように依存するかは不明です。先行研究では多様な形式とモデルサイズが用いられており、体系的な比較が困難です。
2. 信頼性推定: LLM によって生成された物性予測の信頼性を評価する信頼性の高い手法が不足しています。既存のグラフニューラルネットワークに対する不確実性定量化（UQ）手法は、多くの場合追加のモデリングオーバーヘッドを必要とします。LLM は自然にトークンレベルの確率（負の対数尤度、NLL）を提供しますが、数値物性予測に対する信頼性指標としての適用性は未検証のままです。

手法

本研究は、Materials Project に由来するLLM4Mat-Benchデータセットを用いて体系的な実験を実施し、2 つの目標物性（原子あたりの形成エネルギーとバンドギャップ）に焦点を当てました。

• モデル: 異なる規模の 2 つの Llama モデルを使用しました。Llama-3.2-1B-InstructおよびLlama-3.1-8B-Instructです。両モデルとも、ベース（事前学習のみ）状態と微調整済み状態の両方で評価されました。
• 微調整: モデルは、クエリおよび値投影層に適用された**低ランク適応（LoRA）**を用いて微調整されました（ランク $r=32$、スケーリング係数 $\alpha=64$）。学習は学習率 $1 \times 10^{-4}$ で 6 エポック行われました。
• 入力表現: 各サンプルに対して 5 つの異なる入力モダリティが構築されました。
  1. 組成: 化学式のみ。
  2. 結晶サマリー: 自然言語記述の冒頭文（組成と空間群を含む）。
  3. 局所環境: サマリー文を除く残りの記述テキスト。
  4. 完全記述: 完全な自然言語テキスト。
  5. CIF: 生結晶学情報ファイル（Crystallographic Information File）文字列。
• 評価指標:
  • 精度: 予測値と真値間の平均絶対誤差（MAE）および二乗平均平方根誤差（RMSE）。
  • 信頼性: 予測された数値値に対応するトークンの平均負の対数尤度（Mean NLL）。具体的には、分数桁のトークン化によるノイズを避けるため、数値文字列の整数部に焦点を当てています。
  • フィルタリング: 一定の閾値を超える Mean NLL を持つ予測を破棄して、残りのセットの信頼性を向上させる「NLL フィルタリング」戦略がテストされました。

主要な結果

1. スケール依存型入力表現

最適な入力表現はモデル規模に強く依存します。

• 1B モデル（小規模）: コンパクトな表現（組成および結晶サマリー）で最も良好な性能を発揮します。入力長と複雑さが増加するにつれて（例：完全記述、局所環境）、平均絶対誤差（MAE）が増大し、学習の不安定性（シード間の分散）が上昇します。1B モデルは、長文テキストや構造化 CIF データを正確な物理的物性にマッピングすることに苦慮します。
• 8B モデル（大規模）: 詳細な入力に対して頑健性を示します。形成エネルギーについては、8B モデルは完全記述を用いて最低の MAEを達成し、事前学習された自然言語理解能力を活用して微妙な構造的特徴を抽出します。
• 対称性情報: 両モデル規模において、空間群情報を含む結晶サマリーは、組成のみの入力よりも一貫して優れた性能を示しました。これは、対称性記述子が多形を区別し、LLM に埋め込まれた結晶学的知識を活性化させる堅牢な特徴量として機能することを示唆しています。
• CIF の性能: 8B モデルは CIF データを解釈できますが、自然言語記述の方が一般的に高い精度をもたらします。これは、LLM の内部表現が生座標データよりも自然言語と整合していることを示唆しています。

2. 平均 NLL による信頼性推定

• ベースモデル: Mean NLL と予測誤差の間には明確な相関が存在しません。低い NLL 値であっても大きな誤差が発生しており、事前学習された確率は材料物性の関係ではなくバイアスを反映していることを示しています。
• 微調整済みモデル: 低い Mean NLL が小さな予測誤差に対応するという一貫した傾向が現れます。この相関は、異なるモデル規模や入力表現において維持されます。
• NLL フィルタリング: Mean NLL に閾値を適用し（高い NLL の予測を破棄）、保持された予測の MAE をベースラインより大幅に低下させることができました。これは、Mean NLL が微調整済みモデルに対して実用的で、追加学習を不要とする信頼性指標として機能することを示しています。
• トークンの範囲: 本研究では、数値値の整数部に NLL 計算を制限することが、分数桁を含めるよりも信頼性が高いことが判明しました。後者はトークン化の曖昧さによりノイズを導入するためです。

主要な貢献

1. スケールと表現の体系的分析: 入力設計はモデルの容量に合わせて調整される必要があることを確立しました。コンパクトな入力は小規模モデル（1B）に最適であり、大規模モデル（8B）は詳細な自然言語記述から恩恵を受けます。
2. 対称性特徴量の検証: 入力サマリーに空間群情報を含めることが、モデル規模を問わず予測精度を向上させる重要な因子であることを実証しました。
3. LLM 向けの信頼性指標: 数値トークンの Mean NLL が、タスク固有の微調整後においてのみ、材料物性予測の有効な信頼性指標となり得るという証拠を提供しました。これは、複雑な UQ 手法に対する計算効率の高い代替案となります。

意義と限界

著者らは、これらの知見が LLM ベースの材料情報学において入力表現を設計し、予測の信頼性を評価するための実践的な指針を提供すると主張しています。内部の信頼性スコア（Mean NLL）に基づいて予測をフィルタリングする能力は、追加の学習オーバーヘッドなしに、より信頼性の高い展開を可能にします。

著者によって認められた限界:

• モデルの範囲: 分析は 1B および 8B モデルに限定されており、より大規模なスケール（例：70B）への一般化にはさらなる調査が必要です。
• 物性の範囲: 結果は形成エネルギーとバンドギャップに特化しており、他の物性は異なる挙動を示す可能性があります。
• 計算コスト: LLM の推論は、CGCNN などの GNN に比べて著しく遅く（数時間対数秒）、膨大な GPU メモリを必要とします。これにより、専門モデルに比べてハイスループットスクリーニングへの即座のスケーラビリティが制限されます。
• アーキテクチャ固有性: 知見は Llama 3 シリーズに特化したものであり、他のアーキテクチャでの検証が必要です。
• 探索的性質: 信頼性閾値の設定はテストセットの観察に基づいています。実用的な展開には、保持された検証セットでの閾値選択が必要です。

本研究は、特定のタスクにおける生精度において LLM が専門的なグラフニューラルネットワーク（GNN）をまだ凌駕していない可能性はあるものの、入力設計の柔軟性とタスク固有のアーキテクチャなしでのマルチタスク応用の可能性が、重要な実用上の利点を表していると結論付けています。