Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

本論文は、大規模言語モデル（LLM）の材料科学への応用において、出力形式がモデルの挙動を決定し、数値予測にはテキスト出力よりも中間層の埋め込み表現が有効であること、さらに GPT モデルの性能が時間とともに変動するため科学的再現性に課題があることを示しています。

要約

この論文は、**「AI（大規模言語モデル）が『材料科学』という難しい分野で、どれくらい信頼できるか」**を徹底的に調査した研究です。

材料科学とは、新しい電池や半導体、強い合金などを作るための「素材の性質」を調べる分野です。これまで、AI にこの仕事を任せるには、専門家がデータを数値化して教える必要がありましたが、最近の AI は「自然な言葉」で会話できるため、誰でも使えるようになりました。

しかし、**「AI は本当に材料のことを理解しているのか？」「同じ質問をしても、毎回同じ答えが出るのか？」**という大きな疑問がありました。

この研究では、25 種類の AI に 4 つの異なる課題（記号を扱う問題と、数字を予測する問題）を解かせて、その実力を検証しました。

以下に、専門用語を避け、身近な例え話を使って解説します。

---

1. 2 つの異なる「顔」を持つ AI

研究で発見された最大のポイントは、**「AI の答え方が『言葉（記号）』か『数字』かで、全く違う振る舞いをする」**ということです。

A. 言葉で答える問題（例：「チタン酸バリウムはどんな性質がある？」）

• AI の状態（学習前）：
  初心者学生が教科書を読んだ直後のような状態です。「何だか分からないから、適当に言ってみよう」と、バラバラで自信なさげな答えを返します。
• 学習後（ファインチューニング）：
  専門的な勉強をすると、「あ、これが正解だ！」と確信を持って、安定した答えを返すようになります。
• 結論：
  言葉の問題では、「知識不足」が主な原因でした。勉強（学習）をすれば、AI はしっかりとした知識を身につけ、安定して正解を出せるようになります。

B. 数字で答える問題（例：「この材料の電気抵抗は？」）

• AI の状態（学習前）：
  ここが面白いところです。AI は**「自信満々」なのに、答えは的外れです。まるで、何も知らないのに「100% 正解だ！」と大声で叫んでいるような状態（「自信過剰な嘘つき」**）です。
• 学習後（ファインチューニング）：
  勉強すると、答えの精度は上がりますが、「自信過剰な嘘つき」の癖は直りません。精度は良くなっても、AI は「自分の答えが正しい」と思い込みすぎており、間違っていても気づきません。
• 結論：
  数字の問題では、**「計算能力」ではなく「答えを言葉にするのが苦手」**という問題が潜んでいました。AI の頭の中には正解のヒントがあるのに、それを数字として口に出すのが下手なのです。

---

2. 「口が下手な天才」の謎（LLM ヘッドのボトルネック）

研究者は、AI の「頭の中（中間層）」をのぞいてみました。すると、驚くべき事実が発覚しました。

• バンドギャップ（半導体の性質）の場合：
  AI の頭の中には、「正解に近い情報」がしっかり詰まっていました。しかし、それを「言葉（テキスト）」として出力する段階で、**「口下手」**になってしまい、精度が落ちてしまいます。

  • 例え： 料理の味を完璧に知っているシェフ（頭の中）が、メニューに書くのが下手で、間違ったレシピを書いてしまうような状態です。
  • 解決策： 直接シェフの頭の中（AI の内部データ）から情報を抜き出して計算すれば、テキスト出力よりも正確な答えが出せることが分かりました。

• 誘電率（電気的な性質）の場合：
  こちらは、頭の中にも情報が十分に入っていないか、特殊な性質すぎて、頭の中からも正確な答えを引き出せませんでした。

  • 結論： 予測したい「性質」によって、AI の得意不得意が全く異なります。

---

3. 「記憶力」ではなく「関連付け」で覚えている

AI が知識グラフ（材料の知識のつながり）を完成させる仕組みを調べると、**「物理的な理解」ではなく「統計的な関連付け」**で覚えていることが分かりました。

• 例え：
  AI は「PZT（材料）」と「圧電性（性質）」がセットで登場する回数を数えて覚えています。「なぜ圧電性なのか？」という物理的な理由までは理解していません。
  • 結果： よく登場する材料は正解しますが、めったに登場しない組み合わせだと、AI はパニックになって間違った答えをします。

---

4. 最大のリスク：「毎日変わる AI」

API（インターネット経由で使う AI）を使う場合、**「昨日の答えと今日の答えが違う」**という大きな問題が見つかりました。

• 例え：
  料理屋さんに注文すると、**「店長が今日気分によってレシピを変えてしまう」**ようなものです。
  • 18 ヶ月間の調査で、同じ質問をしても、AI の性能が9%〜43% も変動することが分かりました。ある日突然、AI のバージョンが裏で更新され、性能が半分以上変わってしまうこともあります。
  • 警告： 科学的研究や重要な製品開発で、この「毎日変わる AI」をそのまま使うのは危険です。

---

まとめ：私たちがどう向き合うべきか

この論文は、AI に材料科学を任せる際の**「注意点」と「ヒント」**をくれました。

1. 言葉の問題なら： 勉強（学習）をさせれば、AI は信頼できる助手になります。
2. 数字の問題なら： AI が「自信満々」でも、鵜呑みにしてはいけません。裏側（内部データ）から直接計算する方が正確な場合があります。
3. 再現性の重要性： 科学的研究をするなら、API 版の AI ではなく、**「バージョンが固定された AI」**を使うか、使う日付とバージョンを必ず記録する必要があります。

**「AI は魔法の箱ではなく、得意不得意がはっきりした、少し癖のある助手」**として扱うことが、材料科学の未来を安全に進める鍵です。

技術概要

論文「Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions」の技術的サマリー

この論文は、材料科学分野における大規模言語モデル（LLM）の信頼性、知識の符号化メカニズム、および微調整（ファインチューニング）の影響について包括的に評価した研究です。25 の異なる LLM を対象に、4 つの材料科学タスク（バンドギャップ予測、誘電率予測、結晶系分類、知識グラフ補完）を実施し、モデルの出力モダリティ（記号的 vs 数値的）がモデルの挙動を根本的に決定づけることを発見しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

材料科学において LLM が急速に採用される一方で、以下の根本的な疑問が未解決のまま残されていました：

• 信頼性と知識の符号化: LLM はどのように材料の知識を符号化しており、それがタスクや物性によってどう変化するのか？
• 微調整の限界: 微調整が成功または失敗する要因は何か？モデルは材料实体の「真の理解」を獲得しているのか、単なる統計的パターンを学習しているのか？
• 出力モダリティの違い: 記号（分類、リンク予測）と数値（回帰）タスクにおいて、モデルの挙動や誤り方はどう異なるか？
• 再現性の課題: API 提供モデル（GPT シリーズ等）は時間経過とともに性能が変動し、科学的な再現性を脅かす可能性があるが、その実態は不明瞭である。

2. 手法 (Methodology)

本研究は、以下の設計に基づいた大規模な評価を行いました。

• 評価対象: 25 の LLM（Llama-2/3, Mistral, GPT-3.5/4/o/4.1 シリーズなど）。ベースモデルと微調整済みモデルを含め、合計 200 以上の構成を評価。
• 4 つのタスク:
  1. バンドギャップ予測: 化学組成から連続値（eV）を予測（回帰タスク）。
  2. 誘電率予測: 化学組成から連続値を予測（回帰タスク）。
  3. 結晶系分類: 化学組成から 7 つの結晶系のいずれかを分類（記号タスク）。
  4. 知識グラフ補完 (MatKG): 材料の知識グラフからのトリプルを自然言語 QA 形式で予測（記号タスク）。
• 評価指標:
  • 回帰タスク: RMSE（平均二乗誤差）。
  • 分類タスク: 精度（Accuracy）。
  • 応答エントロピー (Response Entropy): 10 回の独立した推論実行における出力のばらつきを計算し、モデルの一貫性（自信度）を定量化。
• 層ごとのプローブ (Layer-wise Probing): 微調整済みモデルの中間トランスフォーマー層から埋め込み（Embeddings）を抽出し、教師ありプローブ（リッジ回帰、ニューラルネット）を訓練して、モデル内部にどの程度の予測情報が符号化されているかを調査。
• 縦断研究: 18 ヶ月にわたり GPT モデルの性能を追跡し、時間的な変動を分析。

3. 主要な貢献と発見 (Key Contributions & Results)

A. 出力モダリティによる根本的な挙動の非対称性

モデルの失敗様式と改善メカニズムは、出力が「記号的」か「数値的」かによって劇的に異なります。

• 記号タスク（分類、リンク予測）:
  • ベースモデル: 精度が低く、かつ応答エントロピーが高い（一貫性がない）。これは知識の欠如を示唆。
  • 微調整後: 精度が劇的に向上（30〜60% ポイント増）し、エントロピーが大幅に低下（25〜99% 減）。
  • 結論: 微調整は、モデルに検証可能な出力へ収束させるための「知識」を注入する役割を果たす。
• 数値タスク（回帰）:
  • ベースモデル: 精度は低いにもかかわらず、応答エントロピーが低い（「自信過剰なハルシネーション」）。モデルは一貫して誤った数値を出力する。
  • 微調整後: 精度は向上するが、エントロピーの減少は不規則であり、誤った自信が解消されるとは限らない。
  • 結論: 数値タスクでは、モデルは内部に情報を保持しているが、それを正確な数値として言語化（Verbalization）することに失敗している可能性がある。

B. 「LLM ヘッドボトルネック」の発見

数値回帰タスクにおいて、中間層の埋め込みを直接利用する方が、モデルのテキスト出力（生成）よりも高い予測精度を示す現象を発見しました。

• バンドギャップ予測: 中間層の埋め込みから得られる精度は、微調整済みモデルのテキスト生成精度と同等かそれ以上でした。これは、モデル内部に予測情報が存在するが、言語モデルヘッド（トークン生成）がそれを正確に表現できない「ボトルネック」が存在することを示唆します。
• 誘電率予測: この効果は物性依存性があり、誘電率では埋め込みプローブの性能がテキスト生成より劣りました（特に高値のアウトライヤーにおいて）。これは、物性によって知識の符号化メカニズムが異なることを示しています。

C. 知識グラフ補完のメカニズム

MatKG タスクにおける微調整の成功要因は、物理的な理解ではなく、**分布的表現（Distributional Representations）**の構築であることが判明しました。

• 微調整後のモデルの精度は、対象エンティティがトレーニングデータ内で多様な文脈（共起）に登場する頻度に強く依存します。
• 希少なエンティティや特定の組み合わせは、文脈が不足しているため予測が困難です。これは LLM が「真の推論」ではなく、統計的なパターンマッチングに基づいて知識を再構成していることを示唆します。

D. 時間的安定性と再現性の課題

18 ヶ月にわたる GPT モデルの追跡調査により、API ベースモデルの重大な問題が明らかになりました。

• 性能変動: 未微調整の GPT モデルで 9〜43% の RMSE 変動が観測されました（例：GPT-4o で 43%）。
• 原因: 裏側でのモデルアップデート、量子化変更、エンドポイントの更新などが、明示的な通知なしに発生し、予測性能を大きく変化させます。
• 影響: 微調整を行っても、基盤モデルの変更による影響を完全に防げないため、長期的な科学的研究における再現性が脅かされます。

4. 意義と示唆 (Significance)

1. 材料インフォマティクスへの実践的ガイド:

   • 記号タスクでは、エントロピーが高い場合は予測を棄却するなどの不確実性管理が可能ですが、数値タスクでは「低いエントロピー＝高い信頼性」とは限らないため、注意が必要です。
   • バンドギャップのような特定の物性では、全文生成ではなく埋め込み抽出＋軽量回帰モデルを使用することで、計算コストを削減しつつ高精度な予測が可能になる可能性があります。

2. モデル評価の再考:

   • 単一のタスクでの性能が他のタスクの性能を予測するものではなく、マルチタスク・マルチ物性のベンチマークが必要であることが示されました。
   • 微調整はドメイン適応をもたらしますが、モダリティ固有のスキル（記号 vs 数値）を自動的に転移させるわけではありません。

3. 科学的再現性の確保:

   • API ベースのモデルを用いる研究では、モデルのバージョン文字列と評価日時の厳密な記録が不可欠です。
   • 長期的な安定性が求められる用途（ハイスループットスクリーニング等）には、パラメータが固定されたオープンウェイトモデルの使用が推奨されます。

4. 信頼性の限界:

   • 「自信過剰なハルシネーション（正確だが誤った数値出力）」は、従来のエントロピーベースの不確実性定量化では検出できない重大な課題であり、材料発見への責任ある導入には、較正された代替手法の開発が急務です。

この研究は、LLM が材料科学において単なる「ツール」ではなく、その内部動作と限界を理解した上で適切に設計・運用されるべきであることを示す重要なマイルストーンとなっています。