THERMOQA: 大規模言語モデルにおける熱力学的推論を評価するための 3 段階ベンチマーク

技術的サマリー（日本語）

1. 概要と背景

本論文は、工学熱力学の分野における大規模言語モデル（LLM）の推論能力を評価するための新しいベンチマーク「THERMOQA」を提案するものです。従来の科学系ベンチマーク（GPQA, SciBench, MMLU など）は、熱力学を包括的な評価体系の一部として散在させているか、理想気体や単純な計算問題に限定されており、実流体（水、冷媒など）や多成分システム、エグゼルギー（有効エネルギー）解析を含む工学熱力学の全範囲を網羅するものは存在しませんでした。

熱力学は、エンタルピーなどの物性値の 2% の誤差が、サイクル熱効率の 10% の誤差へと連鎖する「定量的な分野」であり、LLM の多段階推論能力を測る理想的なテストベッドとなります。

2. ベンチマーク設計と方法論

THERMOQA は、293 問のオープンエンド（自由記述式）な工学熱力学問題で構成され、難易度と複雑さの異なる 3 つのティア（段階）に分類されています。

2.1 3 つのティア構造

1. ティア 1：物性値の照会（110 問）
   • 与えられた熱力学的状態（圧力、温度など）から、比エンタルピー、比エントロピー、比体積、品質（乾き度）などを求める問題。
   • 8 つの分類（過冷却液体、飽和液体、湿り蒸気、飽和蒸気、過熱蒸気、超臨界、相の判定、逆引き）を含み、相境界や臨界点近傍の難易度が調整されています。
2. ティア 2：コンポーネント解析（101 問）
   • タービン、圧縮機、ポンプ、熱交換器などの単一機器に対する多段階解析。
   • 3 つの深さ（A: エネルギー収支のみ、B: エネルギー＋エントロピー生成、C: エネルギー＋エントロピー＋エグゼルギー損失）で評価されます。
   • 使用流体：水、空気、R-134a。
3. ティア 3：サイクル解析（82 問）
   • ランキンサイクル、ブレイトンサイクル、蒸気圧縮冷凍サイクル、複合サイクル（CCGT）など、10 種類のサイクルの完全な数値計算。
   • 15〜60 段階の数値計算ステップを含み、6 段階の重み付けスコアリングが適用されます。

2.2 正解データ（Ground Truth）の生成

• プログラムによる自動計算: 人間の作成ではなく、すべて CoolProp 7.2.0 と NASA 多項式を用いてプログラム的に生成されました。
  • 水/蒸気：IAPWS-IF97 基準（NIST 参照データと 0.037% 以内の誤差で検証）。
  • R-134a：ヘルムホルツ自由エネルギー状態方程式（IIR 基準）。
  • 空気：変化する比熱を扱う NASA 7 係数多項式（教科書の理想気体値との整合性を確保）。
• 評価スコアリング:
  • 各ステップごとに正誤判定を行い、工学的重要性に基づいて重み付け（1〜6）された加重平均スコアを算出します。
  • 許容誤差は相対値±2% または絶対値±0.5（いずれか緩い方）とし、無次元量（効率など）には±0.02 の厳格な許容誤差を適用します。

2.3 評価プロトコル

• 対象モデル: 6 つの最先端 LLM（Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro, Grok 4, DeepSeek-R1, MiniMax M2.5）。
• 評価条件: ゼロショット（例示なし）で API を経由して評価。各モデルを 3 回独立して実行し、平均値と標準偏差（σ）を算出します。
• 抽出プロセス: 正規表現と gpt-4.1-mini を用いた 2 段階の抽出を行い、推論プロセス（思考トークン）も含めて回答を抽出します。

3. 主要な結果

3.1 総合リーダーボードとティア間での順位入れ替え

• 上位モデル: Claude Opus 4.6 (94.1%), GPT-5.4 (93.1%), Gemini 3.1 Pro (92.5%) が上位を占めました。
• スキル分離: 物性値の暗記力（ティア 1）と多段階推論力（ティア 3）は相関しないことが示されました。
  • Gemini 3.1 Pro: ティア 1 で 97.9%（1 位）でしたが、ティア 3 では 87.5% に低下し 3 位に転落しました。
  • Claude Opus 4.6: ティア 1 で 96.4%（3 位）でしたが、ティア 3 で 93.6% を記録し 1 位に浮上しました。
  • 性能低下幅: 最上位の Opus は 2.8 ポイントの低下でしたが、最下位の MiniMax は 32.5 ポイントも低下しました。

3.2 自然な識別子（Discriminators）

特定の質問サブセットがモデル間の性能差を顕著に引き出しました。

• 超臨界水（ティア 1）: 臨界点近傍の非線形な物性変化において、モデルは教科書の離散値から単純な補間を行うだけで大失敗しました（最大 44.5 ポイントの差）。GPT-5.4 が 89.5%、MiniMax が 45.0%。
• R-134a 冷媒（ティア 2）: 水（75-98%）に比べ、冷媒に関する知識が不足しており、全モデルで 44-63% に低下しました。特に圧縮機の効率計算式（除算と乗算の逆転）で多くのモデルが失敗しました。
• 複雑なサイクル（ティア 3）: 変化する比熱を持つブレイトンサイクルや複合サイクル（CCGT）で、モデル間の差が拡大しました。

3.3 一貫性とエラー分析

• 実行間の一貫性: 3 回の実行における標準偏差（σ）はモデル間で 10 倍の差がありました（GPT-5.4 は±0.1%、DeepSeek-R1 は±2.5%）。工学応用においては、平均点が高くてもばらつきが大きいモデルは信頼性が低いです。
• エラーの連鎖: 中間状態（例：等エントロピー出口状態）の誤りが、その後の仕事量やエグゼルギー損失の計算に 0.94 という高い相関で連鎖することが確認されました。
• エラーモード: 計算値が誤っているというより、「計算ステップを省略する（Missing）」エラーが支配的でした。

4. 主要な貢献と意義

1. 階層化されたベンチマーク設計: 物性記憶、コンポーネント推論、システム全体解析という 3 つの異なる能力を分離して評価可能にしました。これにより、暗記力と推論力が別物であることが実証されました。
2. プログラムによる正解データ: CoolProp を用いた自動生成により、人間の注釈誤りを排除し、再現性と無限の新しい問題生成を可能にしました。
3. 一貫性の定量化: 単一の平均点だけでなく、複数実行での標準偏差（σ）を評価軸に含めることで、工学実務におけるモデルの信頼性を評価する新たな次元を提供しました。
4. 自然な識別子の特定: 超臨界水、R-134a、変化する比熱のサイクルなどが、モデルの真の能力を判別する有効な指標であることを示しました。
5. オープンソース化: データセット、コード、評価スクリプト、全モデルの回答を公開し、研究の透明性と発展を促進しています。

5. 結論と今後の展望

THERMOQA は、LLM が工学熱力学の分野において、単なる表の暗記を超えて、非線形な物理現象の理解や多段階の因果推論を行う能力にまだ限界があることを浮き彫りにしました。特に、トレーニングデータに偏りがある冷媒や、複雑なサイクル解析において顕著な弱点が見られました。

今後の課題として、ツール（CoolProp など）を連携させた評価、図表（T-s 線図など）の解釈能力の評価、およびより小規模なモデルやオープンウェイトモデルへの適用が挙げられています。本ベンチマークは、科学技術分野における LLM の評価基準を、単なる知識の再生から、厳密な論理的推論へとシフトさせる重要な一歩となります。