技術要約：EngTrace – 工学的推論の検証可能なプロセス・スーパービジョンに向けたシンボリック・ベンチマーク

1. 問題提起

大規模言語モデル（LLM）は、厳格な定量的基準と不変の物理法則に支配された、安全性に敏感なエンジニアリング・ワークフローへの導入が進んでいる。しかし、この領域における彼らの推論能力を厳密に評価する手法は依然として未確立である。MMLU、MATH、HumanEvalといった既存のベンチマークは、主に孤立した認知スキル（事実の想起、抽象的論理、あるいはアルゴリズムの翻訳）を評価しており、結果の一致（outcome matching）に依存している。これらのアプローチは、科学的原理、定量的モデリング、および実用的な制約が収束しなければならない、エンジニアリングの中核である「物理的に根ざした統合的な推論」を捉えることができない。さらに、静的なベンチマークはモデルの飽和やデータの汚染という問題を抱えており、学問分野の断片化も、包括的なエンジニアリング問題解決の評価を妨げている。したがって、中間的な推論ステップが最終回答と同様に重要となる、検証可能なプロセス・スーパービジョン（過程監視）を強制するベンチマークが必要とされている。

2. 手法

2.1 EngTraceの設計と分類

EngTraceは、汚染に強く、一意な問題インスタンスとゴールドスタンダードの推論トレースを対にするように設計されたシンボリック・ベンチマークである。

• 範囲: 本ベンチマークは、3つの主要な工学分野（化学、電気、機械）、9つのコア・ドメイン、および20の異なる領域を網羅している。
• 生成メカニズム: ドメイン専門家によって作成され、権威ある教科書（例：Fogler、Ulaby & Ravaioli）やハンドブックに基づいた90個のパラメータ化されたPythonテンプレートを利用している。
• パラメータ化: 単純な変数置換とは異なり、テンプレートはドメイン特有のパラメータ・サンプリングを採用している。これにより、権威あるデータソース（例：NIST、IEEE規格）から導出された制約を通じて物理的な妥当性を確保しつつ、物理的レジーム、支配方程式、および推論パスを変化させている。
• 出力: このパイプラインは、シリアル化された自然言語の問いとステップ・バイ・ステップの解法を含む、1,350個の一意なテストケース（テンプレートあたり15インスタンス）を生成する。

2.2 検証プロトコル

EngTraceを「ゴールドスタンダード」として確立するために、堅牢な2段階の検証プロセスが実装された：

1. 自動AI事前スクリーニング: 3つの最先端モデル（GPT-5、Claude Opus 4.5、Gemini 3）で構成される「AI審判団（AI Tribunal）」が、多軸のルーブリック（物理的妥当性、数学的正当性、教育的明快さ）に照らしてテンプレートを評価する。テンプレートが継続するためには、コンセンサス条件（中央値 $\ge$ 4、多数決による安全性、および低い不一致分散）を満たさなければならない。
2. 専門家による人間認証: 生き残ったテンプレートは、ドメイン専門家によるダブルブラインド・レビューを受ける。信頼性を確保するため、二値的な許容可能性にはFleiss' $\kappa$ を、順序的な品質評価にはGwet's AC2を用いて、評価の集中度に関わらず高い信頼性を測定する。

2.3 評価フレームワーク

EngTraceは、最終回答の正確性を超えて、中間的な推論トレースを検証する2段階の評価フレームワークを導入している：

• 最終回答精度 (FAC): 2%の相対誤差許容範囲内での厳密な数値的正当性を測定する。
• 階層的推論検証:
  • ティア1（自動シンボリック）: 構文および数値の精度をチェックする。アライメントが高い場合、その連鎖（chain）は受理される。
  • ティア2（マルチモデル・ヒューリスティック）: 昇格した連鎖は、AI審判団によって評価され、有効な代替的な導出を特定するか、あるいは不一致（例：計算エラー vs 概念的エラー）を分類する。
• 指標: フレームワークは、予測されたステップをグラウンドトゥルース（正解）と整合させるためにハンガリアン・マッチングを用い、文字列一致を超えた構造的忠実度を捉える回復推論F1スコア ($F1_{rec}$) を算出する。

3. 主な貢献

1. EngTraceベンチマーク: 検証可能なプロセス・スーパービジョンのために設計された、3つの工学分野にわたる1,350個の汚染耐性を持つテストケースからなるシンボリック・ベンチマーク。
2. 評価フレームワーク: 自動シンボリック検証と異種混合のAI審判団を組み合わせ、推論プロセスの質を評価する新しい2段階プロトコル。これは標準的なNLP指標（$\rho = 0.325$）よりも強力な専門家との整合性（$\rho = 0.632$）を達成している。
3. 包括的な評価とエラー分類: 27の主要なLLM（フロンティア、オープンウェイト、および数学強化型）の評価、および2,200個の注釈付き失敗トレースに適用された6カテゴリのエラー分類の導入。

4. 実験結果

4.1 モデルの性能

• フロンティア vs オープンウェイト: フロンティア系のプロプライエタリ・モデル（例：Gemini 3.1 Pro、DeepSeek R1）は、最終回答精度（FAC）と推論F1の両方でリードしている。オープンウェイト・モデルは、特に高度なタスクにおいて大幅に遅れをとっている。
• 数学強化型の限界: 数学に特化した7Bモデルは、同規模の汎用モデルと比較して性能が低く、抽象的な数学的事前学習が物理的制約のある工学的推論には転移しないことを示唆している。
• 複雑性の崖 (The Complexity Cliff): タスクの難易度が上がるにつれて、明確な性能低下が観察される。オープンウェイト・モデル（例：Llama 3.1 70B）は、Easyタスクでの精度約52%からAdvancedタスクでの約23%へと急激な「複雑性の崖」を示す。一方、フロンティア・モデルは比較的安定している。

4.2 分野およびドメイン分析

• 分野別の難易度: 化学工学が一貫して最も困難な分野であり、次いで電気工学、機械工学が最も容易（多くの場合、単一の公式代入に依存）である。
• ドメインの専門性: 能力は「スパイク状（偏りがある）」である。モデルは特定のサブドメイン（例：デジタル通信）では優れているが、密接に関連する他のドメイン（例：電磁気学）では苦戦しており、これは一般的なエンジニアリング推論の欠如を示している。

4.3 エラー分析

• 失敗モード:
  • フロンティア・モデル: 失敗は主に計算エラー（算術実行のミス）であり、物理的推論や支配方程式は概ね正しい。
  • オープンウェイト・モデル: 難易度が上がるにつれて、失敗は概念的エラー（公式/原理、設定/仮定）へとシフトする。例えば、Llama 3.1 70Bは、高度なレベルにおいて公式/原理のエラーが激増しており、これは単なる算術の問題ではなく、ドメイン知識の崩壊を示している。
• 数学強化型モデル: これらのモデルは、数学的ステップを正しく実行しているにもかかわらず、誤った物理法則を選択するという（公式/原理のエラー）失敗を起こすことが多く、数学的事前学習だけではエンジニアリング・タスクには不十分であることを裏付けている。

5. 意義と主張

本論文は、EngTraceが抽象的な論理的演繹と、エンジニアリングに求められる統合的かつ物理的に根ざした推論との間の決定的な溝を埋めるものであると主張している。その主な意義は以下の通りである：

• 検証可能性: 一意の問題インスタンスをゴールドスタンダードのトレースと組み合わせることで、結果だけでなく、推論の「プロセス」の監視を可能にする。
• 診断能力: 現在のLLM（フロンティア・モデルであっても）が、エンジニアリングの統合的な性質に対して苦戦していることを明らかにする。また、抽象的な事前学習が高度なエンジニアリング能力へと翻訳されない「複雑性の崖」を特定している。
• 安全性の含意: 本研究の結果は、安全性に敏感なエンジニアリング・ワークフローにLLMを配備するには、単に高い精度を持つだけでなく、現在のモデルが完全には備えていない、検証可能で物理的に根ざした推論プロセスが必要であることを示唆している。

著者らは、EngTraceが、全学問領域の網羅やプロダクション・エージェントのワークフローではなく、ゴールドスタンダードの推論トレースを必要とする設計上の要請に基づき、検証可能なプロセス・スーパービジョンの「深さ」に焦点を当てた評価であることを強調している。今後の課題は、ツール拡張型推論および不確実性の定量化に向けられている。