技術概要：DiagnosticIQ

問題定義

産業資産の保守は、センサー条件に基づいて発動し、是正措置を促すエンジニア作成の記号ルールに依存している。自動化された監視システムは、これらのルールをセンサーデータと照合することで異常を効果的に検知するが、「ルールからアクションへのステップ」、すなわち発動した記号条件を特定の資産に適した保守アクションに変換する段階に重大なボトルネックが存在する。この変換には、通常、長年の実践経験を通じて得られる、故障モードに関する資産固有の深い知識が必要とされ、アラートを受け取るオペレーターが持つ専門知識を超えることが多い。

本論文は、この段階に対する意思決定支援として大規模言語モデル（LLM）が機能し得ると仮定している。しかし、工業的条件に関する真の推論と表面的なパターンマッチングを区別する現実的で標準化されたベンチマークの欠如により、体系的な評価は妨げられてきた。既存のベンチマークは、故障の認識やセンサー故障との関連付けに焦点を当てることが多く、故障が検出された後に「どのようなアクションを取るべきか」という下流の意思決定には十分に対応していない。

手法

DiagnosticIQ ベンチマーク

著者らは、16 種類の多様な産業資産タイプ（例：空気調和ユニット、チラー、ボイラー）にわたる 118 組の専門家作成のルール - アクションペアから導出された、6,690 問の専門家検証済み多肢選択問題（MCQ）からなるベンチマークスイート「DiagnosticIQ」を導入した。

データセット構築パイプライン:

1. 入力: 論理条件（時間述語、センサー閾値）、保守アクション、メタデータを含む専門家キュレーションのルール文書。
2. 正規化: ルールを「和積標準形（DNF）」に変換する。これにより、単一のルールが複数の論理的に有効なトリガーシナリオ（論理積）に展開され、単一の抽象的な例ではなく、異なる運用状態を網羅することが保証される。
3. 質問生成: 2 つの補完的な質問タイプが生成される。
   • 選択: 発動した条件が与えられた場合、正しい保守アクションを特定する。
   • 除外: 条件によって支持されないアクションを特定する。
4. ダミー選択肢のサンプリング: ダミー選択肢はランダムではなく、同じ資産ファミリーの異なる論理条件を持つルールから、埋め込みベースの類似性を用いてサンプリングされる。これにより、ダミー選択肢は「運用上隣接する（妥当だが誤った）」ものとなり、意味的に遠く離れることが防がれる。
5. コンテキスト: 質問には、特定の構成（例：水平ポンプ対垂直ポンプ）に推論を固定するための資産説明が含まれる。

対象評価のためのバリアント

特定の失敗モードを調査するために、著者らは 5 つのバリアントを構築した。

• DiagnosticIQ Pro: 選択肢を 4 つから 10 つに拡大し、妥当なダミー選択肢間の識別力をテストする。
• DiagnosticIQ Pert: 表面形式（順序、文言）を攪乱し、フォーマットバイアスに対する頑健性をテストする。
• DiagnosticIQ Verbose: 記号条件を自然言語に言い換えて、「記号から言語へのギャップ」を測定する。
• DiagnosticIQ Aug: 論理演算子を反転させる（例：< を > に）ことで、モデルが論理的な内容を評価するのではなく、ルールテンプレートに依存しているかどうかをテストする。
• DiagnosticIQ Rationale: 専門家検証のための思考連鎖（chain-of-thought）説明を収集する。

実験設定

本研究では、29 の LLM（最先端のクローズドソースおよびオープンウェイトモデルを含む 9 ファミリーにまたがる）と 4 つの埋め込みベースラインをベンチマークした。評価には、ゼロショットプロンプト、微調整実験（SFT および GRPO）、ベンチマークの難易度を検証するための 9 名のエンジニアリング実務者による人間評価が含まれる。

主要な結果

1. 最先端モデルのパフォーマンスと脆性

• 最高パフォーマンス: リーダーモデルである claude-opus-4-6 は、ベースの DiagnosticIQ において 73.59% のマクロ精度を達成した。上位 3 モデル（claude-opus-4-6、gpt-5.4、gemini-3.1-pro-pre）は、マクロ点で 1 点以内に集約されている。
• ストレス下での脆性: パフォーマンスはストレス下で著しく低下する。
  • DiagnosticIQ Pro: 選択肢が 10 に拡大すると、リーダーモデルは 13.8 ポイント低下し（59.81% まで）、パフォーマンスが落ちる。
  • DiagnosticIQ Pert: 質問の文言が攪乱されると、上位モデルの一致率は約 48% しか示さない。
  • DiagnosticIQ Aug（論理反転）: 論理演算子が反転すると、リーダーモデルは 63.4% の確率で「元の（現在では誤っている）」回答を選択し、論理的評価ではなくルール形状の認識に依存していることを示している。
  • DiagnosticIQ Verbose: 記号条件を自然言語に言い換えると、平均精度が 4.2 ポイント低下し、推論の足場として記号構造に依存していることが明らかになった。

2. 一般ベンチマークとの比較

最先端モデルは GPQA Diamond などの一般科学ベンチマークでは大幅に進展している（約 19 ポイント向上）が、DiagnosticIQ における進展は停滞している（約 8 ポイントの向上のみ）。一般推論と産業保守推論の間の格差は拡大しており、一般科学向けのポストトレーニング最適化が産業ルール評価に円滑に転用されていないことを示唆している。

3. 失敗モードとパターン

• パターンマッチング対推論: DiagnosticIQ Aug バリアントの分析により、モデルは評価すべき条件としてではなく、認識すべきテンプレートとして構造化された産業ルールを扱っていることが明らかになった。
• ダミー選択肢への感受性: ダミー選択肢が拡大すると、多くのモデル（o1 などの推論チューニングモデルを含む）は語彙的類似性に戻ってしまう。最も強力な埋め込みベースライン（all-mpnet-base-v2）は、DiagnosticIQ Pro において 29 個の LLM のうち 14 個を上回った。
• 難易度予測因子: ロジスティック回帰分析により、特殊関数の数（算術/比較演算）が失敗の最も強力な予測因子であることが示された。演算 1 つあたり正解のオッズを 47% 低下させる。直感に反して、論理的複雑さ（節の数が多いこと）はわずかに精度を向上させる傾向があり、これは構造的な足場を提供しているためと考えられる。

4. 人間による評価

9 名のエンジニアリング実務者からなるパネルは、40 問のサブセットにおいて平均精度 45.0% を達成した。注目すべきは、関連する資産クラス（AHU、チラー）における自己申告の経験を持つ実務者も、一般平均を有意に上回らなかったことであり、このベンチマークが運用の慣熟度を超えた専門的な診断知識を必要とすることを確認した。いくつかの質問において、どの人間の実務者も正解を特定できなかった場合でも、最先端 LLM は人間の平均を上回った。

5. 運用への影響

精度のランキングにもかかわらず、推定される運用への影響（正しい推奨によるエネルギー節約に基づく）が最も高かったモデルは、精度リーダーである claude-opus-4-6 ではなく、gemini-3.1-pro-pre であった。これは、導入においては、わずかに高い集計精度を持つモデルよりも、高影響ルールにおいて一貫して正しいモデルが好ましいことを示唆している。

意義と主張

本論文は、DiagnosticIQ が、産業資産の固有性、選択肢のダミー、条件の理解、およびアクションの推奨を同時に網羅する最初のベンチマークであると主張している。

この研究の主な意義は、現在の最先端 LLM における**「脆性の弧（brittleness arc）」**の解明にある。モデルは標準的な産業保守タスクでは高い精度を達成できるが、以下の状況では著しい脆弱性を示す。

1. ダミー選択肢の空間が拡大する。
2. 論理的な内容が反転する。
3. 記号構造が自然言語に言い換えられる。

著者らは、産業保守における LLM の導入ボトルネックは能力の欠如ではなく、較正と頑健性の欠如であると結論づけている。現在のモデルは、評価すべき条件としてではなく、認識すべきテンプレートとして構造化されたルールを扱っている。このベンチマークは、真の推論と表面的なパターンマッチングを区別するために必要なツールを提供し、一般知識ベンチマークでの成果が、文言や論理のバリエーションに対する一貫性が不可欠な高リスクの運用導入の準備性を保証するものではないことを浮き彫りにしている。