技術概要：LLM ベースの産業用アセット運用における欠落したデータ層としてのナレッジグラフ

問題定義

産業用アセット運用における現在の大型言語モデル（LLM）エージェントは、フラットなドキュメントストア（例：CouchDB、YAML、CSV）を介した推論において、精度が限定的である。AssetOpsBench ベンチマーク（Patel ら、2026）は、GPT-4 や GPT-4.1 といった最先端モデルでさえ、139 の産業用保守シナリオにおいてタスク完了率の最大値が約 65% にとどまることを実証した。この研究は、失敗の原因が推論能力の欠如ではなく、むしろ「データアクセスの失敗」にあると特定した。具体的には、LLM は構造化クエリエンジンが決定論的に処理する以下の操作に苦慮する：

• 複数の非構造化ドキュメントにわたるイベントの計数。
• 明示的なリンクなしに、異なるソースからのデータの相関付け。
• 暗黙的な機器依存関係のトラバース。
• 機器識別子やセンサー読み取り値の幻覚（ハルシネーション）の回避。

本論文の中心的な仮説は、構造化された運用ドメインにおいては、LLM のオーケストレーションパラダイムではなく、ツールの背後にあるデータモデルが主要なボトルネックであるというものである。

手法

著者は、139 のAssetOpsBenchシナリオを用いて 3 つの異なるアーキテクチャを評価した。データ層と LLM の役割のみを変化させた。

1. アーキテクチャ A（ベースライン - ツール拡張型 LLM）：

   • メカニズム： LLM は意図を解析し、ツールを選択し、引数を構成し、ドキュメントストアから生データを取得し、結果を解釈し、回答を合成する。
   • データ層： フラットなドキュメントストア（CouchDB、YAML、CSV）。
   • LLM の役割： すべての推論、データトラバース、集約を実行する。

2. アーキテクチャ B（NLQ + グラフ）：

   • メカニズム： LLM は、型付きスキーマに基づいて構造化された Cypher クエリを生成することに制限される。グラフエンジンがクエリを決定論的に実行し、LLM が構造化された結果から最終回答を合成する。
   • データ層： 781 のノード、955 のエッジ、16 の関係タイプを持つ型付きナレッジグラフ（KG）（フルパイプラインでは 1,360 のノードと 2,500 のエッジに拡張）。
   • LLM の役割： コード生成（自然言語から Cypher へ）。

3. アーキテクチャ C（決定論的ハンドラ）：

   • メカニズム： 事前にコード化されたハンドラが、質問パターンを直接 Cypher クエリにマッピングする。
   • データ層： 同じナレッジグラフ。
   • LLM の役割： なし。

ナレッジグラフの構築：
著者は、AssetOpsBenchのデータソースをグラフスキーマに変換する ETL パイプラインを構築した。このスキーマには、14 のノードラベル（例：Site, Equipment, Sensor, FailureMode）と 21 のエッジタイプ（例：contains_equipment, monitors, depends_on）が含まれる。グラフには以下が含まれる：

• ISA-95 および ISO 14224 分類を備えた機器階層。
• 機器にリンクされたセンサーメタデータ。
• ベクトル類似性検索用の 384 次元 Sentence-BERT 埋め込みを備えた故障モード。
• 時間的機能を持つイベントログ。
• 熱的/電気的依存関係と共有インフラをモデル化する依存関係トポロジー。

実装には、OpenCypher、HNSW ベクトルインデックス、グラフアルゴリズム（PageRank、NSGA-II）をサポートする組み込みグラフデータベースSamyamaを使用している。

主要な結果

139 シナリオにおけるパフォーマンス

LLM モデルを一定に保ったまま、データ層を変更することで、著しいパフォーマンス向上が示された：

• アーキテクチャ A（ベースライン）： 65% の合格率（91/139）。AssetOpsBenchリーダーボードの天井に一致。
• アーキテクチャ B（NLQ + グラフ）： GPT-4、GPT-4o、GPT-4.1 を使用して 82〜83% の合格率（114〜116/139）。これは、同じモデルファミリーを使用した場合、ベースラインに対して約 17 ポイントの改善を表す。
• アーキテクチャ C（決定論的）： 99% の合格率（137/139）。2 つの失敗は、知識の欠如ではなく、作業命令のバンドリングにおける応答フォーマットの不整合に起因した。

拡張評価（467 シナリオ）

拡張されたAssetOpsBench HuggingFace リリース（6 ドメインにわたる 467 シナリオ）に対して評価を行った場合：

• 決定論的ハンドラ： 平均スコア0.848で100% の合格率（467/467）を達成。
• グラフネイティブ機能： 著者は、マルチホップ依存関係、ベクトル類似性、PageRank 重要度を必要とする 40 の新しいシナリオを導入した。これらにおいて、ナレッジグラフアプローチは 100% の合格率と平均スコア 0.927 を達成したのに対し、グラフなしの GPT-4o ベースラインは 85% と 0.602 だった。

レイテンシとコスト

• レイテンシ： 決定論的グラフクエリの平均は63 msであり、LLM ベースのアーキテクチャの 5〜11 秒と比較して短い。
• コスト： 1 日 10,000 回のクエリの場合、完全な LLM 駆動アーキテクチャは 300〜500 ドルかかるが、決定論的グラフクエリは初期 ETL 後は0 ドルである。

意義と主張

本論文は、構造化された運用ドメインにおいて、データ層が主要なボトルネックであり、LLM オーケストレーションパラダイム（エージェント・アズ・ツール対プラン・エグゼキューション）よりもパフォーマンス向上のためのより重要なレバーであると主張する。

著者は、**「逆転した LLM 使用」**という概念を導入する：

• 生データ上で推論を行う（広範でエラーが発生しやすいタスク）代わりに、システムは型付きスキーマから構造化されたクエリを生成する（LLM が得意とする狭義のコード生成タスク）ために LLM に要求する。
• グラフエンジンがその後、「難しい」部分、すなわちトラバース、計数、結合、アルゴリズム的実行を処理する。
• この関心の分離により、システムは既知のクエリパターンにおいてほぼ完璧な精度を達成しつつ、新規クエリに対して自然言語インターフェースの柔軟性を維持できる。

本論文は結論として、構造化された産業データにおいて、ナレッジグラフは生データと LM ベースの推論との間に不可欠な統合層として機能すると述べている。結果は、構造化されたドメインにおいては、スキーマを認識したクエリ生成が、自由形式のデータ推論よりも優れていることを示唆しており、決定論的ハンドラは既知の運用パターンに対してほぼ完璧な信頼性を達成できることを示している。

限界と留保事項

著者は明示的にいくつかの限界を指摘している：

• クリーンなデータ仮定： ベンチマークはクリーンで構造化されたデータを使用している。現実世界の産業環境には、ノイズの多いセンサー、スキャンされた PDF、一貫性のない命名が含まれており、これらはクエリ層だけでなく、データ取り込み層（エンティティ抽出と解決）において LLM を必要とする。
• 決定論的対自律的： アーキテクチャ C の 99% の成功率は、事前コード化されたソリューションを反映しており、自律型エージェントが独立して答えを導き出す能力を示すものではない。
• 構造的限界： 機械学習推論を必要とするシナリオ（例：時系列予測、RUL 予測）は、保存されたデータのクエリのみでは解決できず、外部の分析モデルを必要とする。
• 非決定性： NLQ の結果は、確率的な LLM 生成に依存している。複数のシードにわたる分散特性の特定は、今後の課題として先送りされている。