💬 NLP

ENTLORE: A Graph-Grounded Benchmark for Latent Organizational Reasoning in Enterprise Question Answering

本論文は、単なる事実の検索を超えた暗黙的な関係の復元能力をテストするために、日常的な文書から監査済みのエンタープライズ・ワールドを再構築することを通じて、エンタープライズ質問応答システムが潜在的な組織的推論を実行する能力を評価する、グラフに基づいたベンチマークであるENTLOREを導入するものである。

原著者： Akrin Zheng, Alexander Wu, Alaia Liu

公開日 2026-08-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Akrin Zheng, Alexander Wu, Alaia Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で混沌とした図書室の中で謎を解こうとしている探偵だと想像してください。これは単なる図書室ではありません。膨大な数のメール、プロジェクト報告書、会議メモ、スプレッドシートといった、ある巨大企業の「脳」なのです。AI（人工知能）の世界では、「質問応答（Question Answering）」と呼ばれる人気のあるゲームがあります。通常、AIには質問と一束の文書が与えられ、その役割は答えが含まれている正確な一文を見つけ出すことです。それは、答えが目の前に隠れていて、拾い上げられるのを待っている「これ、なあに？（I Spy）」というゲームのようなものです。

しかし、現実の企業での仕事は、ゲームよりもずっと複雑です。多くの場合、答えは一つの文章の中に書かれているわけではありません。真実は、異なる文書間の「関係性」の中に隠されています。例えば、あるメールには「アリスはモジュールXに従事した」とあり、別の報告書には「モジュールXはプロジェクトYの一部である」と書かれているかもしれません。しかし、どの文書にも「アリスはプロジェクトYに従事した」とは決して書かれていないのです。答えを見つけるためには、AI自身が、会社がどのように組織されているかという「目に見えないルール」を用いて、点と点を結びつけなければなりません。この論文は、ScitiX.aiの研究者たちによって書かれたもので、コンピュータに単に言葉を見つけるだけでなく、そのような「探偵の仕事」ができるように教える方法について述べています。

問題点：「隠れた真実」の罠

ほとんどのAIベンチマーク（AIの性能テスト）は、すでに地図が描かれている宝探しのようなものです。テスト作成者は質問を作成し、その答えがAIに与えられる文書の中に明示的に書かれていることを確認します。それは、「赤いボールは何色ですか？」と問いかけながら、AIに赤いボールの写真を渡すようなものです。AIはただ「赤」という言葉を見つければよいのです。

この論文の著者たちは、これは簡単すぎて、現実の企業がどのように機能しているかを反映していないと主張しています。現実の世界では、「赤いボール」についてはあるファイルに記載されており、「ボールである」という事実は別のファイルにあるかもしれませんが、両者のつながりは決して明記されていません。AIは、たとえどの文書にも明示的なリンクがなくても、会社の構造に基づいて「モジュールX」が「プロジェクトY」に属していることを理解しなければなりません。研究者たちは、この欠けているスキルを**潜在的組織推論（Latent Organizational Reasoning）**と呼んでいます。それは、日々の業務から生じる断片的な情報から、組織の目に見えないルールを推論する能力のことです。

解決策：ENTLORE、「真実のグラフ」

AIが実際にこれができるかどうかをテストするために、チームはENTLOREと呼ばれる新しいベンチマークを構築しました。想像してみてください。彼らが、ある実在する非公開企業のデジタル履歴全体（数千の文書、組織図、運用ログ）を取り込み、舞台裏に巨大で秘密の「真実のグラフ（Truth Graph）」を構築したところを。このグラフは、厳格に監査されたルールに基づき、あらゆる人物、プロジェクト、モジュールがどのようにつながっているかを正確に把握しているマスター・ブループリント（設計図）のようなものです。

次に、彼らはAIが遊ぶための「公開された世界」を作成しました。この公開された世界には同じ文書が含まれていますが、プライバシーを守るためにすべての名前が変更されています（例：「アリス」を「従業員#42」に、「プロジェクト・アルファ」を「プロジェクト・ベータ」にするなど）。決定的なのは、AIはこの秘密の「真実のグラフ」を見ることはできないということです。AIが見るのは、匿名化された乱雑な文書だけです。

チームは907個の質問を作成しました。彼らはこれらの質問を3つの難易度レベルに分類しました。

レベル1（ルックアップ）： 答えが1つの文書の中に直接存在する。（例：「プロジェクト・ベータのマネージャーは誰ですか？」）
2.レベル2（コンポジション）：答えを得るために2つの文書を読み、事実を組み合わせる必要がある。（例：「モジュールXを構築したチームのマネージャーは誰ですか？」）
レベル3（潜在的推論）： 答えを得るために、明示的にリンクされていない点と点を結びつける必要がある。（例：「プロジェクト・ベータの全体的な成功に責任を持つのは誰ですか？」――たとえ「従業員#42はプロジェクト・ベータの責任者である」という文書がなくても、真実のグラフは、その人物が中のモジュールを管理していたことから、その事実を知っています。）

結果：AIは「読む」ことは得意だが、「つなげる」ことは苦手

研究者たちは、単純なキーワード検索から、人間のように文書を閲覧できる複雑な「エージェント」システムまで、さまざまな手法を用いて8つの異なるAIモデルをテストしました。その結果、以下のことが判明しました。

1. 「隠れた真実」を見つけるのは難しい
答えが文書の中に明示的に書かれていた場合（レベル1およびレベル2）、AIモデルはまずまずの成績を収めました。しかし、レベル3（潜在的推論）に達すると、パフォーマンスは劇的に低下しました。最も優れたモデルであっても、これらの難しい質問に対して正解できたのはわずか**36.2%**でした。

2. 速度よりも構造が重要
研究者たちは、AIが情報を探すのを助けるためのさまざまな方法を試しました。

単純な検索（BM25）： 単に一致する言葉を探す方法。これは驚くほど良好でした。
高密度検索（Flat RAG）： 高度な数学を用いて類似したアイデアを見つける方法。これは単純な検索よりもむしろ成績が悪化しました。
グラフベースのシステム（GraphRAG）： 回答する前に、文書間のつながりのマップを作ろうとするシステム。これが平均して他の手法を上回り、最強のアプローチであることがわかりました。これは、AIが単なる言葉ではなく、会社の「構造」を理解する必要があることを示唆しています。

3. 「ゴールド・ドキュメント」があってもAIは失敗する
最も衝撃的な発見は、研究者がAIに「ゴールド・ドキュメント（正解を含む文書）」を与えたとき、つまり検索プロセスをスキップして、質問に答えるために必要な正確なファイルを直接渡したときに起こりました。

簡単な質問（レベル1）では、AIはほぼすべて正解しました。
中程度の質問（レベル2）でも、依然として良好な成績でした。
しかし、難しい潜在的な質問（レベル3）については、完璧な文書が目の前にあるにもかかわらず、**30.4%**の回答が間違っていました！

これは、問題が単にAIが正しいファイルを見つけられないことにあるのではなく、たとえすべての証拠が手元にあっても、目に見えない組織のルールを推論できないことにあるということを意味しています。それは、探偵に事件現場の写真を与えても、写真の中に「執事と庭師が同一人物である」とは明記されていないために、結局その事実を見落としてしまうようなものです。

なぜこれが重要なのか

この論文は、企業のために単に優れた検索エンジンを作るだけでは不十分であると結論づけています。私たちに必要なのは、組織の「魂」――すなわち、明文化されていないルール、プロジェクトの階層、そして隠れたつながりを理解できるAIです。ENTLOREは、現在のAIが依然としてこの課題に苦戦していることを証明しています。AIは書かれていることを読むことは得意ですが、何が「暗示されているか」について考えることは、まだ学習の過程にあります。

研究者たちは、他の科学者がこのパズルを解けるよう、データとコードを公開しました。AIがこの「潜在的組織推論」をマスターするまで、AIは、ハンドブックの読み方は知っているものの、会社が実際にどのように機能しているのかをまだ理解していない新入社員のような存在であり続けるでしょう。

技術要約：ENTLORE – 潜在的な組織的推論のためのグラフに基づくベンチマーク

問題提起

エンタープライズにおける質問応答（QA）は、伝統的に、システムが内部文書を特定して根拠に基づいた回答を生成する検索タスクとして構成されてきた。しかし、日常的な企業の記録は、将来のクエリリングのために設計された自己完結的な記述というよりも、むしろ「成果物（work-by-products）」としての性質を持つことが多い。その結果、プロジェクトの範囲、エイリアスの対応関係、あるいはワークストリームの責任といった重要な組織的関係の多くは、異種混合のソース間に**暗黙的（implicit）**な形で残っている。

既存のベンチマーク（例：TechQA, EKRAG, MultiDoc2Dial）はマルチソースの評価を向上させてきたが、通常は、既定の推論パスに沿って証拠を具現化している。これらのセットアップでは、必要なステップのすべてがコーパス内に明示的に記載されており、システムには、記載された事実を検索・構成する能力がテストされる。一方で、テキストには存在しないターゲットとなる関係を復元する能力は問われていない。本論文は、現在の評価におけるギャップを特定している。それは、潜在的な組織的推論（latent organizational reasoning）、すなわち、公開されたどの文書にも明示されていないものの、基礎となる組織構造から導き出し得る組織的関係を復元し、推論する能力を評価できないという点である。

手法：ENTLORE フレームワーク

著者らは、評価対象のシステムに対してグラウンドトゥルース（正解）を露出させることなく、この潜在的推論能力を評価するために設計された、グラフに基づくベンチマーク構築フレームワークであるENTLOREを導入する。このフレームワークは、以下の4つのステージで動作する。

監査済み真実グラフ（ $G_{truth}$ ）の再構築:
- システムは、日常的な文書、権威ある組織テーブル、およびオペレーショナル・トレースから、生のグラフ（ $G_{raw}$ ）を再構築する。
- 派生した関係を認定するために、バージョニングされた組織的慣習（organizational conventions）（プライベートで型付けされた推論ルール）が適用される。例えば、「ある人物があるモジュールに従事していれば、その人物はそのモジュールを含むプロジェクトに従事している」と推論するルールなどが挙げられる。
- 結果として得られる真実グラフは、ネイティブな事実、メタデータ、ヒューリスティックな関連性、および認定された派生関係を分離して保持する。
プライバシー保護型のコーパス投影:
- 共有された匿名化マップ（ $\phi$ ）が、プライベートな世界を公開ドキュメントコーパス（ $D_{release}$ ）へと投影する。
- このプロセスにより、相対的な組織構造、ジャンル、および情報の密度を維持したまま、エンティティの一貫した名称変更と日付のシフトが行われる。
- 決定的なのは、 $D_{release}$ にはターゲットとなる関係の明示的な記述が一切含まれていないことである。プライベートな組織記録、認定ルール、および真実グラフは、評価対象のシステムからは隠蔽されたままである。
質問の構築と能力の分解:
- 質問は、 $G_{truth}$ からサンプリングし、クエリを実行し、証明の依存関係を記録する型付きグラフオペレータを介して生成される。
- 本ベンチマークは、証拠の可用性に基づき、907個の質問を3つの難易度レベルに分類している：
  - L1 (Stated Lookup / 明示的検索): 回答が単一の公開ドキュメント内に明示的に記載されている。
  - L2 (Stated Composition / 明示的構成): 回答を得るために、複数の公開ソースに明示的に記載された事実を構成する必要がある。
  - L3 (Latent Organizational Reasoning / 潜在的組織的推論): ターゲットとなる関係が、公開されたソースのいずれにも出現しない。それは $G_{truth}$ にのみ存在し、分散した観察事項から暗黙の組織構造を推論することによって復元されなければならない。
検証:
- すべての質問について、グラフプログラムが唯一かつ完全な回答を返し、派生が認定されていることを確認する。
- L3の項目については、リリース範囲全体のスキャンを行い、ターゲットとなる関係がすべての公開エンティティ・エイリアスから欠落していることを確認する。

主な貢献

潜在的組織的推論の定式化: 本論文は、システムがヘテロジニアスな根拠となる事実を組み合わせ、明示的に述べられていない組織固有の関係を復元するという新しい能力を定義した。
監査済み真実グラフの構築: 実在のエンタープライズ文書と権威あるテーブルから、ネイティブな事実と認定された派生関係を分離してベンチマークを構築するフレームワーク。
ENTLORE ベンチマーク: 2,341個のドキュメントと907個の質問（L1が469、L2が204、L3が234）を含み、56のモデルおよびアクセス構成に対して評価されたデータセット。
アクセス・パラダイムの評価: クローズドブック、レキシカル検索（BM25）、フラットな高密度検索（RAG）、エージェンティック・パイプライン、およびグラフベースのアプローチ（GraphRAG, LLM Wiki）を、潜在的推論の課題に対して包括的に比較するマトリクス。

実験結果

評価は、8つのモデル（GPT-5.4、Claude-Sonnet、Qwen、DeepSeekを含む）と7つのアクセス条件にわたって行われた。

明示的証拠に対する性能 (L1/L2): システムは、明示的な検索および構成において合理的なパフォーマンスを示す。GraphRAG、BM25、およびLLMによってコンパイルされたWikiがトップ層を形成し、精度は約50%から63%の範囲にある。フラットなRAGおよびエージェンティックな検索は、これらの構造化された手法やレキシカルなベースラインよりも一般に低パフォーマンスである。
潜在的推論に対する性能 (L3): すべての構成において性能が大幅に低下する。
- GraphRAG は、L3の平均精度で 36.2% という最高値を達成し、次いでBM25 (34.0%)、LLM Wiki (27.7%) と続く。
- フラットなRAG (18.9%) とエージェンティックな検索 (13.5%) は極めて低く、構造的帰納なしでの反復的なインタラクションは、潜在的な関係の復元には役立たないことを示唆している。
- 性能の差は非常に不均一であり、GraphRAGは「部門属性（Department attribution）」タスクではBM25を大幅に上回るが、「包含属性（Containment attribution）」においてはその優位性が小さくなる。
ゴールド・ドキュメント残差: すべての必要な証拠を含む正確な「ゴールド・ドキュメント」を（Oracleエージェント $\Omega$ を通じて）提供した場合でも、L3の質問の 30.4% が未回答のまま残った。これはL1の12.6%、L2の6.2%と比較して高い。この残差は、失敗の原因が単なるドキュメントの検索（再現率）の問題ではなく、前提条件が揃っていても必要な組織的導出を行う能力の欠如に起因することを示している。
リリース・フィデリティ（公開の忠実度）: プライベートな世界と公開された世界の間で行われた176組のペア分析によれば、オラクル構成の粗いランキングは維持されているものの、展開可能なシステムの微細な順序付けは変化している（Spearmanの $\rho = 0.71, p=0.06$ ）。著者らは、リリースはグループレベルの比較には有効であるが、匿名化されたテキストの表面に敏感なレキシカルな手法にとって、微細なランキングについては暫定的なものであると結論付けている。

意義と主張

本論文は、エンタープライズQAがドキュメントの想起（Recall）だけでなく、暗黙的な組織的関係が利用可能になるかに決定的に依存していると主張している。

検索を超えて: 結果は、ゴールド・ドキュメントを提供しても潜在的な推論問題が解決されないことを示している。「潜在的関係の課題」は、検索エラーが排除された後でも存続する。
構造を第一級オブジェクトとして扱う: この知見は、エンタープライズQAシステムが、ドキュメントの背後にある組織を第一級の推論オブジェクトとして扱い、分散したソースから型付きの関係を復元し、多段階の推論を通じてプロベナンス（由来）を保持しなければならないことを示唆している。
ベンチマークの有用性: ENTLOREは、タスクを単純なドキュメント検索に還元することなく、組織的推論の進展を測定するためのテストベッドを提供する。ベンチマークの真実を非公開としつつ、その前提条件を監査可能にすることで、暗黙の構造を推論できるシステムを評価することを可能にしている。

著者らは、リリース・フィデリティに関して謙虚な姿勢を崩しておらず、ベンチマークが広範なグループの比較的な振る舞いを維持している一方で、レキシカルな検索手法の匿名化されたテキストへの敏感さゆえに、展開可能なシステムの具体的なランキングは変動する可能性があると述べている。彼らは、本ベンチマークが、現実のエンタープライズデータの「成果物」としての性質を扱うことができるシステムを評価するための一歩であることを強調している。