技術サマリー: GroundEval

1. 問題点: 状態無効な正当性 (State-Invalid Correctness)

現在のLLMエージェントの評価手法、特に「LLM-as-Judge（審判としてのLLM）」アプローチは、主に最終回答の妥当性と正確性に焦点を当てています。しかし、エンタープライズ環境（ログ、CRM、コードリポジトリ、ロールに基づいたデータへのアクセスなど）で動作するステートフルなエージェントにとって、正当性だけでは不十分です。エージェントは、事実として正しい回答を生成しながらも、タスクのステート制約に違反することがあります。

本論文では、この失敗モードを**「状態無効な正当性（State-Invalid Correctness）」**と定義しています。これは、最終回答が期待される世界のステートと一致していても、その回答を導き出すために使用されたエビデンス・パス（証拠経路）が、以下の制約に違反している状態を指します：

• 可視性 (Visibility): アクターのロールやサブシステム権限の範囲外のデータにアクセスすること。
• 時間的境界 (Temporal Boundaries): 質問の「時点（as-of time）」よりも後に作成されたアーティファクトを使用すること。
• 検索の完全性 (Search Completeness): 必要なリポジトリを検索することなく、証拠の不在を主張すること。
• 因果的根拠 (Causal Grounding): 検証されたイベント間のリンクではなく、単なる時間的な隣接性に基づいて因果関係を推論すること。

LLM審判は、アクターが特定の時点でアーティファクトを閲覧可能であったかを決定論的に検証するために必要な「マシン検証可能なステート契約（アクセス・ポリシー、イベントログ、アーティファクトのタイムスタンプ）」にアクセスできないため、これらの失敗を検出することが困難です。

2. 手法: GroundEvalフレームワーク

GroundEvalは、マシン読み取り可能なグラウンドトゥルース（正解）契約に対して、エージェントを評価する決定論的かつ審判（Judge）を必要としないフレームワークです。これは、思考の連鎖（Chain-of-Thought）による内省や、審判モデルによる根拠（Rationale）には依存しません。

コア構成要素

本フレームワークは、以下の4つの入力から**「グラウンドトゥルース契約」**を生成します：

1. イベントログ: アクター、アーティファクト、およびイベントタイプのタイムスタンプ付きストリーム。
2. アーティファクト・コーパス: 検索可能なドキュメントまたはレコード。
3. アクセス・ポリシー: アクター/ロールごとのサブシステム可視性と時間境界を定義するルール。
4. 評価設定: 因果関係のリンク、サイレンス・ペア（期待される不在）、および質問テンプレートの仕様。

この契約から、システムは**「質問契約（Question Contracts）」と「期待される回答スキーマ（Expected Answer Schemas）」**を生成します。エージェントは以下の2つのモードのいずれかで評価されます：

• コンテキスト・モード (Context Mode): エージェントは事前フィルタリングされたコンテキスト・ウィンドウを受け取り、明示的な evidence_artifacts 引用を含む構造化された回答を提出しなければなりません。
• ツール・モード (Tool Mode): エージェントは、fetch または search コールの時点でアクセス制約を強制するゲート付きのランタイムと対話し、ツール使用の全トレースを記録します。

評価トラック

GroundEvalは、それぞれ専用のトラックを持つ3つの特定の失敗クラスを対象としています：

1. パースペクティブ (Perspective): エージェントが、特定時点においてアクターが知り得た情報を尊重しているかをテストします（時間的リークや権限違反のチェック）。
2. カウンターファクチュアル (Counterfactual): エージェントが、（例：チケットIDなどの）明示的な結合条件を用いて、有効な因果関係を特定できるかをテストします。
3. サイレンス (Silence): エージェントが、何かが起こらなかったと主張する前に、必要なスペースを検索して不在を確認するかどうかをテストします。

スコアリング・メカニズム

GroundEvalは、デュアル・スコア・モデルを採用しています：

• 回答スコア ($S_{answer}$): 構造化された最終回答がグラウンドトゥルースと一致しているかを測定します。
• 軌跡スコア ($S_{traj}$): エージェントのエビデンス・パス（検索、フェッチ、引用）がステート契約内に留まっていたかを測定します。

これらは、コンプライアンス調整済みスコア ($S_{adj}$) として以下のように結合されます：
$$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$$
ここで、$v$ は違反率（アクター・ゲート、サブシステム、またはホライゾン違反）です。この二次関数的なペナルティにより、高い回答精度が、高いガバナンス違反率を相殺できないようにしています。

3. 主な貢献

1. 決定論的な評価契約: イベントログとアクセス・ポリシーから質問契約と回答スキーマを導出するフレームワークであり、審判モデルを必要とせず、正解のシグナルを独立して監査可能にします。
2. 違反調整を伴うデュアル・スコアリング: 「正しい回答」と「妥当な経路で到達した回答」を区別し、たとえ最終出力が正しくても、ステート制約に違反したエージェントにペナルティを与えます。
3. 決定論の形式化: 同一の契約とトレースに対してスコアが決定論的であることを保証し、モデルバージョンやプロンプト変更に対する回帰ゲートとして機能させます。
4. 再利用可能な3つのトラック: パースペクティブ、カウンターファクチュアル、サイレンスの失敗に対処する、具体的な評価プロトコルを提供します。

4. 実験結果

本フレームワークは、決定論的なグラウンドトゥルースを生成するシミュレーション・フレームワークである OrgForge を用いて検証されました。評価は、3つのトラック（Perspective, Counterfactual, Silence）にわたる96の質問と、DeepSeek-V4-Proエージェントを用いて行われました。

主な知見:

• 審判のギャップ (The Judge Gap): ケーススタディにおいて、2つの最先端LLM審判（Kimi-K2.6 および ChatGPT-5.5）は、妥当ではあるが無効なエージェントの回答に対し、それぞれ0.90および0.85とスコア付けしました。一方、GroundEvalは同じ回答に対し、回答スコアを 0.000（必要なアーティファクトが一度もフェッチされなかったため）、軌跡スコアを 0.273 と判定し、無効なエビデンス・パスを露呈させました。
• パースペクティブの失敗: エージェントは、物理的な出席とロールベースのサブシステム・アクセスを混同することが頻繁にあり、その結果、高い回答スコアを得ながらも、アクター・ゲート違反による大幅な軌跡ペナルティを受けました。
• カウンターファクチュアルの失敗: エージェントは、構造的な結合条件（例：チケットID）ではなく、表面的なトピックの類似性に依存することが多く、最終回答のスコアリングでは検出されないものの、軌跡分析によってフラグが立てられる誤った因果関係の主張を導きました。
• ゼロショット・ベースライン: ツールアクセスなしのゼロショット条件下でも、エージェントは非自明な回答スコアを獲得しました。これは、一部の質問が証拠の検索ではなく、表面的な言い回しによって回答可能であることを示唆しており、厳格な質問生成制御の必要性を浮き彫りにしました。

5. 意義と主張

本論文は、「妥当（plausible）」と「有効（valid）」の間のギャップは、稀なエッジケースではなく、現在のエージェント評価における根本的な盲点であると主張しています。GroundEvalは、ステートフルなエージェントにとって、**「エビデンス・パスこそが回答の一部である」**と断言しています。

本研究の意義は、評価を「アウトカム（結果）の監督（モデルは正しい答えに到達したか？）」から、「プロセス（過程）の監督（モデルは有効なステート・パスを経由して答えに到達したか？）」へとシフトさせたことにあります。ステート契約を明示的かつスコア化可能なものにすることで、GroundEvalは、意味的な妥当性に依存するLLM審判では構造的に捉えることができない「状態無効な正当性」を検出するメカニズムを提供します。このフレームワークは、モデルのバージョンやドメインを問わず再利用可能であり、エージェント開発における決定論的な回帰ゲートとして設計されています。