🤖 AI

GroundEval: A Deterministic Replacement for LLM-as-Judge in Stateful Agent Evaluation

GroundEval 是一个确定性的、无需裁判者的框架，它通过针对特定失效模式（沉默、视角和反事实）验证有状态智能体的工具使用和证据获取情况，从而揭示传统 LLM-as-Judge 指标往往会忽略的关键推理缺陷。

原作者： Jeffrey Flynt

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Jeffrey Flynt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名侦探来破解谜案。在过去，你只关心最终报告：“他们破案了吗？”如果侦探说：“是管家干的，”而事实也确实如此，你会给他们一颗金星。

但如果侦探是通过偷看了一本他们不被允许触碰的锁着的日记才破案的呢？或者如果他们是通过阅读一份来自下周的报纸才破案的呢？答案在技术上是“正确”的，但侦探违反了游戏规则。

GROUNDEVAL 是一个旨在捕捉这类“违规者”的新系统。它不仅测试 AI 智能体（聪明的计算机程序）回答了什么，还测试它们是如何找到答案的。

以下是它的工作原理，使用简单的类比进行说明：

问题所在：“看似合理的谎言”

目前的 AI 测试方法通常使用另一个 AI 作为“裁判”。这个裁判阅读侦探的最终故事，并评价说：“这听起来很聪明且合乎逻辑！”

这篇论文指出其中存在一个重大缺陷：裁判会被欺骗。

场景： 一个 AI 智能体被问到：“摩根在 3 月 5 日是否知道这项风险？”
诡计： 智能体回答“是”。这听起来很合理。一个阅读这个故事的人（或另一个 AI）可能会给它一个很高的分数（0.85 分，满分 1.0）。
现实： 智能体实际上使用了在 3 月 12 日（一周后）创建的文件来做出这个判断。它还查看了一个摩根不被允许查看的文件。
结果： 这个答案在现实世界中是“真实”的，但在游戏中是“非法”的。智能体作弊了。传统的裁判会错过这一点，因为它们只阅读故事，而不看侦探的笔记本。

解决方案：“黑盒”检查员

GROUNDEVAL 不仅仅阅读最终的故事。它扮演着一名严格的审计员，检查侦探留下的整个面包屑轨迹。

它不再问“这听起来好吗？”，而是问：

你是否在正确的地方寻找？（你是否搜索了正确的文档？）
你是否在正确的时间查看？（你使用的信息在被询问之前是否存在？）
你是否有权查看这些内容？（你是否偷看了属于其他人的文件？）

它将这些问题转化为一种确定性测试。这意味着结果不是一种猜测或感觉；它是基于规则的、在数学上保证的通过或失败。

三个“轨道”（作弊类型）

该论文识别了智能体作弊的三种特定方式，称之为“轨道”：

“时空旅行者”（视角轨道）：
- 类比： 想象一个学生在 1990 年参加历史考试。如果他利用 2020 年才发现的事实来回答问题，即使该事实是真实的，他也是在作弊。
- 测试： 智能体是否使用了尚未存在的信息，或者是来自不同人的私人日记的信息？
“巧合猎人”（反事实轨道）：
- 类比： 一名侦探说：“火灾是因为猫撞倒了花瓶引起的。”但猫是在火灾发生之后才撞倒花瓶的。侦探混淆了事件发生的先后顺序。
- 测试： 智能体是证明了真实的因果关系，还是仅仅看到两件事在时间上接近发生，就假设其中一件导致了另一件？
“懒惰调查员”（沉默轨道）：
- 类比： 侦探说：“我检查了厨房没找到钥匙，所以钥匙不存在。”但他们从未检查过卧室、车库或阁楼。
- 测试： 如果智能体说“不，那件事没有发生”，它是否真的检查了它应该检查的每一个地方？如果它只看了一个抽屉并说“这里什么也没有”，那么它就失败了。

如何评分

GROUNDEVAL 提供两个分数：

答案分数： 他们得到正确的结果了吗？
轨迹分数： 他们是通过遵守规则的方式得到答案的吗？

如果一个智能体得到了正确答案但作弊了（比如看了未来的报纸），其轨迹分数就会降为零。系统随后会应用“合规性惩罚”。如果一个智能体经常违反规则，无论其回答听起来多么聪明，它的最终得分都会被大幅削减。

为什么这很重要

论文认为，对于在真实公司中工作（处理电子邮件、代码或客户数据）的 AI 智能体来说，了解规则与了解事实同样重要。

如果一个 AI 智能体被允许进行“幻觉式”搜索或窥探不该看的数据，它今天可能会给出一个正确的答案，但明天它可能会意外泄露首席执行官的私人邮件，或者利用未来的数据做出错误的财务决策。

简而言之： GROUNDEVAL 防止我们去赞美那些“靠运气”或“靠作弊”成功的 AI。它迫使 AI 证明它是诚实地完成了工作，并且仅使用了它被允许接触的工具和信息。

技术摘要：GroundEval

1. 问题定义：状态无效的正确性 (State-Invalid Correctness)

当前针对大语言模型（LLM）智能体（Agent）的评估方法，特别是“LLM 作为评委”（LLM-as-Judge）的方法，主要关注最终答案的合理性和正确性。然而，对于在企业环境中运行（访问日志、CRM、代码仓库和角色权限受限数据）的有状态智能体而言，仅有正确性是不够的。智能体可能会给出一个事实正确的答案，但其推导过程却违反了任务的状态约束。

论文将这种失效模式定义为 状态无效的正确性 (State-Invalid Correctness)：即响应的最终答案符合预期的世界状态，但用于推导该答案的证据路径违反了以下方面的约束：

可见性 (Visibility)： 访问了超出执行者角色或子系统权限的数据。
时间边界 (Temporal Boundaries)： 使用了在问题设定的“截至时间”（as-of time）之后生成的制品（Artifacts）。
搜索完整性 (Search Completeness)： 在未按要求搜索必要仓库的情况下，声称不存在相关证据。
因果落地 (Causal Grounding)： 基于时间上的邻近性而非经过验证的事件链接来推断因果关系。

LLM 评委难以检测到这些失效，因为它们缺乏确定性验证某个制品在特定时间对执行者是否可见所需的机器可检查的状态契约（包括访问策略、事件日志和制品时间戳）。

2. 方法论：GroundEval 框架

GroundEval 是一个确定性的、无需评委（judge-free）的框架，它根据机器可读的地面真值契约 (Ground-Truth Contract) 对智能体进行评估。它不依赖于思维链（CoT）内省或评委模型的推理过程。

核心组件

该框架通过四个输入生成一个 地面真值契约：

事件日志 (Event Log)： 一个包含执行者、制品和事件类型的带时间戳流。
制品语料库 (Artifact Corpus)： 可用于检索的文档或记录。
访问策略 (Access Policy)： 定义每个执行者/角色的子系统可见性和时间边界的规则。
评估配置 (Evaluation Configuration)： 关于因果链接、沉默对（预期缺失项）和问题模板的规范。

基于此契约，系统生成 问题契约 (Question Contracts) 和 预期答案模式 (Expected Answer Schemas)。智能体在两种模式之一下接受评估：

上下文模式 (Context Mode)： 智能体接收一个预过滤的上下文窗口，必须提交带有明确 evidence_artifacts 引用的结构化答案。
工具模式 (Tool Mode)： 智能体与一个受限的运行时环境交互，该环境在执行 fetch 或 search 调用时强制执行访问约束，并记录完整的工具使用轨迹（Trace）。

评估维度 (Evaluation Tracks)

GroundEval 针对三个特定的失效类别，每个类别都有专门的维度：

视角 (Perspective)： 测试智能体是否尊重执行者在特定时间所能获知的信息（检查是否存在时间泄露和权限违规）。
反事实 (Counterfactual)： 测试智能体是否利用显式的连接条件（例如工单 ID）来识别有效的因果关系，而非仅仅依赖时间上的邻近性。
沉默 (Silence)： 测试智能体在声称某事未发生之前，是否通过搜索必要的空间来验证其不存在。

评分机制

GroundEval 采用 双重评分模型 (Dual Score Model)：

答案得分 ( $S_{answer}$ )： 衡量结构化最终答案是否与地面真值匹配。
轨迹得分 ( $S_{traj}$ )： 衡量智能体的证据路径（搜索、获取、引用）是否保持在状态契约之内。

两者结合形成 合规调整得分 ( $S_{adj}$ )：
$S_{adj} = (w_a \cdot S_{answer} + w_t \cdot S_{traj}) \cdot (1 - v)^2$
其中 $v$ 是违规率（涉及执行者门控、子系统或时间界限的违规）。该二次方惩罚项确保了高答案准确率无法补偿高频率的治理违规。

3. 主要贡献

确定性评估契约： 一个从事件日志和访问策略中派生出问题契约和答案模式的框架，无需评委模型，使正确性信号具备独立的可审计性。
带有违规调整的双重评分： 一种能够区分“真实答案”与“通过有效路径获得的答案”的评分模型，对于即使最终输出正确但违反了状态约束的智能体进行惩罚。
形式化确定性： 保证在相同的契约和轨迹下得分是确定性的，使该框架能够作为模型版本和提示词变更之间的回归门禁（Regression Gate）。
三个可复用的维度： 针对视角、反事实和沉默失效提供了具体的评估协议，解决了当前轨迹评估中的盲点。

4. 实验结果

该框架通过 OrgForge（一个生成确定性地面真值的模拟框架）进行了验证。评估涵盖了三个维度（视角、反事实、沉默）下的 96 个问题，并使用了 DeepSeek-V4-Pro 智能体。

关键发现：

评委差距 (The Judge Gap)： 在一个案例研究中，两个前沿 LLM 评委（Kimi-K2.6 和 ChatGPT-5.5）将一个看似合理但无效的智能体响应分别评为 0.90 和 0.85。而 GroundEval 对该响应的评分结果为：答案得分为 0.000（因为要求的制品从未被获取）且轨迹得分为 0.273，从而暴露了无效的证据路径。
视角失效 (Perspective Failures)： 智能体经常混淆物理出席情况与基于角色的子系统访问权限，导致虽然答案得分较高，但由于执行者门控违规导致轨迹得分显著下降。
反事实失效 (Counterfactual Failures)： 智能体往往依赖表面主题相似性而非结构化连接条件（如工单 ID），导致产生了错误的因果主张；这类错误虽未被最终答案评分捕捉，但被轨迹分析识别了出来。
零样本基准 (Zero-Shot Baseline)： 智能体在零样本条件下（无工具访问）仍能获得非零的答案得分，这表明部分问题可以通过表面措辞来回答，从而凸显了严格控制问题生成的必要性。

5. 意义与主张

论文声称，“合理”与“有效”之间的差距并非罕见的边缘案例，而是当前智能体评估中的一个根本性盲点。GroundEval 断言，对于有状态智能体而言，证据路径本身就是答案的一部分。

这项工作的意义在于将评估从 结果监督 (Outcome Supervision)（模型是否得到了正确答案？）转向 过程监督 (Process Supervision)（模型是否通过有效的状态路径达到了答案？）。通过使状态契约变得显式且可评分，GroundEval 提供了一种机制，能够检测出 LLM 评委（由于依赖语义合理性）在结构上无法捕捉到的“状态无效的正确性”。该框架旨在跨模型版本和领域进行复用，作为智能体开发的确定性回归门禁。