💻 computer science

Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows

本文介绍了 Trajel，这是一个数据集和评估框架，通过对五种不同的失败类型进行分类，对多智能体工业工作流中的轨迹级幻觉进行审计，证明了现有基准测试忽略了关键的中间错误，并表明基于分类学且具备轨迹感知能力的检测对于更安全的智能体部署至关重要。

原作者： Harshada Badave, Santosh Borse, Andrea Gomez, Harshitha Narahari, Sara Carter, Vishwa Bhatt, Aishani Rachakonda, Shuxin Lin, Dhaval Patel

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Harshada Badave, Santosh Borse, Andrea Gomez, Harshitha Narahari, Sara Carter, Vishwa Bhatt, Aishani Rachakonda, Shuxin Lin, Dhaval Patel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一支专家机器人团队来修理工厂里的一台复杂机器。你不仅仅要求他们提供最终的维修报告，而是全程观察他们的操作过程：他们如何思考、拿起什么工具、看到了什么，以及彼此之间如何交流。

这篇名为Trajel的论文，旨在捕捉这些机器人在工作过程中开始“做梦”（产生幻觉）的时刻，而不仅仅是在它们给出错误最终答案时。

以下是用简单类比对这篇论文的拆解：

1. 问题所在：“最终答案”陷阱

目前大多数针对人工智能的测试，就像只通过阅读最后一句话来给学生的作文打分。如果结论看起来不错，学生就能得 A。但如果学生在第二段编造了事实，在第三段跳过了整整一个步骤，或者在第四段与错误的老师交谈了呢？

在现实世界中，工业机器人（智能体）不仅仅是写文章；它们执行多步骤任务，如检查传感器或订购零件。如果机器人跳过了安全检查，或与错误的系统交谈，它仍可能给出一个“看起来正确”的最终答案，但机器可能依然会损坏。该论文认为，我们需要审计整个旅程（轨迹），而不仅仅是目的地。

2. 新工具：“幻觉分类法”

作者们创造了一种新方法，用于对机器人如何产生困惑进行分类。他们称之为分类法（Taxonomy，即分类系统的 fancy 说法）。他们发现了机器人在工作时“做梦”的五种具体方式：

事实性（说谎者）： 机器人说：“温度是 100 度”，但传感器实际显示的是 20 度。它在编造数据。
指代性（幽灵）： 机器人说：“我刚刚检查了蓝色阀门”，但它从未检查过蓝色阀门。它在回忆从未发生过的事情。
逻辑性（困惑者）： 机器人说：“机器很热，所以我应该打开加热器。”即使事实正确，逻辑也是错误的。
程序性（跳过者）： 机器人说：“我完成了工作”，但实际上它跳过了必须验证油压的步骤。它在假装做它并未完成的工作。
范围性（冒牌货）： 机器人说：“我修好了引擎”，但它实际上是一个只设计用来检查轮胎的机器人。它在做它未被雇佣去做的工作。

关键发现： 论文发现，在机器人出错的近一半时间里，它们是同时犯下多种此类错误的。这不仅仅是单一的错误，而是一连串的连锁反应。

3. 数据集："Trajel"

为了研究这个问题，研究人员建立了一个庞大的库，名为Trajel。

里面有什么？ 225 份详细的记录，记录了机器人尝试修理工业机器（如冷却系统）的过程。
谁进行了核查？ 他们并没有仅仅使用另一款人工智能来检查工作。他们让人类专家（如高级工程师）阅读机器人思维过程的每一个步骤，以找出错误所在。
结果： 他们发现，机器人的失败率比我们想象的要高得多（根据机器人模型的不同，失败率在 52% 到 81% 之间），而且如果只看最终结果，许多此类失败是看不见的。

4. 侦探工作：AI 能抓住 AI 吗？

研究人员尝试构建计算机程序（检测器）来自动发现这些错误。

好消息： 简单的检查对于明显的谎言（事实性）或跳过的步骤（程序性）很有效。
坏消息： 检测器在捕捉“幽灵”（指代性）和“困惑”（逻辑性）错误方面表现极差。即使是先进的人工智能也难以分辨机器人是在回忆未发生过的事情，还是其逻辑发生了扭曲。
意外的赢家： 最好的“检测器”并非复杂的 AI 模型。它是一个简单的清晰度检查。如果机器人的推理听起来清晰且有理有据，它通常就是正确的。如果机器人的说法含糊不清，或者无法解释它为什么这样做，那么它几乎肯定是在产生幻觉（94% 的情况下）。

5. 为什么这很重要

该论文得出结论，我们不能仅仅信任工业机器人给出的最终答案。我们需要建立“安全网”，实时监视机器人的整个思维过程。

如果机器人开始跳过步骤（程序性）或谈论它并不拥有的工具（指代性），系统需要立即将其停止，而不是等到机器损坏。该论文提供了第一套工具和规则，以帮助我们在工业自动化的未来构建这些安全网。

简而言之： 过去我们只检查机器人是否完成了工作。现在，多亏了 Trajel，我们知道需要观察它如何思考、记住了什么以及与谁交谈，因为真正的危险就藏在那里。

技术摘要：超越最终答案：审计多智能体工业工作流中的轨迹级幻觉

1. 问题陈述

从静态大语言模型（LLM）向自主智能体系统的转变引入了一种关键的故障模式：轨迹级幻觉。现有的基准测试（如 TruthfulQA、AgentBench）主要将幻觉评估为最终输出中的“一次性”事实错误，却未能捕捉多智能体工作流中顺序化、工具介导的**思维 - 行动 - 观察（TAO）**循环内发生的偏差。

在数据中心监控等工业场景（特别是AssetOpsBench框架内），幻觉不仅仅是一个错误的答案；它是从证据出发的结构性偏差，并在智能体循环中传播。这些偏差可能表现为程序性跳过、对前序步骤中实体的错误引用，或超出智能体授权范围的越权行为。当前的评估范式将实例视为孤立的输入 - 输出对，无法诊断系统失败是由于对环境理解不足，还是由于虚构了不存在状态所致。此外，交互式循环中幻觉的定义常与逻辑错误或工具执行失败混淆，缺乏诊断分析所需的细粒度。

2. 方法论

作者引入了Trajel，这是一个旨在审计多智能体工业工作流中轨迹级幻觉的数据集和评估框架。该方法论围绕四个核心组件构建：

A. 轨迹结构与形式化

工作流被建模为一个复合 AI 系统 $\Phi = (M, C, T_{tool})$ ，其中 $M$ 代表 LLM 驱动的智能体， $C$ 是编排器， $T_{tool}$ 是工具集。执行过程表现为一系列步骤 $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$ ，其中 $\tau_t$ 是思维， $\alpha_t$ 是行动， $\omega_t$ 是观察。轨迹 $T$ 是这些步骤的有序记录。

B. 轨迹感知幻觉分类法

本文将幻觉定义为 TAO 记录上的结构性谓词，分为五种不同类型：

事实性（ $h_F$ ）： 与当前步骤的基准真值数据相矛盾的断言。
指代性（ $h_R$ ）： 引用轨迹历史中不存在的实体或先前结果（模型“记住”了从未发生过的事情）。
逻辑性（ $h_L$ ）： 即使前提正确，推理过程也不遵循其前提。
程序性（ $h_P$ ）： 跳过、重排或编造任务规范要求的步骤，或声称完成了不存在的步骤。
范围性（ $h_S$ ）： 智能体在其特定操作授权范围之外行动或断言（多智能体环境特有）。

C. 数据集构建（Trajel）

该数据集包含225 条专家标注的智能体轨迹，生成于6 种模型配置和42 项工业 AssetOps 任务之间。

标注协议： 采用混合方法以减轻偏差。轨迹首先由LLM 作为裁判进行评估，随后由两所机构（IBM 和哥伦比亚大学）进行盲审，评审人员无法访问 LLM 的判断结果。
标签： 标注内容包括幻觉是否存在、类型（多标签）、在记录中的位置（思维、行动、观察、响应）以及自由文本理由。
统计： 人工识别的幻觉率为68.3%，自动化判断与人工判断之间的 Cohen's $\kappa$ 为0.456。值得注意的是，**48.7%**的幻觉轨迹同时表现出多种类型。

D. 检测建模框架

作者基准测试了三种监督检测范式，以应对不同的上下文需求：

子任务级分类（BERT）： 在单个步骤（ $\tau_t, \alpha_t, \omega_t$ ）上运行，检测局部线索（对事实性幻觉有效）。
轨迹级自然语言推理（NLI）： 将检测视为蕴含问题，其中轨迹历史为前提，当前步骤为假设（针对指代性和逻辑性幻觉）。
长上下文建模（Longformer）： 摄入完整的序列化轨迹，以检测全局结构性违规，如程序性和基于范围的幻觉。

E. 信号分析

本研究调查了在执行期间或执行后立即可观察到的执行质量信号（任务完成度、数据检索准确性、结果验证、智能体序列正确性以及清晰度与理由），以确定其对幻觉的预测能力。

3. 关键结果

A. 普遍性与分类法

程序性幻觉是最常见的故障模式，占已识别故障的38.5%。这些在仅针对输出的评估中是不可见的。
多标签复杂性： 近一半（48.7%）的幻觉轨迹同时涉及多种类型，验证了采用多标签公式而非单标签分类的必要性。
模型差异： 不同模型的幻觉率差异巨大，范围从52.4%到81.0%，表明不同架构在长视野下保持 grounded（ grounded 指基于事实/依据）的能力存在显著差异。

B. 检测性能

LLM 作为裁判： 虽然实现了较高的二元准确率（F1 = 0.855），但该裁判系统性地误分类了细微类型。对于逻辑性（ $\kappa = 0.211$ ）和指代性（ $\kappa = 0.176$ ）幻觉，其与人工的一致性显著下降。
监督模型： 微调模型（BERT、NLI、Longformer）优于多数类基线，但未能匹配零样本 LLM 裁判的 F1 分数。表现最佳的监督模型（NLI）实现了0.689的 ROC-AUC，证实轨迹级幻觉检测对于当前分类器而言仍是一个未解决的挑战。
定位： 幻觉最常定位于行动（程序性幻觉的 47.5%）和响应（事实性幻觉的 40.3%），表明失败通常发生在将推理转化为工具调用或输出断言的过程中。

C. 预测信号

研究确定**清晰度与理由（CJ）**是幻觉最强的单变量预测因子。

缺乏清晰、基于事实推理的轨迹，其幻觉率高达94.3%，而高清晰度轨迹的幻觉率仅为9.1%。
仅凭 CJ 信号即可实现0.908的 AUC，显著优于最佳训练分类器（NLI，AUC = 0.689）。
当清晰度和结果验证均缺失时，幻觉率达到97.1%，表明这些信号可作为智能体编排器有效的“紧急停止”条件。

4. 意义与主张

本文主张，轨迹感知检测显著优于标准的事后验证，使得基于分类法的评估对于更安全的智能体部署变得必要。

评估转变： 该工作认为，从二元的“最终答案”验证转向对智能体轨迹的结构性分析至关重要。当前静态基准测试的范式无法捕捉智能体循环的时间性和交互性动态。
诊断价值： 五种类型的分类法将 grounded 失败与推理错误及控制流违规区分开来，提供了诊断偏差在轨迹中何处开始所需的细粒度。
实践路径： 研究结果表明，基于执行质量信号（特别是清晰度与理由）的轻量级运行时监控，比在有限的轨迹数据上训练复杂的监督分类器，为实现实时幻觉检测提供了更实用和有效的路径。
局限性： 作者承认数据集仅限于单一工业领域（AssetOpsBench）和六种模型配置。对于最细微的类型（逻辑性和指代性），标注者间的一致性仍处于中等水平，表明需要更丰富的标注协议。监督分类器性能与 LLM 裁判性能之间的差距，激发了未来关于混合架构的研究工作。

总之，Trajel 提供了首个用于审计多智能体工业工作流中轨迹级幻觉的系统框架，证明了程序性和基于范围的失败普遍存在、经常并发发生，并且需要尊重智能体执行轨迹结构完整性的评估方法。