🤖 AI

CockpitHAT: Dependency-Graph-Driven Hierarchical Attribution for Embodied Multi-Agent Cockpits

本文介绍了 CockpitHAT，这是一个利用依赖图、多通道证据和安全感知评估来有效诊断具身多智能体驾驶舱系统过程级故障的分层归因框架，其在公开及新发布的基准测试上均优于现有的仅基于文本的方法。

原作者： Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Wang, Shuanghe Liu, Zhu Zhuo, Jiaqi Zhong, Xiaozhao Zhao, Xiaojie Zuo, Jie Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察一群机器人协作驾驶汽车。它们彼此交谈、查看地图并决定何时转动方向盘。这就是多智能体系统（multi-agent systems）的世界：由一群 AI“智能体”协作解决问题。但棘手的部分在于：有时这些机器人虽然到达了最终目的地，但它们的行驶路径却极其糟糕且危险。也许它们为了避开一个水洼而差点撞上墙壁，或者因为误解了一个笑话而关掉了车灯。这被称为“正确性崩溃”（Correctness Collapse）。这就像一个学生在数学考试中拿了“A”，因为他们猜对了答案，但他们的解题过程却显示他们已经忘记了如何做加法。对于汽车而言，仅仅猜对答案是不够的；过程也必须是安全的。

为了解决这个问题，科学家们需要扮演侦探的角色。他们需要观察机器人的对话，并弄清楚究竟是谁犯了错，以及是在何时发生的。这被称为归因（attribution）。通常，侦探只需阅读聊天记录。但在汽车中，机器人还会与引擎、GPS 和传感器进行交流。如果一个机器人说“我没事”，但引擎正在着火，仅凭聊天记录是无法得知真相的。你需要观察全貌：语言、车辆状态以及环境。本文介绍了一种新的侦探方法，能够同时观察所有这些线索，专门针对自动驾驶汽车或拥有智能助手的车辆。

侦探的新工具箱：CockpitHAT

来自字节跳动的研究人员构建了一个名为 CockpitHAT 的新系统，旨在解决汽车座舱中的“正确性崩溃”问题。他们意识到旧的侦探方法过于简单。旧方法通常将对话视为一段文本行，假设发生在错误之前的动作就是原因。但在复杂的机器人团队中，导致碰撞的原因可能发生在十步之前，或者隐藏在汽车发送给刹车的信号中，而不是在机器人所说的文字里。

依赖图谱：追踪轨迹，而非时间轴
想象你在试图弄清楚是谁洒了牛奶。如果你只看牛奶倒下时谁站在桌子旁边，你可能会冤枉错人。也许撞翻杯子的人在五分钟前就已经完成了动作，而现在站在那里的人只是恰好路过。

CockpitHAT 使用**依赖图（Dependency Graph）*而非简单的线性时间轴。你可以把它想象成一张“因果关系”的地图，而不是一个时钟。它会询问：“这个动作是否依赖于*之前的那个动作？”如果机器人 A 发送了一个指令，而机器人 B 使用了这个指令，那么它们就是相连的，即使它们说话的时间不同。如果两个机器人只是在聊天气，但并没有影响到汽车的刹车，那么即使它们说话的时间仅隔一秒，在地图上的距离也会很远。通过基于这些连接（即动作在地图上有多“接近”）而非仅仅基于时间来划分调查范围，CockpitHAT 能够更精准地发现真正的罪魁祸首。

“具身化”适配器：倾听汽车的心跳
旧方法最大的问题在于它们只听机器人的声音。但在汽车中，“声音”不仅是语言，还包括时速表、发动机温度以及上一次驾驶留下的记忆。

CockpitHAT 加入了一个特殊的具身通道适配器（Embodied Channel Adapter）。想象这是一个翻译员，他不仅倾听对话，还倾听汽车仪表盘的灯光和驾驶员的紧张情绪。如果一个机器人说“一切正常”，但汽车传感器检测到了行人，这个适配器会立即发出警报。它会将这种危险信号拉到调查的最前线，确保安全警告不会被埋没在历史记录深处。它将安全违规视为最重要的线索，无论这些情况何时发生，都会将其推向关注的中心。

安全优先的陪审团
一旦收集齐了线索，CockpitHAT 并不会只选出一个答案。它使用一个由四个 AI 分析师组成的专家组来对发生了什么进行投票。其中一位分析师是专门的“安全专家”，其唯一职责就是寻找危险。如果小组正在争论某个错误是轻微失误还是致命威胁，安全专家的权重会增加。

该系统使用一种特殊的投票规则：如果存在任何可能导致危险的情况（如潜在的碰撞），系统会采取最坏情况假设以确保安全。与其错过真实的威胁，不如表现得过度谨慎，认为“这很危险”。这确保了最终报告能够突出最关键的故障，而不仅仅是最明显的故障。

研究发现

团队在两类挑战上测试了他们的新型侦察系统。首先，他们使用了现有的测试（称为 Who&When），这些测试包含人工编写和算法生成的故障轨迹。在这些测试中，CockpitHAT 比之前的最优方法有了巨大的提升。

在人工测试中，它正确识别错误机器人的准确率为 77.9%，在计算机生成的测试中为 86.5%。
它精准定位错误时刻的准确率在人工测试中为 37.8%，在计算机生成的测试中为 46.0%。
与以往仅基于文本的冠军方法相比，其准确率大幅提升了高达 17.6 个百分点。

其次，他们创建了一个名为 COCKPITBENCH 的全新测试。这是一个专门针对汽车的212 个故障故事集合，包含了真实世界的数据和棘手的边缘案例。这些故事都根据 ISO 26262 ASIL 严重程度等级（一种从 A 到 D 评估危险程度的标准方式）进行了标注。

在这个高难度的测试中，CockpitHAT 找到错误智能体的准确率为 78.3%，找到错误步骤的准确率为 38.2%。
它在识别安全违规方面表现尤为出色，而这正是最需要捕捉的关键点。

为什么这很重要

论文指出，为了让 AI 在汽车等现实物理环境中保持安全，我们不能仅仅观察它们书写的文本。我们必须理解它们的行为是如何相互依赖的，以及它们如何与物理世界进行交互。CockpitHAT 表明，通过绘制这些依赖关系并倾听汽车的传感器，我们可以捕捉到其他系统会错过的危险错误。

然而，作者谨慎地指出，这是一个用于事后诊断的工具，而非实时阻止碰撞的系统。它帮助工程师了解哪里出了问题，以便在机器人再次驾驶前进行修复。他们也承认，该系统依赖于清晰的信号，如果机器人使用的是隐藏知识，或者汽车处于一个完全陌生的、混乱的环境中，系统可能会遇到困难。但就目前而言，它为多智能体汽车系统的“黑盒”提供了一个更清晰的窗口，将混乱的错误堆砌转化为一个可以解决的谜团。

技术摘要：CockpitHAT

问题陈述

在诸如汽车座舱等安全至上的具身环境中，大语言模型（LLM）多智能体系统正面临一种被称为“正确性坍塌”（Correctness Collapse）的现象。在这种场景下，系统可能实现了极高的任务级准确率，却掩盖了严重的流程级失效。在汽车语境中，这尤其危险，因为在词法上正确的表达可能会触发危险的物理操作（例如，关闭可见度灯光），而这些操作只能通过非文本渠道（如车辆状态或环境上下文）来检测。

现有的归因方法无法解决这一问题，主要基于两个原因：

方法论局限性： 当前的方法完全依赖于文本追踪和位置窗口，忽略了依赖结构和多通道证据（车辆状态、环境、记忆）。它们缺乏整合 ISO 26262 安全严重程度标签（ASIL）的机制。
基准测试缺陷： 现有的评估套件仅限于文本、单智能体，或者缺乏安全严重程度标注，系统性地低估了罕见的灾难性失效，并遗漏了关键的安全标签。

方法论：COCKPITHAT

作者引入了 COCKPITHAT，这是一个分层归因框架，旨在通过集成依赖图、多通道证据和安全感知共识，来诊断具身多智能体系统的失效。

1. 依赖图驱动的分层切片

COCKPITHAT 不使用固定的位置窗口，而是从交互追踪中构建一个有向无环图（DAG）。

图构建： 节点代表智能体动作（文本或工具调用）。有向边基于四种操作信号进行诱导：引用（实体链接）、计划（执行提议的计划）、工具（使用工具输出）和控制（任务委派）。
依赖距离： 上下文选择基于 DAG 中的最短路径距离（$dd$），而非时间邻近性。
四层切片： 对于任何焦点步骤，上下文根据依赖距离被切分为四个层级：
- 即时层 ($dd=1$)： 包含完整的推理链及逐字内容。
- 局部层 ($dd=2$)： 压缩为关键动作和承诺。
- 远程层 ($dd=3,4$)： 总结性的结果（最多 20 个单词）。
- 全局层 ( $dd \ge 5$ )： 稀疏的里程碑（决策、失败、移交）。

2. 具身通道适配器 (ECA)

为了解决文本中不可见的失效（例如，安全违规、环境误理解），当追踪模式包含侧向通道（环境、车辆状态、记忆）时，会采用具身通道适配器（Embodied Channel Adapter）。

显著性扫描： 一个轻量级 LLM 扫描追踪过程，标记与四类失效相关的步骤：交互风险、环境误理解、安全违规和跨域污染。
通道感知提升： 被标记的节点会被提升到更高的上下文层级（更接近即时层），无论其依赖距离如何。具体而言，安全违规会被强制放入即时层（ $L_1$ ）。
证据附着： 根据失效标签，将相关的侧向通道数据（如车辆状态 $\sigma$ 、环境 $e$ 、记忆 $m$ ）附着到被提升的节点上。

3. 安全提升的目标共识

该框架采用专门的分析师小组来解决归因问题，超越了对称的成本聚合。

多分析师小组： 每个追踪过程由 $K=4$ 个智能体进行分析：其中一个是强制性的安全分析师（优先考虑 ISO 26262 严重程度），另外三个是从多样化人格池中抽取的通用分析师。
两阶段共识：
1. 最大严重性优先： 最终的严重程度评级 ( $\eta^*$ ) 由置信度最高的分析师所预测的最大严重程度决定，从而防止高风险警报被投票否决。
2. 安全提升聚合： 分析师权重根据预测的严重程度进行非对称调整。高严重度预测会获得“安全提升”（超线性增长），确保安全关键型失效不会被通用共识所稀释。
分歧解决： 如果边际得分低于校准阈值，协议将强制分析师引用明确证据，并采用倾向于受具体追踪证据支持的假设作为机械式平局决胜机制。

核心贡献

COCKPITHAT 框架： 一种新型归因系统，它用依赖距离阈值取代了位置窗口，通过适配器整合了多通道具身证据，并应用了安全提升机制进行共识投票。
COCKPITBENCH： 一个包含 212 个标注失效追踪的新基准，涵盖对话、车辆状态、环境和记忆通道。
- 追踪涵盖八类失效和四种 ISO 26262 ASIL 严重程度等级。
- 标注源自三专家共识过程。
- 数据集包括手工构建、算法生成以及真实世界的遥测场景。

实验结果

作者在 Who&When 基准（手工构建和算法生成拆分）以及自有的 COCKPITBENCH 上对 COCKPITHAT 进行了评估。

在 Who&When 上的表现：
- 智能体级准确率： 在手工构建集上达到 77.9%，在算法生成集上达到 86.5%，分别超越了纯文本 SOTA (ECHO) 高达 17.6 和 16.7 个百分点。
- 步骤精确准确率： 在手工构建集上达到 37.8%，在算法生成集上达到 46.0%，分别超越 ECHO 高达 16.7 个百分点。
- 容差性： 即使在存在容差的情况下（例如在手工构建集上 $\pm 5$ 步内），模型在步骤定位方面仍表现出显著增益（+12.3 个百分点）。
在 COCKPITBENCH 上的表现：
- 实现了 78.3% 的智能体级准确率和 38.2% 的步骤精确准确率。
- 消融研究：
  - 依赖层次切片是智能体级准确率提升的主要贡献者，在 COCKPITBENCH 上带来了 +25.2% 个百分点的跃升。
  - 具身通道适配器 (ECA) 是 COCKPITBENCH 步骤级准确率的关键因素，将步骤准确率提高了 +6.2% 个百分点（从 0.320 提升至 0.382），并将智能体准确率额外提升了 +4.5% 个百分点。该组件恢复了早期纯文本阶段容易压缩的错误起始步骤。
  - 安全提升共识对整体性能有所贡献，高严重度（ASIL-C/D）切片显示出更高的步骤准确率，这与 ECA 设计中将安全违规强制推入即时层的逻辑一致。

重要性与主张

本文声称，依赖感知、多通道、风险校准的归因是实现现实世界具身 LLM 多智能体系统可靠失效诊断的有效范式。

范式转变： 它将归因从基于结果的评分转向了系统性的错误定位，并考虑了物理状态变化和安全严重程度。
安全集成： 通过将 ISO 26262 ASIL 标签与归因相结合，该框架确保了高风险失效不会被高任务级成功率所掩盖。
基准测试： COCKPITBENCH 通过提供第一个具有联合 ISO 26262 严重程度标签和多通道具身证据的数据集，解决了先前基准测试的结构性限制。

作者将这项工作定位为诊断安全至上领域中“正确性坍塌”的必要步骤，并指出虽然该系统旨在进行事后诊断，但它为未来的实时安全干预奠定了基础。