🤖 AI

Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks

本文提出了一种用于精算风险建模的多智能体框架，该框架利用标记级对数概率和贝叶斯网络来量化并传播运行时不确定性，从而确保在高风险的基于大语言模型的业务流中提供可靠的决策支持。

原作者： Bart Custers, Koorosh Aslansefat

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Bart Custers, Koorosh Aslansefat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再仅仅是遵循严格的指令，而是能够真正地通过“聊天”和“思考”来处理复杂的任务。这就是**人工智能（AI）**的领域，特别是其中一个分支——大语言模型（LLM）。可以将这些模型想象成极其博学的学生，他们几乎读遍了互联网上的所有内容。他们擅长写故事、回答问题，甚至解决数学难题。然而，这里有一个陷阱：他们有点像那些偶尔会编造事实（被称为“幻觉”）或者在你两次询问同一个问题时会改变主意的创意作家。

现在，想象你需要做一个关乎生死的决定，比如计算汽车保险的保费。你不能仅仅让这些 AI 学生去瞎猜；你需要整个团队协同工作。这就是**多智能体系统（Multi-Agent Systems）**发挥作用的地方。与其让一个机器人完成所有工作，不如组建一个专家团队：一个负责收集数据，另一个构建数学模型，第三个负责检查错误，第四个负责解释结果。科学家们正在提出的核心问题是：“如果这些 AI 团队成员中的某一个产生了困惑或犯了错，我们如何能在整个项目失败之前察觉到它？”这篇论文深入探讨了这一问题，试图为从事高风险金融任务的 AI 团队构建一个安全网。

AI 团队与“置信度计”

在这项研究中，研究人员建立了一家由 AI 智能体运行的数字保险公司。他们并没有让 AI 随机聊天；而是构建了一个严格的工作流，并设立了一个充当项目经理的“中央枢纽（Central Hub）”。这个经理负责向四个特定的 AI 专家分配任务：

数据准备智能体（The Data Prep Agent）： 清理杂乱的数据。
建模智能体（The Modelling Agent）： 构建风险预测数学模型。
审查智能体（The Reviewing Agent）： 双重检查工作中的错误。
解释智能体（The Explanation Agent）： 确保结果合理且公平。

棘手之处在于，这些 AI 智能体是概率性的，这意味着它们并不总是给出唯一的“正确”答案。它们逐词生成文本，并且对于每一个词，计算机都有一个微小的“对数概率（log probability）”——这是一个表示模型认为该特定词汇作为下一个词出现的可能性的数值。通常，人们只看最终答案。但本文提出了一个聪明的技巧：倾听 AI 置信度的低语。

作者意识到，你不能直接采用 AI 内部的置信度数值并断言：“这有 90% 的正确率。”这就像假设一个说话流利的学生说的一定是真话一样。相反，团队创建了一个系统，将这些原始的置信度低语转化为一个贝叶斯网络（Bayesian Network）。

贝叶斯网络：数字涟漪效应

可以将贝叶斯网络想象成一个巨大的、互动的多米诺骨牌流程图。每个多米诺骨牌代表保险工作流中的一个步骤。如果第一个多米诺骨牌（数据准备）发生了摇晃，它可能会撞倒第二个（建模），进而导致第三个（审查）倒下。

研究人员利用 AI 内部的置信度分数来设定每个多米诺骨牌的“摇晃因子”。他们并没有将 AI 的置信度视为真理的保证，而是通过测试运行来对其进行校准，以观察当 AI 感到自信时，它实际正确的频率。然后，他们将这些校准后的数值输入到网络中。

结果如何？该网络可以向他们展示不确定性是如何在整个系统中产生涟释效应的。即使每个 AI 智能体对自己工作的信心都达到了 80%，网络也可以计算出整个工作流成功的概率仅为 55%，因为微小的怀疑累加在一起。这就像四个人传递一桶水；如果每个人都 80% 确定自己不会洒水，那么当水到达终点时，桶里的水可能已经剩下一半了。

他们的发现：温度测试

为了测试其安全网是否有效，研究人员让 AI 团队经历了不同的“温度（temperature）”。在 AI 术语中，“温度”控制着 AI 的随机性或创造力。

低温度 (0.2)： AI 非常保守且具有重复性。
高温度 (1.2)： AI 非常狂野、富有创造力，且容易出错。

他们测试了四种场景：

安全场景： 所有人都处于低温度状态。系统非常可靠，成功率为 87.1%。
混合场景： 数据和建模智能体很冷静，但审查和解释智能体有些狂野。成功率降至 69.0%。
中等场景： 所有人都在标准的“中等”设置下。成功率为 59.2%。
风险场景： 只有一个智能体（解释智能体）变得非常狂野。尽管其他所有人都很冷静，但整个系统的成功率骤降至 42.8%。

这表明该系统非常敏感。链条中哪怕只有一个脆弱的环节，也会拖累整个项目的可靠性。

结论：谁抓住了错误？

团队还通过秘密篡改数据（例如隐藏数字或添加虚假噪声）来测试 AI 智能体，以观察它们是否能察觉到错误。

Llama 2 和 Llama 3.1： 这些模型能够胜任工作，但遗漏了很多隐藏的错误。Llama 2 只抓住了 45% 的错误，而 Llama 3.1 抓住了 65%。
Qwen2.5： 这个模型是全场的明星。它抓住了 90% 的错误，并且在情况出错时能更好地调整其策略。

研究还发现，虽然单个智能体通常感到非常有信心（自身的评分在 0.80 到 0.90 之间），但整个工作流的综合不确定性却要低得多。例如，在使用 Qwen 模型时，单个智能体很有信心，但最终工作流的确定性仅为 0.6012。

为什么这很重要

这篇论文并不声称已经解决了保险领域的所有 AI 问题。相反，它提出了一种在 AI 团队工作时观察它们的新方法。通过使用贝叶斯网络来追踪微小怀疑的累加过程，我们可以在工作流产生坏结果之前，识别出它何时变得“不安全”。

研究人员表明，这种方法可以复现标准的精算结果（用于定价保险的数学方法），同时让我们清晰地看到系统的稳定性。这表明，在涉及高风险的任务中，我们不应仅仅信任 AI 的最终答案；我们需要倾听它置信度的“低语”，并观察这些低语如何在团队中传播。如果一个智能体开始表现出不确定，整个系统应该知道停下来进行检查，从而防止一个小错误演变成一场财务灾难。

技术摘要：基于贝叶斯网络的 LLM 多智能体系统运行时不确定性监测

问题陈述

将基于大语言模型（LLM）的多智能体系统（MAS）集成到精算风险建模等高风险领域，带来了显著的可靠性和透明度挑战。虽然 LLM 在自动化处理涉及数据准备、模型开发和验证等复杂工作流方面具有潜力，但其概率性质引入了诸如幻觉、运行间的变异性以及缺乏可解释性等风险。在受监管的保险环境中，不可靠的输出可能导致错误的风险评估、不公平的定价以及违规行为。目前的方法存在一个关键差距：现有的评估指标通常侧重于特定任务的准确性，却无法捕捉不确定性是如何在相互依赖的智能体工作流中产生并传播的。此外，标准的确定性估计（如 token 级的对数概率）并不直接等同于任务成功的概率，也未能考虑到跨多步过程中的累积误差效应。

方法论

作者提出了一种旨在量化并传播 LLM-MAS 内部不确定性的运行时安全监测框架。该方法由三个核心组件组成：

1. 多智能体系统架构

该系统采用中心化的星型拓扑结构，由一个**中央枢纽（Central Hub）**通过消息传递协调四个专业智能体，通过禁止智能体之间的直接通信来确保受控的监督：

数据准备智能体： 处理数据摄取、清洗和编码。
建模智能体： 开发预测模型。
评审智能体： 评估来自数据和建模阶段的输出，以检查一致性和性能。
解释智能体： 评估可解释性、概念对齐度（使用测试概念激活向量进行评估）以及公平性（通过组间比较）。

该框架利用了三种可在本地机器上运行的开源仅解码器 Transformer 模型（Llama 2 7B、Llama 3.1 8B 和 Qwen2.5 7B）。

2. 通过对数概率进行不确定性量化

框架从 LLM 输出中提取 token 级的对数概率（ $log p_\theta$ ）。意识到原始对数概率受序列长度影响且不直接等同于任务成功率，作者应用了一个转换过程：

长度归一化： 对数概率在序列长度 $L$ 上进行平均，生成汇总得分 $s_i$ 。
校准： 将归一化后的得分转换为有界置信特征 $q_i = \exp(s_i)$ 。
校准函数： 通过验证运行估算的函数 $f_{cal}$ 将 $q_i$ 映射为任务成功完成的概率 $P(X_i = success | q_i)$ 。

3. 用于传播的贝叶斯网络 (BN)

为了对工作流阶段之间的依赖关系进行建模，校准后的置信得分被纳入贝叶斯网络中。

结构： 每个工作流阶段（如数据准备、评审、建模）都是一个节点。有向边代表条件依赖关系。
逻辑： 网络使用条件概率表（CPT）来定义下游任务的成功如何取决于其父节点的成功。例如，最终的工作流成功节点被建模为一个“与（AND）”门，要求所有父节点必须成功。
推理： 随着工作流的执行，中央枢纽使用新的证据（不确定性得分）更新贝验网络，从而计算后验概率。这使得能够可视化不确定性如何从单个智能体的输出累积到最终的系统状态。

核心贡献

本文提出了一种超越静态评估的新型运行时监测方法：

不确定性传播框架： 它引入了一种将 token 级对数概率转化为校准的任务级置信估计，并将其传播至贝叶斯网络的方法。这明确地建模了内在不确定性（单步层面）与外在不确定性（从早期决策传播而来）之间的区别。
结构化安全机制： 该框架提供了一种工作流稳定性的结构化表示，能够识别出那些由于特定组件的不确定性显著降低整体系统可靠性的“不安全”状态。
精算背景下的实证验证： 该方法在真实的精算工作流中得到了验证，证明该系统在复现基准精算性能的同时，能为工作流稳定性提供细粒度的洞察。

结果

评估涵盖了三种 LLM 后端，并使用了原始数据集以及 20 个经过系统性扰动的数据集（引入了缺失值、分布偏移和标签噪声等错误）。

性能： 在所有后端下，该 MAS 均实现了较高的任务成功率（80–90%）以及与基准精算模型相当的预测性能（RMSE）。
不确定性方差： 从贝叶斯网络中得出的工作流确定性表现出显著差异。例如，虽然单个智能体通常显示出高置信度，但通过不确定性传播，整体工作流的成功概率有所下降（例如，在默认场景下，从约 80% 的个体确定度降至约 55% 的整体确定度）。
温度敏感性： 通过改变 LLM 温度进行的实验证实，智能体响应中的随机性增加会直接降低整体工作流成功的概率。单个智能体在高温度下的“风险”场景会显著降低整个系统的可靠性。
错误检测： 与 Llama 模型（45–65%）相比，Qwen2.5 7B 后端展示了更优越的错误检测能力（90%）和适应性，特别是在处理分布偏移方面。
局限性： 系统对分布变化（人口统计学偏移）较为敏感，但在检测缺失值或稀疏性方面表现较弱，这凸显了验证过程中需要改进的具体领域。

重要性与主张

本文声称其主要意义在于提供了一种监测 LLM-MAS 运行时不确定性的结构化、可解释的方法。通过结合 token 级信号与贝叶斯推理，该框架提供了一种安全机制，能够在导致关键故障之前识别工作流中的薄弱环节。

作者保持了审慎的态度，指出目前的实现代表了概念验证（proof-of-concept）。贝叶斯网络建模的是抽象的执行轨迹，而非完整的动态控制逻辑（例如，它目前尚未对迭代修订循环或超出直接父子依赖关系的临时排序进行建模）。作者建议，将模型扩展到动态贝叶斯网络或影响图是未来的研究方向。最终，这项工作证明了通过显式量化并可视化不确定性如何在复杂的、多步骤的工作流中传播，可以支持高风险领域的决策。