🤖 machine learning

Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition

该论文针对大语言模型多智能体系统因交互复杂性导致的可靠性挑战，提出了名为 MATU 的新框架，通过张量分解技术将多步推理轨迹组织为高阶张量，从而有效解耦并量化了级联推理、通信路径变异及拓扑多样性带来的不确定性。

原作者： Tiejin Chen, Huaiyuan Yao, Jia Chen, Evangelos E. Papalexakis, Hua Wei

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Tiejin Chen, Huaiyuan Yao, Jia Chen, Evangelos E. Papalexakis, Hua Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 MATU 的新方法，用来解决一个非常棘手的问题：当一群人工智能（AI）助手一起工作时，我们怎么知道它们的答案靠不靠谱？

想象一下，你雇佣了一个由 5 个专家组成的“智囊团”来帮你解决一个复杂的难题（比如设计一座桥或诊断一种罕见病）。他们互相讨论、分工合作，最后给你一个方案。

现在的困境是：
如果这 5 个人里有一个人在最开始听错了指令，或者他们中间有人互相理解错了，整个方案可能会在不知不觉中走向错误的方向，而且最后给出的答案看起来还“非常自信”。传统的检查方法只能看最后的结果，却忽略了中间那些“走弯路”的过程。

这篇论文提出的 MATU，就像是一个超级“过程记录仪”和“侦探”，它能通过一种叫“张量分解”的数学魔法，把整个合作过程“透视”出来。

以下是用生活中的比喻来解释它的核心原理：

1. 核心问题：为什么以前的方法不管用？

以前的方法就像只检查“最终答卷”。

单轮检查的局限： 以前的技术（Uncertainty Quantification）通常只盯着最后那个答案看：“这句话和那句话意思一样吗？”
多步推理的灾难： 但在多智能体系统中，错误会像多米诺骨牌一样传递。第一个专家说错了一句话，第二个专家顺着这个错误继续推导，最后第三个专家得出了一个看似完美但完全错误的结论。只看最后结果，你发现不了中间那个致命的“骨牌”倒下了。
沟通路径的混乱： 有时候，专家们是“圆桌会议”（每个人轮流发言），有时候是“星型结构”（一个组长分配任务给其他人）。不同的沟通方式，导致他们“吵架”或“合作”的路径都不一样，以前的方法很难统一衡量。

2. MATU 的解决方案：把过程变成“乐高积木”

MATU 不做简单的“对错判断”，而是把整个合作过程立体化了。

第一步：把对话变成“乐高块”（Embedding）

想象每个专家说的每一句话、做的每一个动作，都被 MATU 变成了一个彩色的乐高积木块。

不管专家是用中文、英文，还是调用了一个计算器工具，MATU 都能把它们变成统一规格的积木。
这样，即使大家用的词不一样，只要意思相近，积木的颜色和形状就差不多。

第二步：搭建“立体建筑”（张量 Tensor）

这是最精彩的部分。MATU 不仅仅看一次对话，它会让这群专家重复做这个任务 10 次（就像让厨师做 10 次同样的菜）。

它把这 10 次尝试中，每个专家说的每一句话（积木块），堆叠起来，搭建成了一个巨大的、立体的“乐高城堡”（这就是论文里说的“张量”）。
这个城堡有三个维度：
1. 谁在说话（不同的专家）。
2. 说了多少步（推理的长短）。
3. 做了多少次尝试（不同的运行记录）。

第三步：寻找“完美结构”与“裂缝”（张量分解）

现在，MATU 开始用一种叫 PARAFAC2 的数学工具来“拆解”这个乐高城堡。

理想情况（低不确定性）： 如果这群专家非常靠谱，他们每次合作的路径应该非常相似。就像你搭了 10 次同样的城堡，虽然每次积木摆放的微小位置不同，但整体结构应该是非常稳固、有规律的。MATU 能轻松找到这个“完美结构”。
糟糕情况（高不确定性）： 如果这群专家经常出错，或者互相理解不一致，那么这 10 次搭建出来的城堡就会千奇百怪，有的歪了，有的缺了角，完全搭不成一个规律的结构。
计算“误差”： MATU 试图用一个简单的“完美结构”去还原这 10 次复杂的搭建过程。如果还原出来的城堡和真实的城堡差别很大（重建误差大），那就说明这群专家非常不可靠，不确定性很高！

3. 为什么这很厉害？（比喻总结）

以前的方法： 就像老师只批改期末考试卷。如果学生最后写对了，老师就以为他全都会；如果写错了，老师也不知道他是第一步算错了，还是最后抄错了。
MATU 的方法： 就像老师全程录像了学生解题的 10 次过程。
- 如果 10 次录像里，学生解题思路都很清晰、步骤一致，老师就知道：“这题他稳了！”（低不确定性）。
- 如果 10 次录像里，学生有时候用加法，有时候用乘法，有时候卡壳，有时候乱猜，老师立刻就能发现：“这题他根本没掌握，刚才蒙对的！”（高不确定性）。

4. 实际效果

论文通过大量实验证明，MATU 就像一位经验丰富的老侦探：

它能发现那些看似自信但实际错误的答案（比如医疗诊断中的误诊风险）。
它能适应不同的团队结构（无论是轮流发言还是组长指挥）。
它甚至能帮你挑选最好的 AI 模型：当你有多个 AI 团队可选时，MATU 能告诉你哪个团队最靠谱，让你选那个“不确定性最低”的。

一句话总结：
MATU 不再只看 AI 团队的“最终答案”，而是通过数学手段，把团队反复合作的全过程立体地“拍”下来，通过观察这个过程是否“整齐划一”，来精准判断这个团队到底靠不靠谱。这让 AI 在医疗、科学等高风险领域的应用变得更加安全可信。

1. 研究背景与问题定义 (Problem)

背景：
基于大语言模型（LLM）的多智能体系统（Multi-Agent Systems, MAS）在复杂任务上表现优于单智能体系统。然而，智能体之间复杂的交互（如通信动态、角色依赖、共识构建）引入了新的可靠性挑战。早期的微小错误可能在协作过程中级联放大，导致最终结果出现严重偏差（例如医疗诊断中的误诊）。

现有方法的局限性：
现有的不确定性量化（Uncertainty Quantification, UQ）方法主要针对单轮输出或单一模型设计，无法有效应对 MAS 的三大核心挑战：

多步推理的级联不确定性 (Cascading Uncertainty)： 现有方法通常只关注最终输出的语义一致性，忽略了推理过程中每一步的中间状态。将长推理轨迹拼接后输入自然语言推理（NLI）模型会超出其上下文限制，且无法区分错误是来自单个智能体的幻觉还是智能体间的逻辑错位。
智能体间通信路径的多样性 (Inter-agent Communication Diversity)： 对于同一查询，不同运行（Run）中智能体的交互顺序、中间响应长度和工具调用时机可能不同。基于语义多样性的方法无法捕捉这种路径结构的差异。
通信拓扑的多样性 (Communication Topology Diversity)： MAS 的架构是动态多变的（如星型、链式、动态自适应），而现有 UQ 方法通常针对固定结构的单模型设计，难以泛化到不同的多智能体结构。

核心问题：
如何定义并量化 LLM 多智能体系统的不确定性，使其能够同时捕捉多步推理的级联效应、通信路径的变异性以及不同拓扑结构下的系统整体可靠性？

2. 方法论 (Methodology)

论文提出了 MATU (Multi-Agent Tensor Uncertainty) 框架，通过**张量分解（Tensor Decomposition）**技术来解决上述问题。其核心思想是将整个推理过程视为一个高维张量，利用低秩近似来衡量轨迹的变异性。

2.1 核心流程

MATU 的处理流程分为三个主要步骤：

多步推理的嵌入表示 (Embedding for Multi-step Reasoning)：
- 不再仅分析最终文本，而是将每个智能体在每一步的中间输出（包括自然语言句子和工具调用结果）编码为共享的潜在空间向量。
- 使用预训练嵌入模型（如 Qwen3-embedding-0.6B）将异质、变长的输出映射为固定维度的嵌入矩阵 $E^{(j,k)}$ （其中 $j$ 代表第 $j$ 次运行， $k$ 代表第 $k$ 个智能体）。
智能体间通信的张量表示 (Tensor Representation)：
- 为了处理不同运行中智能体交互长度不一致的问题（Ragged Tensor），MATU 将多次运行的嵌入矩阵集合组织成一个不规则张量（Ragged Tensor）。
- 该张量包含三个维度：智能体 (Agents)、推理步骤 (Reasoning Steps) 和 采样运行 (Sampling Runs)。这种表示法保留了通信模式的多样性，同时允许不同运行中的步骤数量不同。
基于张量分解的不确定性量化 (Tensor Decomposition)：
- 应用 PARAFAC2 (CP-2) 分解算法。这是一种专门处理不规则张量的分解方法，能够在不同长度的维度上对齐潜在因子。
- 原理： 如果系统运行稳定，其交互模式应具有低秩结构（即存在共享的共识模式）。通过在不同秩 $R$ 下对张量进行分解并重构，计算重构损失（Reconstruction Loss）。
- 不确定性得分： 重构损失越高，说明轨迹越难以被低秩因子解释，意味着系统内部存在更大的不一致性和不确定性。最终的不确定性得分 $U$ 是所有考察秩下的重构损失之和。

3. 主要贡献 (Key Contributions)

系统性定义： 首次为基于 LLM 的多智能体系统提供了系统性的不确定性量化定义，识别了工具使用、多步推理和智能体间通信引入的独特不确定性来源。
MATU 框架设计： 提出了一种基于张量分解的框架，能够整合响应级（Response-level）和运行级（Run-level）的不确定性信号，实现了对多智能体系统的整体不确定性估计。
广泛的实验验证： 在多种任务（数学推理、多跳问答、代码生成、通用知识）、不同通信拓扑（静态星型/链式、动态自适应）以及不同模型（开源/闭源）上进行了广泛实验。
下游任务应用： 证明了 MATU 的不确定性分数可用于下游任务，如模型选择（Model Selection），即根据不确定性分数自动选择最可靠的智能体配置或回答。

4. 实验结果 (Results)

实验在 MATH、MoreHopQA、MMLU 和 HumanEval 等数据集上进行，对比了多种基线方法（如基于语义熵的 Eigv(Agre)、基于步骤权重的 SAUP、基于概率的 P(true) 等）。

静态设计系统 (Static Design)：
- 在 Camel 和 AutoGen 框架下，MATU 在 AUROC 和 AUARC 指标上一致地优于所有基线。
- 原因：MATU 捕捉了系统级的整体行为，而不仅仅是最终输出的语义一致性，能够检测到协作过程中脆弱的共识。
动态设计系统 (Dynamic Design)：
- 在 AnyMac（动态选择智能体）框架下，MATU 表现出更强的适应性。
- 在交互序列变化剧烈的情况下，传统方法难以保持一致性，而 MATU 通过不规则张量分解成功对齐了潜在因子，显著提升了评估精度。
工具集成 (Tool Integration)：
- 在 HumanEval（代码生成）任务中，MATU 在处理涉及 Python 解释器调用的复杂工作流时，依然表现出鲁棒性，优于其他基线。
分布外检测 (OOD Detection)：
- MATU 能够有效区分分布内（In-distribution）和分布外（OOD）数据。在数学提示词应用于通用知识任务（MMLU）的严格分布偏移实验中，MATU 的 AUROC 达到 0.6770，显著优于基线，且不确定性分数在 OOD 数据上明显更高。
消融实验与敏感性分析：
- 证明了直接使用推理嵌入进行张量分解优于基于距离（如余弦相似度、EMD）的矩阵构建。
- 确定了 256 维的嵌入维度在性能和计算成本之间达到了最佳平衡。
- 展示了潜在因子具有可解释性，能够定位特定的语义误解或推理失败模式。

5. 意义与影响 (Significance)

理论创新： 将张量分解引入 LLM 多智能体系统的不确定性量化，提供了一种数学上严谨且通用的方法来处理变长、异构的交互数据。
实际应用价值： 为高风险领域（如医疗、科学发现、交通决策）中的多智能体系统提供了可靠的“安全阀”。通过量化不确定性，系统可以在置信度低时拒绝回答或请求人工干预。
通用性与可扩展性： 该方法不依赖于特定的模型架构或通信拓扑，能够适应从静态到动态的各种多智能体系统，具有极强的泛化能力。
优化决策： 证明了不确定性分数可以作为有效的信号来指导模型选择（Backbone Selection），从而在无需额外训练的情况下提升系统整体的准确率。

局限性：

计算成本随采样运行次数线性增加（需要多次运行以构建张量）。
性能受限于底层嵌入模型的质量，在极度专业的领域可能需要领域特定的嵌入模型。

总结：
MATU 通过张量分解技术，成功解决了多智能体系统中不确定性量化难、变异性大、拓扑复杂的问题，为构建更可靠、可解释的 LLM 多智能体系统奠定了重要基础。