CAVEAT: Reliability-aware active verification under correlated errors for multi-agent LLM reasoning
本文介绍了 CAVEAT，这是一个用于多智能体大语言模型推理的资源分配框架，该框架通过建模智能体与验证器之间的相关误差来构建断言依赖图，并据此贪婪地选择验证步骤，从而在显著提高准确率和校准度的同时，降低了与现有方法相比的计算成本。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速演进的人工智能领域，大型语言模型已从简单的文本生成器转变为复杂的推理引擎。这些系统现在能够分解复杂问题、咨询外部工具，并协调多个数字智能体来解决曾经需要人类专业知识的任务。为了使这些系统更加可靠，研究人员通常依赖一种称为“冗余”的策略：让多个智能体解决同一个问题，然后比较它们的答案。如果智能体达成一致，系统便假定答案是正确的。这种方法经常与“验证阶段”结合使用，即由第二组智能体或工具检查推理过程中的中间步骤，以便在做出最终决策前捕捉错误。其背后的希望是，如果一个智能体犯了错，另一个会发现它；如果一个验证器犯了错，另一个不同的验证器会纠正它。然而，整个安全网都建立在一个脆弱的假设之上：这些不同的智能体和验证器其错误是相互独立的。
这一假设在现实世界中越来越难以站住脚。大多数现代人工智能系统都是基于极少数的模型家族构建的，它们共享相同的训练数据、相同的底层架构以及相同的训练方案。由于这种共同的血缘关系，它们往往会以相同的方式犯下相同的错误。当来自同一家族的一组智能体对一个错误的实事达成一致时，这并不是共识的体现，而是“共同幻觉”的表现。如果一个验证系统将这些相同的、相关的错误视为独立的证据，它就会对错误答案产生危险的自信。该系统实际上是在多次计算同一个错误，从而夸大了其确定性，直到它被假象所说服。这种现象创造了一个盲点，使得原本旨在确保安全的工具反而强化了错误。
一个研究团队通过一个名为 CAVEAT（相关性感知验证分配）的新框架解决了这一关键漏洞。CAVEAT 不再假设每个智能体和验证器都是独立的观察者，而是明确地模拟了它们通常相互关联且容易出现相同故障的事实。研究人员将验证过程视为一个资源管理问题。他们意识到，在一个检查推理链中每一个步骤都过于昂贵的现实中，必须决定检查哪些特定的主张、使用哪个验证器进行每次检查，以及何时停止检查。目标是在有限的计算资源预算内，以最有效的方式进行分配，确保最终答案在预算允许范围内尽可能可靠。
CAVEAT 系统的核心是一个推理过程的地图。当多个智能体解决一个问题时，系统会将它们的输出分解为独立的主张，并将它们连接在一个依赖图中。这张地图展示了哪些事实支持哪些结论。有些主张就像树的根部；如果它们错了，整个答案就会崩塌。另一些则像叶子；如果它们错了，影响微乎其微。系统根据每个主张对最终答案的影响程度为其分配权重。随后，它使用统计模型来估计每个可用验证器的可靠性，同时考虑到来自同一家族的验证器很可能犯下相同的“失误”或错误。这使得系统能够计算出请求特定验证器检查特定主张的真实价值。如果要求一个已经发表过意见的家族中的验证器去检查一个主张，系统知道新的回答很可能只是重复旧有的观点，无法提供新的信息。相反，它会将预算导向不同的验证器家族或专门的工具，例如可以运行代码的程序或可以查找事实的搜索引擎。
在涵盖了从事实核查、多步问答到复杂数学推理的六个不同基准测试的一系列测试中，研究人员将这种新方法与现有方法进行了对比。他们发现，忽略智能体与验证器之间的相关性会导致显著的过度自信。那些假设相互独立的系统经常表现出“自信地犯错”，即对错误答案报告极高的确定性。相比之下，CAVEAT 系统成功识别出了何时共识实际上只是共同的错误。通过将验证预算仔细地路由到最具信息量的检查中，它实现了与检查每一个主张及使用每一个验证器的系统相同的准确度，但其计算成本仅为后者的约五分之一。平均而言，它比现有的最佳预算匹配方法在准确度上提高了 3.1 个百分点。
或许更重要的一点是，该系统解决了“虚假自信”的问题。在测试中，传统方法在接近 20% 的情况下会产生高置信度的错误答案。而 CAVEAT 系统将这一比例降低到了仅 7.2%，这意味着它不太可能自信地断言谬误。它还使系统的置信度评分更加准确，使得当系统说有 90% 的把握时，它实际上在 90% 的情况下是正确的。研究人员证明，即使当所有智能体都来自同一个家族，或者当大多数智能体对一个错误答案达成一致时，这种方法依然有效。通过识别这种共享的错误性质，系统知道应该寻找外部视角，而不是再次要求同一组人进行投票。
研究还表明，验证资源的分配方式与投入的金额同样重要。仅仅检查智能体似乎最不确定的主张，或者以随机顺序进行检查，其效果远不如 CAVEAT 所采用的有针对性的方法。系统学会了优先处理那些一旦出错会对最终答案造成最大破坏的主张，并使用最便宜、最多样化的工具来检查它们。例如，在数学问题中，它会使用快速且廉价的代码执行器来检查算术步骤，从而将更昂贵、更慢的语言模型留给逻辑推理步骤。这种战略性的分配使得系统能够在对答案足够确信时提前停止检查，在不牺牲准确性的前提下节省了资源。
研究人员总结道，可靠的人工智能推理的未来取决于承认我们的工具并非相互独立。正如一群在同一个小镇长大的人可能会拥有共同的误解一样，一群在相同数据上训练的人工智能模型也会拥有共同的盲点。通过构建理解这些联系并据此分配资源的系统，我们可以创造出不仅更聪明，而且对自身知识边界（知之与不知）更加诚实的 AI。这项工作表明，通往更可信的人工智能之路，不在于简单地向其中加入更多的智能体，而在于理解它们之间的关系，并利用这种理解来更高效地验证真理。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。