🤖 machine learning

The Honest Quorum Problem: Epistemic Byzantine Fault Tolerance for Agentic Infrastructure

本文介绍了认识论拜占庭容错（Epistemic Byzantine Fault Tolerance, EBFT），这是一种针对智能体基础设施的新型共识框架，通过将传统的容错机制扩展到能够解释符合协议的智能体之间存在的相关推理错误，从而解决了“诚实法定人数问题”，进而通过对无效背书和不可用支持的置信度索引界限，确保语义有效性和活性。

原作者： Jun He, Deying Yu

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jun He, Deying Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再仅仅是像计算器那样遵循僵化的、预先写好的指令，而是表现得像微小的、具备推理能力的员工。这些“代理型”（agentic）计算机可以观察混乱的局面，阅读政策，并决定下一步该做什么。但问题在于：因为它们使用概率推理（类似于猜测游戏中的最佳走法），它们有时会犯下一种“聪明的”错误。它们可能完美地遵守了所有规则，签署了正确的表格，并且按时回答，但仍然决定去做一些危险的事情。

为了约束这些数字员工，我们使用了一种名为**拜占庭容错（Byzantine Fault Tolerance）**的系统。把这想象成一个极其严格的投票俱乐部。俱乐部的规则很简单：只要有一定数量的成员投了“赞成票”，决定就是最终结论。传统上，我们假设如果一个成员不是“坏人”（试图破坏系统的叛徒），他们总会投出“正确”的一票。但如果这些“好人”使用的是同一本教科书、同一个老师和同一个学习指南呢？他们可能会对错误答案达成一致，这并不是因为他们是叛徒，而是因为他们都学到了同样的错误。这就是这篇论文所探讨的可怕新问题：一群诚实的、遵守规则的计算机达成了一个灾难性的共识。

诚实法定人数问题：当好人达成错误的共识

这篇题为《诚实法定人数问题》（The Honest Quorum Problem）的论文深入探讨了 AI 和计算机网络领域一个非常具体的难题。它提出了一个问题：当一群诚实、守规矩的 AI 代理集体同意去做一件实际上极其糟糕的事情时，会发生什么？

在计算机科学的旧时代，我们有一个安全网，叫做拜占庭容错（BFT）。想象一群将军正在讨论是否要进攻一座城堡。有些将军可能是叛徒（拜占庭故障），试图欺骗其他人。BFT 规则说：“只要我们有足够多的诚实将军，我们就可以忽略叛徒并做出安全的决策。”其核心假设是“诚实”的将军总是知道正确答案。

但本文作者指出，在 AI 时代，这个假设已经破裂了。他们引入了一个新概念：认识论故障（Epistemic Fault）。“认识论”的意思是“与知识相关”。当一个 AI 代理是完全诚实的——它遵循协议、签署数字签名且并不撒谎——但其“推理”是错误的时候，就会发生认识论故障。

“诚实法定人数”场景
想象一个由七个 AI 代理（验证者）组成的委员会，负责批准一项云服务器的变更。

设定： 一个代理建议：“让我们赋予这个用户删除我们所有数据的权限。”
陷阱： 这七个代理都是“诚实”的。它们不是叛徒。它们都在遵守规则。但它们恰好都接受了相同的训练数据集，使用相同的搜索工具，并拥有相同的“盲点”。
结果： 七个代理全部投了“赞成票”。它们形成了一个完美的法定人数（Quorum）。系统说：“太棒了！我们拿到了证书！执行吧！”
灾难： 系统删除了所有数据。协议运行得非常完美，但决策的“含义”是错误的。

论文将此称为诚实法定人数问题（Honest Quorum Problem）。这是一种失败，即系统在技术上是“正确”的（每个人都达成了一致，签名有效），但在语义上是“崩溃”的（行为是危险的）。

新的解决方案：EBFT

作者提出了一种新的安全模型，称为认识论拜占庭容错（Epistemic Byzantine Fault Tolerance, EBFT）。EBFT 不仅仅是数人头，它试图衡量诚实代理们同时犯下相同错误的可能性。

他们引入了两个新的“预算”来管理这种风险：

安全预算 ( $e_\delta$ )： 这是对诚实代理错误地达成一致的错误想法的人数的限制。
- 类比： 想象你正在雇佣一个艺术评论家团队来评判一幅画。你知道有时即使是优秀的评论家也会被假画蒙蔽。安全预算问的是：“最多会有多少名评论家在同一时间被同一幅假画所蒙蔽？”如果你的团队规模太小，或者他们都出自同一所艺术学院，那么这个数字可能会过高，导致你无法信任他们的投票。
活性预算 ( $u_\epsilon$ )： 这是对那些未能投票（由于困惑、超时或拒绝回答）的诚实代理人数的限制。
- 类比： 如果太多评论家太忙、太困惑或不敢投票，你就无法做出决策。这个预算衡量了在系统冻结之前，你可以容忍多少个“缺席者”或“不知道”。

在实践中如何运作

论文建议通过两个步骤来保持安全：

第一步：校准（“试驾”）
在让你让 AI 委员会做出真实决策之前，你必须测试它们。你给它们一些你已知正确答案的练习题。

你检查：“他们有多少次在错误答案上达成了一致？”（这给了你安全预算）。
你检查：“他们有多少次陷入停滞或拒绝回答？”（这给了你活性预算）。
至关重要的是，你要检查它们是否真正具有多样性。如果你有七个代理，但它们都使用同一个“大脑”（模型）和同一个“图书馆”（检索源），它们很可能会一起失败。论文认为，仅仅拥有七个不同的名字是不够的；你需要证明它们并不共享相同的隐藏弱点。

第二步：运行时（“实战”）
当一个真实的请求进来时，系统会首先检查测试结果。

如果请求看起来像是委员会尚未测试过的领域，或者测试结果显示委员会风险过高，系统会说：“不，我不参与这次投票。”它可能会请求人类介入。
如果请求是安全的且委员会已准备就绪，它会统计选票。但此时，“通过分数”（阈值）是根据这些测试预算计算出来的，而不是基于一个简单的数学公式（如“超过一半”）。

论文说了什么（以及没说什么）

作者对自己的主张非常谨慎。他们证明了：

仅仅达成一致（每个人都以同样的方式投票）并不能保证决策是安全的。
你不能依赖简单的数学（如旧有的“3f + 1”规则）来解决这个问题。你需要衡量 AI 推理的风险。
你需要一个特定的“校准”过程来衡量 AI 代理产生相关性错误（correlated mistakes）的频率。

他们并未声称拥有一种能让 AI 变得完美安全的“灵丹妙药”。他们承认：

如果 AI 代理存在隐藏的联系（例如相同的训练数据或相同的云服务提供商），它们仍可能以我们无法预测的方式共同失败。
该系统增加了额外的步骤和时间（延迟），因为你必须在行动前进行测试和验证。
这些“预算”是基于测试的估计值。如果 AI 进行了更新或环境发生了变化，你必须重新进行所有测试。

核心启示

论文的主要信息既是一个警告，也是一个指南。它警告我们，在一个智能、具备推理能力的 AI 世界里，仅仅“诚实”是不够的。 如果一群诚实的代理想法一致，它们仍可能投票支持一场灾难。

为了解决这个问题，我们不能仅仅计数投票。我们必须衡量协议一致性的质量。我们需要知道：“这些代理是真的相互独立，还是仅仅是同一个错误的七个克隆体？”通过使用这些新的“预算”并在让它们投票前进行严格测试，我们可以构建出即使在代理并不完美的情况下依然安全的系统。这是一种从“相信‘好人’总会是对的”向“证明‘好人’不会同时犯错”的转变。

技术摘要：诚实法定人数问题与认识论拜占庭容错

1. 问题陈述：诚实法定人数问题 (The Honest Quorum Problem)

本文识别了分布式系统中的一种关键失效模式：即“智能体”（agentic）验证者——使用随机性、学习型或生成式推理进行语义判断的参与者——在确定性共识协议中运行。

在经典的拜占庭容错（BFT）中，系统假设任何处于有界“拜占庭”（任意故障）节点集之外的参与者都是“诚实”的，这意味着他们正确地实现了协议的转换或验证语义。诚实法定人数问题削弱了这一划分。它提出了这样一种场景：一个法定人数（quorum）的验证者是：

协议合规的： 他们正确进行身份验证、在超时内响应、遵循投票协议，并且不会进行双重签名（即对冲突消息进行签名）。
语义错误的： 尽管协议合规，但他们集体背书了一个违反应用层不变性的状态转换（例如，授予未经授权的写权限）。

这种失效被称为认识论故障（epistemic fault）。与传统的拜占庭故障不同，认识论故障源于验证者推理过程中的随机性质。多个协议合规的验证者可能会发生协同失效，因为它们共享底层的依赖关系，如模型谱系、训练分布、提示词模式、检索源、工具链或提供商基础设施。因此，名义上的身份多样性并不保证认识论上的独立性。

本文确立了：协议一致性并不意味着语义有效性，而语义有效性也不意味着执行安全性。如果支持特定无效类别的协议合规验证者的浓度超过了法定人数阈值，系统即使为一个无效的转换生成了格式良好的证书，也是可能发生的。

2. 方法论：认识论拜占庭容错 (EBFT)

为了解决这一问题，本文定义了认识论拜占庭容错（Epistemic Byzantine Fault Tolerance, EBFT），这是一种针对“后确定性分布式系统”（Post-Deterministic Distributed Systems, PDDS）的容错模型——在这些系统中，确定性协调围绕着随机性语义判断展开。

核心定义

EBFT 通过两个基于置信度索引的量，增强了传统的拜占庭故障界限（ $f$ ），用以约束协议合规验证者（ $H$ ）的行为：

$e_\delta$ （语义安全预算）： 协议合规验证者产生协同无效背书的权重上限。它量化了足够多的诚实验证者错误地达成一致以支持无效转换的风险。
$u_\epsilon$ （活性预算）： 来自协议合规验证者的不可用支持上限。这包括错误拒绝、弃权、超时、输出分歧或规范化失败，这些情况会导致有效的候选者无法形成证书。

这些预算是在特定的工作负载域 $D$ 上定义的，并以概率 $1-\delta$ 和 $1-\epsilon$ 分别取决于事件 $E_\delta$ 和 $U_\epsilon$ 。

阈值推导

本文推导了证书阈值条件（ $q$ ），以区分安全性、一致性和活性的要求：

语义证书有效性： 为了防止无效候选者形成证书，阈值必须满足 $q > f + e_\delta$ 。这确保了即使所有的拜占庭节点（ $f$ ）和最大允许的协同错误背书（ $e_\delta$ ）都为无效转换投票，也无法达到法定人数。
一致性： 为了防止冲突的证书，阈值必须满足 $2q - N > f$ （或 $q > (N+f)/2$ ）。至关重要的是，这一条件仅取决于拜占庭界限 $f$ 。因为在 EBFT 中，协议合规的验证者不会进行双重签名，所以即使他们在认识论上是有误的，也不会威胁到一致性。
活性： 为了确保有效的候选者能够获得证书，阈值必须满足 $q \le N - f - u_\epsilon$ 。这确保了来自诚实验证者的可用支持足以达到阈值。

本文证明，仅当系统规模 $N$ 满足特定的群体不等式（例如， $N > 2f + e_\delta + u_\epsilon$ ）时，才存在一个可行的整数阈值 $q$ 。

校准与多样性

本文强调，“多样性”（不同的模型、提供商或提示词）并不是安全的证明。相反，多样性是一种降低误差上尾集聚度的机制。该方法论要求通过离线校准来针对特定的委员会配置，通过经验方式估计 $e_\delta$ 和 $u_\epsilon$ 。

风险剖面（Risk Profiles）： 在校准期间会生成一份经签署的风险剖面，其中指定了领域、委员会、阈值和溯源信息（模型版本、提示词、工具）。
运行时准入： 在运行时，系统会检查请求是否落在已校准的领域内，以及风险剖面是否有效。如果请求有效，系统将分发隔离的验证包。只有当背书数量达到预先校准的阈值 $q$ 时，才会形成证书。
重新校准： 当发生模型更新、工作负载转移或检测到新的共模故障时，风险剖面必须过期或被撤销。

3. 主要贡献

形式化了诚实法定人数问题： 本文定义了一种失效模式，即由于相关的认识论错误，协议合规且不进行双重签名的验证者集体背书了一个语义无效的转换。
定义了 EBFT： 它引入了一种故障模型，将任意的拜占庭行为与针对协议合规验证者的基于置信度的语义预算（ $e_\delta$ 和 $u_\epsilon$ ）区分开来。
阈值定理： 它推导了 PDDS 中实现语义证书有效性、一致性和活性的必要且充分条件。值得注意的是，它证明了一致性仅取决于拜占庭界限，而安全性与活性则取决于认识论预算。
多样性感知保障： 它将多样性重新定义为一种必须通过测量来降低无效背书上尾集聚度的变量，而非一种独立性的保证。它概述了通过校准和对抗性测试来估计这些预算的方法。

4. 结果与理论界限

不可行性结果： 本文证明，如果没有额外的语义锚定（例如，有效性预言机、受信任的验证者或校准后的集中度界限），任何仅依赖一致性信号的协议都无法保证语义证书的有效性。如果语义错误的分布不受限制，一个无效的候选者将以概率 1 满足任何基于计数的证书规则。
共模故障底线： 如果一部分验证者共享潜在的共模故障（例如，相同的模型权重），那么产生不安全证书的概率至少是该共模事件发生的概率，无论验证者的数量有多少。
阈值可行性： 本文提供了选择 $q$ 的精确整数公式，使得在定义的概率事件下，语义有效性、一致性和活性能同时得到满足。它表明，仅仅重新加权经典的 $3f+1$ 公式是不够的；系统必须显式地考虑 $e_\delta$ 和 $u_\epsilon$ 。

5. 重要性与主张

本文将 EBFT 定位为**智能体基础设施（agentic infrastructure）**的理论框架，在这种基础设施中，自主智能体（LLM、推理系统）参与分布式控制平面。其主要意义在于：

解耦一致性与语义： 它明确模拟了“协议一致性”（决定相同的日志条目）与“语义有效性”（条目是安全/正确的）之间的差距。
量化认识论风险： 它超越了对“多样性”的定性描述，转向对相关语义故障的定量界限。
使安全性具象化： 它提出了一种两阶段准入流程（离线校准 + 运行时准入），使系统能够在利用随机性验证者的同时，保持严密的概率安全性保证。

作者谦虚地表示，这项工作是 OpenKedge 研究计划中的一次“定位”，而非产品说明。他们并不声称解决了语义正确性的确定性问题，而是为语义判断本质上具有随机性的系统提供了一个故障模型和阈值理论。这些保证是以校准的有效性、工作负载领域的稳定性以及估计预算的准确性为前提条件的。