🤖 machine learning

The Honest Quorum Problem: Epistemic Byzantine Fault Tolerance for Agentic Infrastructure

本論文は、エージェンティック・インフラストラクチャのための新しいコンセンサス・フレームワークであるEpistemic Byzantine Fault Tolerance (EBFT) を導入するものであり、プロトコルに準拠したエージェント間における相関的な推論エラーを考慮するために従来のフォールト・トレランスを拡張することで、「誠実なクォーラム問題（Honest Quorum Problem）」に対処し、無効なエンドースメントおよび使用不可能なサポートに対する信頼度指数付き境界を通じて、意味論的な妥当性とライブネスを確保するものである。

原著者： Jun He, Deying Yu

公開日 2026-07-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jun He, Deying Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピューターが単に計算機のように、あらかじめ書かれた厳格な指示に従うだけでなく、小さな「推論を行う従業員」のように振る舞う世界を想像してみてください。これらの「エージェンティック（能動的）」なコンピューターは、混乱した状況を観察し、ポリシーを読み、次に何をすべきかを判断することができます。しかし、ここには落とし穴があります。彼らは確率的な推論（ゲームで最善の一手を予想するようなもの）を用いるため、時に「賢い間違い」を犯すことがあります。彼らはすべてのルールを完璧に守り、正しい書類に署名し、期限内に回答したとしても、依然として危険な決定を下してしまう可能性があるのです。

これらのデジタル従業員を制御するために、私たちは**ビザンチン故障耐性（Byzantine Fault Tolerance）**と呼ばれるシステムを使用します。これは、非常に厳格な投票クラブのようなものです。クラブのルールは単純です。一定数のメンバーが「イエス」と投票した限り、その決定は最終的なものとなります。従来、私たちは、もしメンバーが「悪党」（システムを破壊しようとする裏切り者）でないなら、彼らは常に「正しい」ことを投票すると想定してきました。しかし、もし「善人」たちが皆、同じ教科書、同じ教師、そして同じ学習ガイドを使っていたとしたらどうでしょう？彼らは裏切り者ではないのに、全員が間違った答えに同意してしまうかもしれません。これは、この論文が取り組んでいる恐ろしい新しい問題です。誠実でルールに従うコンピューターの集団が、一つの災厄に対して合意してしまうという問題です。

正直なクォーラムの問題：善人が間違ったことに同意するとき

『The Honest Quorum Problem（正直なクォーラムの問題）』と題されたこの論文は、AIおよびコンピューターネットワークの未来における、非常に具体的な頭痛の種について掘り下げています。それは次のような問いです。「誠実でルールに従うAIエージェントのグループが、実は極めてひどいアイデアに対して全員が同意してしまったら、何が起こるのか？」

コンピュータサイエンスの旧時代には、**ビザンチン故障耐性（BFT）**というセーフティネットがありました。将軍たちが城を攻撃するかどうかを決定しようとしている場面を想像してください。中には、他の者たちを欺こうとする裏切り者（ビザンチン故障）がいるかもしれません。BFTのルールは、「十分な数の誠実な将軍がいれば、裏切り者を無視して安全な決定を下せる」というものです。ここでの鍵となる仮定は、「誠実な」将軍たちは常に正解を知っているということでした。

しかし、論文の著者たちは、AIの時代においてこの仮定が崩れていると指摘しています。彼らは**「エピステミック故障（認識的故障）」**という新しい概念を導入しました。「エピステミック（認識的）」とは「知識に関連する」という意味です。エピステミック故障とは、AIエージェントが完全に誠実であり、プロトコルに従い、デジタル署名を書き込み、嘘をつかないにもかかわらず、その「推論」が間違っている場合に起こります。

「正直なクォーラム」のシナリオ
クラウドサーバーへの変更を承認する任務を負った、7人のAIエージェント（バリデーター）による委員会を想像してください。

設定: あるエージェントが、「このユーザーに、我々の全データを削除する権限を与えよう」と提案します。
罠: 7人のエージェントは全員「誠実」です。彼らは裏切り者ではありません。彼らは皆、ルールに従っています。しかし、彼らは皆、同じデータセットで学習され、同じ検索ツールを使用し、同じ「盲点」を持っています。
結果: 7人全員が「イエス」と投票します。彼らは完璧な**クォーラム（定足数）**を形成します。システムは、「素晴らしい！証明書が得られた！実行しよう！」と判断します。
惨劇: システムは全データを削除します。プロトコルは完璧に機能しましたが、決定の「意味」が間違っていました。

論文はこの現象を**「正直なクォーラム問題」**と呼んでいます。これは、システムが技術的には「正しい」（全員が同意し、署名は有効である）ものの、意味論的に「壊れている」（行動が危険である）という失敗です。

新しい解決策：EBFT

著者らは、**エピステミック・ビザンチン故障耐性（EBFT）**と呼ばれる新しい安全モデルを提案しています。単に頭数を数えるのではなく、EBFTは、誠実なエージェントたちが皆、同じ間違いを犯す可能性が「どの程度あるか」を測定しようとします。

彼らは、このリスクを管理するために2つの新しい「予算（バジェット）」を導入しています。

安全性予算 ( $e_\delta$ ): これは、誠実なエージェントのうち、どれだけの人数が悪いアイデアに対して誤って同意してしまう可能性があるかの限界値です。
- 比喩: あなたが絵画を審査する美術批評家のチームを雇っていると想像してください。あなたは、時には優れた批評家であっても偽物に騙されることがあると知っています。安全性予算はこう問いかけます。「同時に同じ偽物の絵に騙される可能性がある批評家は、最大で何人か？」もしあなたのチームが小さすぎたり、あるいは全員が同じ美術学校の出身であったりする場合、その人数は高くなり、彼らの投票を信頼できなくなる可能性があります。
生存性予算 ( $u_\epsilon$ ): これは、誠実なエージェントのうち、どれだけの人数が（混乱したり、タイムアウトしたり、回答を拒否したりすることで）投票を行わない可能性があるかの限界値です。
- 比喩: もしあまりにも多くの批評家が忙しすぎたり、混乱していたり、あるいは投票することを恐れて回答しなかったりする場合、決定を下すことができません。この予算は、システムが停止してしまう前に、どれだけの「欠席者」や「わからない」を許容できるかを測定します。

実践における仕組み

論文は、物事を安全に保つための2段階のプロセスを提案しています。

ステップ1：キャリブレーション（試運転）
AI委員会に実際の決定を下させる前に、テストを行う必要があります。既知の正解がある練習問題を与えます。

次の点を確認します：「彼らが全員、間違った答えに同意してしまった頻度はどのくらいか？」（これが安全性予算になります）。
次の点を確認します：「彼らが立ち往кしたり、回答を拒否したりした頻度はどのくらいか？」（これが生存性予算になります）。
決定的なのは、彼らが実際に「多様」であるかどうかを確認することです。もし7人のエージェントがいたとしても、彼らが皆同じ「脳（モデル）」と「ライブラリ（検索ソース）」を使用しているなら、彼らは共に失敗する可能性が高いでしょう。論文は、単に7つの異なる名前を持っているだけでは不十分であり、彼らが共通の隠れた弱点を共有していないことを証明する必要があると主張しています。

ステップ2：ランタイム（本番）
実際の要求が入ってきたとき、システムはまずテスト結果を確認します。

もしその要求が、委員会がテストを受けていない内容であったり、テスト結果がその委員会はリスクが高すぎると示している場合、システムは「いや、これには投票しない」と判断します。そして、人間の介入を求めるかもしれません。
もし要求が安全であり、委員会が準備できている場合は、投票をカウントします。しかし、ここでの「合格スコア（閾値）」は、単なる「半分以上」といった単純な数学的公式ではなく、それらのテスト予算に基づいて算出されます。

論文が述べていること（および述べていないこと）

著者らは、自らの主張について非常に慎重です。彼らは以下のことを証明しています。

単なる合意（全員が同じ方向に投票すること）は、決定が安全であることを保証するものではない。
古い「3f + 1」のような単純な数学に頼って解決することはできない。AIの推論のリスクを測定する必要がある。
AIエージェントが相関した間違いを犯す頻度を測定するために、特定の「キャリブレーション」プロセスが必要である。

彼らは、AIを完全に安全にする魔法の杖を持っているとは主張していません。彼らは以下を認めています。

もしAIエージェントが隠れた繋がり（同じトレーニングデータや同じクラウドプロバイダーなど）を持っている場合、予測不可能な形で共に失敗する可能性があります。
このシステムは、テストと検証を行う必要があるため、追加の手順と時間（レイテンシ）を要します。
「予算」はテストに基づいた推定値です。AIがアップデートされたり、世界が変わったりすれば、すべてを再テストしなければなりません。

大きな教訓

この論文の主なメッセージは、警告であり、かつガイドでもあります。それは、賢い推論を行うAIの世界においては、「誠実であること」だけでは不十分であるという警告です。誠実なエージェントの集団であっても、もし全員が同じように考えてしまうならば、災厄へと投票してしまう可能性があります。

これを解決するためには、単に票を数えるだけでは足りません。合意の「質」を測定しなければなりません。私たちはこう問う必要があります。「これらのエージェントは本当に独立しているのか、それとも単に同じ間違いのクローンが7つあるだけなのか？」これらの新しい「予算」を用い、エージェントを厳格にテストすることで、エージェントが不完全であっても安全なシステムを構築できるのです。これは、「善人は常に正しい」と信じることから、「善人が同時に間違わないこと」を証明することへの転換なのです。

技術要約：誠実なクォーラム問題と認識論的ビザンチン故障耐性（EBFT）

1. 問題提起：誠実なクォーラム問題（The Honest Quorum Problem）

本論文は、決定論的なコンセンサス・プロトコル内で動作する「エージェンティック（agentic）」なバリデータ（確率的、学習的、または生成的な推論を用いて意味論的な判断を行う参加者）において発生する、決定的な失敗モードを特定している。

古典的なビザンチン故障耐性（BFT）では、システムは「ビザンチン（任意の故障を持つ）」ノードの限定された集合以外の参加者は「誠実（honest）」であると仮定する。ここでの「誠実」とは、プロトコルの遷移または検証のセマンティクス（意味論）を正しく実装していることを意味する。誠実なクォーラム問題は、この区分を弱体化させるものである。本論文は、以下の状態にあるバリデータのクォーラムを想定している：

プロトコル準拠： 正しく認証を行い、タイムアウト内に応答し、投票プロトコルに従い、二重署名（矛盾するメッセージへの署名）を行わない。
意味論的に誤り： プロトコルには準拠しているものの、集団としてアプリケーションレベルの不変条件（例：不正な書き込み権限の付与）に違反する状態遷移を承認する。

この失敗は、**認識論的故障（epistemic fault）**と呼ばれる。従来のビザンチン故障とは異なり、認識論的故障はバリデータの推論プロセスにおける確率的な性質から生じる。プロトコルに準拠した複数のバリデータが、モデルの系譜、学習分布、プロンプト・パターン、検索ソース、ツールチェーン、またはプロバイダーのインフラストラクチャといった共通の依存関係を共有しているために、集団として一貫した誤りを犯す可能性がある。したがって、名目上のアイデンティティの多様性は、認識論的な独立性を保証するものではない。

本論文は、プロトコルの合意は意味論的な妥当性を意味せず、意味論的な妥当性が実行の安全性を意味するわけではないことを確立している。特定の無効なクラスを支持するプロトコル準拠のバリデータの集中度がクォーラムの閾値を超えた場合、システムは無効な遷移に対して適切に構成された証明書（certificate）を作成できてしまう。

2. 手法：認識論的ビザンチン故障耐性（EBFT）

これに対処するため、本論文は「ポスト決定論的分散システム（PDDS）」—決定論的な調整が確率的な意味論的判断を取り囲んでいるシステム—のための故障耐性モデルとして、**認識論的ビザンチン故障耐性（EBFT）**を定義する。

コア定義

EBFTは、従来のビザンチン故障界限（ $f$ ）に、プロトコル準拠のバリデータの挙動を制限する、信頼度インデックス付きの2つの量（ $H$ ）を加える：

$e_\delta$ （意味論的安全予算）： ビザンチン集合の外側にいるプロトコル準拠のバリデータによる、一貫した無効な承認の重みの境界。これは、誠実なバリデータが十分に多く、無効な遷移に対して誤って合意してしまうリスクを定量化する。
$u_\epsilon$ （生存予算）： プロトコル準拠のバリデータからの利用不可能な支持の境界。これには、誤った拒絶、棄権、タイムアウト、出力の分岐、または正規化の失敗などが含まれ、有効な候補が証明書を形成することを妨げる。

これらの予算は、特定のワークロード領域 $D$ 上で定義され、それぞれ確率 $1-\delta$ および $1-\epsilon$ で成立する事象 $E_\delta$ および $U_\epsilon$ に条件付けられる。

閾値の導出

論文では、安全性、合意、および生存性を分離するための証明書閾値（ $q$ ）の条件を導出している：

意味論的証明書の妥当性： 無効な候補が証明書を形成するのを防ぐには、閾値は $q > f + e_\delta$ を満たさなければならない。これにより、すべてのビザンチンノード（ $f$ ）と、許容される最大の一貫した誤った承認（ $e_\delta$ ）が特定の無効な遷移に投票したとしても、クォーラムに達することができない。
合意（Agreement）： 矛盾する証明書が発生するのを防ぐには、閾値は $2q - N > f$ （または $q > (N+f)/2$ ）を満たさなければならない。極めて重要なことに、この条件はビザンチン界限 $f$ にのみ依存する。EBFTにおいてプロトコル準拠のバリデータは二重署名を行わないため、たとえ認識論的に故障していても、合意を脅かすことはない。
生存性（Liveness）： 有効な候補が証明書を取得できるようにするには、閾値は $q \le N - f - u_\epsilon$ を満たさなければならない。これにより、誠実なバリデータからの利用可能な支持が、閾値を満たすのに十分であることが保証される。

論文は、システムサイズ $N$ が特定の集団不等式（例： $N > 2f + e_\delta + u_\epsilon$ ）を満たす場合にのみ、実行可能な整数閾値 $q$ が存在することを証明している。

キャリブレーションと多様性

論文は、「多様性」は安全性の証明ではないことを強調している。むしろ、多様性はエラーの上限集中を減少させるためのメカニズムである。この手法は、特定の委員会構成に対して $e_\delta$ と $u_\epsilon$ を経験的に推定するためのオフライン・キャリブレーションを必要とする。

リスクプロファイル： キャリブレーション中に、ドメイン、委員会、閾値、およびプロベナンス（モデルバージョン、プロンプト、ツール）を指定する署名付きのリスクプロファイルが生成される。
実行時のアドミッション（受理）： 実行時には、リクエストがキャリブレーションされたドメイン内に収まっているか、およびリスクプロファイルが有効であるかをチェックする。リクエストが有効な場合、システムは隔離された検証パッケージを配信する。事前にキャリブレーションされた閾値 $q$ を満たす数の承認が得られた場合にのみ、証明書が形成される。
再キャリブレーション： モデルの更新、ワークロードの変化、または共通モード故障の検出に基づき、プロファイルは失効または取り消される必要がある。

3. 主な貢献

誠実なクォーラム問題の定式化： 相関のある認識論的エラーにより、プロトコルに準拠し、二重署名を行わないバリデータが集団として意味論的に無効な遷移を承認するという失敗モードを定義した。
EBFTの定義： ビザンチンによる任意の振る舞いと、プロトコル準拠のバリデータによる信頼度インデックス付きのセマンティック予算（ $e_\delta$ および $u_\epsilon$ ）を分離する故障モデルを導入した。
閾値定理： PDDSにおける意味論的証明書の妥当性、合意、および生存性に必要な十分条件を導出した。特に、合意はビザンチン界限のみに依存し、安全性と生存性は認識論的予算に依存することを証明した。
多様性を考慮した保証： 多様性を、独立性の保証ではなく、無効な承認の上限集中を減少させるための変数として再定義した。また、キャリブレーションと敵対的テストを通じてこれらの予算を推定する手法を概説した。

4. 結果と理論的境界

不可能定理： 論文は、追加の意味論的根拠（例：妥当性オラクル、信頼できる検証器、またはキャリブレーションされた集中度境界）なしには、合意シグナルのみに依存するプロトコルは、意味論的な証明書の妥当性を保証できないことを証明している。エラーの分布が制限されていない場合、無効な候補は確率1でいかなるカウントベースの証明書ルールをも満たしうる。
共通モード故障のフロア： サブセットのバリデータが潜在的な共通モード故障（例：同一のモデル重み）を共有している場合、無効な証明書の確率は、バリデータの数に関わらず、その共通モード事象が発生する確率を下回ることはない。
閾値の実現可能性： 論文は、意味論的妥当性、合意、および生存性が同時に満たされるような $q$ を選択するための正確な整数公式を提供している。これは、単に古典的な $3f+1$ の式を再重み付けするだけでは不十分であり、システムは明示的に $e_\delta$ と $u_\epsilon$ を考慮しなければならないことを示している。

5. 意義と主張

本論文は、自律的なエージェント（LLM、推論システム）が分散制御プレーンに参加するエージェンティック・インフラストラクチャのための理論的枠組みとして、EBFTを位置づけている。その主な意義は以下の通りである：

合意と意味論の分離： 「プロトコルの合意（同じログエントリを決定すること）」と「意味論的な妥当性（そのエントリが安全かつ正しいこと）」の間のギャップを明示的にモデル化した。
認識論的リスクの定量化： 「多様性」という定性的な主張を超えて、相関のある意味論的失敗に対する定量的な境界を提示した。
安全性の運用化： オフライン・キャリブレーションと実行時アドミッションという二段階のプロセスを提案することで、確率的な検証者を使用しながらも、厳格で確率的な安全性保証を維持できるシステムを実現した。

著者らは、この研究はOpenKedge研究プログラム内における一つの「ポジショニング」であり、製品の説明ではないと謙虚に述べている。彼らは意味論的な正当性を決定論的に解決することを主張しているのではなく、意味論的な判断が本質的に確率的であるシステムのための、故障モデルと閾値理論を提供することを目的としている。提供される保証は、キャリブレーションの妥当性、ワークロードドメインの安定性、および推定された予算の正確性に条件付けられている。