🤖 machine learning

The Honest Quorum Problem: Epistemic Byzantine Fault Tolerance for Agentic Infrastructure

Dieses Paper führt Epistemic Byzantine Fault Tolerance (EBFT) ein, ein neues Konsens-Framework für agentische Infrastrukturen, das das „Honest Quorum Problem“ adressiert, indem es die traditionelle Fehlertoleranz erweitert, um korrelierte Denkfehler unter protokollkonformen Agenten zu berücksichtigen und dadurch semantische Validität sowie Liveness durch konfidenzindexierte Schranken für ungültige Endorsements und unbrauchbare Unterstützung zu gewährleisten.

Ursprüngliche Autoren: Jun He, Deying Yu

Veröffentlicht 2026-07-20

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jun He, Deying Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer nicht nur starre, vorgeschriebene Anweisungen befolgen wie ein Taschenrechner, sondern stattdessen wie winzige, denkende Angestellte agieren. Diese „agentischen“ Computer können eine unordentliche Situation analysieren, eine Richtlinie lesen und entscheiden, was als Nächstes zu tun ist. Aber hier ist der Haken: Da sie probabilistisches Denken verwenden (wie das Erraten des besten Zuges in einem Spiel), können sie manchmal einen „intelligenten“ Fehler begehen. Sie können alle Regeln perfekt befolgen, die richtigen Formulare unterschreiben und pünktlich antworten, und dennoch entscheiden sie sich für etwas Gefährliches.

Um diese digitalen Angestellten in der Spur zu halten, verwenden wir ein System namens Byzantine Fault Tolerance. Denken Sie an dies als einen superstrengen Verein, in dem abgestimmt wird. Die Regel des Clubs ist einfach: Solange eine bestimmte Anzahl von Mitgliedern mit „Ja“ stimmt, ist die Entscheidung endgültig. Traditionell gingen wir davon aus, dass, wenn ein Mitglied kein „böser Kerl“ war (ein Verräter, der versucht, das System zu sabotieren), es immer das richtige Ding stimmen würde. Aber was wäre, wenn die „guten Leute“ alle dasselbe Lehrbuch, denselben Lehrer und denselben Studienführer verwenden? Sie könnten alle über die falsche Antwort übereinstimmen, nicht weil sie Verräter sind, sondern weil sie alle denselben Fehler gelernt haben. Dies ist das beängstigende neue Problem, das dieses Paper behandelt: Eine Gruppe von ehrlichen, regelbefolgenden Computern, die sich auf eine Katastrophe einigen.

Das Problem des ehrlichen Quorums: Wenn die Guten auf die Falsche Sache einigen

Dieses Paper mit dem Titel The Honest Quorum Problem befasst sich mit einem sehr spezifischen Kopfzerbrechen für die Zukunft der KI und Computernetzwerke. Es stellt die Frage: Was passiert, wenn eine Gruppe von ehrlichen, regelbefolgenden KI-Agenten alle zustimmen, etwas zu tun, das eigentlich eine schreckliche Idee ist?

In den alten Tagen der Informatik hatten wir ein Sicherheitsnetz namens Byzantine Fault Tolerance (BFT). Stellen Sie sich eine Gruppe von Generälen vor, die entscheiden müssen, ob sie eine Burg angreifen. Einige Generäle könnten Verräter (Byzantine Faults) sein, die versuchen, die anderen zu täuschen. Die BFT-Regel besagt: „Solange wir genug ehrliche Generäle haben, können wir die Verräter ignorieren und eine sichere Entscheidung treffen.“ Die zentrale Annahme war, dass die „ehrlichen“ Generäle immer die richtige Antwort wüssten.

Doch die Autoren dieses Papers weisen darauf hin, dass diese Annahme im Zeitalter der KI gebrochen ist. Sie führen ein neues Konzept ein: einen Epistemic Fault (epistemischen Fehler). „Epistemisch“ bedeutet einfach „auf Wissen bezogen“. Ein epistemischer Fehler tritt auf, wenn ein KI-Agent vollkommen ehrlich ist – er befolgt das Protokoll, setzt die digitale Signatur und lügt nicht – aber sein Schlussfolgern falsch ist.

Das Szenario des „Ehrlichen Quorums“
Stellen Sie sich ein Komitee aus sieben KI-Agenten (Validatoren) vor, die damit beauftragt sind, eine Änderung an einem Cloud-Server zu genehmigen.

Das Setup: Ein Agent schlägt vor: „Geben wir diesem Benutzer die Berechtigung, all unsere Daten zu löschen.“
Die Falle: Alle sieben Agenten sind „ehrlich“. Sie sind keine Verräter. Sie befolgen alle die Regeln. Aber sie wurden alle auf demselben Datensatz trainiert, nutzen dieselben Suchwerkzeuge und haben dieselben „blinden Flecken“.
Das Ergebnis: Alle sieben Agenten stimmen mit „Ja“. Sie bilden ein perfektes Quorum (eine Mehrheit). Das System sagt: „Großartig! Wir haben ein Zertifikat! Machen wir es!“
Die Katastrophe: Das System löscht alle Daten. Das Protokoll funktionierte perfekt, aber die Bedeutung der Entscheidung war falsch.

Das Paper nennt dies das Honest Quorum Problem. Es ist ein Versagen, bei dem das System technisch „korrekt“ ist (alle haben zugestimmt, die Signaturen sind gültig), aber semantisch „kaputt“ (die Aktion ist gefährlich).

Die neue Lösung: EBFT

Die Autoren schlagen ein neues Sicherheitsmodell vor, das Epistemic Byzantine Fault Tolerance (EBFT) heißt. Anstatt nur Köpfe zu zählen, versucht EBFT zu messen, wie wahrscheinlich es ist, dass die ehrlichen Agenten alle denselben Fehler machen.

Sie führen zwei neue „Budgets“ ein, um dieses Risiko zu steuern:

Das Sicherheitsbudget ( $e_\delta$ ): Dies ist eine Grenze dafür, wie viele ehrliche Agenten fälschlicherweise einer schlechten Idee zustimmen können.
- Analogie: Stellen Sie sich vor, Sie engagieren ein Team von Kunstkritikern, um ein Gemälde zu beurteilen. Sie wissen, dass sich manchmal selbst gute Kritiker von einer Fälschung täuschen lassen können. Das Sicherheitsbudget fragt: „Was ist die maximale Anzahl an Kritikern, die alle gleichzeitig von derselben gefälschten Malerei getäuscht werden könnten?“ Wenn Ihr Team zu klein ist oder wenn sie alle dieselbe Kunstschule besucht haben, könnte diese Zahl zu hoch sein, und Sie können ihrer Stimme nicht vertrauen.
Das Liveness-Budget ( $u_\epsilon$ ): Dies ist eine Grenze dafür, wie viele ehrliche Agenten gar nicht erst abstimmen (indem sie verwirrt sind, ein Timeout erleben oder sich weigern zu antworten).
- Analogie: Wenn zu viele Kritiker zu beschäftigt, zu verwirrt oder zu ängstlich sind, um abzustimmen, können Sie keine Entscheidung erreichen. Dieses Budget misst, wie viele „Nichterscheiner“ oder „Ich weiß es nicht“-Antworten Sie tolerieren können, bevor das System einfriert.

Wie es in der Praxis funktioniert

Das Paper schlägt einen zweistufigen Prozess vor, um die Sicherheit zu gewährleisten:

Schritt 1: Die Kalibrierung (Die Testfahrt)
Bevor Sie Ihr KI-Komitee echte Entscheidungen treffen lassen, müssen Sie es testen. Sie geben ihnen eine Reihe von Übungsaufgaben, bei denen Sie die richtige Antwort kennen.

Sie prüfen: „Wie oft haben sie alle auf die falsche Antwort geeinigt?“ (Dies ergibt das Sicherheitsbudget).
Sie prüfen: „Wie oft sind sie steckengeblieben oder haben sich geweigert zu antworten?“ (Dies ergibt das Liveness-Budget).
Entscheidend ist, dass Sie prüfen, ob sie tatsächlich divers sind. Wenn Sie sieben Agenten haben, aber alle dasselbe „Gehirn“ (Modell) und dieselbe „Bibliothek“ (Retrieval-Quelle) nutzen, werden sie wahrscheinlich gemeinsam scheitern. Das Paper argumentt, dass es nicht ausreicht, einfach sieben verschiedene Namen zu haben; man muss beweisen, dass sie nicht dieselben verborgenen Schwächen teilen.

Schritt 2: Die Laufzeit (Das eigentliche Geschäft)
Wenn eine echte Anfrage eingeht, prüft das System zuerst die Testergebnisse.

Wenn die Anfrage etwas ist, das das Komitee nicht getestet hat, oder wenn die Testergebnisse zeigen, dass das Komitee zu riskant ist, sagt das System: „Nein, darüber stimme ich nicht ab.“ Es könnte einen Menschen zur Intervention bitten.
Wenn die Anfrage sicher ist und das Komitee bereit ist, zählt das System die Stimmen. Aber nun wird die „Passierschwelle“ (der Schwellenwert) basら auf diesen Test-Budgets berechnet, nicht nur nach einer einfachen mathematischen Formel wie „mehr als die Hälfte“.

Was das Paper sagt (und nicht sagt)

Die Autoren sind sehr vorsichtig mit ihren Behauptungen. Sie beweisen, dass:

Bloße Übereinstimmung (alle stimmen gleichartig ab) nicht garantiert, dass die Entscheidung sicher ist.
Man sich nicht auf einfache Mathematik (wie die alte „3f + 1“-Regel) verlassen kann, um dies zu beheben. Man braucht eine Messung des Risikos der KI-Argumentation.
Man einen spezifischen „Kalibrierungsprozess“ benötigt, um zu messen, wie oft die KI-Agenten korrelierte Fehler machen.

Sie behaupten nicht, ein magisches Heilmittel gefunden zu haben, das KI perfekt sicher macht. Sie geben zu, dass:

Wenn die KI-Agenten verborgene Verbindungen haben (wie dieselben Trainingsdaten oder denselben Cloud-Anbieter), sie dennoch gemeinsam scheitern könnten, auf eine Weise, die wir nicht vorhersehen können.
Dieses System zusätzliche Schritte und Zeit (Latenz) beansprucht, da man testen und verifizieren muss, bevor man handelt.
Die „Budgets“ Schätzungen basierend auf Tests sind. Wenn die KI aktualisiert wird oder sich die Welt verändert, muss man alles neu testen.

Das große Fazlelement

Die Hauptbotschaft des Papers ist eine Warnung und ein Leitfaden. Es warnt uns, dass in einer Welt intelligenter, argumentierender KI „ehrlich zu sein“ nicht ausreicht. Eine Gruppe ehrlicher Agenten kann immer noch für eine Katastrophe stimmen, wenn sie alle gleich denken.

Um dies zu beheben, können wir nicht einfach Stimmen zählen. Wir müssen die Qualität der Übereinstimmung messen. Wir müssen wissen: „Sind diese Agenten wirklich unabhängig, oder sind sie nur sieben Klone desselben Fehlers?“ Durch die Verwendung dieser neuen „Budgets“ und das rigorose Testen der Agenten, bevor sie abstimmen, können wir Systeme bauen, die auch dann sicher sind, wenn die Agenten unvollkommen sind. Es ist ein Wechsel von dem Vertrauen, dass „gute Leute“ immer recht haben werden, hin zu dem Beweis, dass „gute Leute“ nicht alle gleichzeitig falsch liegen können.

Technisches Resümee: Das Problem des ehrlichen Quorums und die Epistemische Byzantinische Fehlertoleranz

1. Problemstellung: Das Problem des ehrlichen Quorums

Das Paper identifiziert einen kritischen Ausfallmodus in verteilten Systemen, bei denen „agentische“ Validatoren – Teilnehmer, die stochastisches, gelerntes oder generatives Denken nutzen, um semantische Urteile zu fällen – innerhalb eines deterministischen Konsensprotokolls operieren.

In der klassischen Byzantinischen Fehlertoleranz (BFT) geht das System davon aus, dass jeder Teilnehmer außerhalb einer begrenzten Menge von „byzantinischen“ (willkürlich fehlerhaften) Knoten „ehrlich“ ist, was bedeutet, dass er die Protokoll- oder Validierungssemantik korrekt implementiert. Das Problem des ehrlichen Quorums schwächt diese Partitionierung ab. Es postuliert ein Szenario, in dem ein Quorum von Validatoren:

Protokollkonform ist: Sie authentifizieren sich korrekt, antworten innerhalb von Timeouts, folgen dem Abstimmungsprotokoll und begehen keine Äquivokation (unterschreiben keine widersprüchlichen Nachrichten).
Semantisch inkorrekt ist: Trotz Protokollkonformität unterstützen sie kollektiv einen Zustandsübergang, der eine Anwendungsebene-Invariante verletzt (z. B. die Gewährung unbefugter Schreibrechte).

Dieser Fehler wird als epistemischer Fehler bezeichnet. Im Gegensatz zu traditionellen byzantinischen Fehlern entstehen epistemische Fehler aus der stochastischen Natur der Denkprozesse der Validatoren. Mehrere protokollkonforme Validatoren können kohärent scheitern, weil sie gemeinsame Abhängigkeiten wie Modell-Lineage, Trainingsverteilungen, Prompt-Muster, Retrieval-Quellen, Toolchains oder Provider-Infrastrukturen teilen. Infolgedessen garantiert nominale Identitätsdiversität keine epistemische Unabhängigkeit.

Das Paper stellt fest, dass Protokollübereinstimmung nicht semantische Gültigkeit impliziert, und semantische Gültigkeit nicht die Ausführungssicherheit impliziert. Ein System kann ein wohldefiniertes Zertifikat für einen ungültigen Übergang erstellen, wenn die Konzentration protokollkonformer Validatoren, die diesen spezifischen ungültigen Klassentyp unterstützen, den Quorum-Schwellenwert überschreitet.

2. Methodik: Epistemische Byzantinische Fehlertoleranz (EBFT)

Um dies zu adressieren, definiert das Paper die Epistemische Byzantinische Fehlertoleranz (EBFT), ein Fehlertoleranzmodell für „Post-Deterministische Verteilte Systeme“ (PDDS) – Systeme, in denen deterministische Koordination um stochastische semantische Urteilskraft herum operiert.

Kerndefinitionen

EBFT erweitert die konventionelle byzantinische Fehlerschranke ( $f$ ) um zwei konfidenzindexierte Größen, welche das Verhalten protokollkonformer Validatoren ( $H$ ) begrenzen:

$e_\delta$ (Semantische Sicherheitsbudget): Eine Schranke für das Gewicht der kohärenten ungültigen Unterstützung durch protokollkonforme Validatoren außerhalb der byzantinischen Menge. Dies quantifiziert das Risiko, dass genügend ehrliche Validatoren fälschlicherweise einem ungültigen Übergang zustimmen.
$u_\epsilon$ (Liveness-Budget): Eine Schranke für die unbrauchbare Unterstützung durch protokollkonforme Validatoren. Dies umfasst falsche Ablehnungen, Enthaltungen, Timeouts, divergente Ausgaben oder Kanonisierungsfehler, die verhindern, dass ein gültiger Kandidat ein Zertifikat bildet.

Diese Budgets sind über eine spezifische Arbeitslastdomäne $D$ definiert und bedingt auf Ereignisse $E_\delta$ und $U_\epsilon$ , die mit den Wahrscheinlichkeiten $1-\delta$ bzw. $1-\epsilon$ eintreten.

Schwellenwertableitung

Das Paper leitet Zertifikatschwellenwert-Bedingungen ( $q$ ) her, die die Anforderungen für Sicherheit, Übereinstimmung und Liveness trennen:

Semantische Zertifikatsgültigkeit: Um zu verhindern, dass ein ungültiger Kandidat ein Zertifikat bildet, muss der Schwellenwert die Bedingung $q > f + e_\delta$ erfüllen. Dies stellt sicher, dass selbst wenn alle byzantinischen Knoten ( $f$ ) und die maximal erlaubte kohärente falsche Unterstützung ( $e_\delta$ ) für einen ungültigen Übergang stimmen, sie das Quorum nicht erreichen können.
Übereinstimmung (Agreement): Um widersprüchliche Zertifikate zu verhindern, muss der Schwellenwert die Bedingung $2q - N > f$ (oder $q > (N+f)/2$ ) erfüllen. Entscheidend ist, dass diese Bedingung nur von der byzantinischen Schranke $f$ abhängt. Da protokollkonforme Validatoren in EBFT nicht äquivokieren, gefährden sie die Übereinstimmung nicht, selbst wenn sie epistemisch fehlerhaft sind.
Liveness: Um sicherzustellen, dass ein gültiger Kandidat ein Zertifikat erhalten kann, muss der Schwellenwert die Bedingung $q \le N - f - u_\epsilon$ erfüllen. Dies stellt sicher, dass die verfügbare nutzbare Unterstützung durch ehrliche Validatoren ausreicht, um den Schwellenwert zu erreichen.

Das Paper beweist, dass ein realisierbarer ganzzahliger Schwellenwert $q$ nur existiert, wenn die Systemgröße $N$ spezifische Populationsungleichungen erfüllt (z. B. $N > 2f + e_\delta + u_\epsilon$ ).

Kalibrierung und Diversität

Das Paper betont, dass „Diversität“ (unterschiedliche Modelle, Provider oder Prompts) kein Beweis für Sicherheit ist. Stattdessen ist Diversität ein Mechanismus, um die obere Konzentration von Fehlern zu reduzieren. Die Methodik erfordert eine Offline-Kalibrierung, um $e_\delta$ und $u_\epsilon$ empirisch für eine spezifische Komitee-Konfiguration zu schätzen.

Risikoprofile: Während der Kalibrierung wird ein signiertes Risikoprofil erstellt, das die Domäne, das Komitee, die Schwellenwerte und die Provenienz (Modellversionen, Prompts, Tools) spezifiziert.
Laufzeit-Admission: Zur Laufzeit prüft das System, ob die Anfrage in die kalibrierte Domäne fällt und ob das Risikoprofil gültig ist. Wenn die Anfrage gültig ist, werden isolierte Validierungspakete versendet. Ein Zertifikat wird nur gebildet, wenn die Anzahl der Unterstützungen den vorkalibrierten Schwellenwert $q$ erreicht.
Rekalibrierung: Profile müssen bei Modell-Updates, Verschiebungen in der Arbeitslast oder der Erkennung neuer Common-Mode-Fehler ablaufen oder widerrufen werden.

3. Zentrale Beiträge

Formalisierung des Problems des ehrlichen Quorums: Das Paper definiert einen Ausfallmodus, bei dem protokollkonforme, nicht-äquivokierende Validatoren kollektiv einen semantisch ungültigen Übergang unterstützen, bedingt durch korrelierte epistemische Fehler.
Definition von EBFT: Es führt ein Fehlermodell ein, das willkürliches byzantinisches Verhalten von konfidenzindexierten semantischen Budgets ( $e_\delta$ und $u_\epsilon$ ) für protokollkonforme Validatoren trennt.
Schwellenwert-Theoreme: Es leitet notwendige und hinreichende Bedingungen für semantische Zertifikatsgültigkeit, Übereinstimmung und Liveness in PDDS ab. Bemerkenswerterweise beweist es, dass die Übereinstimmung allein von der byzantinischen Schranke abhängt, während Sicherheit und Liveness von den epistemischen Budgets abhängen.
Diversitätsbewusste Absicherung: Es rahmt Diversität nicht als Garantie für Unabhängigkeit um, sondern als Variable, die gemessen werden muss, um die obere Konzentration ungültiger Unterstützung zu reduzieren. Es skizziert eine Methodik zur Schätzung dieser Budgets mittels Kalibrierung und Adversarial Testing.

4. Ergebnisse und theoretische Schranken

Unmöglichkeitsresultate: Das Paper beweist, dass ohne zusätzliche semantische Fundierung (z. B. einen Validitäts-Oracle, einen vertrauenswürdigen Verifizierer oder eine kalibrierte Konzentrationsschranke) kein Protokoll, das rein auf Übereinstimmungssignalen basiert, semantische Zertifikatsgültigkeit garantieren kann. Wenn die Verteilung semantischer Fehler unbeschränkt ist, kann ein ungültiger Kandidat mit einer Wahrscheinlichkeit von eins eine mengenbasierte Zertifikatsregel erfüllen.
Common-Mode-Fehler-Untergrenze: Wenn eine Teilmenge von Validatoren einen latenten Common-Mode-Fehler teilt (z. B. identische Modellgewichte), ist die Wahrscheinlichkeit eines unsicheren Zertifikats mindestens so hoch wie die Wahrscheinlichkeit dieses Common-Mode-Ereignisses, unabhängig von der Anzahl der Validatoren.
Schwellenwert-Machbarkeit: Das Paper liefert exakte ganzzahlige Formeln zur Auswahl von $q$ , sodass semantische Gültigkeit, Übereinstimmung und Liveness unter den definierten probabilistischen Ereignissen gleichzeitig erfüllt sind. Es zeigt, dass eine bloße Umgewichtung der klassischen $3f+1$ -Formel unzureichend ist; das System muss explizit für $e_\delta$ und $u_\epsilon$ sorgen.

5. Bedeutung und Ansprüche

Das Paper positioniert EBFT als theoretischen Rahmen für agentische Infrastruktur, in der autonome Agenten (LLMs, Reasoning-Systeme) an verteilten Kontrollebenen teilnehmen. Seine primäre Bedeutung liegt in:

Entkopplung von Übereinstimmung und Semantik: Es modelliert explizit die Lücke zwischen „Protokollübereinstimmung“ (die Entscheidung für denselben Log-Eintrag) und „semantischer Gültigkeit“ (dass der Eintrag sicher/korrekt ist).
Quantifizierung epistemischer Risiken: Es geht über qualitative Behauptungen über „Diversität“ hinaus und bietet quantitative Schranken für korrelierte semantische Fehler.
Operationalisierung von Sicherheit: Es schlägt einen zweiphasigen Zulassungsprozess vor (Offline-Kalibrierung + Laufzeit-Admission), der es Systemen ermöglicht, stochastische Validatoren zu nutzen und dennoch rigorose, probabilistische Sicherheitsgarantien aufrechtzuerhalten.

Die Autoren geben bescheiden an, dass diese Arbeit eine „Positionierung“ innerhalb des OpenKedge-Forschungsprogramms ist und keine Produktbeschreibung. Sie behaupten nicht, semantische Korrektheit deterministisch zu lösen, sondern stellen vielmehr ein Fehlermodell und eine Schwellenwerttheorie für Systeme bereit, in denen semantische Urteilskraft inhärent stochastisch ist. Die Garantien sind abhängig von der Gültigkeit der Kalibrierung, der Stabilität der Arbeitslastdomäne und der Genauigkeit der geschätzten Budgets.