🤖 machine learning

Attacks and Mitigations for Distributed Governance of Agentic AI under Byzantine Adversaries

Dieser Beitrag untersucht die Anfälligkeit des zentralisierten SAGA-Frameworks für die Governance agenter KI gegenüber böswilligen Anbietern, indem er spezifische Angriffsvektoren analysiert und vier unterschiedliche Absicherungsarchitekturen vorschlägt – von vollständig byzantinresistenten bis hin zu hybriden und leichtgewichtigen Überwachungslösungen –, die verschiedene Kompromisse zwischen Sicherheit und Leistung bieten.

Ursprüngliche Autoren: Matthew D. Laws, Alina Oprea, Cristina Nita-Rotaru

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Matthew D. Laws, Alina Oprea, Cristina Nita-Rotaru

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine belebte Stadt vor, in der Tausende autonomer Roboter (KI-Agenten) eingestellt werden, um Aufgaben wie Terminbuchungen, Datenbankverwaltung oder das Schreiben von Code zu erledigen. Um diese Stadt sicher zu halten, gibt es ein zentrales „Rathaus" (genannt Provider), das Ausweise ausstellt, prüft, wer mit wem sprechen darf, und ein Protokoll aller Aktionen führt. Dieses System heißt SAGA.

Das Problem ist: Was ist, wenn der Bürgermeister, der das Rathaus leitet, tatsächlich ein Bösewicht ist? Oder was, wenn ein Hacker das Bürgermeisteramt übernimmt?

Dieser Artikel untersucht genau dieses Szenario. Er zeigt, wie ein korruptes Rathaus das gesamte System ruinieren kann, und bietet drei verschiedene Wege zur Behebung an, je nachdem, wie viel Sicherheit Sie benötigen versus wie schnell Sie die Abläufe haben möchten.

Hier ist die Aufschlüsselung der Geschichte des Artikels:

1. Das Problem: Ein korruptes Rathaus

Das ursprüngliche SAGA-System geht davon aus, dass das Rathaus ehrlich ist. Doch die Autoren zeigen, dass ein kompromittiertes Rathaus schreckliche Dinge tun kann:

Der Geister-Agent: Es kann einen Roboter ohne echten Ausweis in die Stadt lassen, sodass, wenn dieser Roboter Daten stiehlt, niemand weiß, wer ihn gesandt hat.
Der Datendieb: Es kann heimlich alle privaten Passwörter und E-Mails aller kopieren.
Der Torhüter: Es kann verhindern, dass gute Roboter miteinander sprechen (was die Arbeit zum Stillstand bringt), oder es kann zulassen, dass böse Roboter mit geheimen sprechen (was zu Lecks führt).
Der Löscher: Es kann so tun, als würde es einen gefährlichen Roboter löschen, ihn aber tatsächlich weiterlaufen lassen, oder es kann die Löschung verweigern, wenn dies verlangt wird.

Im Grunde genommen kollabiert das gesamte Sicherheitssystem, wenn das Rathaus böse ist.

2. Die Lösungen: Drei Wege, das Rathaus zu reparieren

Die Autoren schlagen drei verschiedene „Heilmittel" vor, um ein korruptes Rathaus zu stoppen, wobei jedes einen eigenen Kompromiss zwischen Sicherheit und Geschwindigkeit bietet.

Option A: Der „Super-strikte" Stadtrat (SAGA-BFT)

Die Metapher: Anstelle eines einzigen Bürgermeisters haben Sie einen Rat aus 7 Personen. Um eine Entscheidung zu treffen (wie das Zulassen eines Roboters), müssen mindestens 5 von ihnen zustimmen. Selbst wenn 2 von ihnen Verräter sind, können die anderen 3 ehrlichen sie überstimmen und die schlechte Entscheidung stoppen.
Das Gute: Dies ist die sicherste Option. Ein korrupter Bürgermeister kann nichts tun, da der Rat ihn stoppt.
Das Schlechte: Es ist unglaublich langsam. 5 Personen zur Einigung zu bringen, erfordert viel Zeit und Telefonate. Der Artikel fand heraus, dass dieses System etwa 100-mal langsamer ist als das Original. Es ist, als müsste man auf ein Komitee-Meeting warten, nur um eine Tasse Kaffee zu kaufen.

Option B: Der „Spion" (SAGA-AUD)

Die Metapher: Sie stellen einen Privatdetektiv (den „Prüfer") ein, der sich als normaler Bürger ausgibt. Er versucht, alberne Dinge zu tun, wie das Registrieren eines gefälschten Roboters oder den Versuch, mit einem Roboter zu sprechen, mit dem er nicht sprechen darf. Wenn das Rathaus ihn damit durchkommen lässt, gibt der Detektiv Alarm.
Das Gute: Es ist sehr schnell, da das Rathaus nicht mit einem Rat sprechen muss. Es läuft einfach normal weiter.
Das Schlechte: Es ist nicht perfekt. Der Detektiv prüft nur gelegentlich. Wenn das Rathaus böse ist, könnte es zwischen den Prüfungen mit einem Verbrechen durchkommen. Außerdem kann der Detektiv nicht in die privaten Dateien des Rathauses sehen, sondern nur das, was an der Haustür passiert.

Option C: Die „Überwachungskameras" (SAGA-MON)

Die Metapher: Sie installieren ein Überwachungskamerasystem, das von einer vertrauenswürdigen dritten Partei (wie dem Cloud-Betreiber) betrieben wird. Diese Kamera beobachtet jede einzelne Anfrage und Antwort. Sie prüft: „Hat das Rathaus diesem Roboter ‚Ja' gesagt? Hat die Datenbank tatsächlich ‚Ja' aufgezeichnet? Wenn die Kamera eine Diskrepanz sieht, gibt sie Alarm."
Das Gute: Es fängt fast alles ein und ist sehr schnell (nur geringfügig langsamer als das Original).
Das Schlechte: Es erfordert einen vertrauenswürdigen Kameraoperator. Wenn auch der Kameraoperator korrupt ist, funktioniert dies nicht.

3. Das Beste aus beiden Welten: Die Hybrid-Stadt (SAGA-HYB)

Die Autoren erkannten, dass nicht alle Roboter denselben Schutzbedarf haben.

Die Metapher: Stellen Sie sich eine Stadt mit verschiedenen Vierteln vor.
- Das Bankenviertel: Enthält die wertvollsten Daten. Dieses Viertel nutzt den Super-strikten Rat (Option A). Es ist langsam, aber das Geld ist sicher.
- Das Einkaufsviertel: Enthält alltägliche Roboter. Dieses Viertel nutzt die Überwachungskameras (Option C). Es ist schnell, und die Kameras fangen die meisten Diebe.
Das Ergebnis: Sie erhalten die Sicherheit des Rats dort, wo es am wichtigsten ist, aber die Geschwindigkeit der Kameras für alles andere. Der Artikel zeigt, dass dieses Hybridsystem nur etwa 2-mal langsamer ist als das Original, während es gleichzeitig die wichtigsten Geheimnisse schützt.

Zusammenfassung der Ergebnisse

Der Angriff: Eine korrupte zentrale Behörde kann das gesamte KI-Sicherheitssystem zerstören.
Die Lösung: Man kann nicht einfach einer Person vertrauen. Sie benötigen entweder einen Abstimmungsrat (langsam, aber sicher), einen Spion (schnell, aber muss geprüft werden) oder Kameras (schnell und effektiv).
Der Gewinner: Der Hybrid-Ansatz ist der praktische Gewinner. Er ermöglicht es Ihnen, Ihre KI-Agenten für alltägliche Aufgaben schnell laufen zu lassen, während Sie die sensibelsten Daten mit der stärkstmöglichen Sicherheit absichern.

Der Artikel kommt zu dem Schluss, dass die „Super-strikte" Methode zwar theoretisch perfekt ist, aber für das echte Leben zu langsam ist. Die „Hybrid"-Methode ist der Sweet Spot und bietet starke Sicherheit, ohne das System zum Stillstand zu bringen.

Technische Zusammenfassung: Angriffe und Gegenmaßnahmen für die dezentrale Governance von Agentic AI unter byzantinischen Angreifern

Problemstellung

Die rasche Einführung von Agentic-AI-Systemen hat die Entwicklung sicherer Governance-Infrastrukturen überholt. Während Frameworks wie AutoGen und MetaGPT autonome Agenten ermöglichen, fehlt es ihnen an integrierter Sicherheit, was sie anfällig für böswillige Akteure macht. Bestehende Lösungen wie SAGA (Secure Agentic Governance Architecture) bieten eine zentralisierte Governance-Schicht zur Durchsetzung von Richtlinien, zur Authentifizierung von Agenten und zur Sicherstellung der Zuordnbarkeit. SAGA verlässt sich jedoch auf einen logisch zentralisierten, vertrauenswürdigen Provider.

Dieser Beitrag identifiziert eine kritische Schwachstelle: die Annahme, dass der Provider ehrlich ist. In realistischen Bereitstellungen (private oder öffentliche Clouds) ist der Provider anfällig für Insider-Bedrohungen, Side-Channel-Angriffe und Privilegienausweitung (z. B. CVE-2024-21626). Wird der Provider kompromittiert und verhält sich byzantinisch (willkürlich abweichend vom Protokoll), kollabieren alle Sicherheitsgarantien des Systems. Die Autoren analysieren die unter diesem Modell möglichen spezifischen Angriffe und zeigen auf, dass ein böswilliger Provider die Zuordnbarkeit von Agenten untergraben, private Daten extrahieren, Zugriffskontrollen umgehen und autorisierte Kommunikationen stören kann.

Methodik

Die Autoren schlagen eine umfassende Analyse der Bedrohungslandschaft gefolgt von drei distincten Gegenmaßnahmen vor, die jeweils unterschiedliche Kompromisse zwischen Sicherheit und Leistung bieten.

1. Angriffsanalyse

Die Autoren definieren ein Angreifermodell, bei dem ein kompromittierter Provider spezifische Komponenten kontrollieren kann: den Protocol Manager (PM), die Access Control Engine (ACE) und die Datenbank (DB). Sie kategorisieren und demonstrieren sechs konkrete Angriffsarten:

C1 (Verhinderung des Ökosystemzugriffs): Verweigerung der Registrierung oder Anmeldung für gültige Benutzer.
C2 (Untergrabung der Agenten-Zuordnbarkeit): Registrierung von Agenten ohne Bindung an verifizierte menschliche Identitäten, wodurch böswillige Agenten ohne Konsequenzen operieren können.
C3 (Extraktion privater Daten): Diebstahl von PII und Zugangsdaten während der Registrierung oder aus der Datenbank.
C4 (Verhinderung des Agenten-Lebenszyklus-Managements): Stilles Blockieren von Updates, Widerrufen oder Richtlinienänderungen.
C5 (Ermöglichung nicht autorisierter Kommunikation): Fälschung von Zugriffskontrollprüfungen, um verbotene Interaktionen zu erlauben.
C6 (Störung autorisierter Kommunikation): Blockieren legitimer Agent-zu-Agent-Kommunikation.

2. Vorgeschlagene Lösungen

Der Beitrag stellt drei architektonische Variationen zur Absicherung des Providers vor:

SAGA-BFT (Byzantine Fault Tolerant):
- Mechanismus: Ersetzt den fehlertoleranten Raft-Konsens durch ein byzantinisches fehlertolerantes Protokoll (z. B. PBFT/Tendermint) sowohl für den Controller als auch für die Datenbank. Es werden $3f+1$ Repliken benötigt, um $f$ Fehler zu tolerieren.
- Kompromiss: Bietet die stärksten Sicherheitsgarantien (nachweisbar gegen alle Integritäts-/Verfügbarkeitsangriffe), verursacht jedoch erhebliche Leistungseinbußen aufgrund der $O(n^2)$ Kommunikationsrunden, die für den Konsens erforderlich sind.
SAGA-MON (Provider-seitiges Monitoring):
- Mechanismus: Ein passiver Überwachungsdienst (betrieben vom Cloud-Betreiber), der Netzwerkprotokolle (Anfragen/Antworten) mit Datenbankzustandsprotokollen korreliert. Er überprüft Invarianten, wie z. B. die Sicherstellung, dass jede Anfrage eine entsprechende Datenbankänderung zur Folge hat und dass Zugriffskontrollentscheidungen der Richtlinie entsprechen.
- Kompromiss: Geringer Overhead; basiert auf der Annahme, dass Protokolle von vertrauenswürdigen Punkten (z. B. TLS-Terminierung oder Sidecars) erfasst werden können und dass der Verifizierer vertrauenswürdig ist.
SAGA-AUD (Client-seitiges Auditing):
- Mechanismus: Benutzer (oder ihre Agenten) fügen proaktiv „Canary"-Aktionen ein (z. B. Registrierung eines Benutzers mit ungültigen Zugangsdaten, Versuch der Kommunikation mit einem blockierten Agenten), um die Antworten des Providers zu überprüfen.
- Kompromiss: Geringer Overhead; basiert auf der Annahme, dass der Provider Auditor nicht von regulären Benutzern unterscheiden kann. Die Erkennung ist probabilistisch und hängt von der Häufigkeit der Audits ab.
SAGA-HYB (Hybrid-Architektur):
- Mechanismus: Kombiniert die oben genannten Ansätze unter Verwendung einer Shard-Architektur. Eine Routing-Schicht leitet den Verkehr zu verschiedenen Shards weiter. Hochsichere Agenten werden zu BFT-Shards geleitet, während latenzsensitive oder risikominimierte Agenten MON- oder AUD-Shards nutzen.
- Kompromiss: Ermöglicht es Systembetreibern, die Kosten der byzantinischen Resilienz zu amortisieren, indem sie starke Sicherheit nur dort bereitstellen, wo sie notwendig ist, während gleichzeitig ein hoher aggregierter Durchsatz erhalten bleibt.

Wichtige Ergebnisse

Die Autoren bewerteten diese Architekturen im Vergleich zur Baseline SAGA unter Verwendung einer 16-Kern-CPU und verschiedener Workloads (OTK-Aktualisierung, inter-Agenten-Kommunikation und End-to-End-Multi-Agenten-Aufgaben).

Sicherheit: Die Evaluation bestätigte, dass ein böswilliger Provider erfolgreich alle 16 identifizierten Angriffsvarianten gegen die Baseline SAGA ausführen kann. SAGA-BFT milderte erfolgreich alle Integritäts- und Verfügbarkeitsangriffe ab. SAGA-MON und SAGA-AUD erkannten Angriffe mit hoher Wahrscheinlichkeit, jedoch mit einer Verzögerung, die inhärent für Überwachungs-/Audit-Zyklen ist.
Leistungsoverhead:
- SAGA-BFT: Erlitt eine drastische Leistungsverschlechterung und erreichte bei gängigen Anfragen nur etwa 1 % des Durchsatzes der Baseline SAGA aufgrund der hohen Kosten des byzantinischen Konsenses.
- SAGA-MON: Erreichte etwa 95 % des Baseline-Durchsatzes.
- SAGA-AUD: Erreichte etwa 85 % des Baseline-Durchsatzes.
- SAGA-HYB: Zeigte, dass durch das Mischen von Shards das System BFT-Level-Sicherheit für eine Teilmenge von Agenten bereitstellen kann, während die durchschnittliche Latenz nahe an der Baseline bleibt (z. B. 2-fache Latenz von SAGA für eine Hybridkonfiguration im Vergleich zum massiven Overhead eines vollständigen BFT).
End-to-End-Latenz: Bei realistischen Multi-Agenten-Aufgaben (Planung, Spesenberichte, Schreiben) war der Overhead von SAGA-MON und SAGA-AUD im Vergleich zu LLM-Denkzeiten vernachlässigbar. SAGA-BFT fügte eine signifikante Latenz hinzu, blieb jedoch für sicherheitskritische Operationen innerhalb angemessener Grenzen.

Bedeutung und Behauptungen

Der Beitrag beansprucht, der erste zu sein, der systematisch die verheerenden Auswirkungen eines kompromittierten Providers in der Governance von Agentic AI analysiert und demonstriert. Seine Hauptbeiträge sind:

Bedrohungsidentifikation: Er geht über theoretische Risiken hinaus, indem er konkrete Angriffe ausführt, die Zuordnbarkeit, Vertraulichkeit und Integrität in einer verteilten Provider-Umgebung kompromittieren.
Praktische Gegenmaßnahmen: Er bietet ein Spektrum von Lösungen (BFT, Monitoring, Auditing, Hybrid) an, anstatt einen einzigen „Allzweck"-Ansatz, und erkennt die praktischen Einschränkungen von Systemen mit hohem Durchsatz und niedriger Latenz an.
Kompromissanalyse: Er liefert empirische Daten, die zeigen, dass zwar vollständige byzantinische Resilienz für den allgemeinen Gebrauch prohibitiv teuer ist, leichte Überwachung und Audits jedoch nahezu Baseline-Leistung mit hohen Erkennungswahrscheinlichkeiten bieten. Das Hybridmodell (SAGA-HYB) wird als gangbarer Weg zur Skalierung sicherer Governance präsentiert, der es Betreibern ermöglicht, Sicherheitsanforderungen mit Leistungsbedürfnissen in Einklang zu bringen.

Die Autoren schließen, dass eine sichere Governance für Agentic AI auch dann möglich ist, wenn Komponenten nicht vertrauenswürdig sind, vorausgesetzt, die Architektur ist so gestaltet, dass byzantinisches Verhalten durch eine Kombination aus Replikation, Überwachung und Auditing erkannt und gemildert wird.