🤖 machine learning

Attacks and Mitigations for Distributed Governance of Agentic AI under Byzantine Adversaries

Dit artikel behandelt de kwetsbaarheid van het gecentraliseerde SAGA-raamwerk voor agente AI-governance voor kwaadaardige providers door specifieke aanvalsvectoren te analyseren en vier onderscheidende mitigatiearchitecturen voor te stellen—variërend van volledig Byzantijnse-resilient tot hybride en lichtgewicht monitoringoplossingen—die verschillende afwegingen tussen beveiliging en prestaties bieden.

Oorspronkelijke auteurs: Matthew D. Laws, Alina Oprea, Cristina Nita-Rotaru

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matthew D. Laws, Alina Oprea, Cristina Nita-Rotaru

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een drukke stad voor waar duizenden autonome robots (AI-agenten) worden ingehuurd voor taken zoals vergaderingen inplannen, databases beheren of code schrijven. Om deze stad veilig te houden, is er een centraal "Stadhuis" (de Provider) dat ID-kaarten verstrekt, controleert wie met wie mag spreken, en een logboek bijhoudt van ieders acties. Dit systeem heet SAGA.

Het probleem is: wat als de Burgemeester die het Stadhuis runt, eigenlijk een schurk is? Of wat als een hacker het kantoor van de Burgemeester overneemt?

Dit artikel onderzoekt precies dat scenario. Het laat zien hoe een corrupt Stadhuis het hele systeem kan verwoesten, en biedt drie verschillende manieren om het op te lossen, afhankelijk van hoeveel veiligheid je nodig hebt versus hoe snel je dingen wilt laten verlopen.

Hier is de uiteenzetting van het verhaal van het artikel:

1. Het Probleem: Een Corrupt Stadhuis

Het oorspronkelijke SAGA-systeem gaat ervan uit dat het Stadhuis eerlijk is. Maar de auteurs tonen aan dat als het Stadhuis wordt gecompromitteerd, het vreselijke dingen kan doen:

De Spook-Agent: Het kan een robot de stad binnenlaten zonder echte ID, zodat als die robot data steelt, niemand weet wie het heeft gestuurd.
De Data-dief: Het kan stiekem de privé-wachtwoorden en e-mails van iedereen kopiëren.
De Poortwachter: Het kan goede robots ervan weerhouden met elkaar te spreken (waardoor het werk stopt) of slechte robots toestaan met geheime robots te communiceren (waardoor lekken ontstaan).
De Verdelger: Het kan doen alsof het een gevaarlijke robot verwijdert, maar deze in werkelijkheid laten draaien, of weigeren om het te verwijderen wanneer daarom wordt gevraagd.

Kortom: als het Stadhuis kwaadaardig is, stort het hele beveiligingssysteem in.

2. De Oplossingen: Drie Manieren om het Stadhuis te Repareren

De auteurs stellen drie verschillende "remedies" voor om een corrupt Stadhuis te stoppen, elk met zijn eigen afweging tussen veiligheid en snelheid.

Optie A: De "Super-strenge" Stadraad (SAGA-BFT)

De Metafoor: In plaats van één Burgemeester heb je een raad van zeven personen. Om een beslissing te nemen (zoals het toelaten van een robot), moeten er minstens vijf het met elkaar eens zijn. Zelfs als twee van hen verraders zijn, kunnen de andere drie eerlijke leden hen overstemmen en de slechte beslissing stoppen.
Het Goede: Dit is de veiligste optie. Een corrupte Burgemeester kan niets doen omdat de raad hen tegenhoudt.
Het Slechte: Het is ongelooflijk traag. Vijf mensen tot overeenstemming brengen kost veel tijd en telefoontjes. Het artikel vond dat dit systeem ongeveer 100 keer trager is dan het origineel. Het is alsof je wacht op een commissievergadering alleen maar om een kop koffie te kopen.

Optie B: De "Spion" (SAGA-AUD)

De Metafoor: Je huurt een privé-detective in (de "Auditor") die doet alsof hij een gewone burger is. Hij probeert domme dingen te doen, zoals het registreren van een nep-robot of proberen met een robot te praten waar hij geen toestemming voor heeft. Als het Stadhuis hem erdoorheen laat komen, geeft de onderzoeker het alarm.
Het Goede: Het is zeer snel omdat het Stadhuis niet met een raad hoeft te overleggen. Het draait gewoon normaal.
Het Slechte: Het is niet perfect. De onderzoeker controleert slechts af en toe. Als het Stadhuis kwaadaardig is, kan het misschien een misdaad plegen tussen de controles door. Bovendien kan de onderzoeker niet in de privé-bestanden van het Stadhuis kijken, alleen wat er bij de voordeur gebeurt.

Optie C: De "Beveiligingscamera's" (SAGA-MON)

De Metafoor: Je installeert een beveiligingscamerasysteem dat wordt beheerd door een vertrouwde derde partij (zoals de Cloud-operator). Deze camera observeert elke enkele aanvraag en respons. Het controleert: "Heeft het Stadhuis 'Ja' gezegd tegen deze robot? Heeft de database daadwerkelijk 'Ja' geregistreerd? Als de camera een discrepantie ziet, geeft hij het alarm."
Het Goede: Het vangt bijna alles en is zeer snel (slechts iets trager dan het origineel).
Het Slechte: Het vereist een vertrouwde camerabediende. Als de camerabediende ook corrupt is, werkt dit niet.

3. Het Beste van Beide Werelden: De Hybride Stad (SAGA-HYB)

De auteurs realiseerden zich dat niet alle robots hetzelfde beschermingsniveau nodig hebben.

De Metafoor: Stel je een stad voor met verschillende wijken.
- De Bankwijk: Bevat de waardevolste data. Deze wijk gebruikt de Super-strenge Raad (Optie A). Het is traag, maar het geld is veilig.
- De Winkelwijk: Bevat dagelijkse robots. Deze wijk gebruikt de Beveiligingscamera's (Optie C). Het is snel, en de camera's vangen de meeste dieven.
Het Resultaat: Je krijgt de veiligheid van de Raad waar het het belangrijkst is, maar de snelheid van de Camera's voor alles anders. Het artikel toont aan dat dit hybride systeem slechts ongeveer 2 keer trager is dan het origineel, terwijl het toch de belangrijkste geheimen beschermt.

Samenvatting van Bevindingen

De Aanval: Een corrupte centrale autoriteit kan het hele AI-beveiligingssysteem breken.
De Oplossing: Je kunt niet zomaar op één persoon vertrouwen. Je hebt ofwel een stemmende raad nodig (traag maar veilig), een spion (snel maar vereist controle), of camera's (snel en effectief).
De Winnaar: De Hybride aanpak is de praktische winnaar. Het stelt je in staat je AI-agenten snel te laten draaien voor dagelijkse taken, terwijl je de meest gevoelige data afsluit met de sterkst mogelijke beveiliging.

Het artikel concludeert dat hoewel de "Super-strenge" methode theoretisch perfect is, deze te traag is voor het echte leven. De "Hybride" methode is het sweet spot, en biedt sterke beveiliging zonder het systeem tot stilstand te brengen.

Technische Samenvatting: Aanvallen en Mitigaties voor Gedistribueerde Governance van Agentic AI onder Byzantijnse Adversaries

Probleemstelling

De snelle implementatie van Agentic AI-systemen heeft de ontwikkeling van beveiligde governance-infrastructuur ingehaald. Hoewel frameworks zoals AutoGen en MetaGPT autonome agents mogelijk maken, ontbreekt het hen aan ingebouwde beveiliging, waardoor ze kwetsbaar zijn voor kwaadaardige actoren. Bestaande oplossingen, zoals SAGA (Secure Agentic Governance Architecture), bieden een gecentraliseerde governance-laag om beleidsregels af te dwingen, agents te verifiëren en attributabiliteit te waarborgen. SAGA is echter afhankelijk van een logisch gecentraliseerde, vertrouwde Provider.

Dit artikel identificeert een kritieke kwetsbaarheid: de aanname dat de Provider eerlijk is. In realistische implementaties (private of public clouds) is de Provider vatbaar voor insider-bedreigingen, side-channel-aanvallen en privilege-escalatie (bijv. CVE-2024-21626). Als de Provider wordt gecompromitteerd en zich Byzantijns gedraagt (willekeurig afwijkt van het protocol), stort de gehele beveiligingsgarantie van het systeem in. De auteurs analyseren de specifieke aanvallen die mogelijk zijn onder dit model en tonen aan dat een kwaadaardige Provider de attributabiliteit van agents kan ondermijnen, privé-gegevens kan extraheren, toegangscontroles kan omzeilen en geautoriseerde communicatie kan verstoren.

Methodologie

De auteurs stellen een uitgebreide analyse van het dreigingslandschap voor, gevolgd door drie verschillende mitigatiestrategieën, die elk verschillende afwegingen bieden tussen beveiliging en prestaties.

1. Aanvalsanalyse

De auteurs definiëren een aanvalsmodel waarbij een gecompromitteerde Provider specifieke componenten kan controleren: de Protocol Manager (PM), Access Control Engine (ACE) en Database (DB). Zij categoriseren en demonstreren zes concrete aanvalsklassen:

C1 (Ecosysteemtoegang voorkomen): Het weigeren van registratie of inloggen voor geldige gebruikers.
C2 (Attributabiliteit van agents ondermijnen): Het registreren van agents zonder ze te koppelen aan geverifieerde menselijke identiteiten, waardoor kwaadaardige agents zonder gevolgen kunnen opereren.
C3 (Privé-gegevens extraheren): Het stelen van PII en referenties tijdens registratie of uit de database.
C4 (Levenscyclusbeheer van agents voorkomen): Het stil blokkeren van updates, intrekkingen of beleidswijzigingen.
C5 (Ongeautoriseerde communicatie toestaan): Het vervalsen van toegangscontrolecontroles om verboden interacties toe te staan.
C6 (Geautoriseerde communicatie verstoren): Het blokkeren van legitieme communicatie tussen agents.

2. Voorgestelde Oplossingen

Het artikel introduceert drie architecturale variaties om de Provider te beveiligen:

SAGA-BFT (Byzantine Fault Tolerant):
- Mechanisme: Vervangt de fouttolerante Raft-consensus door een Byzantine Fault Tolerant-protocol (bijv. PBFT/Tendermint) voor zowel de controller als de database. Het vereist $3f+1$ replica's om $f$ fouten te tolereren.
- Afweging: Biedt de sterkste beveiligingsgaranties (bewijsbaar tegen alle integriteits-/beschikbaarheidsaanvallen), maar veroorzaakt aanzienlijke prestatie-overhead door $O(n^2)$ communicatierondes die voor consensus vereist zijn.
SAGA-MON (Provider-side Monitoring):
- Mechanisme: Een passieve monitoringdienst (uitgevoerd door de cloudoperator) die netwerkllogs (verzoeken/antwoorden) correleert met database-staatlogs. Het verifieert invarianten, zoals het waarborgen dat elke vraag resulteert in een overeenkomstige database-wijziging en dat toegangscontrolebeslissingen overeenkomen met het beleid.
- Afweging: Lage overhead; vertrouwt op de aanname dat logs kunnen worden vastgelegd vanuit vertrouwde punten (bijv. TLS-terminatie of sidecars) en dat de verificateur vertrouwd is.
SAGA-AUD (Client-side Auditing):
- Mechanisme: Gebruikers (of hun agents) voegen proactief "canary"-acties toe (bijv. het registreren van een gebruiker met ongeldige referenties, het proberen te communiceren met een geblokkeerde agent) om de antwoorden van de Provider te verifiëren.
- Afweging: Lage overhead; vertrouwt op de aanname dat de Provider auditors niet kan onderscheiden van reguliere gebruikers. Detectie is probabilistisch en afhankelijk van de frequentie van audits.
SAGA-HYB (Hybride Architectuur):
- Mechanisme: Combineert de bovenstaande benaderingen met behulp van een geshard architectuur. Een routinglaag stuurt verkeer naar verschillende shards. High-security agents worden naar BFT-shards geleid, terwijl latency-gevoelige of laag-risico agents MON- of AUD-shards gebruiken.
- Afweging: Staat systeembestuurders toe de kosten van Byzantijnse resiliëntie te spreiden, waardoor sterke beveiliging alleen waar nodig wordt geboden, terwijl een hoge aggregaatdoorvoer wordt behouden.

Belangrijkste Resultaten

De auteurs evalueerden deze architecturen tegen de baseline SAGA met behulp van een 16-core CPU en verschillende werklasten (OTK-verversing, communicatie tussen agents en end-to-end multi-agent taken).

Beveiliging: De evaluatie bevestigde dat een kwaadaardige Provider alle 16 geïdentificeerde aanvalvarianten tegen de baseline SAGA succesvol kan uitvoeren. SAGA-BFT slaagde erin alle integriteits- en beschikbaarheidsaanvallen te mitigeren. SAGA-MON en SAGA-AUD detecteerden aanvallen met hoge waarschijnlijkheid, zij het met een vertraging die inherent is aan monitoring-/auditcycli.
Prestatie-overhead:
- SAGA-BFT: Leed aan een drastische prestatiedegradatie, waarbij voor algemene verzoeken ongeveer 1% van de doorvoer van de baseline SAGA werd bereikt vanwege de hoge kosten van Byzantijnse consensus.
- SAGA-MON: Bereikte ongeveer 95% van de baseline-doorvoer.
- SAGA-AUD: Bereikte ongeveer 85% van de baseline-doorvoer.
- SAGA-HYB: Toonde aan dat door shards te mengen, het systeem BFT-niveau beveiliging kan bieden voor een subset van agents, terwijl de gemiddelde latentie dicht bij de baseline blijft (bijv. 2x latentie van SAGA voor een hybride configuratie, vergeleken met de enorme overhead van volledige BFT).
End-to-end latentie: Bij realistische multi-agent taken (planning, onkostenrapporten, schrijven) was de overhead van SAGA-MON en SAGA-AUD verwaarloosbaar in vergelijking met de denk-tijden van LLM's. SAGA-BFT voegde aanzienlijke latentie toe, maar bleef binnen redelijke grenzen voor beveiligingskritieke operaties.

Betekenis en Claims

Het artikel claimt de eerste te zijn die systematisch analyseert en het verwoestende effect van een gecompromitteerde Provider in de governance van agentic AI demonstreert. De primaire bijdragen zijn:

Dreigingsidentificatie: Het gaat verder dan theoretische risico's door concrete aanvallen uit te voeren die attributabiliteit, vertrouwelijkheid en integriteit compromitteren in een gedistribueerde Provider-omgeving.
Praktische Mitigaties: Het biedt een spectrum van oplossingen (BFT, Monitoring, Auditing, Hybride) in plaats van een enkele "one-size-fits-all"-aanpak, waarbij rekening wordt gehouden met de praktische beperkingen van systemen met hoge doorvoer en lage latentie.
Afwegingsanalyse: Het levert empirische data die aantoont dat volledige Byzantijnse resiliëntie voor algemeen gebruik onbetaalbaar duur is, terwijl lichtgewicht monitoring en auditing bijna-baseline prestaties bieden met hoge detectiekansen. Het hybride model (SAGA-HYB) wordt gepresenteerd als een haalbare weg om beveiligde governance op schaal in te zetten, waardoor bestuurders beveiligingseisen kunnen afwegen tegen prestatiebehoeften.

De auteurs concluderen dat beveiligde governance voor Agentic AI haalbaar is, zelfs wanneer componenten niet vertrouwd zijn, mits de architectuur is ontworpen om Byzantijns gedrag te detecteren en te mitigeren door een combinatie van replicatie, monitoring en auditing.