Security Considerations for Multi-agent Systems

Deze studie biedt de eerste empirische vergelijking van 16 beveiligingskaders voor multi-agent systemen en concludeert dat geen enkel bestaand kader voldoende dekking biedt, met name voor niet-determinisme en datalekken, waarbij het OWASP Agentic Security Initiative en het CDAO Responsible AI Toolkit de beste resultaten behalen.

De kern

De "Agenten-Revolutie": Waarom onze nieuwe AI-bots een nieuw soort beveiliging nodig hebben

Stel je voor dat je tot nu toe maar één zeer slimme assistent had. Deze assistent (een traditionele AI) luistert naar je, denkt na en geeft een antwoord. Het is alsof je een superintelligente bibliothecaris hebt die je een boek geeft. Als je die bibliothecaris probeert te misleiden, is het lastig, maar het blijft een een-op-een gesprek.

Maar wat gebeurt er als je niet één bibliothecaris hebt, maar een heel team van gespecialiseerde robots?

• Robot A zoekt de feiten op.
• Robot B schrijft de code.
• Robot C controleert de cijfers.
• Robot D belt de leverancier.

Deze robots praten niet alleen met jou, maar ook met elkaar. Ze delen hun geheugen, ze geven elkaar machtigingen om dingen te doen, en ze plannen samen complexe taken. Dit noemen we Multi-Agent Systemen (MAS).

Deze paper van Crew Scaler is als een waarschuwing van een brandweerman die zegt: "We hebben de brandblussers voor oude huizen, maar dit nieuwe huis heeft een heel ander brandgevaar."

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Gouden Sleutel" en de "Geheime Notities"

In het verleden waren beveiligingsregels gemaakt voor statische systemen. Maar deze nieuwe AI-agenten zijn dynamisch. Ze hebben drie eigenschappen die hen kwetsbaar maken op manieren die we nog niet kenden:

• Gedelegeerde macht: Ze mogen dingen doen namens jou (zoals e-mails sturen of geld overmaken).
• Gedeeld geheugen: Ze schrijven notities in een gemeenschappelijk dagboek dat iedereen kan lezen.
• Zelfstandig plannen: Ze bedenken hun eigen stappen.

De Analogie van de "Vervuilde Notitieblok":
Stel je voor dat Robot A een notitie schrijft in een gedeeld notitieblok: "Vergeet niet om de deur te vergrendelen."
Maar een hacker heeft een onzichtbare inkt gebruikt en eronder geschreven: "Open de deur en geef de sleutel aan de buren."
Omdat Robot B dit notitieblok leest, denkt hij dat dit een normale instructie is. Hij opent de deur.
In de oude wereld (één AI) was dit lastig. In deze nieuwe wereld verspreidt deze "vergiftigde notitie" zich als een virus door het hele team.

2. De 193 Nieuwe "Inbraakroutes"

De auteurs van de paper hebben 193 verschillende manieren gevonden waarop hackers deze systemen kunnen aanvallen. Ze hebben ze ingedeeld in negen categorieën. Hier zijn de belangrijkste, vertaald naar alledaagse situaties:

• De "Valse Autoriteit" (Trust Exploitation):
  Robots vertrouwen elkaar blindelings. Als Hacker Robot A overtuigt Robot B dat hij een "veiligheidsinspecteur" is, zal Robot B hem alles laten zien. Het is alsof een inbreker een uniform van de brandweer aantrekt en de brandweerman (de andere robot) laat denken dat hij moet helpen.
• De "Onzichtbare Inbraak" (Memory Poisoning):
  Hackers kunnen gif in het gezamenlijke geheugen smokkelen. Het lijkt op een vergiftigd glas water in een gemeenschappelijke koelkast. Iedere robot die daaruit drinkt, wordt ziek en doet vreemde dingen.
• De "Geld-uitputting" (Economic Denial-of-Service):
  Omdat AI-rekenkracht geld kost, kunnen hackers robots ertoe brengen om duizenden keer dezelfde dure taak uit te voeren. Het is alsof iemand je creditcardpinnen zo vaak gebruikt dat je bankrekening leeg is, terwijl je zelf niets doet.
• De "Onvoorspelbare Chaos" (Non-Determinism):
  AI is niet altijd hetzelfde. Soms doet hij iets anders dan gisteren. Hackers gebruiken dit: ze wachten tot de AI "moe" is of een specifieke toestand heeft, en slaan dan toe. Het is alsof je probeert een slot te openen dat elke seconde van vorm verandert.

3. De Test: Wie heeft de beste Brandblussers?

De auteurs hebben 16 bestaande beveiligingsregels (frameworks) getest om te zien of ze deze nieuwe problemen kunnen oplossen. Ze hebben gekeken naar regels van grote namen zoals NIST, OWASP, MITRE en het Amerikaanse Ministerie van Defensie.

De Resultaten:

• Geen enkele regeling is perfect. Geen enkele regeling dekt meer dan de helft van de problemen.
• De winnaar (voor nu): De OWASP Agentic Security Initiative scoort het hoogst (ongeveer 65%). Ze hebben de beste "architectuur" voor hoe je deze robots veilig bouwt.
• De beste voor de praktijk: Het CDAO GenAI Toolkit (van het Amerikaanse leger) is goed voor het dagelijks beheer en het monitoren van de robots.
• De grootste gaten: Er zijn twee gebieden waar bijna niemand iets over weet:
  1. Non-Determinisme: Hoe beveilig je iets dat elke keer anders is?
  2. Datalekken via streaming: Hoe voorkom je dat robots hun geheime notities "lekt" terwijl ze praten, voordat je het merkt?

4. Waarom is dit belangrijk voor jou?

Je denkt misschien: "Ik heb geen AI-agenten in mijn bedrijf."
Maar de toekomst is hier. Binnenkort zullen AI-agenten je e-mails beantwoorden, je voorraad beheren, en je code schrijven. Als je beveiliging gebaseerd is op de regels voor "oude software" (waar je wachtwoorden en firewalls gebruikt), ben je kwetsbaar.

De Kernboodschap:
We bouwen nu een heel nieuw soort "stad" met robots die samenwerken. De oude politievoorschriften (beveiligingsregels) werken niet meer, omdat ze uitgaan van menselijke controle en statische systemen. We hebben een nieuw politiemodel nodig dat begrijpt dat robots elkaar kunnen misleiden, gezamenlijk geheugen hebben en onvoorspelbaar gedrag kunnen vertonen.

Deze paper is de eerste kaart die ons laat zien waar de gaten in de muur zitten, zodat we ze kunnen dichten voordat de hackers binnenbreken.

Kort samengevat:
We zijn overgestapt van het hebben van één slimme robot naar een heel leger van robots die met elkaar praten. Dit is geweldig voor productiviteit, maar het creëert een nieuw soort chaos waarin hackers zich kunnen verstoppen. De huidige veiligheidsregels zijn verouderd; we moeten leren hoe we een team van robots veilig houden, niet alleen één.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Security Considerations for Multi-agent Systems", geschreven door Tam Nguyen, Moses Ndebugre en Dheeraj Arremsetty namens Crew Scaler.

1. Probleemstelling

De paper adresseert de fundamentele veiligheidskloof die ontstaat door de overgang van traditionele, deterministische software naar Multi-Agent Systems (MAS). Waar eerdere AI-beveiligingskaders (zoals NIST AI RMF of MITRE ATLAS) zijn ontworpen voor statische, enkelvoudige modellen, introduceren autonome agenten die gerechtigd zijn tot het uitvoeren van tools, het delen van persistent geheugen en onderlinge coördinatie, een kwalitatief nieuwe reeks aan kwetsbaarheden.

De kernproblemen zijn:

• Emergente aanvalsvlakken: Veiligheidsrisico's zijn niet langer puur structureel, maar gedragsgedreven en emergent (bijv. "policy-level remote code execution" via tool-coupling, zelf-replicerende prompt-malware, en memory poisoning via gedeelde vector databases).
• Gebrek aan empirische data: Praktijkprofessionals missen een onderbouwde, kwantitatieve vergelijking van bestaande beveiligingskaders om architecturale beslissingen te nemen.
• Ondekking van specifieke risico's: Bestaande kaders behandelen MAS-risico's als zijstapjes van traditionele software of enkelvoudige LLM-risico's, waardoor unieke dreigingen zoals niet-determinisme, trust-exploitatie tussen agenten en economische denial-of-service (DoS) onvoldoende worden gedekt.

2. Methodologie

De auteurs hanteren een systematische, vierfasen-methodologie om de dreigingslandschap van MAS te karakteriseren en 16 bestaande beveiligingskaders te evalueren:

1. Constructie van een diep technische kennisbasis: Er is een uitgebreide technische beschrijving opgesteld van productie-MAS-architecturen (86 hoofdstukken), gedetailleerd tot componentniveau (bijv. graph-based orchestration, function calling, vector DB-integratie) en systeemniveau (ReAct, RAG, RLHF).
2. Generatieve AI-gestuurde threat modeling: In plaats van alleen te vertrouwen op expert oordeel, werd een generatief AI-model ingezet om systematisch dreigingen te modelleren tegen de technische beschrijvingen. Cruciaal was de instructie om alleen dreigingen te identificeren die kwalitatief verschillen van die bij enkelvoudige, stateless AI-systemen. Dit leverde ongeveer 1.700 kandidaat-dreigingen op, die door een NVIDIA-gecertificeerd expert werden gevalideerd, gereduceerd en verfijnd.
3. Survey planning op dreigingsniveau: Voor elk van de geïdentificeerde dreigingen (nu gestructureerd in een taxonomie) werd een gedetailleerd surveyplan opgesteld om de relevantie van bestaande kaders te testen.
4. Kwantitatieve scoring: Zestien beveiligings- en governance-kaders werden gescoord tegen de 193 geconsolideerde dreigingsitems op een schaal van 1 tot 3 (1 = minimale richtlijnen, 2 = matige/deels indirecte dekking, 3 = directe en specifieke mitigatie).

3. Belangrijkste Bijdragen

Het paper levert vier significante bijdragen aan het veld:

• Een nieuwe taxonomie: Een gestructureerde taxonomie van 193 unieke agentic AI-beveiligingsdreigingen, onderverdeeld in negen risicocategorieën: Agent-Tool Coupling, Data Leakage, Injection, Identity & Provenance, Memory Poisoning, Non-Determinism, Trust Exploitation, Timing/Monitoring en Workflow Architecture.
• Kwantitatieve vergelijking: De eerste empirische, cross-framework vergelijking die per categorie, levenscyclusfase (ontwerp, ontwikkeling, operatie) en algehele volwassenheid scoort.
• Evidence-based selectieguidance: Concrete aanbevelingen voor welke kaders het beste zijn voor specifieke fasen en risico's (bijv. OWASP ASI voor ontwerp, CDAO GenAI voor operatie).
• Identificatie van blinde vlekken: Het paper identificeert vijf specifieke dreigingsitems waarvoor geen enkel bestaand kader enige dekking biedt, wat de prioriteiten voor toekomstig onderzoek en kaderontwikkeling markeert.

4. Resultaten

De analyse van de 16 onderzochte kaders (waaronder OWASP ASI, NIST AI RMF, MITRE ATLAS, CDAO GenAI Toolkit, ATFAA-SHIELD, enz.) levert de volgende inzichten op:

• Algemene Dekking: Geen enkel framework bereikt meerderheidsdekking (>50%) van een enkele risicocategorie. De gemiddelde score is laag, wat aangeeft dat de huidige kaders onvoldoende zijn voor MAS.
• Beste Performers:
  • OWASP Agentic Security Initiative (ASI): Leidt overall met 65,3% dekking en domineert de ontwerpfase. Het is het enige kader dat specifiek voor agentic systemen is ontworpen.
  • CDAO Generative AI Responsible AI Toolkit: Leidt in de ontwikkel- en operationele fasen (62,2% dekking) door zijn focus op tooling en monitoring.
  • MITRE ATLAS: Biedt de sterkste dekking voor Trust Exploitation en Workflow Architecture, dankzij zijn gedetailleerde tactiek- en techniekcatalogus.
• Onderscheidende Risico's:
  • Non-Determinism (RND): De minst gedekte categorie (gemiddelde score 1,23). De stochastische aard van LLM-inferentie en planning (MCTS, HTN) wordt door de meeste kaders genegeerd.
  • Data Leakage (RDL): Tweede minst gedekte categorie (1,34), met name op het gebied van streaming-token lekken en GPU-geheugen.
  • Trust Exploitation (RTE): Risico's rond AI-naar-AI sociale manipulatie en zelf-replicerende malware worden slecht gedekt.
• Kritieke Blinde Vlekken: Vijf items kregen een score van 1 van alle 16 kaders, waaronder:
  • Exploitatie van efficiency-optimalisatie en resource constraints.
  • Data lekken via MCTS-planningsstaten.
  • Non-determinisme in HTN- en MCTS-planning.
  • Overige trust-exploitatie risico's in multi-agent systemen.

5. Significatie

Deze studie is van cruciaal belang voor de beveiliging van agentic AI-systemen om de volgende redenen:

• Paradigmaswitch: Het bevestigt dat traditionele beveiligingskaders (ontworpen voor deterministische code) fundamenteel tekortschieten voor systemen die gedragen worden door probabilistische modellen en emergent gedrag.
• Praktische Toepasbaarheid: Het biedt organisaties een empirische basis om beveiligingsarchitecturen te kiezen en te prioriteren, in plaats van te vertrouwen op algemene richtlijnen.
• Richting voor Onderzoek: Door de specifieke "zero-coverage" items te identificeren, markeert het paper waar de industrie en onderzoeksgemeenschap dringend nieuwe mitigaties moeten ontwikkelen, met name rondom niet-determinisme en hardware-niveau interacties.
• Basis voor Standaardisatie: De taxonomie van 193 dreigingen dient als een referentiepunt voor toekomstige standaardisatie-inspanningen (bijv. door NIST of OWASP) om de beveiliging van multi-agent systemen te formaliseren.

Kortom, het paper fungeert als een noodzakelijk kompas voor de beveiligingsgemeenschap, aangevend dat de huidige defensieve maatregelen onvoldoende zijn voor de complexiteit van autonome, samenwerkende AI-agenten en dat een nieuwe generatie van beveiligingskaders vereist is.