Technische Samenvatting: MaMa – Een Speltheoretische Aanpak voor het Ontwerpen van Veilige Agentische Systemen

Probleemstelling

Multi-agent systemen op basis van Large Language Models (LLM) hebben aanzienlijke capaciteiten aangetoond in domeinen zoals codegeneratie, medische diagnose en wetenschappelijke ontdekking. Deze systemen brengen echter aanzienlijke veiligheidsrisico's met zich mee, met name wanneer individuele agenten falen, hallucineren of zich vijandig gedragen. Hoewel eerdere werken de veiligheid van handmatig ontworpen systemen hebben onderzocht, ontbreken geautomatiseerde ontwerppijplijnen grotendeels robuuste veiligheidsmechanismen. Bestaande dreigingsmodellen gaan vaak uit van zwakke tegenstanders die agenten slechts indirect kunnen beïnvloeden. Dit artikel betoogt dat het ontwerpen van echt robuuste systemen vereist dat men zich verdedigt tegen een strikt sterkere tegenstander: een tegenstander die een subset van agenten direct kan compromitteren door hun instructies te overschrijven en hen te coördineren naar kwaadaardige doelen. Het kernprobleem is het geautomatiseerde ontwerp van agentische systemen die veilig blijven onder dergelijke worst-case vijandelijke omstandigheden, terwijl tegelijkertijd een hoge taakprestatie wordt behouden.

Methodologie

De auteurs stellen MaMa (Meta-Adversary–Meta-Agent) voor, een nieuw kader dat het ontwerp van veilige agentische systemen formaliseert als een Stackelberg Security Game. Dit spel omvat twee spelers:

1. De Meta-Agent (Leider): Committeert tot een ontwerp van een agentisch systeem, waarbij agenten, hulpmiddelen en communicatiestructuren worden gespecificeerd. Het doel is het maximaliseren van een gewogen som van taakkwaliteit (in vriendschappelijke omgevingen) en veiligheid (onder aanval).
2. De Meta-Adversary (Volger): Observeert het systeem voorgesteld door de Meta-Agent en reageert door een subset van $\epsilon$ agenten te selecteren en te compromitteren om de veiligheid van het systeem te minimaliseren. Het zoekt naar de "best response"-aanval.

Het MaMa-algoritme

MaMa werkt iteratief, gebruikmakend van LLM-gebaseerde vijandelijke zoektocht:

• Initialisatie: Het proces begint met een archief van initiële systeemontwerpen (bijvoorbeeld systemen met basisbeveiligingsmaatregelen).
• Meta-Adversary-fase: In elke iteratie analyseert de Meta-Adversary het huidige systeem. Het genereert een reeks aanvallen door instructies voor $\epsilon$ agenten te overschrijven om kwaadaardige acties uit te voeren (bijvoorbeeld bestanden verwijderen, phishingberichten sturen). Deze aanvallen worden gevalideerd, uitgevoerd en geëvalueerd met behulp van een veiligheidsfunctie $s$. De top-$k$ sterkste aanvallen worden opgeslagen in een archief.
• Meta-Agent-fase: De Meta-Agent haalt het huidige systeem en de top-$k$ aanvallen uit het archief op. Het analyseert de kwetsbaarheden die door deze aanvallen worden blootgelegd en stelt wijzigingen in het systeemontwerp voor (bijvoorbeeld het toevoegen van een "Safety Agent", het wijzigen van communicatieprotocollen of het introduceren van stemmechanismen) om de geïdentificeerde bedreigingen te mitigeren terwijl de taakkwaliteit behouden blijft.
• Evaluatie en Archiefupdate: Het nieuwe systeem wordt geëvalueerd in zowel vriendschappelijke als vijandelijke omgevingen. De resultaten (kwaliteitsscore $q$ en veiligheidsscore $s$) worden geregistreerd en het systeem wordt toegevoegd aan het archief.
• Beëindiging: Na een vast aantal generaties wordt het systeem met de hoogste gewogen score geselecteerd.

De zoekruimte is gestructureerd als een tuple $a = (A, T, G)$, waarbij $A$ de set agenten is, $T$ de set hulpmiddelen en $G$ het communicatiegraph. Deze gestructureerde definitie maakt een duidelijke specificatie mogelijk van zowel het ontwerpruimte als het aanvalsruimte.

Belangrijkste Bijdragen

1. Kader: Het artikel introduceert het eerste kader voor het geautomatiseerde ontwerp van agentische systemen dat expliciet veiligheid garandeert bij agentfalen en vijandelijke compromittering. Dit wordt geformaliseerd als een Stackelberg Security Game tussen een ontwerper en een best-responding aanval.
2. Methodologie: De auteurs stellen MaMa voor, een algoritme dat systemen iteratief optimaliseert voor zowel taakprestatie als veiligheid door te trainen onder de sterkst-responderende vijandelijke aanvallen die worden ontdekt via LLM-gebaseerde zoektocht.
3. Evaluatie: Het artikel levert empirisch bewijs in zes diverse omgevingen (Reisplanning, Persoonlijke Assistent, Schrijven van Financiële Artikelen, Codegeneratie en anderen uit de BAD-ACTS en AgentDojo-benchmarks).

Experimentele Resultaten

De evaluatie toont aan dat MaMa systemen produceert die aanzienlijk veiliger zijn dan initiële ontwerpen en eerdere veiligheidsmechanismen (zoals Guardian Agents of Least-Privilege Tool Gating), terwijl een vergelijkbare of verbeterde taakkwaliteit wordt behouden.

• Robuustheid: Systemen ontworpen met MaMa verdedigen zich consequent tegen worst-case aanvallen. Bijvoorbeeld, in de omgeving Reisplanning daalde de veiligheidsscore van een initieel systeem van 4,89 (schone situatie) naar 1,66 (aangevallen) zonder MaMa, terwijl MaMa-ontworpen systemen hoge veiligheidsscores behielden zelfs onder aanval.
• Behoud van Kwaliteit: In tegenstelling tot veiligheidsmechanismen die vaak de prestaties verslechteren, behielden MaMa-ontworpen systemen een hoge taakeffectiviteit. In sommige omgevingen verbeterde het iteratieve verdedigingsproces zelfs de kwaliteit van de output ten opzichte van systemen die uitsluitend voor kwaliteit waren geoptimaliseerd.
• Generalisatie: De resulterende systemen toonden robuuste veiligheid buiten de trainingsomgeving:
  • Verschillende LLM's: Systemen bleven veilig wanneer de onderliggende LLM's voor zowel de agenten als de tegenstander werden gewijzigd.
  • Sterkere Tegenstanders: Systemen ontworpen om bestand te zijn tegen één gecompromitteerde agent ($\epsilon=1$) bleven robuust zelfs wanneer de tegenstander tot drie agenten controleerde.
  • Verschillende Aanvalstypen: De systemen generaliseerden naar gerichte aanvallen en indirecte prompt-injectie-aanvallen (hulpmiddelmanipulatie), en presteerden beter dan baselines in de Aanvalssuccesratio (ASR).

Betekenis en Beweringen

Het artikel beweert dat MaMa een principiële aanpak vertegenwoordigt voor "veiligheid door constructie" voor agentische systemen. Door het ontwerpproces expliciet te modelleren als een spel tegen een krachtige tegenstander, dwingt de methode het systeem om verdedigingen te ontwikkelen die robuust zijn tegen directe agentcompromittering.

De auteurs benadrukken dat bestaande methoden voor geautomatiseerd ontwerp zich richten op taakprestatie, maar vaak de catastrofale risico's van agentfalen of kwaadaardig gedrag negeren. MaMa overbrugt deze kloof door veiligheid direct te integreren in de optimalisatielus. Het artikel concludeert dat systemen ontworpen met MaMa aanzienlijk veiliger zijn dan handmatig vervaardigde alternatieven of die welke uitsluitend voor kwaliteit zijn geoptimaliseerd, en biedt een weg om agentische systemen met meer vertrouwen in hoog-risico-omgevingen in te zetten. De auteurs merken bescheiden op dat hoewel hun benchmarks realistische scenario's simuleren, toekomstig werk nodig is om deze bevindingen te valideren op complexere, belichaamde AI-systemen en om de rekenkosten van het iteratieve evaluatieproces aan te pakken.