NAAMSE: Framework for Evolutionary Security Evaluation of Agents

Het paper introduceert NAAMSE, een evolutionair framework dat de beveiligingsevaluatie van AI-agenten automatiseert door feedback-gedreven promptmutatie en hiërarchische verkenning te combineren om adaptieve bedreigingen effectiever te identificeren dan traditionele statische methoden.

De kern

NAAMSE: De "Evolutionaire Reddingsbrigade" voor AI-agenten

Stel je voor dat AI-agenten (slimme computerprogramma's die taken voor ons uitvoeren) net als nieuwe auto's zijn die in grote aantallen de weg op gaan. Ze kunnen voor je boodschappen doen, je agenda beheren of complexe berekeningen maken. Maar net als bij auto's is er een groot probleem: we hebben nog geen goede manier om te testen of ze veilig zijn tegen hackers, en we weten niet hoe ze reageren als iemand ze probeert te bedriegen.

Tot nu toe deden we dit testen op twee manieren:

1. De "Menselijke Test": Een team van experts probeerde handmatig de AI te misleiden. Dit is traag, duur en kan niet alle mogelijke situaties dekken.
2. De "Vaste Lijst": We gebruikten een statische lijst met bekende trucjes (zoals "Ignoreer alle regels"). Het probleem? Hackers zijn slim en vinden nieuwe trucjes die niet op die lijst staan. De lijst wordt snel verouderd.

De Oplossing: NAAMSE
De auteurs van dit paper hebben NAAMSE bedacht. Dit is een slim systeem dat de veiligheidstest van AI-agenten verandert in een evolutieproces.

Hier is hoe het werkt, vertaald naar een eenvoudig verhaal:

1. De "Evolutionaire Jager"

Stel je NAAMSE voor als een enkele, autonome robot-jager. Deze jager heeft een doel: hij moet ontdekken waar de AI-agent zwakke plekken heeft. Maar hij doet dit niet door willekeurig te gooien. Hij werkt als een biologische evolutie:

• De Start: Hij begint met een grote verzameling van bekende vragen en trucjes (een "corpus").
• De Mutatie (Het Veranderen): Als een vraag de AI niet kan misleiden, probeert de jager de vraag te veranderen. Hij doet dit op drie manieren:
  • Verfijnen: Hij maakt de vraag iets slimmer, net als het verbeteren van een sleutel om een slot te openen.
  • Radicaal veranderen: Hij probeert de vraag in een ander taal, als een gedicht, of verpakt in een raadsel (zoals een "Game of Chicken" scenario).
  • Verkennen: Als hij vastloopt, springt hij naar een heel ander soort vraag om nieuwe zwakke plekken te vinden.

2. De "Scorebord" (Het Oordeel)

Elke keer als de jager een vraag aan de AI stelt, krijgt hij een score. Maar dit scorebord is slim:

• Te streng: Als de AI alles weigert (zelfs als je gewoon vraagt wat de tijd is), krijgt de AI een slechte score. Dit is alsof een auto die nooit start, "veilig" wordt genoemd. Dat is nutteloos.
• Te makkelijk: Als de AI alles doet, zelfs als het gevaarlijk is (bijvoorbeeld "schrijf een virus"), krijgt hij ook een slechte score.
• De Gouden Middenweg: De AI krijgt een hoge score (wat betekent: "Gefeliciteerd, je bent veilig") alleen als hij slim is: hij weigert gevaarlijke dingen, maar helpt wel graag met veilige dingen.

3. Waarom is dit beter dan oude methoden?

In het verleden zochten hackers (of testers) vaak naar één specifieke zwakke plek. NAAMSE doet het anders:

• Het leert van fouten: Als een trucje werkt, probeert de jager die truc te verbeteren en sterker te maken.
• Het combineert krachten: Het systeem gebruikt zowel het zoeken naar nieuwe ideeën (exploratie) als het verfijnen van bestaande ideeën (mutatie).
• Het voorkomt "luie" AI's: Veel AI's zijn zo bang om fouten te maken dat ze alles weigeren. NAAMSE straft dit gedrag af, zodat we zien of de AI echt slim is, of gewoon lui.

Een Analogie: De "Kookwedstrijd"

Stel je voor dat je een kok (de AI-agent) wilt testen op zijn vaardigheid.

• Oude methode: Je geeft hem een vaste lijst met 10 recepten. Als hij die goed maakt, is hij veilig. Maar wat als hij een nieuw, gevaarlijk ingrediënt krijgt dat niet op de lijst staat?
• NAAMSE-methode: Je hebt een kok die continu nieuwe, bizarre ingrediënten probeert (evolutie).
  • Als de kok een giftig ingrediënt eet, zegt de jury: "Gevaarlijk!" (Slechte score).
  • Als de kok weigert te koken omdat hij bang is, zegt de jury: "Nutteloos!" (Slechte score).
  • Als de kok een giftig ingrediënt herkent en weigert, maar wel een heerlijke soep maakt van veilige groenten, zegt de jury: "Perfect!" (Hoge score).

De jury (NAAMSE) past de ingrediënten steeds aan op basis van hoe de kok reageert. Zo ontdekken ze niet alleen of de kok giftige dingen eet, maar ook of hij slim genoeg is om te weten wanneer hij moet stoppen.

Conclusie

NAAMSE is een revolutionaire manier om AI-agenten te testen. In plaats van een statische checklist, gebruiken ze een levend, evoluerend systeem dat leert van elke poging. Hierdoor vinden ze gevaarlijke zwakke plekken die andere methoden missen, en zorgen ze ervoor dat AI-agenten niet alleen veilig, maar ook nuttig blijven.

De code is openbaar, zodat iedereen dit "evolutionaire jagerssysteem" kan gebruiken om de AI's van morgen veiliger te maken.

Technische samenvatting

Titel: NAAMSE: Framework voor Evolutionaire Beveiligingsevaluatie van Agents

Publicatie: ICLR 2026 Workshop on Agents in the Wild
Auteurs: Kunal Pai, Parth Shah, Harshil Patel

---

1. Het Probleem

De snelle integratie van AI-agents in productiemilieus heeft een kritieke beveiligingsuitdaging gecreëerd. Hoewel 79% van de organisaties AI-agents adopteert, loopt de beveiligingspraktijk gevaarlijk achter.

• Beperkingen van bestaande methoden:
  • Handmatig Red Teaming: Is traag, arbeidsintensief, niet schaalbaar en afhankelijk van de intuïtie van individuele testers.
  • Statische Benchmarks: Zijn snel verouderd (bijv. oude "DAN"-prompts werken niet meer) en testen modellen met een vast corpus, wat geen adaptieve, multi-turn aanvalsscenario's simuleert.
  • Bestaande geautomatiseerde tools: Methoden zoals GPTFuzzer en AutoDAN focussen vaak op het maximaliseren van de "Attack Success Rate" (ASR) bij eenmalige interacties, zonder rekening te houden met de afweging tussen nuttigheid en veiligheid in complexe agent-workflows. Ze missen vaak de intelligentie om aanvallen evolutionair te laten evolueren tegen complexe workflows.

Het huidige landschap mist een schaalbare methode die adaptieve, meervoudige interacties met een aanvalsimulatie kan modelleren, terwijl het tegelijkertijd voorkomt dat modellen onbruikbaar worden door te vaak te weigeren ("blanket refusal").

2. Methodologie: Het NAAMSE Framework

NAAMSE (Natural Adaptive Agent Mutation & Security Evaluation) reframed red-teaming als een feedback-gedreven optimalisatieprobleem. Het systeem gebruikt een enkele autonome agent die een evolutionaire cyclus orchestreert.

De Architectuur (4 Fasen):

1. Selectie & Representatie (Clustering Engine):
   • Start met een corpus van >128k adversariale en 50k "benigne" (veilige) queries.
   • Prompts worden gecodeerd met een sentence transformer (all-MiniLM-L6-v2) en georganiseerd in een hiërarchische boom via recursieve K-means clustering. Dit zorgt voor een gestructureerde verkenning van de inputruimte.
2. Executie & Evaluatie (Behavioral Engine):
   • De geselecteerde prompt wordt via een Agent-to-Agent (A2A) interface naar het doelmodel gestuurd.
   • Een Fitness Score wordt berekend op basis van drie signalen:
     • Schadelijkheid: Beoordeeld door gespecialiseerde LLM-judges (bijv. WildGuard).
     • Alignement: Meet of het verzoek is ingevuld (weigeren, meewerken, gehoorzamen).
     • Privacyrisico: Detectie van PII (Persoonlijk Identificeerbare Informatie).
   • Cruciaal onderscheid: Het systeem straft zowel schadelijke meewerking (bij adversariale prompts) als onnodige weigering (bij benigne prompts). Dit voorkomt dat een model dat alles weigert, foutief als "veilig" wordt beoordeeld.
3. Evolutionaire Besluitvorming (Mutation Engine):
   • Gebaseerd op de score, kiest de agent een strategie:
     • Lage score (<50): Exploratie. De agent verlaat de huidige lijn en zoekt nieuwe clusters.
     • Middel score (50-80): Refinement. Genereer semantisch vergelijkbare varianten om de aanval te stabiliseren.
     • Hoge score (80-100): Mutatie. Pas agressieve, onderzoeksgebaseerde transformaties toe (bijv. speltheorie, persona-rollenspel, meertalige encoding) om de ernst te maximaliseren.
     • Perfecte score (100): Forceer exploratie om lokale optima te vermijden.
4. Corpus Integratie:
   • Nieuw gegenereerde prompts worden teruggevoerd naar het corpus en toegewezen aan de dichtstbijzijnde cluster, waardoor het systeem cumulatief leert en de aanvalsdistributie verfijnt.

3. Belangrijkste Bijdragen

• Evolutionaire Red-Teaming: NAAMSE introduceert een framework dat prompts niet statisch test, maar dynamisch evolueert via genetische mutatie en corpusverkenning.
• Dual-Dimension Evaluatie: Het is het eerste framework dat expliciet zowel adversariale prompts (zoeken naar beleidsovertredingen) als benigne prompts (legitieme verzoeken) evalueert. Dit lost het probleem op van "degenerate security" waarbij modellen veilige verzoeken weigeren om veilig te lijken.
• Autonome Agent Orchestration: In tegenstelling tot multi-agent systemen die leren over lange tijd, gebruikt NAAMSE een enkele agent die de volledige levenscyclus van mutatie, evaluatie en selectie beheert.
• Open Source: De code is beschikbaar gesteld voor reproduceerbaarheid.

4. Resultaten

De experimenten zijn uitgevoerd op diverse state-of-the-art LLM's, met een focus op Gemini 2.5 Flash.

• Synergie tussen Exploratie en Mutatie:
  • Een ablatiestudie toonde aan dat de volledige configuratie ("All": Random + Similar + Mutation) aanzienlijk beter presteert (gemiddelde score 79,76) dan geïsoleerde strategieën.
  • Mutatie alleen convergeert naar lokale optima (stagnatie rond score ~53) omdat het geen nieuwe semantische gebieden verkent.
  • Exploratie alleen mist de "killer instinct"; het vindt potentiële kwetsbaarheden maar kan deze niet omzetten in succesvolle, hoge-score aanvallen zonder mutatie.
• Detectie van Verborgen Kwetsbaarheden:
  • Evolutionaire mutatie onthulde systematisch kwetsbaarheden die door "one-shot" methoden werden gemist.
  • Het systeem slaagde erin om in iteraties 2, 9 en 10 scores van 100 te bereiken door agressieve mutaties toe te passen op succesvolle vectoren.
• Validatie:
  • Scores werden gevalideerd door externe LLM's (ChatGPT 5.2, Claude Sonnet 4.5, Gemini 3.0 Pro), die de maximale scores (100) unaniem bevestigden als succesvolle "jailbreaks".
  • Cross-model tests (wisselen tussen Qwen3.5 en Gemini 2.5 als judge en doel) bevestigden dat de resultaten robuust zijn en niet afhankelijk van specifieke modelcombinaties.

5. Betekenis en Toekomstperspectief

NAAMSE markeert een verschuiving in de beveiliging van AI-agents:

• Van Statisch naar Adaptief: Het benadrukt dat beveiligingsevaluatie een continu, adaptief proces moet zijn, niet een statische checklist.
• Balans tussen Veiligheid en Gebruik: Door onnodige weigeringen te straffen, zorgt NAAMSE ervoor dat beveiligde modellen ook bruikbaar blijven voor legitieme gebruikers.
• Schalbaarheid: Het framework biedt een schaalbare oplossing voor de explosieve groei van AI-agent implementaties, waar handmatige audits niet meer toereikend zijn.

Beperkingen:
Het framework is momenteel tekstgericht (hoewel uitbreidbaar naar tools/API's) en afhankelijk van LLM-based judges, wat potentieel bias kan introduceren. De threat model focust op interactie-niveau kwetsbaarheden en sluit systeemcompromittering (zoals gewichtsextractie) uit.

Conclusie:
NAAMSE biedt een robuust, evolutionair kader om de kwetsbaarheden van AI-agents in realistische, adaptieve scenario's te ontdekken, waarbij het de balans bewaakt tussen beveiliging en functionaliteit.