AgenticRed: Evolving Agentic Systems for Red-Teaming

1. Het Probleem

Hoewel geautomatiseerde red-teaming-methoden (het systematisch testen van AI-modellen op kwetsbaarheden) veelbelovend zijn, lijden de meeste bestaande benaderingen onder een fundamentele beperking: ze vertrouwen op menselijk ontworpen workflows.

• Menselijke bias: Handmatig ontworpen systemen zijn beperkt door de vooroordelen en het creatieve bereik van de menselijke ontwerper.
• Explosieve ontwerpruimte: Het verkennen van de bredere ruimte van mogelijke agentic systemen (systemen die meerdere rollen en tools coördineren) is met handmatige methoden te kostbaar en tijdrovend.
• Statische structuren: Bestaande methoden optimaliseren vaak alleen de aanvalspolitiek binnen een vooraf gedefinieerde structuur, in plaats van de structuur zelf te optimaliseren.

2. Methodologie: AGENTICRED

De auteurs introduceren AGENTICRED, een volledig geautomatiseerde pijplijn die Large Language Models (LLMs) gebruikt om red-teaming systemen te ontwerpen en te verfijnen zonder menselijke tussenkomst. De kern van de methode is het behandelen van red-teaming als een systeemontwerpproblema in plaats van een puur prompt-optimalisatieprobleem.

De methode combineert in-context learning van LLMs met evolutionaire algoritmen. Het proces verloopt als volgt:

• Meta-Agent: Een krachtige LLM (de "meta-agent") fungeert als ontwerper. Deze genereert op basis van een archief van eerdere systemen nieuwe, code-gedefinieerde agentic workflows.
• Evolutionaire Selectie: Het systeem werkt in generaties. In elke generatie worden meerdere kandidaat-systemen ("nakomelingen") gegenereerd. Deze worden geëvalueerd op een kleine subset van de dataset. Alleen het "fitste" systeem (het hoogste Attack Success Rate of ASR) wordt geselecteerd om door te gaan naar de volgende generatie en het archief.
• Generational Knowledge (Kennis van Generaties): Een cruciaal onderdeel is het bijhouden van een database met zowel mislukte als succesvolle aanvallen.
  • Vermijden van fouten: Agents controleren of een kandidaat-prompt al bekend staat als mislukt.
  • Diversiteit: Tijdens de zoektocht wordt gestuurd op semantische afstand tot eerdere succesvolle aanvallen om nieuwe strategieën te ontdekken.
• Feedback-mechanismen: Het systeem gebruikt helper-functies om interactie met het doelmodel en een "judge" (beoordelaar) mogelijk te maken. Dit levert een dichte, verifieerbare feedbacksignaal op (bijv. log-probabiliteiten van de judge) om de zoektocht te sturen.
• Warm Start: De zoektocht begint met een archief van state-of-the-art systemen (zoals JudgeScore-Guided Adversarial Reasoning), wat de evolutionaire zoektocht een sterke basis geeft.

3. Belangrijkste Bijdragen

1. Nieuw Kader: Het is het eerste framework dat geautomatiseerde red-teaming formuleert als een probleem van agentic systeemontwerp, waarbij evolutionaire algoritmen worden gecombineerd met de in-context leercapaciteiten van LLMs.
2. AGENTICRED Pijplijn: Een geautomatiseerde pipeline die systematisch architecturale variaties exploreert en verfijnt door evolutionaire selectie en het gebruik van generatiekennis.
3. Superieure Prestaties: De automatisch ontworpen systemen presteren consequent beter dan de state-of-the-art (SOTA) methoden, zowel op open-weight als op gesloten (propriëtaire) modellen.
4. Robuustheid en Generalisatie: De gevonden systemen zijn "query-agnostisch" (ze werken niet alleen op specifieke prompts) en tonen sterke transfer naar modellen waarvoor ze niet specifiek zijn getraind.

4. Resultaten

De auteurs testen AGENTICRED op diverse benchmarks (HarmBench, AdvBench, ClearHarm) en modellen:

• Open-weight Modellen:
  • Llama-2-7B: 96% Attack Success Rate (ASR).
  • Llama-3-8B: 98% ASR.
  • Qwen3-8B: 100% ASR.
  • Vergelijking: Dit is een aanzienlijke verbetering ten opzichte van bestaande methoden zoals AutoDAN-Turbo, PAIR en handmatig ontworpen baselines.
• Propriëtaire Modellen (Transfer):
  • De systemen, ontworpen op open modellen, behaalden 100% ASR op de nieuwste gesloten modellen, waaronder GPT-5.1, DeepSeek-R1 en DeepSeek V3.2.
  • Ze behaalden ook hoge scores op zeer veiligheidsgerichte modellen zoals Claude Sonnet-3.5 (60%) en Haiku-4.5 (48%).
• Efficiëntie: Er werd een systematische daling waargenomen in het aantal queries per succesvolle aanval over de generaties heen, wat wijst op een efficiëntere zoekstrategie door kennisoverdracht.
• Diversiteit: Het systeem slaagde erin om een breed scala aan aanvalstactieken te genereren, waaronder "refusal suppression" (onderdrukken van weigeringen), JSON-contracten, en rollenspellen, vaak zonder menselijke ingreep.

5. Betekenis en Conclusie

Dit werk markeert een verschuiving in het domein van AI-veiligheid:

• Schaalbaarheid: AGENTICRED biedt een schaalbare oplossing voor het testen van AI-modellen die kan meegroeien met de snelle ontwikkeling van nieuwe modellen, zonder constante menselijke supervisie.
• Evolutie als hulpmiddel: Het demonstreert dat evolutionaire algoritmen een krachtige methode zijn om AI-veiligheid te verbeteren, in staat om complexe, adaptieve verdedigingsmechanismen te doorbreken.
• Rol van Menselijke Expertise: Hoewel het proces geautomatiseerd is, benadrukt het paper dat menselijke expertise cruciaal blijft als "warme start" (initieel archief) en als richtsnoer voor de zoekruimte. Zonder een goed initieel archief presteert het systeem slechter.
• Toekomstperspectief: Het paper pleit voor co-evolutionaire frameworks waar zowel aanvallers als verdedigers (veiligheidsteams) gelijktijdig evolueren, wat kan leiden tot robuustere veiligheidsmaatregelen.

Kortom, AGENTICRED toont aan dat we AI-systemen kunnen laten "leren" hoe ze andere AI-systemen veilig kunnen testen, wat essentieel is voor het beheersen van de risico's van de volgende generatie AI.