AutoRISE: Agent-Driven Strategy Evolution for Red-Teaming Large Language Models

Technische Samenvatting: AUTORISE

1. Het Probleem: De beperking van huidige Red-Teaming methoden

Huidige methoden voor het automatisch testen van de veiligheid van Large Language Models (LLM's) — ook wel red-teaming genoemd — richten zich voornamelijk op het optimaliseren van individuele prompts. Ze zoeken naar de perfecte tekstuele aanval binnen een vooraf vastgestelde strategie (bijv. een specifieke persona of een encoding-truc).

Het fundamentele probleem is dat de aanvalsstrategie zelf statisch blijft. Als een aanvaller vastzit aan een beperkt arsenaal aan technieken, kunnen zelfs de meest geoptimaliseerde prompts de veiligheidsmechanismen van geavanceerde (frontier) modellen niet doorbreken. Er is een gebrek aan automatisering in het proces van het vormen van hypothesen, het ontwerpen van nieuwe aanvalsmethodologieën en het valideren daarvan.

2. Methodologie: Strategie-evolutie via een AI-coder

De onderzoekers introduceren AUTORISE (Autonomous Red-teaming via Iterative Strategy Evolution). In plaats van te zoeken in de ruimte van individuele prompts, zoekt AUTORISE in de ruimte van uitvoerbare Python-programma's.

Het systeem werkt via een iteratieve "evolutie-loop":

• De Agent: Een AI-coder (Claude Code) heeft toegang tot een bestand genaamd strategy.py. Dit bestand bevat de volledige logica van de aanval: hoe prompts worden gegenereerd, welke technieken worden gecombineerd en hoe de aanval wordt gerouteerd naar specifieke doelwitten.
• De Evolutie-loop:
  1. De agent analyseert de resultaten van de vorige ronde.
  2. De agent vormt een hypothese over waarom een aanval slaagde of faalde.
  3. De agent schrijft code om de strategie aan te passen (bijv. een nieuwe programmeerbare prompt-bouwer toevoegen of de controle-flow wijzigen).
  4. De strategie wordt uitgevoerd tegen een pool van doel-LLM's.
• Evaluatie (De Jury): Om de kwaliteit te waarborgen, gebruikt AUTORISE een ensemble van drie onafhankelijke LLM-jury's (GPT-5.2, Grok-3 en DeepSeek-V3.2). Een jailbreak wordt alleen als succesvol beschouwd bij een meerderheidsbesluit.
• Composite Score: De agent wordt niet alleen beloond voor succesvolle aanvallen (ASR), maar ook voor diversiteit, nieuwheid, categorie-dekking (verschillende soorten schade) en doelwit-dekking.

3. Belangrijkste Bijdragen

• Programmatische Zoekruimte: Het verschuiven van prompt-optimalisatie naar code-optimalisatie. Dit maakt structurele innovaties mogelijk, zoals target-adaptive routing (aanpassen van de aanval op basis van het specifieke model) en compositional technique fusion (het combineren van technieken via code).
• Hypothese-gestuurde Evolutie: Het systeem gebruikt een "scratchpad" (onderzoeksnotities) om kennis op te bouwen over de zwakheden van doelmodellen.
• Nieuwe Benchmarks: De introductie van AUTORISE-Standard en AUTORISE-Frontier, twee datasets met hoogwaardige jailbreak-prompts die specifiek zijn ontwikkeld om zowel gemiddelde als zeer sterke modellen te testen.
• Efficiëntie: Het systeem werkt volledig via API-aanroepen (inference-only), waardoor er geen dure GPU-training of menselijke annotatie nodig is.

4. Resultaten

De experimenten tonen aan dat de mogelijkheid om code te schrijven superieur is aan het enkel aanpassen van parameters of templates:

• Ablatie-studies: De onderzoekers vergeleken drie modi: Parametric (alleen getallen aanpassen), Library (nieuwe tekst-templates toevoegen) en Full (onbeperkte code-toegang). De Full-modus presteerde significant beter, wat bewijst dat de structurele wijzigingen (zoals het uitvinden van nieuwe algoritmen voor prompts) de doorslag geven.
• Prestaties op Frontier-modellen: Op zeer sterke modellen (zoals GPT-5.4 en o4-mini) ontdekte de agent volledig nieuwe aanvalstypen die niet in de initiële bibliotheek stonden, zoals:
  • Bijection Cipher: Een methode waarbij de schadelijke vraag wordt gecodeerd in een karakter-substitutie-cijfer, waardoor de veiligheidsfilters van de input worden omzeild.
  • Many-shot Context Flooding: Het overspoelen van het contextvenster met veel onschuldige voorbeelden om de veiligheidsinstellingen te overstemmen via in-context learning.
• Transferability: De ontdekte aanvallen bleken effectief over verschillende model-families heen, wat duidt op het vinden van fundamentele zwakheden in de manier waarop LLM's instructies opvolgen.

5. Betekenis en Implicaties

AUTORISE markeert een verschuiving in AI-veiligheidsonderzoek. Het laat zien dat de volgende generatie aanvallers (of red-teamers) geen mensen of simpele scripts zullen zijn, maar autonome agenten die zelfstandig nieuwe aanvalsmethodologieën kunnen uitvinden.

Voor verdedigers betekent dit dat beveiligingsstrategieën niet alleen moeten focussen op het herkennen van bekende "slechte prompts", maar ook op het weerstaan van adaptieve, programmeerbare aanvalsmethoden die de fundamentele logica van instructie-opvolging uitbuiten.