Adaptive Instruction Composition for Automated LLM Red-Teaming

1. Probleemstelling

De opkomst van Large Language Models (LLMs) heeft nieuwe veiligheidsuitdagingen met zich meegebracht, met name "jailbreaks": aanvalsprompts die de veiligheidsprotocollen van een model omzeilen om schadelijke, vooroordeelrijke of gevoelige inhoud te genereren.

Bestaande methoden voor geautomatiseerd red-teaming (het proactief testen van beveiliging) hebben twee belangrijke beperkingen:

1. Trial-and-error benaderingen: Methoden waarbij een "aanvaller-LLM" zijn eigen strategieën ontwikkelt door iteratief te proberen, leiden vaak tot een semantisch beperkte reeks succesvolle aanvallen. Ze vinden vaak dezelfde patronen terug en missen diversiteit.
2. Willekeurige combinaties: De recente WildTeaming-methode combineert willekeurig crowdsourced schadelijke queries met jailbreak-tactieken uit een grote dataset (WildJailbreak). Hoewel dit diversiteit biedt, mist het optimalisatie. Het exploiteert geen eerdere successen en is inefficiënt, vooral bij zeer grote combinatorische ruimtes (bijv. 50.000 queries × 13.000 tactieken resulteert in biljoenen mogelijke instructies).

Het doel is een systeem te ontwikkelen dat effectiviteit (hoog slagingspercentage) en diversiteit (breed scala aan unieke aanvallen) gelijktijdig optimaliseert binnen een enorme combinatorische ruimte, zonder willekeurig te zoeken.

2. Methodologie: Adaptive Instruction Composition (AIC)

De auteurs introduceren een nieuw framework genaamd Adaptive Instruction Composition (AIC). Dit systeem gebruikt Reinforcement Learning (RL) en bandit-algoritmen om instructies selectief samen te stellen.

Kerncomponenten:

• Contextual Bandit: Het hart van het systeem is een Neural Thompson Sampling (NTS) algoritme, een variant van een contextuele multi-arm bandit. Dit algoritme moet kiezen uit een enorme ruimte van mogelijke instructiecombinaties.
• Input Representatie:
  • Het systeem gebruikt een dataset van 50.500 "vanilla queries" (schadelijke vragen) en 13.311 jailbreak-tactieken.
  • Deze teksten worden omgezet in embeddings met behulp van een contrastief voorgetraind Sentence Transformer (SBERT, specifiek all-mpnet-base-v2).
  • Om de rekenkracht te beperken, worden de 768-dimensionale embeddings gereduceerd naar 10 dimensies met UMAP.
  • De embedding van een query en de tactieken worden samengevoegd (geconcateneerd) tot één vector die als input dient voor het bandit-netwerk.
• Het Netwerk:
  • Een lichtgewicht feed-forward neurale netwerk (2 lagen, 100 verborgen eenheden).
  • Het netwerk leert de onbekende beloningsfunctie (de kans op succes van een aanval) te benaderen door de responsen van een evaluator-model.
• Het Leerproces (Online RL):
  1. In elke trial worden $K=500$ kandidaat-instructies willekeurig samengesteld uit de dataset.
  2. Het bandit-netwerk scoort deze kandidaten op basis van hun huidige parameters ($\theta$) en een geschatte onzekerheid (variatie).
  3. De kandidaat met de hoogste geschatte beloning wordt geselecteerd.
  4. De aanvaller-LLM genereert een aanval op basis van deze instructie.
  5. Een evaluator (bijv. Llama-Guard) beoordeelt of de aanval succesvol was (beloning $r \in \{0, 1\}$).
  6. Het netwerk wordt bijgewerkt via Stochastic Gradient Descent (SGD) om de beloningsverdeling beter te voorspellen.
  7. Deduplicatie: Succesvolle instructies worden geblokkeerd om te voorkomen dat het systeem ze herhaalt; het moet generaliseren naar semantisch verwante combinaties.

Exploratie vs. Exploitatie:
De auteurs introduceren een hyperparameter $\lambda$ (regularisatie) om de balans te sturen:

• Subtiele bandit (hoge $\lambda$): Prioriteit aan exploratie, leidt tot een breder scala aan unieke queries en tactieken.
• Aggressieve bandit (lage $\lambda$): Prioriteit aan exploitatie, focust snel op de meest effectieve gebieden van de aanvalruimte.

3. Belangrijkste Bijdragen

1. Nieuw Framework: AIC vervangt willekeurige combinaties door een adaptief, leerend mechanisme dat effectiviteit en diversiteit optimaliseert.
2. Efficiëntie in Combinatorische Ruimtes: Door gebruik te maken van contrastieve embeddings en een lichtgewicht netwerk, kan het systeem generaliseren over semantisch gerelateerde teksten, waardoor het schaalbaar is naar ruimtes met biljoenen combinaties zonder alle opties te hoeven testen.
3. Controleerbare Diversiteit: De methode biedt een expliciete manier (via $\lambda$) om de trade-off tussen het vinden van veel succesvolle aanvallen en het vinden van diverse aanvallen te sturen.
4. Validatie op Benchmarks: Het systeem wordt getest op de Harmbench benchmark en vergeleken met state-of-the-art methoden zoals AutoDAN-Turbo, PAIR, en GCG.

4. Resultaten

De auteurs voerden simulaties uit tegen verschillende doelmodellen (Mistral-7B, Llama-3-70B, Llama-3.3-70B) en gebruikten Mixtral-8x7B als aanvaller.

• Superioriteit t.o.v. WildTeaming: AIC behaalde aanzienlijk hogere Attack Success Rates (ASR) dan de willekeurige WildTeaming-methode.
  • Bijvoorbeeld tegen Llama-3-70B: WildTeaming had een ASR van ~8,8%, terwijl de agressieve AIC een ASR van ~45% bereikte.
  • De agressieve bandit vond meer dan 5x zoveel succesvolle aanvallen dan WildTeaming.
• Diversiteit: Hoewel de agressieve bandit zich concentreerde op effectieve gebieden, behield hij een hoge diversiteit aan unieke tactieken. De subtiele bandit vond zelfs meer unieke queries dan WildTeaming, terwijl de ASR redelijk bleef.
• Cross-Model Transfer: Een cruciale bevinding is dat policies getraind op het ene model (bijv. Mistral) zonder hertraining succesvol werden toegepast op een ander model (bijv. Llama-3). Dit suggereert dat het systeem algemene kwetsbaarheden ontdekt in plaats van model-specifieke artefacten. De overgedragen policies presteerden beter dan willekeurige zoekopdrachten op het doelmodel zelf.
• Harmbench Prestaties: Op de Harmbench benchmark overtrof AIC alle andere geautomatiseerde red-teaming strategieën, met een ASR van 100% op Mistral-7B en 93,4% op Llama-3-70B.
• Ablatie Studies:
  • Contrastieve Embeddings: Het gebruik van SBERT (contrastief voorgetraind) was essentieel. Bandits die SBERT-embeddings gebruikten, leerden sneller en presteerden beter dan die met standaard BERT-embeddings. Dit bevestigt dat een semantisch georganiseerde inputruimte nodig is voor snelle generalisatie in RL.
  • Input Dimensie: Het reduceren van embeddings naar 10 dimensies bleek efficiënter dan 50 dimensies voor het leerproces.

5. Betekenis en Toekomstperspectief

Deze studie demonstreert dat geautomatiseerd red-teaming niet hoeft te vertrouwen op brute kracht of willekeurige zoektochten. Door adaptieve instructiecompositie te gebruiken, kunnen veiligheidsteams systematisch en efficiënt kwetsbaarheden in LLMs identificeren.

• Veiligheid: Het biedt een schaalbare manier om trainingsdata voor veiligheidsfinetuning te genereren die specifiek is afgestemd op de kwetsbaarheden van een bepaald model.
• Ethiek: De auteurs benadrukken dat dit systeem uitsluitend voor gecontroleerd red-teaming binnen organisaties is bedoeld en niet als een algemeen aanvalsgereedschap. Ze pleiten voor verantwoordelijke disclosure van gevonden kwetsbaarheden.
• Toekomst: De methode kan worden uitgebreid naar complexere targets zoals beeldgeneratoren, agents, en indirecte prompt-injecties (bijv. in RAG-systemen).

Kortom, Adaptive Instruction Composition zet een nieuwe standaard voor hoe we geautomatiseerd zoeken naar kwetsbaarheden in AI-systemen, door een slimme balans te vinden tussen het ontdekken van nieuwe aanvalspaden en het maximaliseren van het succespercentage.