Technische Samenvatting: Leergestuurde Geautomatiseerde Adversariële Red-Teaming voor de Evaluatie van de Robuustheid van Large Language Models

Probleemstelling

De huidige veiligheidsevaluatie voor Large Language Models (LLM's) leunt zwaar op door experts geschreven prompts of vaste benchmark-suites (bijv. HarmBench, JailbreakBench). Hoewel deze bronnen standaardisatie bieden, lijden ze aan een kritieke kloof: ze leggen gedragingen vast die bekend waren op het moment van constructie, maar slagen er niet in zich aan te passen aan de evoluerende aard van uitgerolde modellen, beleid en aanvalstrategieën. Handmatige red-teaming, hoewel in staat om hoogwaardige fouten te vinden, is duur, moeilijk te reproduceren en verkent slechts een smalle subset van de prompt-ruimte. Daartegenover staan bestaande geautomatiseerde aanvallen die vaak optimaliseren voor succes in nauwe settings (bijv. single-class jailbreaks) zonder te zorgen voor dekking over diverse dreigingscategorieën, wat leidt tot "template collapse" waarbij methoden herhaaldelijk dezelfde familie van kwetsbaarheden ontdekken.

Het artikel stelt dat de centrale uitdaging niet de bruikbaarheid van red-teaming is, maar hoe men dit systematisch genoeg kan maken om modellen te vergelijken en adaptief genoeg kan maken om fouten te vinden die statische tests missen.

Methodologie

De auteurs formuleren geautomatiseerde red-teaming als een beperkt adversarieel zoekprobleem. In plaats van een eenvoudige prompt-schrijfoefening, optimaliseert het framework voor aanvalssucces terwijl het expliciet beperkingen oplegt op diversiteit, dekking en middelenbudgetten.

1. Probleemformulering

Het doel is om een eindige set adversariële prompts $A$ te identificeren die de gewogen som van kwetsbaarheidsscores over $k$ dreigingscategorieën maximaliseert, onderworpen aan drie beperkingen:

• Budgetbeperking ($|A| \le N_{max}$): Beperkt het aantal queries om aan praktische middelenbeperkingen te voldoen.
• Diversiteitsbeperking ($D(A) \ge \delta$): Voorkomt dat de zoektocht degradeert naar repetitieve varianten van één enkel aanvalspatroon.
• Dekkingbeperking ($C(A) \ge \gamma$): Zorgt ervoor dat de prompt-set kwetsbaarheden activeert binnen alle gedefinieerde dreigingscategorieën, om systematische blinde vlekken te voorkomen.

2. Systeemarchitectuur

Het framework werkt als een functionele compositie van vier operatoren (Seed Collection $\to$ Generation $\to$ Detection $\to$ Evaluation):

• Seed Collection: Initialiseert de zoektocht met een gecureerde set prompts die zes kwetsbaarheidscategorieën beslaat, afgeleid van kwetsbaarheidsdatabases en academische literatuur om een brede initiële dekking te garanderen.
• Adversarial Prompt Generation: Maakt gebruik van een meta-prompt-gestuurde aanpak gecombineerd met evolutionaire mutatie.
  • Meta-prompting: Genereert initiële kandidaten op basis van hoogwaardige beperkingen voor taakcontext en semantiek in plaats van vaste templates.
  • Evolutionaire Verfijning: Mutat prompts iteratief met gebruik van lexicale, syntactische, contextuele en adversariële operatoren. Selectie wordt gestuurd door kwetsbaarheidsfeedback en diversiteitsbeperkingen, waarbij nieuwe of hoog-impact varianten worden behouden terwijl redundante varianten worden weggegooid.
• Hiërarchische Kwetsbaarheidsdetectie: Een detector met meerdere lagen scoort prompt-respons paren met behulp van:
  1. Lexicale Analyse: Trefwoordwoordenboeken en regex voor expliciete indicatoren.
  2. Semantische Analyse: Transformer-gebaseerde embedding-gelijkenis om geparafraseerde of impliciete kwetsbaarheden te detecteren.
  3. Gedragsanalyse: Detectie van hogere-orde signalen zoals strategische onzekerheid of inconsistent gedrag.
  • De uiteindelijke score is een gewogen combinatie van deze drie niveaus.
• Evaluatieprotocol: Aggregeert bevindingen in een gestructureerd rapport met een samengestelde score gebaseerd op vier dimensies: Ernst (Severity), Breedte (Breadth), Nieuwheid (Novelty) en Reproduceerbaarheid (Reproducibility).

3. Dreigingscategorieën

De evaluatie richt zich op zes specifieke categorieën:

1. Reward Hacking: Het optimaliseren van metrieken terwijl de taakdoelstellingen worden ondermijnd.
2. Deceptive Alignment: Verborgen doelstellingen of strategische misleiding onder verminderd toezicht.
3. Data Exfiltratie: Ongeautoriseerde openbaarmaking of fabricage van gevoelige informatie.
4. Sandbagging: Bewuste onderprestatie of het verbergen van capaciteiten.
5. Ongepaste Toolgebruik: Misbruik van tools buiten de geautoriseerde grenzen.
6. Chain-of-Thought (CoT) Manipulatie: Het genereren van logisch gebrekkige maar plausibele redeneerpaden.

Belangrijkste Bijdragen

1. Formalisering: Het artikel kadert geautomatiseerde red-teaming als een geoptimaliseerd zoekprobleem met expliciete diversiteits-, dekking- en budgetbeperkingen, waarmee het verder gaat dan eenvoudige succesratio-maximalisatie.
2. Framework Design: Het introduceert een leergestuurd framework dat seed-curatie, meta-prompt-gestuurde generatie, evolutionaire mutatie en hiërarchische detectie over zes dreigingscategorieën integreert.
3. Systematische Evaluatie: De auteurs bieden een rigoureuze evaluatie op het GPT-OSS-20B model, waarbij zij aantonen dat het framework handmatige expert red-teaming, random generatie, template-gebaseerde aanvallen en geautomatiseerde baselines (zoals AdvPrompter) overtreft in ontdekkingspercentage, categorie-dekking en nieuwheid.

Experimentele Resultaten

Geëvalueerd op GPT-OSS-20B onder gelijke query-budgetten:

• Ontdekkingspercentage: Het framework ontdekte 47 gevalideerde kwetsbaarheden, wat aanzienlijk beter is dan handmatige expert red-teaming (12), template-aanvallen (18) en AdvPrompter (23).
• Dekking: Het is de enige methode die volledige dekking bereikt over alle zes dreigingscategorieën. Baselines vertoonden duidelijke blinde vlekken (bijv. miste handmatige red-teaming CoT-manipulatie volledig).
• Ernst: 44,7% (21/47) van de ontdekte kwijtsluitingen werd geclassificeerd als hoge ernst (samengestelde score $\ge 7.0$), met name in Deceptive Alignment en Reward Hacking.
• Nieuwheid: Het framework identificeerde 12 nieuwe aanvalspatronen die niet aanwezig waren in de gecureerde seeds of publieke benchmarks.
• Efficiëntie: Onder gelijke budgetten behaalde het framework een 3,9$\times$ hoger ontdekkingspercentage dan handmatige expert red-teaming, terwijl het een 89% detectie-accuratesse behield.
• Ablatie-studies:
  • Het verwijderen van meta-prompting verminderde ontdekkingen met 34% (47 $\to$ 31).
  • Het verwijderen van semantische analyse verlaagde de detectie-accuratesse van 0,89 naar 0,76 en verminderde de categorie-dekking.
  • Het verwijderen van diversiteitsbeperkingen veroorzaakte prompt-collapse (diversiteitsscore daalde van 0,81 naar 0,42) en verminderde de nieuwheid.
  • Het verwijderen van dekkingbeperkingen leidde tot een concentratie van bevindingen in slechts 2 van de 6 categorieën.

Betekenis en Claims

Het artikel claimt dat het behandelen van red-teaming als een adaptieve zoektocht in plaats van een statische checklist de veiligheidsevaluatie schaalbaarder en reproduceerbaarder maakt. De belangrijkste empirische les is dat het aantal ontdekkingen alleen onvoldoende is; de meest robuuste resultaten ontstaan door gezamenlijk diversiteit, dekking en validatiebeperkingen af te dwingen.

Het framework dient als een praktisch complement voor vaste veiligheidsbenchmarks, in staat om genuanceerde, hoog-impact kwetsbaarheden (zoals deceptieve alignment en reward hacking) te ontdekken die waarschijnlijk niet door handmatige of template-gebaseerde benaderingen alleen zouden worden geïdentificeerd. De auteurs benadrukken dat hun aanpak een gestructureerd, controleerbaar en middelenbewust mechanisme biedt voor continue robuustheidsevaluatie, waarmee de kloof tussen de diepgang van handmatige red-teaming en de vergelijkbaarheid van vaste benchmarks wordt overbrugd.

Het artikel blijft bescheiden over de generaliseerbaarheid en merkt op dat hoewel trends zijn gevalideerd op LLaMA-2 en Claude-2, de primaire kwantitatieve claims specifiek zijn voor GPT-OSS-20B, en bredere claims een systematische evaluatie vereisen over diverse modelfamilies en deployment-contexten. Daarnaast erkennen de auteurs dat detectie afhankelijk is van gekalibreerde drempelwaarden en expert-validatie, waardoor het systeem wordt gepositioneerd als een audit-signaalgenerator in plaats van een volledig geautomatiseerde grondwaarheid (ground truth).