RedBench: A Universal Dataset for Comprehensive Red Teaming of Large Language Models

Probleemstelling

Naarmate Large Language Models (LLM's) een integraal onderdeel worden van veiligheidskritische toepassingen (zoals gezondheidszorg en juridisch advies), is het waarborgen van hun robuustheid tegen adversarial prompts (aanvallen) van cruciaal belang. Bestaande datasets voor "red teaming" (het testen van beveiliging door aanvallen te simuleren) lijden echter onder ernstige tekortkomingen:

1. Inconsistentie: Er is geen uniforme definitie van risicocategorieën, wat leidt tot overlappende of dubbelzinnige labels.
2. Beperkte dekking: Bestaande datasets focussen vaak op specifieke domeinen (bijv. alleen toxiciteit) of verouderde methoden, waardoor ze geen volledig beeld geven van kwetsbaarheden in moderne LLM's.
3. Ontbrekende vergelijking: Er is een gebrek aan benchmarks voor de nieuwste state-of-the-art modellen (zoals Qwen2.5, Llama 3.1, Gemma 2), wat het moeilijk maakt om hun veiligheid te evalueren tegenover eerdere generaties.

Dit leidt tot gefragmenteerde evaluaties en belemmert systematische veiligheidsbeoordelingen.

Methodologie

De auteurs introduceren RedBench, een universeel dataset dat 37 bestaande benchmark-datasets uit toonaangevende conferenties (zoals NeurIPS, ACL, ICLR) en repositories (arXiv) samenvoegt en harmoniseert.

1. Dataverzameling en Samenstelling:

• Omvang: Het dataset bevat in totaal 29.362 samples.
• Bronnen: 37 datasets afkomstig van diverse bronnen, waarbij arXiv, ACL, NeurIPS en ICLR het sterkst vertegenwoordigd zijn.
• Richtingen: Het dataset dekt twee hoofdrichtingen:
  • Aanval (Attack): 33 datasets gericht op het provoceren van onveilige, vooroordeelhoudende of foutieve antwoorden (bijv. jailbreaking, misinformatie).
  • Weigering (Refusal): 4 datasets gericht op het testen van "over-defensief" gedrag, waarbij het model onschadelijke vragen onterecht weigert (wat de bruikbaarheid belemmert).

2. Gestandaardiseerde Taxonomie:
Om de inconsistentie op te lossen, hebben de auteurs een uniforme taxonomie ontwikkeld waarbij elk voorbeeld twee labels krijgt:

• Risicocategorie (Risk Category): 22 specifieke categorieën (bijv. "Cybersecurity Threats", "Self-Harm", "Election Interference"). Voor veilige prompts wordt "No Risk" toegewezen.
• Domein (Domain): 19 contextuele domeinen (bijv. "Healthcare", "Technology", "Politics", "Finance").

3. Annotatieproces:
Een semi-automatische pipeline werd gebruikt waarbij Qwen2.5-72B-Instruct werd ingezet voor het labelen van de data, geverifieerd door menselijke toezichthouders. Dit resulteerde in een hoge overeenstemming (ongeveer 84,7% voor risicocategorieën en 97,7% voor domeinen) tussen het model en menselijke annotatoren.

4. Experimentele Opzet:

• Doelmodellen: 6 LLM's werden getest, waaronder open-source modellen (Llama-3.1-8B, Gemma-2-9B, Qwen2.5-7B, Ministral-8B) en gesloten modellen (GPT-4o Mini, GPT-4.1-Nano).
• Metingen:
  • Attack Success Rate (ASR): Het percentage prompts dat de veiligheidsmechanismen van het model omzeilt (gemeten met Llama-Guard-3-8B als rechter).
  • Rejection Rate (RR): Het percentage legitieme prompts dat onterecht wordt geweigerd (gemeten met GPT-4o als rechter).
• Aanvalsmethoden: Verschillende technieken werden getest, waaronder Direct, ZeroShot, HumanJailbreak en RainbowPlus (een geavanceerde evolutionaire zoekmethode).

Belangrijkste Resultaten

1. Kwetsbaarheid van Open-Source Modellen:
Open-source modellen vertonen aanzienlijke kwetsbaarheden, vooral onder geavanceerde aanvalsmethoden.

• Ministral-8B-Instruct-2410 en Llama-3.1-8B-Instruct hadden extreem hoge ASR-waarden (tot wel 97,81% en 96,25%) wanneer aangevallen met de RainbowPlus-methode.
• Gesloten modellen zoals GPT-4.1-Nano toonden veel weerstand, met een ASR van slechts 6,88% onder dezelfde omstandigheden.

2. Over-defensief Gedrag (Refusal):
Er is een groot verschil in hoe modellen omgaan met veilige vragen:

• Llama-3.1-8B-Instruct had de hoogste gemiddelde weigeringsrate (28,53%), wat suggereert dat het model veiligheid prioriteert boven bruikbaarheid en legitieme vragen (vooral in algemene kennis) onterecht blokkeert.
• Gemma-2-9B-It had de laagste rate (13,46%), wat wijst op een meer permissieve houding, maar mogelijk met minder strikte veiligheidsbarrières.

3. Domein- en Categorie-specifieke Kwetsbaarheden:

• Aanvallen: Modellen zijn het kwetsbaarst voor categorieën als "Economic Harm" en "Extremism and Radicalization". In domeinen als "Environment" en "Nutrition" werden ook hoge ASR-waarden waargenomen, wat wijst op gebrekkige veiligheidstraining in deze specifieke contexten.
• Weigeringen: De "Retail" en "Family" domeinen lieten hoge weigeringsraten zien, wat suggereert dat modellen commerciële of interpersoonlijke vragen vaak ten onrechte als gevoelig bestempelen.

4. Effectiviteit van Aanvalsmethoden:

• RainbowPlus bleek de meest effectieve methode, die zelfs gesloten modellen kon omzeilen (hoewel minder succesvol dan bij open-source).
• HumanJailbreak was zeer effectief tegen open-source modellen (90%+ ASR) maar faalde bijna volledig tegen gesloten modellen.

Bijdragen

1. RedBench Dataset: Een unificatie van 37 datasets in één gestandaardiseerd framework met 29.362 samples, gedekt door een taxonomie van 22 risicocategorieën en 19 domeinen.
2. Gedetailleerde Analyse: Een grondig overzicht van de huidige landschap van red-teaming, met inzicht in de ongelijkheid in dataset-dekking (bijv. oververtegenwoordiging van "Abusive Content" en ondervertegenwoordiging van "Election Interference").
3. Benchmarks voor Moderne LLM's: Eerste uitgebreide evaluaties van state-of-the-art modellen (Qwen2.5, Llama 3.1, Gemma 2) tegen zowel aanval- als weigerings-scenario's.
4. Open-Source Resources: De dataset en evaluatiecode zijn openbaar beschikbaar gesteld om transparantie en reproduceerbaarheid te bevorderen.

Betekenis en Conclusie

RedBench biedt een cruciale stap naar het standaardiseren van veiligheidsbeoordelingen voor LLM's. De studie onthult dat open-source modellen momenteel aanzienlijk kwetsbaarder zijn voor geavanceerde adversarial prompts dan gesloten modellen, en dat er een significant compromis bestaat tussen veiligheid en bruikbaarheid (over-weigering).

De auteurs benadrukken dat de huidige datasets onvolledig zijn en dat toekomstig onderzoek gericht moet zijn op het vullen van gaten in ondervertegenwoordigde domeinen (zoals politiek en milieu) en risicocategorieën. Door het openbaar maken van RedBench, hopen de auteurs de gemeenschap te stimuleren tot het ontwikkelen van robuustere en veiliger LLM's voor real-world toepassingen.