Red Teaming LLMs as Socio-Technical Practice: From Exploration and Data Creation to Evaluation

Probleemstelling

Hoewel "red teaming" (het simuleren van aanvallen om kwetsbaarheden te vinden) een standaardpraktijk is geworden voor het evalueren van de veiligheid van Large Language Models (LLMs), richt de bestaande literatie en praktijk zich bijna uitsluitend op technische benchmarks en aanvalsuccespercentages (Attack Success Rates). Er is een significante lacune in het begrijpen van de socio-technische praktijken die ten grondslag liggen aan het definiëren, creëren en evalueren van red-teaming datasets.

De auteurs betogen dat adversariale datasets niet neutraal zijn; ze belichamen de aannames, waarden en beperkingen van hun makers. Omdat deze datasets bepalen wat er als "schade" (harm) wordt beschouwd en hoe modellen worden getest, leiden huidige methoden tot een vertekend beeld van risico's. Er wordt vaak over het hoofd gezien:

• De context van gebruik (culturele, juridische en sociale nuances).
• Het type interactie (veel onderzoek focust op single-turn prompts, terwijl realiteit multi-turn dialogen zijn).
• De specificiteit van de gebruiker (risico's voor kwetsbare groepen zoals jongeren of minderheden).

Methodologie

De studie is gebaseerd op kwalitatief empirisch onderzoek om de data-praktijken van AI-practitioners in kaart te brengen.

• Datacollectie: Er zijn 22 semi-gestructureerde interviews gehouden met AI-practitioners die red-teaming datasets ontwerpen, bouwen of hergebruiken.
• Selectie: Deelnemers werden geselecteerd via platforms zoals Hugging Face en Papers with Code. De steekproef omvatte zowel academici (voornamelijk PhD-studenten) als industrie-experts uit acht landen op drie continenten.
• Categorisatie: Deelnemers werden ingedeeld op basis van hun data-praktijk:
  1. Het creëren van datasets van scratch (12 deelnemers).
  2. Het hergebruiken van bestaande datasets (10 deelnemers).
• Analyse: De transcripten werden geanalyseerd met behulp van thematische analyse (thematic analysis), waarbij codes werden gegroepeerd in thema's rondom conceptuele definities, datasetontwikkeling en evaluatiemethoden.

Belangrijkste Bevindingen en Resultaten

De analyse identificeerde drie kritieke momenten in de red-teaming workflow waar socio-technische keuzes worden gemaakt:

1. Conceptualisering van Red Teaming

De manier waarop red teaming wordt benaderd, wordt sterk beïnvloed door de discipline van de onderzoeker:

• Exploratie (Reinforcement Learning): Voor veel deelnemers is red teaming een zoekprobleem in een enorme prompt-ruimte. Het doel is het vinden van "jailbreaks" door de zoekruimte te verkennen. Succes wordt gemeten aan de hand van dekking (coverage), diversiteit en efficiëntie.
• Detectie van ongepaste inhoud (NLP): Voor anderen is het een klassificatieprobleem (bijv. haatzaaiende taal detecteren). Hier wordt gewerkt met vooraf gedefinieerde labels en ground truth, gemeten via supervisie-metrics zoals F1-scores.
• Interactieve aard: Deelnemers erkenden dat red teaming meer sociaal en interactief is dan vaak wordt aangenomen. Veiligheidsrisico's ontstaan vaak in multi-turn dialogen (waarbij intenties verborgen blijven) en zijn sterk afhankelijk van taal, cultuur en wetgeving (bijv. wat in het Engels als schadelijk wordt gezien, kan in het Chinees of Koreaans anders worden geïnterpreteerd).

2. Ontwikkeling van Adversariale Datasets

Er zijn drie hoofdbenaderingen voor het creëren van datasets, elk met eigen implicaties voor wat als risico wordt gezien:

• Hergebruik: Bestaande datasets (zoals AdvBench of BeaverTails) worden gebruikt. Dit leidt tot het inheriteren van de oorspronkelijke definities van schade, wat vaak resulteert in redundantie en een gebrek aan diversiteit in prompt-structuur.
• Van scratch creëren: Nieuwe data wordt ontworpen op basis van specifieke taxonomieën. Hoewel dit meer controle biedt, blijven de keuzes over welke categorieën schade belangrijk zijn, subjectief en vaak beperkt tot de perspectieven van de makers (vaak westerse, technische experts).
• Afgeleid van menselijke interacties: Data wordt verzameld uit echte "in-the-wild" gesprekken. Dit biedt context-rijke voorbeelden, maar is moeilijk te schalen en vertegenwoordigt niet per se alle mogelijke aanvalsvectoren.

3. Evaluatie van Datasets

De evaluatie van of een model "gebroken" is, is complex en onzeker:

• Automatisering vs. Menselijk oordeel: Vanwege de schaal worden LLMs en classifiers (zoals StrongREJECT) gebruikt als "judges". Dit introduceert echter inconsistenties, kostenproblemen en afhankelijkheid van externe API's (die soms worden geblokkeerd bij schadelijke content).
• Menselijke evaluatie: Wordt gezien als betrouwbaarder voor nuance, maar mist gestandaardiseerde criteria voor het selecteren van annotators.
• Onzekerheid: Het is vaak moeilijk om te bepalen of een output echt schadelijk is (bijv. als een model fictieve informatie geeft over het bouwen van een bom versus accurate informatie).

Kernbijdragen

1. Empirisch Bewijs: De studie levert het eerste uitgebreide inzicht in hoe practitioners red-teaming datasets daadwerkelijk conceptualiseren, ontwikkelen en evalueren, in plaats van alleen naar de technische uitkomsten te kijken.
2. Kritische Reflectie: Het toont aan dat de huidige conceptualisering van risico leidt tot het negeren van context, interactietype (single vs. multi-turn) en gebruikersspecificiteit. Risico's worden vaak als abstract en statisch behandeld, terwijl ze dynamisch en situatief zijn.
3. Socio-technisch Perspectief: Het benadrukt dat red teaming niet puur technisch is, maar een socio-technische praktijk is waarin waarden, discipline en institutionele beperkingen de definitie van "veiligheid" vormgeven.

Significantie en Aanbevelingen voor HCI

De studie is cruciaal voor de HCI-gemeenschap omdat het laat zien dat technische veiligheidsmaatregelen zonder inbreng van sociale wetenschappen en contextuele kennis ontoereikend zijn. De auteurs presenteren drie concrete aanbevelingen voor toekomstig onderzoek:

1. Ontwerp gesitueerde scenario's: Red-teaming moet worden beperkt tot specifieke contexten en gemeenschappen (bijv. jongeren of ouderen) in plaats van een algemene "zoektocht" te zijn. Dit helpt bij het opsporen van "compositional risks" (risico's die ontstaan door combinatie van handelingen).
2. Integreer domeinexperts: In plaats van te vertrouwen op generieke taxonomieën, moeten experts uit de relevante domeinen (bijv. psychologie, recht, sociologie) worden betrokken bij het definiëren en categoriseren van schade.
3. Evalueer op interactieniveau: Evaluatie moet niet alleen kijken naar geïsoleerde output, maar naar de dynamiek van de volledige interactie (multi-turn), waarbij escalatiepatronen en de behoeften van de eindgebruiker centraal staan.

Conclusie:
De paper concludeert dat er een machtsasymmetrie bestaat tussen de industrie en de academische wereld in red-teaming, wat leidt tot een beperkte visie op risico's. Door red teaming te herformuleren als een socio-technische praktijk en HCI-methoden toe te passen, kan de evaluatie van LLMs worden verbeterd om echt relevante en contextuele veiligheidsrisico's op te sporen en te mitigeren.