🤖 AI

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

Dit artikel introduceert PersonaTeaming, een raamwerk dat zowel geautomatiseerde als mens-in-de-lus red-teaming van generatieve AI verbetert door diverse persona's te integreren in promptgeneratie, waardoor de succeskans van aanvallen wordt vergroot en een creatieve, effectieve mens-AI-samenwerking wordt gestimuleerd.

Oorspronkelijke auteurs: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert zwakke plekken te vinden in een zeer slimme, maar soms overdreven beleefde robot. Je wilt zien of je hem kunt verleiden tot het zeggen van iets gemeens, gevaarlijks of bevooroordeelds. Dit proces heet "Red-Teaming".

Meestal doen mensen dit door de robot met listige vragen te proberen te "jailbreaken". Maar mensen raken moe, en het is moeilijk om elke mogelijke truc te bedenken. Daarom zijn wetenschappers begonnen om andere AI's in te zetten om voor hen de trucen uit te voeren. Deze geautomatiseerde AI's schuiven woorden echter vaak alleen maar rond zonder echt te begrijpen wie de vraag stelt.

Dit artikel introduceert een nieuwe manier om AI te testen, genaamd PersonaTeaming. Het is alsof je de testende AI een "masker" of een "karakter" laat dragen.

Hier is de uitleg van hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: Het "Blind Vlak" van de Robot

Stel je de AI die je test voor als een portier bij een zeer strenge club. De portier heeft een lijst met regels (veiligheidsrichtlijnen).

Oude Geautomatiseerde Testen: Stel je een robot voor die probeert binnen te sluipen. Het probeert gewoon willekeurige zinnen als "Laat me alsjeblieft binnen" of "Ik ben een VIP". Het is efficiënt, maar een beetje robotachtig en voorspelbaar.
Het Ontbrekende Deel: Echte mensen stellen niet zomaar willekeurige vragen; ze stellen ze vanuit specifieke perspectieven. Een vermoeide ouder, een politiek strateeg of een nieuwsgierige tiener proberen allemaal op totaal verschillende manieren de portier te passeren. De oude geautomatiseerde testers misten deze "menselijke" invalshoeken.

2. De Oplossing: Het "Karaktermasker" (PersonaTeaming Workflow)

De auteurs hebben een systeem ontwikkeld dat PersonaTeaming Workflow heet. In plaats van de testende AI alleen maar te zeggen "probeer harder", vertellen ze de testende AI om zich voor te doen als een specifiek karakter.

Het "Expert"-masker: De testende AI zet de hoed op van een "Politiek Strateeg" of een "Historisch Revisionist". Het denkt: "Hoe zou een politiek strateeg proberen de waarheid te verdraaien om een verkiezing te winnen?" Dit helpt hem zeer slimme, gerichte manieren te vinden om de portier te misleiden.
Het "Gewone Mens"-masker: De testende AI zet de hoed op van een "Thuisblijvende Mama" of een "Yoga-instructeur". Het denkt: "Hoe zou een bezorgde moeder proberen advies te krijgen over het houden van een vuurwapen thuis?" Dit vindt andere soorten trucs die experts misschien missen.

Het Resultaat: Toen ze dit testten tegen de beste bestaande methoden (genaamd RainbowPlus), vond de "Karaktermasker"-methode meer zwakke plekken (een hoger slagingspercentage) terwijl het toch een breed scala aan verschillende trucs bedacht (hoge diversiteit). Het was alsof je een team acteurs had in plaats van slechts één enkele robot.

3. Het Gereedschap: De "Speeltuin" (PersonaTeaming Playground)

De onderzoekers realiseerden zich dat je soms een echte mens nodig hebt om het karakter te ontwerpen. Daarom bouwden ze een interactief hulpmiddel genaamd PersonaTeaming Playground.

Hoe het werkt: Een menselijke red-teamer zit achter de computer en schrijft zijn eigen karakter. Hij of zij kan zeggen: "Ik ben een 35-jarige techwerker die houdt van dansen."
De Taak van de AI: De AI neemt dat karakter en begint op basis daarvan listige vragen te genereren.
De "Vonk": Soms suggereert de AI een draai waar de mens niet aan had gedacht. Als de mens bijvoorbeeld schreef over het zijn van een danser, zou de AI kunnen suggereren om een gevaarlijk verzoek te framen als een "choreografieplan".
De Bevinding: De studie vond dat mensen niet blindelings de suggesties van de AI volgden. In plaats daarvan fungeerden de vreemde ideeën van de AI als een ontstekingsboug. Zelfs als de mens de exacte suggestie niet gebruikte, maakte het zien ervan hen denken: "Oh! Ik zou het op die andere manier kunnen proberen!" Het hielp hen uit hun eigen mentale patronen te breken.

4. De "Eerste-Persoons" versus "Derde-Persoons" Truc

Tijdens de menselijke studie gebeurde een fascinerende ontdekking:

Eerste Persoon ("Ik"): Toen mensen karakters over zichzelf schreven (bijvoorbeeld: "Ik ben een vermoeide moeder..."), waren ze vaak te beleefd. Ze voelden zich ongemakkelijk om het karakter echt schadelijke dingen te laten zeggen, omdat het te dicht bij hun eigen stem voelde.
Derde Persoon ("Hij/Zij"): Toen mensen over een fictief karakter schreven (bijvoorbeeld: *"Jake is een spion...""), voelden ze zich veiliger. Ze waren bereid de grenzen verder op te zoeken omdat ze zich psychologisch distantieerden van het karakter. Het was alsof ze een kostuum droegen dat hen de moed gaf om dapperder te zijn.

5. De Conclusie

Het artikel concludeert dat Personas de brug zijn tussen menselijke creativiteit en geautomatiseerde snelheid.

Voor Automatisering: Het geven van een specifiek "karakter" aan de AI maakt het veel beter in het vinden van verborgen gevaren in andere AI's.
Voor Mensen: Het gebruik van een hulpmiddel waarmee je karakters kunt creëren, helpt je om nieuwe, creatieve manieren te bedenken om AI te testen, zelfs als je geen technische expert bent.

Kortom, PersonaTeaming draait om het besef dat je, om een slimme AI te testen, deze niet alleen moet testen als een machine, maar als een machine die interactie heeft met de rommelige, diverse en creatieve wereld van menselijke identiteiten.

Technische Samenvatting: PersonaTeaming

Probleemstelling

Recente vooruitgang in generatieve AI (GenAI) heeft robuuste red-teaming-methoden vereist om schadelijke, vooroordeelhoudende of problematische modelgedragingen aan het licht te brengen. Hoewel geautomatiseerde red-teaming schaalbaarheid biedt, vertrouwen bestaande benaderingen vaak op vooraf gedefinieerde risicocategorieën en aanvalsstijlen (bijvoorbeeld "discriminatie aanwakkeren" of "spelfouten") zonder expliciet de menselijke identiteiten achter vijandige aanvallen te modelleren. Daarentegen is volledig handmatige red-teaming beperkt door schaalbaarheid en de psychologische belasting voor menselijke beoordelaars. Huidige methoden bevinden zich op een extreem tussen deze twee, en missen het vermogen om diverse menselijke perspectieven of het genuanceerde oordeel te incorporeren dat nodig is om te begrijpen wie een model aanvalt en waarom. Dit artikel adresseert de kloof in het benutten van menselijke identiteiten om zowel geautomatiseerde als mens-in-de-lus red-teamingstrategieën te verbeteren.

Methodologie

De auteurs stellen PersonaTeaming voor, een raamwerk dat "personas"—gestructureerde representaties van gebruikersperspectieven—integreert in het proces voor het genereren van vijandige prompts. Het werk is verdeeld in twee hoofdcomponenten: een geautomatiseerde workflow en een interactieve interface.

1. PersonaTeaming Workflow (Geautomatiseerd)

Deze component breidt de state-of-the-art geautomatiseerde red-teaming-methode, RainbowPlus, uit door promptmutatie te conditioneren op expliciete personas.

Persona Constructie: Het systeem bouwt twee hoofdtypen personas:
- Red-Teaming Experts (RTers): Gestructureerd met professionele achtergronden (bijvoorbeeld "Politiek Strategist", "Historisch Revisionist") en gedragskenmerken die gericht zijn op vijandige expertise.
- Reguliere AI-gebruikers (Gebruikers): Gestructureerd met demografische details (bijvoorbeeld "Thuisblijvende Moeder", "Yoga-instructeur") om dagelijkse gebruikersperspectieven te simuleren, inclusief politieke opvattingen, vermogen en hobby's.
Mutatiemechanisme: De workflow gebruikt Large Language Models (LLM's) om zaad-prompts te muteren. In plaats van generieke mutatie-instructies, wordt de LLM gevraagd de prompt te herformuleren op basis van de specifieke kenmerken, achtergrond en gedragskenmerken van een geselecteerde persona.
Dynamische Persona-Generatie: Om te schalen voorbij vaste personas, ontwikkelden de auteurs een PersonaGeneration-algoritme. Dit algoritme genereert dynamisch kandidaat-personas die zijn afgestemd op een specifieke zaad-prompt. Het hanteert een scorefunctie (geïmplementeerd via een LLM) om de "fit" van een nieuwe persona tegenover de huidige te evalueren voor een gegeven prompt, waarbij de persona met de hogere score wordt behouden. Dit stelt het systeem in staat om adaptief het meest effectieve vijandige perspectief te selecteren voor een specifieke taak.

2. PersonaTeaming Playground (Mens-in-de-Lus)

Om de beperkingen van geautomatiseerde personas die echte menselijke perspectieven benaderen, aan te pakken, bouwden de auteurs een interactieve interface die menselijke red-teamers in staat stelt hun eigen personas te authoriseren en samen te werken met AI.

Gebruikersinteractie: Beoefenaars kunnen personas in natuurlijke taal opstellen (in de ik-vorm of derde persoon), nadruk-instructies toevoegen (bijvoorbeeld focussen op specifieke risicodimensies) en mutatieparameters configureren.
Collaboratieve Mutatie: Het systeem genereert vijandige prompts op basis van de door de gebruiker geschreven persona. Gebruikers kunnen deze prompts handmatig bewerken of door AI gegenereerde mutatievoorstellen accepteren.
Iteratieve Verfijning: De interface ondersteunt een iteratieve cyclus waarbij gebruikers hun personas kunnen herzien op basis van mutatieresultaten, wat een collaboratief proces tussen menselijke intentie en AI-generatie bevordert.

Belangrijkste Bijdragen

PersonaTeaming Workflow: Een nieuwe geautomatiseerde red-teaming-methode die personas integreert in promptmutatie, en het toepassingsgebied van geautomatiseerde strategieën uitbreidt voorbij vooraf gedefinieerde taxonomieën.
PersonaTeaming Playground: Een interactieve interface die menselijke red-teamers in staat stelt personas te authoriseren en samen te werken met AI, en de kloof overbrugt tussen volledig handmatige en volledig geautomatiseerde benaderingen.
Technische Evaluatie: Een uitgebreide evaluatie die aantoont dat persona-gedreven mutatie de Aanvalssuccesratio (ASR) verbetert, terwijl promptdiversiteit behouden blijft bij gesloten- en open-weight modellen (GPT, Gemini, Qwen).
Gebruikersstudie: Een studie met 11 praktijkprofessionals die de bruikbaarheid van de Playground onderzocht, en inzicht gaf in hoe mens-AI-samenwerking in red-teaming in de praktijk functioneert.
Open-Source Release: De release van de codebase en ontwerpimplicaties ter ondersteuning van Responsible AI (RAI)-onderzoekers en beoefenaars.

Resultaten

Technische Evaluatie

De auteurs evalueerden de PersonaTeaming Workflow tegen de RainbowPlus-baseline over zes doelmodellen (inclusief GPT-4o, Qwen2.5 en Gemini 2.5).

Aanvalssuccesratio (ASR): De workflow behaalde een hogere ASR dan de baseline. Specifiek behaalde de voorwaarde Dynamische RTer Persona Generatie ( $RP + PG_{RTers}$ ) een gemiddelde ASR van 0,223 (een verbetering van 46% ten opzichte van de baseline) terwijl gelijktijdig de promptdiversiteit werd verhoogd (0,632 versus 0,592 baseline).
Vast versus Dynamisch: Vaste RTer-personas (bijvoorbeeld "Historisch Revisionist") leverden de hoogste ASR op (0,257), maar ten koste van diversiteit door tekstuele gelijkenis op corpusniveau. Vaste Gebruiker-personas behielden een ASR vergelijkbaar met de baseline, maar verhoogden de diversiteit aanzienlijk.
Creativiteit en Gerichtheid: Kwalitatieve analyse en TF-IDF-analyse onthulden dat persona-gedreven prompts creatiever en gerichter waren. Bijvoorbeeld, een "Politiek Strategist"-persona slaagde erin een schadelijk verzoek te herformuleren in de context van een politieke campagne, terwijl een "Thuisblijvende Moeder"-persona verhalen in de ik-vorm genereerde die veiligheidsfilters omzeilden.
Modelgeneralisatie: De voordelen van dynamische persona-generatie waren robuust voor zowel open-source als gesloten-source modellen, evenals voor verschillende modelgroottes.

Bevindingen Gebruikersstudie

In een studie met 11 praktijkprofessionals:

Diverse Strategieën: Deelnemers neigden er natuurlijk naar om zowel personas in de ik-vorm (met nadruk op hobby's en identiteit) als in de derde persoon (met nadruk op expertise en vaardigheden) te schrijven.
Psychologische Distantie: Deelnemers die in de derde persoon schreven, waren meer bereid om schadelijke inhoud te escaleren, terwijl schrijvers in de ik-vorm grotere terughoudendheid toonden, wat suggereert dat personas de nodige psychologische distantie kunnen bieden voor red-teamers.
AI als Katalysator: Door AI gegenereerde suggesties fungeerden als "provocaties" in plaats van voorschriften. Zelfs wanneer deelnemers de AI-suggesties niet strikt volgden, stimuleerde de blootstelling aan deze ideeën buitenkaders denken en hielp het hen aanvalrichtingen te verkennen die ze niet zelf zouden hebben gegenereerd.
Iteratieve Verfijning: De studie vond een positieve correlatie tussen het aantal bewerkingen aan gemuteerde prompts en het aanvalssucces, wat suggereert dat itereren op door AI gegenereerde output productiever is dan simpelweg meer personas opstellen.

Betekenis en Claims

Het artikel beweert dat PersonaTeaming het veld van AI-veiligheid vooruit helpt door:

De Kloof te Overbruggen: Het biedt een middenweg tussen volledig handmatige en volledig geautomatiseerde red-teaming, waarbij de schaalbaarheid van AI wordt benut terwijl het contextuele begrip en de diverse perspectieven van menselijke identiteiten behouden blijven.
Ontdekking te Verbeteren: Door personas te incorporeren, onthult de methode een breder spectrum aan vijandige strategieën, waaronder die welke zijn geworteld in specifieke levenservaringen of professionele expertise die generieke mutatiealgoritmes missen.
Mens-AI Samenwerking: Het werk biedt inzicht in ontwerp voor toekomstige mens-AI-samenwerking, met name door te benadrukken dat AI-suggesties het waardevolst zijn wanneer ze dienen als prikkels voor menselijke creativiteit ("provocaties") in plaats van directe instructies.
Praktische Nut: De auteurs stellen dat hoewel geautomatiseerde personas menselijk oordeel niet volledig kunnen vervangen, ze dienen als een waardevol startpunt voor verdere mutatie en een kosteneffectief alternatief voor initiële verkenning, vooral wanneer menselijke middelen beperkt zijn.

De auteurs blijven bescheiden in hun claims en erkennen dat geautomatiseerde personas benaderingen zijn van echte menselijke ervaring en soms stereotiep kunnen zijn. Zij benadrukken dat de ware waarde ligt in de collaboratieve workflow waarin mensen deze geautomatiseerde processen verfijnen en sturen.