🤖 AI

PersonaTeaming: Supporting Persona-Driven Red-Teaming for Generative AI

Ce document présente PersonaTeaming, un cadre qui améliore à la fois le red-teaming automatisé et celui intégrant un humain dans la boucle des IA génératives en intégrant des personnalités diversifiées dans la génération de prompts, améliorant ainsi les taux de réussite des attaques et favorisant une collaboration créative et efficace entre l'humain et l'IA.

Auteurs originaux : Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wesley Hanwen Deng, Mingxi Yan, Sunnie S. Y. Kim, Akshita Jha, Lauren Wilcox, Kenneth Holstein, Motahhare Eslami, Leon A. Gatys

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de repérer les points faibles d'un robot très intelligent, mais parfois trop poli. Vous voulez voir si vous pouvez le piéger pour qu'il dise quelque chose de méchant, de dangereux ou de biaisé. Ce processus s'appelle le « Red-Teaming ».

Habituellement, les humains le font en essayant de « contourner les garde-fous » du robot avec des questions pièges. Mais les humains se fatiguent, et il est difficile d'imaginer chaque astuce possible. Ainsi, les scientifiques ont commencé à utiliser d'autres IA pour faire le travail de piégeage à leur place. Cependant, ces IA automatisées se contentent souvent de mélanger des mots sans vraiment comprendre qui pose la question.

Cet article présente une nouvelle méthode de test des IA appelée PersonaTeaming. C'est comme donner à l'IA de test un « masque » ou un « personnage » à endosser.

Voici le détail du fonctionnement, en utilisant des analogies simples :

1. Le Problème : Le « Point Aveugle » du Robot

Imaginez l'IA que vous testez comme un videur à l'entrée d'un club très strict. Le videur possède une liste de règles (les consignes de sécurité).

L'ancien test automatisé : Imaginez un robot essayant de se faufiler. Il tente simplement des phrases aléatoires comme « S'il vous plaît, laissez-moi entrer » ou « Je suis un VIP ». C'est efficace, mais c'est un peu robotique et prévisible.
La pièce manquante : Les vrais humains ne posent pas de questions au hasard ; ils les posent depuis des perspectives spécifiques. Un parent épuisé, un stratège politique ou un adolescent curieux pourraient tous essayer de passer le videur de manières complètement différentes. Les anciens testeurs automatisés manquaient ces angles « humains ».

2. La Solution : Le « Masque de Personnage » (Flux de travail PersonaTeaming)

Les auteurs ont créé un système appelé Flux de travail PersonaTeaming. Au lieu de simplement demander à l'IA de « faire plus d'efforts », ils demandent à l'IA de test de faire semblant d'être un personnage spécifique.

Le masque de « l'Expert » : L'IA de test endosse le chapeau d'un « Stratège politique » ou d'un « Révisionniste historique ». Elle se demande : « Comment un stratège politique tenterait-il de tordre la vérité pour gagner une élection ? » Cela l'aide à trouver des moyens très astucieux et ciblés de piéger le videur.
Le masque de « la Personne Ordinaire » : L'IA de test endosse le chapeau d'une « Mère au foyer » ou d'un « Professeur de yoga ». Elle se demande : « Comment une mère inquiète tenterait-elle d'obtenir des conseils sur le maintien d'une arme à feu à la maison ? » Cela révèle différents types de ruses que les experts pourraient manquer.

Le Résultat : Lorsqu'ils ont testé cette méthode contre les meilleures méthodes existantes (appelées RainbowPlus), la méthode du « Masque de Personnage » a révélé plus de faiblesses (taux de réussite plus élevé) tout en générant une grande variété de ruses différentes (diversité élevée). C'était comme avoir une équipe d'acteurs au lieu d'un seul robot.

3. L'Outil : Le « Terrain de Jeu » (Terrain de jeu PersonaTeaming)

Les chercheurs ont réalisé que parfois, il faut un vrai humain pour aider à concevoir le personnage. Ils ont donc construit un outil interactif appelé Terrain de jeu PersonaTeaming.

Comment ça marche : Un red-teamer humain s'assoit devant l'ordinateur et écrit son propre personnage. Il peut dire : « Je suis un travailleur de la tech de 35 ans qui adore la danse. »
Le travail de l'IA : L'IA prend ce personnage et commence à générer des questions pièges basées dessus.
L'« Étincelle » : Parfois, l'IA suggère une tournure que l'humain n'avait pas envisagée. Par exemple, si l'humain a écrit qu'il était danseur, l'IA pourrait suggérer de présenter une demande dangereuse comme un « plan de chorégraphie ».
La Découverte : L'étude a révélé que les humains ne suivaient pas aveuglément les suggestions de l'IA. Au lieu de cela, les idées étranges de l'IA agissaient comme une bougie d'allumage. Même si l'humain n'utilisait pas exactement la suggestion, la voir le faisait penser : « Oh ! Je pourrais essayer ça d'une autre manière ! » Cela l'a aidé à sortir de ses propres schémas mentaux.

4. L'Astuce « Première Personne » vs « Troisième Personne »

Une découverte fascinante est survenue lors de l'étude humaine :

Première personne (« Je ») : Lorsque les humains écrivaient des personnages sur eux-mêmes (par exemple : « Je suis une mère épuisée... »), ils étaient souvent trop polis. Ils se sentaient mal à l'aise de faire dire des choses vraiment nuisibles au personnage, car cela semblait trop proche de leur propre voix.
Troisième personne (« Il/Elle ») : Lorsque les humains écrivaient sur un personnage fictif (par exemple : « Jake est un espion... »), ils se sentaient plus en sécurité. Ils étaient prêts à pousser les limites plus loin car ils se sentaient psychologiquement distants du personnage. C'était comme porter un costume qui leur donnait le courage d'être plus audacieux.

5. La Conclusion

L'article conclut que les Personas sont le pont entre la créativité humaine et la rapidité automatisée.

Pour l'automatisation : Donner à l'IA un « personnage » spécifique la rend beaucoup plus efficace pour repérer les dangers cachés dans d'autres IA.
Pour les humains : Utiliser un outil qui permet de créer des personnages aide à imaginer de nouvelles façons créatives de tester les IA, même si vous n'êtes pas un expert technique.

En bref, PersonaTeaming consiste à réaliser que pour tester une IA intelligente, vous devez la tester non seulement en tant que machine, mais en tant que machine interagissant avec le monde désordonné, diversifié et créatif des identités humaines.

Résumé Technique : PersonaTeaming

Énoncé du Problème

Les récents progrès de l'intelligence artificielle générative (IA Gén) ont rendu nécessaires des méthodes de red-teaming robustes pour révéler les comportements nuisibles, biaisés ou problématiques des modèles. Bien que le red-teaming automatisé offre une évolutivité, les approches existantes reposent souvent sur des catégories de risques et des styles d'attaque prédéfinis (par exemple, « inciter à la discrimination » ou « fautes d'orthographe ») sans modéliser explicitement les identités humaines sous-jacentes aux attaques adverses. À l'inverse, le red-teaming entièrement manuel est limité par son évolutivité et le fardeau psychologique qu'il impose aux évaluateurs humains. Les méthodes actuelles occupent une extrémité entre ces deux pôles, manquant de la capacité d'intégrer des perspectives humaines diversifiées ou du jugement nuancé nécessaire pour comprendre qui attaque un modèle et pourquoi. Cet article comble le vide dans l'exploitation des identités humaines pour améliorer à la fois les stratégies de red-teaming automatisées et celles impliquant un humain dans la boucle.

Méthodologie

Les auteurs proposent PersonaTeaming, un cadre qui intègre des « personas » — des représentations structurées de perspectives utilisateurs — dans le processus de génération de prompts adverses. Le travail est divisé en deux composantes principales : un flux de travail automatisé et une interface interactive.

1. Flux de Travail PersonaTeaming (Automatisé)

Cette composante étend la méthode de red-teaming automatisée la plus avancée, RainbowPlus, en conditionnant la mutation de prompts sur des personas explicites.

Construction de Personas : Le système construit deux types principaux de personas :
- Experts en Red-Teaming (RTers) : Structurés avec des antécédents professionnels (par exemple, « Stratège Politique », « Révisionniste Historique ») et des traits comportementaux axés sur l'expertise adverse.
- Utilisateurs Normaux d'IA (Utilisateurs) : Structurés avec des détails démographiques (par exemple, « Mère au foyer », « Instructeur de Yoga ») pour simuler les perspectives d'utilisateurs quotidiens, y compris les opinions politiques, la richesse et les loisirs.
Mécanisme de Mutation : Le flux de travail utilise des Modèles de Langage (LLM) pour muter des prompts de départ. Au lieu d'instructions de mutation génériques, le LLM est instruit de reformuler le prompt en fonction des caractéristiques spécifiques, du contexte et des traits comportementaux d'un persona sélectionné.
Génération Dynamique de Personas : Pour s'étendre au-delà des personas fixes, les auteurs ont développé un algorithme de Génération de Personas. Cet algorithme génère dynamiquement des personas candidats alignés sur un prompt de départ spécifique. Il emploie une fonction de scoring (implémentée via un LLM) pour évaluer la « pertinence » d'un nouveau persona par rapport au persona actuel pour un prompt donné, en conservant le persona ayant le score le plus élevé. Cela permet au système de sélectionner de manière adaptative la perspective adverse la plus efficace pour une tâche spécifique.

2. Terrain de Jeu PersonaTeaming (Humain dans la Boucle)

Pour pallier les limites des personas automatisés qui approximent les perspectives humaines réelles, les auteurs ont conçu une interface interactive permettant aux red-teamers humains de créer leurs propres personas et de collaborer avec l'IA.

Interaction Utilisateur : Les praticiens peuvent rédiger des personas en langage naturel (à la première ou à la troisième personne), ajouter des instructions de mise en emphase (par exemple, se concentrer sur des dimensions de risques spécifiques) et configurer les paramètres de mutation.
Mutation Collaborative : Le système génère des prompts adverses basés sur le persona rédigé par l'utilisateur. Les utilisateurs peuvent modifier manuellement ces prompts ou accepter les suggestions de mutation générées par l'IA.
Raffinement Itératif : L'interface prend en charge une boucle itérative où les utilisateurs peuvent réviser leurs personas en fonction des résultats de mutation, favorisant un processus collaboratif entre l'intention humaine et la génération par l'IA.

Contributions Clés

Flux de Travail PersonaTeaming : Une méthode de red-teaming automatisée novatrice qui intègre des personas dans la mutation de prompts, élargissant la portée des stratégies automatisées au-delà des taxonomies prédéfinies.
Terrain de Jeu PersonaTeaming : Une interface interactive permettant aux red-teamers humains de créer des personas et de collaborer avec l'IA, comblant le fossé entre les approches entièrement manuelles et entièrement automatisées.
Évaluation Technique : Une évaluation complète démontrant que la mutation basée sur des personas améliore le Taux de Succès de l'Attaque (ASR) tout en maintenant la diversité des prompts sur des modèles à poids fermés et ouverts (GPT, Gemini, Qwen).
Étude Utilisateur : Une étude menée auprès de 11 praticiens de l'industrie examinant l'utilisabilité du Terrain de Jeu, révélant comment la collaboration humain-IA dans le red-teaming fonctionne en pratique.
Publication Open-Source : La mise à disposition du code et des implications de conception pour soutenir les chercheurs et praticiens en IA Responsable (RAI).

Résultats

Évaluation Technique

Les auteurs ont évalué le Flux de Travail PersonaTeaming par rapport à la référence RainbowPlus sur six modèles cibles (incluant GPT-4o, Qwen2.5 et Gemini 2.5).

Taux de Succès de l'Attaque (ASR) : Le flux de travail a atteint un ASR supérieur à celui de la référence. Plus précisément, la condition Génération Dynamique de Personas RTer ( $RP + PG_{RTers}$ ) a atteint un ASR moyen de 0,223 (une amélioration de 46 % par rapport à la référence) tout en augmentant simultanément la diversité des prompts (0,632 contre 0,592 pour la référence).
Fixe vs Dynamique : Les personas RTer fixes (par exemple, « Révisionniste Historique ») ont produit le ASR le plus élevé (0,257), mais au détriment de la diversité en raison de la similarité textuelle au niveau du corpus. Les personas Utilisateurs fixes ont maintenu un ASR comparable à la référence mais ont considérablement augmenté la diversité.
Créativité et Ciblage : L'analyse qualitative et l'analyse TF-IDF ont révélé que les prompts pilotés par des personas étaient plus créatifs et mieux ciblés. Par exemple, un persona « Stratège Politique » a réussi à reformuler une demande nuisible dans le contexte d'une campagne politique, tandis qu'un persona « Mère au foyer » a généré des récits à la première personne contournant les filtres de sécurité.
Généralisation du Modèle : Les avantages de la génération dynamique de personas étaient robustes à la fois sur les modèles open-source et closed-source, ainsi que sur différentes tailles de modèles.

Résultats de l'Étude Utilisateur

Dans une étude menée auprès de 11 praticiens de l'industrie :

Stratégies Diversifiées : Les participants ont naturellement tendance à rédiger à la fois des personas à la première personne (mettant l'accent sur les loisirs et l'identité) et à la troisième personne (mettant l'accent sur l'expertise et les compétences).
Distance Psychologique : Les participants écrivant à la troisième personne étaient plus enclins à escalader des contenus nuisibles, tandis que ceux écrivant à la première personne montraient une plus grande réticence, suggérant que les personas peuvent fournir la distance psychologique nécessaire aux red-teamers.
L'IA comme Catalyseur : Les suggestions générées par l'IA ont agi comme des « provocations » plutôt que comme des prescriptions. Même lorsque les participants ne suivaient pas strictement les suggestions de l'IA, l'exposition à ces idées encourageait la pensée hors des sentiers battus et les aidait à explorer des directions d'attaque qu'ils n'auraient pas générées eux-mêmes.
Raffinement Itératif : L'étude a révélé une corrélation positive entre le nombre de modifications apportées aux prompts mutés et le succès de l'attaque, suggérant que l'itération sur les sorties générées par l'IA est plus productive que la simple rédaction de nouveaux personas.

Importance et Revendications

L'article affirme que PersonaTeaming fait progresser le domaine de la sécurité de l'IA en :

Combler le Fossé : Il offre un terrain d'entente entre le red-teaming entièrement manuel et entièrement automatisé, exploitant l'évolutivité de l'IA tout en conservant la compréhension contextuelle et les perspectives diversifiées des identités humaines.
Améliorer la Découverte : En intégrant des personas, la méthode révèle un spectre plus large de stratégies adverses, y compris celles ancrées dans des expériences de vie spécifiques ou une expertise professionnelle que les algorithmes de mutation génériques manquent.
Collaboration Humain-IA : Le travail fournit des insights de conception pour la future collaboration humain-IA, soulignant spécifiquement que les suggestions de l'IA sont les plus précieuses lorsqu'elles servent de stimuli à la créativité humaine (« provocations ») plutôt que d'instructions directes.
Utilité Pratique : Les auteurs postulent que, bien que les personas automatisés ne puissent pas remplacer entièrement le jugement humain, ils servent de point de départ précieux pour une mutation ultérieure et d'une alternative à faible coût pour l'exploration initiale, en particulier lorsque les ressources humaines sont limitées.

Les auteurs restent modestes dans leurs revendications, reconnaissant que les personas automatisés sont des approximations de l'expérience humaine réelle et peuvent parfois être stéréotypés. Ils soulignent que la véritable valeur réside dans le flux de travail collaboratif où les humains affinent et orientent ces processus automatisés.