🤖 machine learning

Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation

Ce document présente le PCAP (Prompting Adversaire Conditionné par la Persona), un cadre de red-teaming qui exploite des personas d'attaquant diversifiés pour découvrir des jailbreaks transférables et générer des jeux de données riches en métadonnées, permettant ainsi un alignement automatisé efficace et améliorant considérablement la robustesse des modèles grâce à un fine-tuning ciblé.

Auteurs originaux : Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cristian Morasso, Anisa Halimi, Muhammad Zaid Hameed, Douglas Leith

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot très intelligent mais naïf comment repérer des astuces dangereuses. Le robot est un modèle de langage de grande taille (LLM), et en ce moment, il se fait berner par des personnes qui savent exactement comment formuler leurs questions pour contourner ses règles de sécurité.

L'article présente une nouvelle méthode appelée PCAP (Persona-Conditioned Adversarial Prompting). Voici comment elle fonctionne, expliquée par de simples analogies :

Le Problème : Les Attaquants « Uniquement Spécialisés »

Auparavant, les systèmes automatisés tentant de repérer ces failles de sécurité (appelés « red-teaming ») ressemblaient à un gardien de sécurité qui ne vérifiait qu'un seul type spécifique de crochet. Ils essayaient les mêmes quelques astuces encore et encore.

Le Résultat : Ils trouvaient certaines failles, mais ils manquaient les astuces ingénieuses du monde réel utilisées par de véritables malfaiteurs. C'est comme tester les défenses d'un château uniquement en essayant de grimper au mur de devant, tout en ignorant le fait que quelqu'un pourrait s'insinuer par la porte arrière déguisé en boulanger.

La Solution : L'Approche « Comédien de Méthode »

PCAP change la donne en donnant au robot attaquant un costume et un script. Au lieu d'être simplement un « hacker » générique, le robot est invité à se faire passer pour des personnes spécifiques (Personas) ayant des objectifs précis.

Les Personas : Imaginez que le robot enfile différents masques. Parfois, il joue le rôle d'un étudiant curieux posant une question pour un projet scolaire. Parfois, il joue le rôle d'un médecin grincheux tentant de résoudre un mystère médical. D'autres fois, il joue le rôle d'un acteur malveillant cherchant à causer des troubles.
Les Cartes de Stratégie : Avec le costume, le robot reçoit un jeu de « Cartes de Stratégie ». Ce sont comme des fiches triche lui indiquant comment parler. Une carte pourrait dire : « Utilisez une histoire historique pour cacher votre véritable intention ». Une autre pourrait dire : « Divisez votre question en petits morceaux inoffensifs ».

Comment Cela Fonctionne : Les Terrains de Jeu Parallèles

Au lieu d'un seul robot tentant de briser le système, PCAP met en place plusieurs terrains de jeu parallèles.

La Mise en Place : Il crée, par exemple, 6 « acteurs » différents (un étudiant, un enseignant, un hacker, etc.).
La Recherche : Chaque acteur tente de tromper le robot cible en utilisant sa propre voix unique et un ensemble spécifique de stratégies.
La Découverte : Parce qu'ils essaient tous des choses différentes simultanément, ils trouvent une variété beaucoup plus large de failles de sécurité.
- Analogie : Si vous voulez trouver chaque fissure dans un barrage, vous ne lancez pas simplement une pierre dessus. Vous lancez de l'eau, du sable, de la glace et des lianes dessus sous différents angles. PCAP lance toutes ces « matières » différentes sur le robot simultanément.

Les Résultats : Plus de Failles, Plus Vite

L'article a testé cela sur un robot très puissant (GPT-OSS 120B).

Avant PCAP : L'ancienne méthode trouvait un moyen de briser les règles de sécurité dans 57 % des cas.
Avec PCAP : La nouvelle méthode a percé dans 97 % des cas.
Diversité : Elle ne l'a pas seulement brisé plus souvent ; elle a trouvé de 2 à 6 fois plus de façons uniques de le briser. C'est comme trouver 100 clés différentes au lieu de seulement 10.

La Meilleure Partie : La Boucle « Auto-Guérison »

C'est la partie la plus importante de l'article. Habituellement, trouver une faille n'est que la première étape. Ensuite, vous devez engager des humains pour écrire une correction, ce qui prend une éternité.

PCAP automatise la correction :

L'Attaque : Les « acteurs » brisent le robot et enregistrent exactement comment ils l'ont fait.
La Leçon : L'article montre que vous pouvez prendre ces astuces enregistrées et les utiliser pour « affiner » (re-entraîner) le robot.
Le Résultat : Le robot apprend à reconnaître le modèle de l'astuce, et non pas seulement les mots spécifiques.
- Analogie : Au lieu d'enseigner au robot « N'acceptez pas les personnes portant des chapeaux rouges », vous lui montrez mille photos de personnes en chapeaux rouges, bleus et verts tentant de s'insinuer, et il apprend le concept de « s'insinuer ».
La Preuve : Après ce rapide ré-entraînement, le robot est devenu incroyablement robuste. Il a arrêté les attaques dans 99 % des cas, avec presque aucun faux positif (il n'a pas commencé à refuser de répondre à des questions normales).

Résumé

L'article présente un cycle complet :

Découvrir : Utilisez des « comédiens de méthode » pour trouver des failles de sécurité que les tests normaux manquent.
Générer : Créez automatiquement un vaste ensemble de données de ces astuces.
Défendre : Utilisez cet ensemble de données pour enseigner instantanément au robot comment repérer et bloquer ces astuces.

Cela transforme le processus de découverte des faiblesses et de leur correction en une boucle rapide et automatisée, rendant l'IA beaucoup plus sûre, beaucoup plus vite qu'auparavant.

Résumé technique : Sollicitation adversaire conditionnée par persona (PCAP)

Énoncé du problème

Le red-teaming automatisé pour les grands modèles de langage (LLM) souffre actuellement de deux limitations critiques : une diversité limitée des attaquants et un écart entre l'évaluation et l'atténuation actionnable. Les pipelines automatisés existants reposent souvent sur des ensembles étroits de tactiques (par exemple, des modèles fixes ou des attaques directes) et des transformations en un seul tir. Par conséquent, ils échouent à capturer des vecteurs d'attaque réalistes et complexes qui reposent sur l'identité de l'attaquant, l'ingénierie sociale et le cadrage contextuel (par exemple, la confiance basée sur le rôle ou le jargon spécifique à un domaine). Cette exploration étroite produit des données insuffisantes pour un réglage fin robuste de la sécurité et sous-estime les risques réels. De plus, bien que des approches de « purple-teaming » existent pour boucler la boucle entre la découverte de vulnérabilités et la défense, beaucoup manquent de diversification systématique des identités d'attaquants et de conditionnement explicite des stratégies.

Méthodologie : Sollicitation adversaire conditionnée par persona (PCAP)

Les auteurs introduisent PCAP, un cadre qui étend l'algorithme Tree of Attacks with Pruning (TAP). PCAP conditionne la recherche adversaire sur des personas d'attaquants diversifiés et des ensembles de stratégies explicites pour explorer des scénarios d'attaque réalistes dans un cadre en boîte noire.

Composants principaux

Construction de persona : Un générateur de persona ( $G_p$ ) crée $N$ personas distincts (par exemple, étudiants curieux, experts du domaine, acteurs malveillants) avec des démographies, des détails biographiques et des caractéristiques comportementales uniques.
Recadrage de l'objectif : Un modèle de recadrage ( $R$ ) réinterprète l'objectif nuisible cible ( $g$ ) dans le contexte de chaque persona ( $\pi_i$ ), produisant un objectif personnalisé ( $\tilde{g}_i$ ) qui intègre l'intention d'attaque dans le récit du persona.
Conditionnement de la stratégie : Un ensemble de stratégies d'attaque ( $\Sigma$ ) est défini (par exemple, jeu de rôle, division de charge utile, fautes de frappe). Chaque persona se voit attribuer un sous-ensemble de stratégies ( $\Sigma_i$ ). Le modèle d'attaquant ( $A$ ) est conditionné par le persona, l'objectif recadré et la carte de stratégie spécifique, agissant comme un guide en contexte.
Recherche adversaire parallélisée : Au lieu d'un seul faisceau de recherche, PCAP instancie $N$ recherches TAP indépendantes fonctionnant en parallèle. Chaque recherche maintient son propre faisceau ( $S^{(i)}_t$ ) de largeur $W$ . À chaque itération, l'attaquant conditionné par le persona génère des variations, qui sont filtrées par un vérificateur de pertinence ( $O$ ), notées par un évaluateur ( $E$ ) et élaguées pour ne garder que les $W$ meilleurs candidats.
Génération de jeu de données riche en métadonnées : Crucialement, chaque invite réussie est automatiquement annotée avec ses balises de persona, d'objectif et de stratégie assignées. Cela crée un corpus riche, sans annotation manuelle, adapté à l'entraînement de comportements de refus robustes.

Contributions clés

Recherche conditionnée par persona : PCAP déplace le focus de la modification du pipeline de raffinement vers le changement de qui est l'attaquant et comment il attaque. Cette approche modulaire explore des cadrages linguistiques et stratégiques diversifiés qui exploitent la confiance basée sur le rôle et le cadrage spécifique au domaine.
Évaluation empirique complète : Les auteurs évaluent PCAP sur plusieurs modèles d'attaquants aux capacités variables (architectures Denses et Mixture-of-Experts). Ils démontrent des améliorations constantes des taux de succès d'attaque (ASR), du rendement des invites et de la transférabilité face à des garde-fous dédiés.
Atténuation pratique en boucle fermée : L'article démontre un pipeline complet allant de la découverte de vulnérabilités à la défense automatisée. En affinant des adaptateurs légers (ALoRA) sur des données générées par PCAP, les auteurs montrent des améliorations significatives de la robustesse du modèle sans annotation manuelle.
Publication en open source : Les auteurs s'engagent à publier le code PCAP intégré à un cadre de red-teaming dès son acceptation.

Résultats expérimentaux

Les expériences ont été menées sur GPT-OSS 120B en tant que modèle cible, en utilisant divers modèles d'attaquants (Llama 3.3 70B, Granite 3.3 8B, Granite 4.0 H Tiny, Kimi K2.5, Mixtral 8x22B).

Performance d'attaque

Taux de succès d'attaque (ASR) : PCAP surpasse significativement la ligne de base TAP. Sur GPT-OSS 120B, l'ASR est passé de 57,7 % à 97,3 % (attaquant Llama 3.3 70B) et de 41,0 % à 98,0 % (attaquant Granite 4.0 H Tiny).
Rendement des invites : PCAP génère 2 à 6 fois plus d'invites réussies diversifiées par objectif par rapport à TAP. Par exemple, Granite 4.0 H Tiny a vu son rendement passer de 0,43 à 2,41 invites/objectif.
Transférabilité : Les invites générées par PCAP ont montré une forte transférabilité, contournant les garde-fous dédiés (Granite Guardian 3.3 et Llama Guard 3) à des taux de 30–58 %. Notamment, une partie importante de ces invites a contourné à la fois le modèle cible et les garde-fous, indiquant la découverte de vulnérabilités sémantiques généralisables.
Diversité : Les invites PCAP ont présenté une similarité sémantique plus faible (similarité cosinus ~0,62–0,67) et des scores Self-BLEU plus bas (0,02–0,08) par rapport aux lignes de base, confirmant une grande diversité lexicale et sémantique. Les distributions de stratégies étaient plus équilibrées (scores $\chi^2$ plus faibles) que TAP, qui reposait lourdement sur le jeu de rôle.

Atténuation et robustesse

Règlage fin : Des adaptateurs ALoRA légers ont été affinés sur le jeu de données généré par PCAP (300 invites sur 50 objectifs).
Gains de performance : Le réglage fin a considérablement amélioré la robustesse adversaire sur trois familles de modèles (Granite, Llama, Qwen).
- Rappel : Amélioré de 0,26–0,36 à 0,96–1,00.
- Score F1 : Amélioré de 0,41–0,53 à 0,96–0,98.
- Précision : Maintenue à des niveaux élevés (0,94–0,97) avec un minimum de faux positifs.
Validation du purple-teaming : Lorsque les modèles affinés ont été re-testés avec PCAP, ils ont démontré une forte résistance. Par exemple, Granite 3.3 8B a vu son ASR chuter de 100 % à 33,7 %, et le nombre de requêtes nécessaires pour trouver un jailbreak réussi a augmenté de 5 à 7 fois. Cela confirme que le jeu de données enseigne la reconnaissance de motifs d'attaque généralisables.

Importance et affirmations

L'article affirme que PCAP fournit une approche complète, automatisée et en boucle fermée pour la sécurité des LLM. En conditionnant la recherche adversaire sur des personas diversifiés, la méthode découvre des vulnérabilités que les pipelines étroits manquent, spécifiquement celles reposant sur l'ingénierie sociale et la confiance basée sur l'identité.

Les auteurs soulignent que le caractère sans annotation du jeu de données généré est un avantage pratique clé, éliminant le coût et les problèmes d'évolutivité du red-teaming humain. La capacité à atteindre une robustesse quasi parfaite (F1 > 0,96) grâce à un réglage fin léger en quelques heures (2–9 heures sur A100) démontre une voie pratique pour le durcissement continu des modèles. Ce travail positionne PCAP non seulement comme un outil de découverte, mais comme un « purple team » fonctionnel qui comble le fossé entre l'identification des vulnérabilités et une défense automatisée et efficace.