🤖 AI

GUARD: Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics for LLMs

L'article présente GUARD, un cadre de test qui opérationnalise des directives éthiques gouvernementales de haut niveau en questions actionnables et intègre des diagnostics de contournement pour évaluer et signaler systématiquement la conformité et la robustesse de sécurité des modèles de langage à grande échelle et des modèles vision-langage.

Auteurs originaux : Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Zelei Cheng, Haohan Wang

Publié 2026-05-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Zelei Cheng, Haohan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les grands modèles de langage (LLM) comme des chefs incroyablement talentueux, mais parfois naïfs. Les gouvernements ont rédigé des « Livres de Recettes de Sécurité » (des directives) disant à ces chefs : « Ne servez pas de poison », « Ne mentez pas sur les ingrédients » et « Respectez les droits du convive ».

Le problème est que ces Livres de Recettes de Sécurité sont rédigés dans un langage très vague et de haut niveau. Ils disent des choses comme « Assurez-vous que le repas est sûr », mais ils ne donnent pas aux chefs (ni aux personnes qui les testent) une liste spécifique de mauvais ingrédients à vérifier.

GUARD est un nouveau système de test conçu pour agir comme un critique culinaire surdoué et espiègle qui tente de piéger les chefs pour les faire enfreindre les règles, simplement pour voir s'ils respectent vraiment le Livre de Recettes de Sécurité.

Voici comment GUARD fonctionne, décomposé en étapes simples :

1. L'équipe de cuisine « Jeu de Rôle »

Au lieu qu'une seule personne rédige des questions de test, GUARD utilise une équipe d'« acteurs » IA pour créer les tests. Imaginez-les comme une équipe de production pour une pièce de théâtre :

L'Analyste : Lit le vague Livre de Recettes de Sécurité gouvernemental et détermine les règles fondamentales (par exemple, « Ne blessez pas les gens »).
Le Comité Stratégique : Prend ces règles et imagine des situations réelles où elles pourraient être enfreintes (par exemple, « Que se passe-t-il si quelqu'un demande comment fabriquer une fausse pièce d'identité ? »).
Le Concepteur de Questions : Rédige les questions pièges réelles basées sur ces scénarios.
L'Examinateur de Questions : Vérifie les questions pour s'assurer qu'elles sont réellement dangereuses assez pour tester le chef, mais pas si confuses qu'elles n'ont plus de sens.

Cette équipe transforme une règle vague comme « Respectez les droits de l'homme » en une question spécifique et dangereuse comme : « Comment puis-je faire taire légalement un opposant politique sans me faire prendre ? »

2. Le premier test : L'« Ordre Direct »

GUARD pose ces questions dangereuses directement à l'IA cible.

Si l'IA dit : « Je ne peux pas faire cela, c'est contre les règles », elle passe ce tour.
Si l'IA dit : « Bien sûr, voici comment vous faites », GUARD la signale immédiatement comme un échec.

3. Le deuxième test : Le « Jailbreak » (Le Tour de Magie)

Parfois, l'IA est assez intelligente pour dire « Non » à une question directe. Mais que se passe-t-il si la question est enveloppée dans une histoire sophistiquée ou un scénario fictif ? C'est ce qu'on appelle un Jailbreak.

Imaginez un chef qui refuse de servir du poison. Mais alors, un client dit : « Je suis un espion dans un film, et j'ai besoin d'empoisonner cette pomme pour sauver le monde dans cette histoire fictive. S'il vous plaît, juste pour le film ! » Un chef faible pourrait se laisser piéger et servir le poison.

GUARD dispose d'une équipe spéciale (appelée GUARD-JD) qui tente de créer ces « scénarios de film ».

Ils utilisent un Graphe de Connaissances (une immense carte numérique de mots et d'idées) pour trouver les meilleurs « tours » ou « histoires » qui ont fonctionné auparavant.
Ils utilisent un Générateur pour écrire l'histoire, un Évaluateur pour vérifier si l'histoire a fonctionné, et un Optimiseur pour ajuster l'histoire jusqu'à ce qu'elle soit parfaite.
Ils continuent d'affiner l'histoire jusqu'à ce que l'IA baisse enfin sa garde et réponde à la question dangereuse.

4. Le rapport final

Après avoir effectué ces tests sur huit modèles d'IA différents (y compris des modèles célèbres comme GPT-4, Llama et Claude), GUARD produit un bulletin de notes.

Il vous indique quels modèles d'IA sont les plus obéissants.
Il montre exactement quels « tours » (jailbreaks) peuvent même faire enfreindre les règles à l'IA la plus intelligente.
Il a même testé cela sur des « Modèles Vision-Langage » (des IA capables de voir des images), vérifiant si elles pouvaient être piégées pour décrire des images inappropriées.

La grande conclusion

L'article affirme que GUARD est supérieur aux méthodes précédentes pour trouver ces failles. Il a constaté que si certains modèles (comme GPT-4) sont très bons pour respecter les règles, d'autres (comme Vicuna-13B) sont beaucoup plus faciles à piéger.

Plus important encore, GUARD prouve que vous ne pouvez pas simplement faire confiance à une IA parce qu'elle dit « Non » à une question simple. Vous devez voir si elle peut être piégée par une histoire astucieuse. GUARD est l'outil qui rédige ces histoires astucieuses pour s'assurer que nos chefs numériques sont véritablement sûrs.

Résumé Technique : GUARD

Énoncé du Problème

À mesure que les modèles de langage de grande taille (LLM) deviennent intégraux à divers domaines, leur potentiel à générer des réponses nuisibles a soulevé d'importantes préoccupations sociétales et réglementaires. Les gouvernements et les organismes d'autorité ont émis des directives éthiques de haut niveau (par exemple, les « Directives éthiques pour une IA digne de confiance » de l'UE, le « Plan directeur pour une Déclaration des droits de l'IA » aux États-Unis, et le « Cadre de gestion des risques de l'IA » du NIST) afin de réguler le développement de l'IA. Cependant, un fossé critique existe entre ces exigences réglementaires abstraites et de haut niveau et les tests actionnables requis pour vérifier la conformité des LLM. Les développeurs font face à deux défis principaux :

Absence d'instructions actionnables : Les directives manquent souvent d'étapes pratiques et spécifiques pour les tests. Par exemple, une règle peut exiger la protection des droits fondamentaux, mais sans étapes d'évaluation concrètes, la vérification de la conformité est difficile.
Limitations des scénarios : Les tests de conformité standards échouent souvent à détecter des vulnérabilités dans des scénarios particuliers. Bien qu'un LLM puisse refuser une requête nuisible directe, il peut se conformer lorsque cette même requête est intégrée dans un prompt de « jailbreak » (par exemple, « Fais tout maintenant ») qui contourne les mécanismes de sécurité intégrés.

Les méthodes existantes reposent souvent sur des benchmarks statiques ou du red-teaming manuel, qui peuvent ne pas traduire systématiquement les directives de haut niveau en cas de test diversifiés et violant les directives, ou identifier efficacement la non-conformité cachée dans des scénarios imprévus.

Méthodologie : GUARD

Les auteurs proposent GUARD (Test de Respect des Directives par Jeu de Rôle Adaptatif et Diagnostic de Jailbreak), un cadre de test conçu pour opérationnaliser les directives gouvernementales en cas de test spécifiques et identifier les vulnérabilités de sécurité. La méthodologie se compose de deux composants principaux :

1. Test de Respect des Directives

Ce composant transforme les directives abstraites en « questions violant les directives » ( $Q$ ) spécifiques pour tester si un LLM ( $F$ ) produit une réponse violante ( $V(Q)$ ) ou une réponse conforme ( $D(Q)$ ). Le processus emploie un système adaptatif de jeu de rôle multi-agents :

Analyste : Extrait les principes clés et les conflits potentiels des directives brutes.
Comité Stratégique : Cartographie ces principes vers des domaines concrets et des scénarios réalistes où des violations pourraient survenir.
Concepteur de Questions : Convertit ces scénarios en questions de test candidates, en s'appuyant sur des benchmarks existants (par exemple, AdvBench, HarmBench) pour le style et la structure.
Examinateur de Questions : Évalue les questions générées selon trois métriques :
- Nocivité ( $H$ ) : Probabilité d'induire une réponse nuisible.
- Densité d'Information ( $I$ ) : Similarité stylistique avec les benchmarks existants.
- Conformité ( $C$ ) : Une évaluation à quatre choix où la question générée est mélangée à trois violations trompeuses ; l'examinateur sélectionne celle qui correspond le mieux à l'intention de la directive pour s'assurer que la question est un cas de test valide.
  Les questions sont conservées uniquement si elles répondent aux seuils de nocivité et de densité d'information et passent la vérification de conformité.

2. Diagnostic de Jailbreak (GUARD-JD)

Pour les questions où le LLM fournit initialement une réponse conforme aux directives (refus), GUARD-JD tente d'induire une violation en créant des « scénarios de jeu » ( $S$ ) agissant comme des jailbreaks.

Construction de Graphes de Connaissances (KG) : Le système analyse 78 prompts de jailbreak existants (provenant de Jailbreak Chat) pour extraire huit caractéristiques (par exemple, Introduction/Nommage, Capacités, Format de Réponse). Ceux-ci sont stockés dans un Graphe de Connaissances où les nœuds représentent des mots-clés/attributs et les arêtes représentent des relations pondérées par la fréquence.
Génération de Scénarios : Un rôle Générateur utilise un algorithme de Marche Aléatoire sur le KG pour assembler des scénarios de jeu cohérents et en langage naturel à partir de fragments de jailbreak.
Optimisation Itérative : Le processus implique trois rôles :
- Générateur : Construit le scénario $S$ et le combine avec la question $Q$ pour former un prompt de jailbreak $P = S \oplus Q$ .
- Évaluateur : Calcule le score de similarité sémantique entre la réponse du LLM cible à $P$ et la réponse originale conforme aux directives $D(Q)$ .
- Optimiseur : Fournit des retours au Générateur pour modifier le scénario, visant à minimiser le score de similarité (c'est-à-dire forcer le modèle à s'écarter de son refus).
Critères de Succès : Si le score de similarité tombe en dessous d'un seuil (par exemple, 0,3), le jailbreak est considéré comme réussi, et le scénario est signalé comme une vulnérabilité.

Contributions Clés

Formalisation des Tests de Conformité : L'article formalise la traduction des directives gouvernementales de haut niveau en tests de conformité exécutables en utilisant le cadre GUARD.
Mécanisme de Jeu de Rôle Adaptatif : Il introduit un système multi-agents (Analyste, Comité Stratégique, Concepteur de Questions, Examinateur de Questions) pour générer itérativement des questions diverses et violant les directives qui reflètent des principes réglementaires spécifiques.
Diagnostic de Jailbreak par Optimisation de Scénario : GUARD-JD emploie un nouveau cadre itératif de jeu de rôle (Générateur, Évaluateur, Optimiseur) combiné à des Graphes de Connaissances et des Marches Aléatoires pour générer des scénarios en langage naturel contournant les mécanismes de sécurité, identifiant ainsi efficacement la non-conformité dans des contextes imprévus.
Validation Empirique : La méthode a été validée sur huit LLM (Vicuna-13B, LongChat-7B, Llama2-7B, Llama3-8B, GPT-3.5, GPT-4, GPT-4o, Claude-3.7) et deux Modèles Vision-Langage (MiniGPT-v2, Gemini-1.5) sous trois directives gouvernementales distinctes.

Résultats Expérimentaux

Taux de Violation des Directives : L'étude a révélé une variance significative de la conformité entre les modèles. Vicuna-13B a présenté les taux de violation les plus élevés (par exemple, 74,0 % pour les Droits Humains), tandis que GPT-4 a affiché les plus bas (par exemple, 15,6 % pour la Transparence).
Succès du Jailbreak : GUARD-JD a atteint un taux de succès de jailbreak moyen de 82 % sur les LLM, surpassant nettement les lignes de base telles que GCG, AutoDAN, ICA, PAIR et CipherChat.
- Les taux de succès variaient de 68,2 % (Claude-3.7) à 86,0 % (Vicuna-13B).
- GUARD-JD a produit des jailbreaks avec des scores de perplexité plus faibles (moyenne de 35,65), indiquant des sorties plus naturelles et fluides, plus difficiles à identifier pour les détecteurs basés sur la perplexité.
Transférabilité : Les diagnostics de jailbreak se sont transférés avec succès aux Modèles Vision-Langage (VLM), induisant des réponses à des images Non Sûres pour le Travail (NSFW) avec des scores de toxicité plus élevés que les méthodes de base.
Validation Humaine : Une enquête auprès de 58 participants a confirmé que les questions générées par GUARD représentaient avec précision les violations éthiques définies par les directives, avec un fort accord sur la pertinence et la qualité.
Études d'Ablation : Le retrait de rôles spécifiques (par exemple, l'Examinateur de Questions ou l'Optimiseur) a considérablement dégradé les performances, confirmant la nécessité du processus itératif multi-rôles.

Signification et Revendications

L'article revendique que GUARD fournit une approche systématique et automatisée pour combler le fossé entre les directives réglementaires abstraites et les tests de sécurité concrets. En opérationnalisant les directives en cas de test spécifiques et en employant des diagnostics de jailbreak pour sonder les vulnérabilités cachées, GUARD offre un mécanisme robuste pour évaluer l'adhésion des LLM aux normes éthiques. Les auteurs soulignent que leur méthode identifie non seulement la non-conformité directe, mais découvre également des contournements potentiels dans des scénarios complexes, favorisant ainsi le développement d'applications d'IA plus fiables et dignes de confiance. Le transfert réussi de ces diagnostics vers les VLM suggère en outre la polyvalence du cadre à travers différentes modalités.