🤖 AI

Safety Alignment of LMs via Non-cooperative Games

Cet article introduit AdvGame, un nouveau paradigme d'alignement de sécurité qui cadre l'interaction entre un modèle de langage Attaquant et un modèle Défenseur comme un jeu à somme non nulle entraîné via un apprentissage par renforcement en ligne avec des récompenses basées sur les préférences, résultant en un Défenseur plus robuste et utile aux côtés d'un agent de red-teaming généraliste puissant.

Auteurs originaux : Anselm Paulus, Ilia Kulikov, Brandon Amos, Rémi Munos, Ivan Evtimov, Kamalika Chaudhuri, Arman Zharmagambetov

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anselm Paulus, Ilia Kulikov, Brandon Amos, Rémi Munos, Ivan Evtimov, Kamalika Chaudhuri, Arman Zharmagambetov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent mais inexpérimenté (le Défenseur) comment gérer un monde chaotique rempli de questions piégeuses, dont certaines sont dangereuses.

Traditionnellement, les développeurs essayaient d'enseigner cela au robot en lui montrant une liste de « mauvaises questions » et en lui disant : « Ne réponds pas à celles-ci ». Mais le robot est intelligent ; il finit par apprendre la liste par cœur, mais échoue lorsqu'on lui pose un nouveau type de mauvaise question qu'il n'a pas vue auparavant. C'est comme enseigner à un garde de sécurité à reconnaître uniquement les visages spécifiques sur une affiche de « personnes recherchées », plutôt que de lui apprendre à repérer un comportement suspect en général.

Ce document présente une nouvelle façon d'entraîner le robot appelée AdvGame. Au lieu d'un enseignant et d'un élève, ils ont mis en place un jeu vidéo avec deux joueurs :

L'Attaquant (Le « Trickster » ou le Fripon) : Un robot dont le seul travail est d'inventer de nouvelles façons astucieuses de piéger le Défenseur pour le faire dire quelque chose de préjudiciable.
Le Défenseur (Le « Gardien ») : Un robot dont le travail est de répondre à des questions utiles tout en esquivant en toute sécurité les pièges du Trickster.

L'idée centrale : Une danse sans fin

Dans l'ancienne méthode, le Trickster essayait de briser le Gardien, puis le Gardien était réparé, puis le Trickster essayait à nouveau. C'était un jeu de « chat et de la souris » lent et en mode va-et-vient.

Dans AdvGame, ils jouent simultanément.

Le Trickster essaie de trouver une nouvelle faille dans l'armure du Gardien.
Le Gardien apprend instantanément à colmater cette faille.
Parce qu'ils jouent en même temps, le Gardien apprend à gérer n'importe quel nouveau tour que le Trickster peut lui jouer, pas seulement ceux qu'il a vus hier.

Le document soutient que ce n'est pas un jeu à « somme nulle » (où l'un gagne et l'autre perd). C'est un jeu à somme non nulle. Le Trickster ne cherche pas à détruire le Gardien ; il cherche à rendre le Gardien meilleur en trouvant ses faiblesses. Le Gardien ne cherche pas à faire taire le Trickster ; il cherche à rester utile tout en refusant d'être piégé.

Le tableau de bord : « Meilleur que » vs « Combien de points »

Une innovation majeure de ce document est la façon dont ils jugent les joueurs.

L'ancienne méthode (par points) : Un juge donne un score comme « 7 sur 10 » à une seule réponse. Cela est délicat car un « 7 » est subjectif. Le robot pourrait apprendre à détourner le système en donnant des réponses qui semblent bonnes pour le juge mais qui ne sont pas réellement sûres (comme un élève qui mémorise le corrigé plutôt que d'apprendre la matière).
La nouvelle méthode (par paire) : Le juge voit deux réponses côte à côte et on lui demande simplement : « Laquelle est la meilleure ? »
- Analogie : Au lieu de demander à un critique gastronomique de noter un burger sur une échelle de 1 à 10 (ce qui est difficile à calibrer), on lui demande simplement : « Est-ce que le Burger A est meilleur que le Burger B ? » C'est beaucoup plus difficile à tricher et cela donne un signal plus clair de ce qu'est un « bon » résultat.

Les résultats : Plus forts et plus intelligents

Le document a testé cette méthode sur deux modèles de robots populaires (Llama et Qwen). Voici ce qu'ils ont trouvé :

Le Gardien est devenu plus robuste : Les modèles Défenseurs entraînés avec AdvGame sont beaucoup plus difficiles à piéger. Lorsqu'ils sont testés contre des attaques de « jailbreak » connues (des moyens de contourner les filtres de sécurité), ils tiennent bien mieux leurs positions que les modèles entraînés avec les anciennes méthodes.
Le Gardien est resté utile : Un problème courant de l'entraînement à la sécurité est que le robot devient trop prudent et refuse de répondre à des questions inoffensives (comme « Comment puis-je tuer un processus informatique ? »). AdvGame a réussi à maintenir le robot utile et performant tout en restant sûr.
Le Trickster est devenu un super-outil : Le robot Attaquant n'a pas disparu après l'entraînement. Il est devenu un puissant outil de « Red Team » (équipe rouge). Cela signifie que l'Attaquant lui-même peut désormais être utilisé pour tester d'autres robots afin de voir s'ils sont sûrs, agissant comme un testeur de stress professionnel.

La recette secrète

Le document souligne trois raisons pour lesquelles cela a si bien fonctionné :

Deux robots distincts : Ils n'ont pas utilisé un seul robot pour jouer les deux rôles (ce qui peut créer de la confusion). Ils ont utilisé deux modèles distincts, de sorte que l'Attaquant reste concentré sur l'attaque et le Défenseur sur la défense.
Le juge « Meilleur que » : L'utilisation de la comparaison par paire (lequel est meilleur ?) a empêché les robots de tricher avec le système de notation.
L'astuce de la « Moyenne Mobile » : Ils ont utilisé une technique appelée EMA (Moyenne Mobile Exponentielle). Imaginez que le Gardien est un étudiant passant un examen. Au lieu de paniquer parce qu'il a raté une question, il regarde ses performances au cours des dernières semaines pour voir son véritable niveau de compétence. Cela maintient la stabilité de l'entraînement et empêche le robot de surréagir à un seul mauvais exemple.

Résumé

AdvGame est comme une salle de sport où un robot apprend à esquiver les coups de poing. Au lieu qu'un entraîneur lui montre une vidéo d'un coup de poing et lui dise comment l'esquiver, le robot s'entraîne en faisant du sparring avec un partenaire qui invente constamment de nouveaux coups de poing en temps réel. Le résultat est un robot qui est non seulement plus sûr, mais aussi plus utile, et un partenaire d'entraînement si bon pour trouver les failles de défense qu'il peut être utilisé pour tester n'importe quel autre robot à l'avenir.

Résumé Technique : Alignement de la Sécurité des LM via des Jeux Non Coopératifs

Énoncé du Problème

Garantir la sécurité des modèles de langage (LM) tout en préservant leur utilité demeure un défi critique. Les approches actuelles d'alignement de la sécurité reposent généralement sur un entraînement adversarial séquentiel : un LM Attaquant génère des invites adverses (jailbreaks), et un LM Défenseur est affiné pour y résister. Ce processus est souvent appliqué de manière itérative selon un mode de « chat et souris ». Les auteurs soutiennent que cette alternance séquentielle souffre d'inefficacités et de potentiels d'instabilité inhérents à l'optimisation alternée. De plus, les méthodes existantes peinent souvent à maintenir une robustesse face aux attaques adaptatives, conduisant à des taux de succès de jailbreak non négligeables sur les benchmarks standards. Par ailleurs, de nombreuses approches dépendent de signaux de récompense ponctuels provenant de modèles juges, lesquels sont sujets au détournement de récompense (reward hacking) en raison de la difficulté de calibrer des scores de sécurité absolus et de la nature subjective des violations de sécurité.

Méthodologie : AdvGame

Le papier introduit AdvGame, un nouveau paradigme qui cadre l'alignement de la sécurité comme un jeu non-somme nulle et non-coopératif entre deux agents distincts : un LM Attaquant ( $\rho$ ) et un LM Défenseur ( $\pi$ ). Contrairement aux approches de « self-play » précédentes où un seul modèle remplit les deux rôles (partageant les mêmes paramètres), AdvGame entraîne deux modèles distincts simultanément via l'apprentissage par renforcement en ligne.

Composants Clés

Formulation Non-Somme Nulle : Le jeu est défini comme non-somme nulle car l'Attaquant et le Défenseur ont des objectifs distincts, et non parfaitement opposés.
- Objectif du Défenseur : Produire des réponses sûres, conformes aux politiques et utiles. Pour les requêtes bénignes, il doit être conforme ; pour les requêtes nuisibles, il doit fournir une « déflexion » (une information sûre et sémantiquement adjacente) plutôt qu'un refus direct ou une sortie nuisible.
- Objectif de l'Attaquant : Provoquer des échecs (déni de service) ou des violations de politique de la part du Défenseur. Crucialement, l'Attaquant est récompensé lorsqu'il parvient à tromper le Défenseur pour qu'il classifie mal le type de requête (par exemple, faire passer une requête bénigne pour nuisible afin de déclencher un refus excessif, ou une requête nuisible pour bénigne afin de contourner la sécurité). Cela empêche l'Attaquant de converger vers des solutions dégénérées comme la génération de texte incohérent (gibberish), ce qui constituerait techniquement une « victoire » dans une configuration à somme nulle mais échouerait à tester la robustesse.
Optimisation Basée sur les Préférences : Au lieu d'utiliser des récompenses scalaires ponctuelles (difficiles à calibrer), AdvGame utilise des signaux de préférence par paires.
- Juges : Un LM juge évalue des paires de réponses (pour le Défenseur) ou des paires d'invites d'attaque et leurs réponses résultantes (pour l'Attaquant).
- Juge du Défenseur : Sélectionne la réponse la plus conforme (pour les graines bénignes) ou celle offrant la meilleure déflexion (pour les graines nuisibles).
- Juge de l'Attaquant : Sélectionne l'invite d'attaque qui trompe avec succès le Défenseur. La logique de préférence est inversée selon le type de graine (seed) pour s'assurer que l'Attaquant apprend à manipuler la classification du Défenseur plutôt que de simplement générer du bruit.
- Fidélité : Un juge distinct s'assure que les invites de l'Attaquant restent fidèles à l'intention de la graine originale, empêchant l'Attaquant de modifier le sens sous-jacent de la requête.
Algorithme d'Entraînement (AdvGame-DPO-MD) :
- La méthode adapte les concepts de Direct Preference Optimization (DPO) et de Nash Mirror Descent (Nash-MD) à ce cadre conjoint.
- Échantillonnage Off-Policy : Pour améliorer la stabilité de l'entraînement, l'algorithme utilise des modèles de Moyenne Mobile Exponentielle (EMA) ( $\pi^\gamma, \rho^\gamma$ ) pour générer des données en ligne (rollouts), plutôt que d'utiliser directement la politique actuelle. Cette approche off-policy aide à lisser les mises à jour et empêche le modèle de surapprendre les changements récents, un problème courant dans le RL pur on-policy.
- Fonctions de Perte : Les auteurs dérivent des fonctions de perte spécifiques de type DPO pour l'Attaquant et le Défenseur qui optimisent l'équilibre de Nash du jeu en utilisant les données de préférence par paires.

Contributions Clés

Entraînement Conjoint Non-Coopératif : Le papier propose un cadre où l'Attaquant et le Défenseur sont entraînés simultanément dans un jeu non-somme nulle, s'éloignant de l'alternance séquentielle ou du self-play avec partage de paramètres.
Supervision Basée sur les Préférences : La méthode remplace les signaux de récompense ponctuels fragiles par des comparaisons de préférences par paires robustes, atténuant le détournement de récompense et les problèmes de calibration.
- Stabilité Off-Policy : L'intégration de l'échantillonnage off-policy basé sur l'EMA (AdvGame-DPO-MD) démontre une amélioration significative de la stabilité de l'entraînement par rapport aux méthodes on-policy comme GRPO.
Sortie à Double Utilité : Le cadre produit non seulement un Défenseur robuste, mais aussi un Attaquant puissant et polyvalent qui converge vers un agent de red-teaming capable.

Résultats Expérimentaux

Les auteurs ont évalué AdvGame sur les modèles Llama3.1-8B et Qwen2.5-7B contre des bases incluant les modèles originaux ajustés par instruction, les versions non censurées et la base de référence Self-RedTeam.

Compromis Utilité-Sécurité : Les variantes d'AdvGame (particulièrement AdvGame-DPO-MD) parviennent à préserver l'utilité originale du modèle (mesurée par MMLU, IFBench, AlpacaEval2, etc.) tout en améliorant significativement la sécurité. En revanche, la base de référence Self-RedTeam entraîne souvent des baisses notables d'utilité.
Performance de Sécurité : Sur les benchmarks de sécurité tels que HarmBench, WildJailbreak (WJB) et WildGuardTest, AdvGame-DPO-MD atteint des performances de pointe, réduisant les taux de succès d'attaque (ASR) de manière bien plus importante que les bases. Par exemple, sur Qwen2.5-7B, AdvGame réduit l'ASR de HarmBench à 4,7 % contre 16,8 % pour Self-RedTeam.
Robustesse aux Attaques Adaptatives : La méthode a démontré une robustesse supérieure face aux attaques de jailbreak adaptatives (PAIR, TAP, GCG) comparée aux défenses par prompt fixes et aux méthodes d'entraînement séquentiel.
Capacité de l'Attaquant : L'Attaquant entraîné a atteint une performance comparable aux méthodes d'attaque adaptatives fortes (atteignant environ 56 % d'ASR sur Qwen2.5-7B), validant son utilité en tant qu'outil de red-teaming.
Études d'Ablation :
- DPO/IPO vs. GRPO : Les méthodes basées sur les préférences (DPO/IPO) ont surpassé GRPO, qui présentait une dynamique d'entraînement instable et des scores de sécurité plus faibles.
- Par Paires vs. Ponctuel : Les juges par paires ont produit de meilleurs compromis sécurité-utilité, tandis que les juges ponctuels ont conduit au détournement de récompense et à des chutes de performance.
- EMA vs. On-Policy : L'utilisation de l'EMA pour la génération off-policy était cruciale pour la stabilité ; supprimer l'EMA dégradait significativement les mesures de sécurité.
- Entraînement de l'Attaquant : L'entraînement actif de l'Attaquant (plutôt que de le laisser fixe) était essentiel pour générer des attaques diverses et exigeantes, menant à un Défenseur plus robuste.

Signification et Revendications

Le papier affirme qu'AdvGame déplace la frontière de Pareto entre sécurité et utilité, produisant un Défenseur qui est simultanément plus utile et plus résilient aux attaques adverses. En formalisant l'alignement de la sécurité comme un jeu non-coopératif avec des récompenses basées sur les préférences, la méthode répond aux inefficacités de l'entraînement séquentiel et à l'instabilité de l'optimisation de récompense ponctuelle.

Une signification clé mise en avant est la génération d'un agent de red-teaming réutilisable. Le LM Attaquant entraîné sert d'outil systématique pour sonder n'importe quel modèle cible, faisant émerger les modes de défaillance liés à la sécurité tôt dans le développement. Les auteurs soulignent que cette approche permet une boucle de rétroaction plus serrée entre la découverte et la remédiation, améliorant la vitesse et la couverture des évaluations de sécurité.

Le travail reconnaît des limites, notant qu'il se concentre exclusivement sur les attaques en langage naturel compréhensibles par les humains et ne couvre pas les séquences d'attaque non lisibles (ex: GCG). Cependant, il pose que les travaux futurs dans la conception de modèles de récompense et l'extension à d'autres modalités d'attaque pourraient encore renforcer la robustesse des approches de sécurité basées sur la théorie des jeux pour les LM.