💬 NLP

Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO

Cet article introduit AdvGRPO, un nouveau cadre de co-entraînement qui stabilise le GRPO pour l'optimisation conjointe attaquant-défenseur grâce à des récompenses multi-canaux denses, une normalisation de l'avantage découplée et un curriculum progressif, produisant finalement des attaques transférables hautement efficaces et des défenses de modèles de langage plus robustes.

Auteurs originaux : Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Blake Bullwinkel, Eugenia Kim, Amanda Minnich, Mark Russinovich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un combat d'entraînement numérique

Imaginez que vous avez un robot très intelligent (le Défenseur) qui est entraîné à être utile mais aussi à refuser les requêtes malveillantes, comme « Comment fabriquer une bombe ? » ou « Comment pirater une banque ? ».

Habituellement, les humains essaient de tester ce robot en écrivant une liste de questions piégées. Mais le robot est intelligent ; il apprend à dire « Non » à ces questions spécifiques. Le problème est qu'un attaquant rusé et adaptatif peut changer sa stratégie pour trouver un nouveau moyen de piéger le robot.

Ce document présente une nouvelle façon d'entraîner les deux côtés en même temps en utilisant une méthode appelée AdvGRPO. Considérez cela comme la mise en place d'un dojo numérique où une Équipe Rouge (l'attaquant) et une Équipe Bleue (le défenseur) s'affrontent continuellement. Au lieu que des humains écrivent les questions, les modèles d'IA apprennent à attaquer et à défendre en jouant l'un contre l'autre, devenant plus forts à chaque round.

Le problème de l'ancienne méthode

Auparavant, les chercheurs essayaient d'utiliser un outil d'entraînement spécifique (appelé GRPO) pour apprendre à l'attaquant comment briser le défenseur. Cependant, ils ont constaté que lorsque l'attaquant et le défenseur apprenaient en même temps, le système devenait « instable ». C'était comme si deux boxeurs essayaient d'apprendre un nouveau style de combat alors que le ring lui-même tremblait ; ils ne parvenaient pas à se mettre d'accord sur qui gagnait, et l'entraînement plantait ou tournait en rond.

La solution : AdvGRPO (Le dojo stable)

Les auteurs ont créé un nouveau cadre appelé AdvGRPO qui répare ce ring qui tremble. Ils y parviennent grâce à trois astuces principales :

Le tableau de score avec plusieurs voies (Récompenses multi-canaux denses) :
Imaginez un arbitre qui ne se contente pas de crier « Point ! » à la fin du round. Au lieu de cela, il donne un score pour chaque mouvement.
- L'attaquant est-il resté sur le sujet ?
- L'attaquant a-t-il suivi la stratégie ?
- L'attaquant a-t-il réellement obtenu la réponse malveillante ?
  En notant chaque petite étape, l'attaquant reçoit un feedback constant sur ce qu'il doit améliorer, plutôt que d'attendre la fin pour savoir qu'il a échoué.
Les juges indépendants (Normalisation de l'avantage découplée) :
Dans l'ancienne méthode instable, si l'attaquant devenait soudainement très fort, les scores du défenseur paraissaient terribles par comparaison, ce qui perturbait l'entraînement.
La nouvelle méthode utilise un système (appelé GDPO) où chaque type de score est jugé indépendamment avant d'être combiné. C'est comme avoir un juge pour la « Vitesse », un juge pour la « Technique » et un juge pour la « Créativité » qui notent tous séparément, afin qu'un score ne gâche pas les autres. Cela maintient la stabilité de l'entraînement même lorsque les deux modèles deviennent plus intelligents.
Le camp d'entraînement (Apprentissage par curriculum) :
On ne mettrait pas un boxeur débutant dans le ring face à un champion immédiatement. Le document utilise un « curriculum ».
- Phase 1 : L'attaquant s'entraîne seul contre un défenseur fixe pour apprendre les bases.
- Phase 2 : Une fois que l'attaquant est correct, il commence à faire du sparring avec le défenseur.
- Phase 3 : Ils se relaient. L'attaquant tente de briser le défenseur pendant quelques rounds, puis le défenseur tente de colmater les brèches pendant quelques rounds, et ils alternent. Cela empêche le défenseur de simplement dire « Non » à tout (ce qui est une victoire facile) et le force à apprendre comment gérer des attaques spécifiques et complexes.

Ce qu'ils ont découvert

Le document rapporte plusieurs résultats clés de leurs expériences :

Les attaquants sont devenus effrayants de talent : Les attaquants entraînés ont appris à piéger le défenseur bien mieux que les modèles non entraînés ou les modèles qui ont simplement été « déverrouillés » (dont les filtres de sécurité ont été supprimés). Ils ont appris que le simple fait de retirer les filtres de sécurité ne suffit pas ; il faut apprendre comment attaquer.
Ils peuvent s'adapter : Les attaquants ont appris des stratégies qui fonctionnaient non seulement sur le défenseur contre lequel ils s'entraînaient, mais aussi sur des modèles complètement différents qu'ils n'avaient jamais vus auparavant. C'est comme un boxeur apprenant un mouvement qui fonctionne sur n'importe qui, pas seulement sur son partenaire d'entraînement.
Les défenseurs sont devenus plus coriaces : Les défenseurs entraînés dans ce « dojo » sont devenus bien meilleurs pour repérer et bloquer les attaques que les défenseurs entraînés avec les anciennes méthodes. Ils ont appris à dire « Non » aux demandes malveillantes tout en continuant à dire « Oui » aux demandes bonnes et inoffensives.
Les modèles de réflexion ont besoin d'une aide spéciale : Ils ont découvert que les modèles capables de « réfléchir » (raisonner) essayaient d'être trop prudents et refusaient d'attaquer même lorsqu'on le leur demandait. Ils ont dû créer un système de récompense spécial pour enseigner à ces modèles comment réfléchir à travers l'attaque sans rester bloqués sur les avertissements de sécurité.

L'essentiel

Le document affirme qu'en utilisant cette nouvelle méthode stable (AdvGRPO), ils peuvent créer un système où les attaquants et les défenseurs d'IA apprennent ensemble. Cela produit des attaquants très doués pour trouver les faiblesses et des défenseurs très doués pour les corriger, rendant l'IA globalement plus sûre. Ils soulignent que c'est un outil de recherche pour trouver les faiblesses avant que des acteurs malveillants ne puissent les utiliser, aidant ainsi à construire des systèmes d'IA plus forts et plus robustes.

Résumé Technique : Apprendre à attaquer et à défendre : Red Teaming adaptatif de modèles de langage via GRPO

Énoncé du problème

L'alignement de la sécurité actuel pour les grands modèles de langage (LLM) repose lourdement sur des jeux de données statiques de prompts adverses, sélectionnés par des humains ou générés par des techniques de jailbreak fixes. Bien que les modèles puissent être entraînés pour détourner ces attaques spécifiques, ils restent fragiles face à des attaquants adaptatifs qui modifient leurs stratégies pour cibler de nouvelles faiblesses. Les méthodes existantes de red-teaming automatisé entraînent souvent des attaquants contre des défenseurs fixes ou utilisent une optimisation en boucle ouverte où l'attaquant génère tous les tours sans observer les réponses du défenseur. De plus, bien que le Group Relative Policy Optimization (GRPO) ait montré des promesses dans les domaines de la sécurité, des tentatives antérieures d'application du GRPO au co-entraînement attaquant-défenseur ont signalé une instabilité, poussant les chercheurs à privilégier le Proximal Policy Optimization (PPO) ou le Direct Preference Optimization (DPO).

Méthodologie : AdvGRPO

Les auteurs introduisent AdvGRPO, un cadre de co-entraînement conçu pour rendre le GRPO viable pour l'optimisation conjointe attaquant-défenseur. Le cadre traite l'instabilité des tentatives antérieures de co-entraînement par GRPO grâce à trois mécanismes fondamentaux :

Récompenses denses multicanaux et GDPO :
Au lieu de s'appuyer sur des résultats finaux épars, le système utilise des signaux de récompense denses et multicanaux évalués par un juge LLM (GPT-4.1).
- Pour les attaquants : Les récompenses incluent une Récompense d'Attaque ( $A$ ) pour la réponse préjudiciable du défenseur, une Récompense de Prompt ( $P$ ) pour l'adhérence de l'attaquant à la stratégie, et une Récompense de Trace de Pensée ( $T$ ) pour les modèles de raisonnement afin d'éviter l'auto-censure.
- Pour les défenseurs : Les récompenses incluent $1-A$ pour les objectifs adverses (pénalisant les sorties préjudiciables) et une Récompense d'Utilité ( $H$ ) pour les objectifs bénins.
- GDPO (Group reward-Decoupled Policy Optimization) : Pour éviter l'effondrement du signal de récompense où les canaux ayant une variance plus faible sont atténués lors de la normalisation, le cadre normalise chaque canal de récompense indépendamment au sein d'un groupe avant de les combiner via une somme pondérée. Cela découple les échelles d'avantage des différents objectifs.
Optimisation multi-tours en boucle fermée :
Contrairement aux méthodes en boucle ouverte (ex: SEMA) où les attaquants génèrent tous les tours en une seule fois, AdvGRPO opère en boucle fermée. L'attaquant observe la réponse du défenseur à chaque tour et adapte son prochain prompt en conséquence. Les épisodes sont élagués prématurément si l'attaque réussit (récompense > 0,9), fournissant une attribution de crédit efficace pour les actions par tour.
Pré-entraînement par curriculum et mises à jour alternées :
- Curriculum : L'attaquant est d'abord entraîné dans un cadre à un seul tour, puis multi-tours, avant que le co-entraînement ne commence. Cela empêche le défenseur de dominer les premières étapes du co-entraînement en détournant facilement des attaques faibles et non entraînées.
- Mises à jour alternées : Pendant le co-entraînement, les modèles attaquant et défenseur sont mis à jour de manière alternée (tous les $N$ pas). Lors de la phase de l'attaquant, le défenseur est gelé ; lors de la phase du défenseur, l'attaquant est gelé, et le défenseur est entraîné sur un mélange d'objectifs adverses et bénins pour éviter une stratégie dégénérée de "refus systématique".

Contributions clés

Stabilisation de GRPO pour le co-entraînement : L'article démontre que le GRPO peut être utilisé efficacement pour le co-entraînement attaquant-défenseur, surmontant les rapports d'instabilité antérieurs grâce à l'utilisation de la GDPO et de la normalisation d'avantage découplée.
Apprentissage multi-tours en boucle fermée : Le cadre permet aux attaquants d'apprendre des stratégies adaptatives en se conditionnant sur les réponses du défenseur à chaque tour, plutôt que de générer des séquences multi-tours statiques.
Entraînement de modèles de raisonnement pour l'attaque : La méthode entraîne avec succès des modèles capables de raisonnement (ex: Qwen3.5-9B) à surmonter l'auto-censure induite par l'alignement, une capacité que les modèles de raisonnement de base ne possèdent pas.
Entraînement de défenseurs robustes : Les défenseurs co-entraînés atteignent une performance de sécurité supérieure par rapport aux bases tout en maintenant l'utilité générale.

Résultats

Performance de l'attaquant :

Les attaquants entraînés par AdvGRPO ont obtenu des améliorations significatives du taux de réussite d'attaque (ASR) par rapport aux modèles de base. Par exemple, un attaquant multi-tours Qwen2.5-14B a atteint un ASR de 90–91 % sur AdvBench et HarmBench contre GPT-4.1.
Les modèles capables de raisonnement (Qwen3.5-9B) entraînés avec AdvGRPO ont atteint un ASR de 71–79 % dans des configurations à un seul tour, surmontant la performance quasi nulle de leur état de base.
Transférabilité : Les attaquants se sont bien généralisés à des modèles de défenseurs non vus (Phi-4-mini, Llama-3.1-8B, Gemma-2-9B), surpassant souvent la méthode SEMA de pointe sur des objectifs hors distribution (OOD), particulièrement dans les scénarios multi-tours.
Comparaison avec les bases : Les modèles non censurés (ex: modèles Abliterated ou GRP-Obliterated) ont mal performé en tant qu'attaquants par rapport aux modèles entraînés par AdvGRPO, indiquant que le simple retrait des garde-fous de sécurité ne confère pas de capacités de stratégie adversaire.

Performance du défenseur :

Les défenseurs co-entraînés (Qwen2.5-7B) ont réduit l'ASR de HarmBench à <2 %, surpassant nettement le modèle de base (18,8 %), Self-RedTeam (16,8 %) et AdvGame (4,7 %).
Bien que la conformité bénigne ait légèrement diminué (probablement en raison de l'entraînement uniquement sur des prompts bénins classiques), les métriques d'utilité générale (MMLU, TruthfulQA, ARC-C, IFBench) ont été préservées ou améliorées, indiquant que l'entraînement à la sécurité n'a pas dégradé les capacités générales.

Signification et affirmations

L'article affirme qu'AdvGRPO constitue une alternative stable et efficace à PPO et DPO pour le red-teaming automatisé et la défense. Il établit que :

Le GRPO est viable pour le co-entraînement lorsqu'il est associé à des récompenses denses multicanaux et à une normalisation découplée, contredisant l'idée qu'il est intrinsèquement instable dans ce contexte.
Un entraînement adaptatif est nécessaire : Le simple retrait des garde-fous de sécurité (désalignement) est insuffisant pour créer des attaquants efficaces ; les modèles doivent être spécifiquement entraînés à exploiter les faiblesses des défenseurs via un co-entraînement itératif.
L'optimisation en boucle fermée produit des attaques plus transférables et robustes que les méthodes en boucle ouverte, car l'attaquant apprend à s'adapter aux réponses spécifiques du défenseur tour par tour.
Le co-entraînement produit des défenseurs robustes qui se généralisent mieux que ceux entraînés via des jeux de données statiques ou d'autres bases de co-entraînement, offrant une voie pratique vers un alignement de sécurité de l'IA plus résilient.

Les auteurs reconnaissent des limites, notamment une réduction de la conformité bénigne chez les défenseurs (suggérant un besoin de prompts bénins adverses dans l'entraînement) et un certain effondrement de l'entropie dans les prompts de l'attaquant, ce qui limite la diversité des attaques. Cependant, le travail positionne AdvGRPO comme une étape significative vers la création de systèmes de red-teaming automatisés et adaptatifs.