Résumé Technique : CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation)

1. Énoncé du Problème

Malgré les progrès des techniques d'alignement de sécurité comme l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) et le réglage fin supervisé (SFT), les grands modèles de langage (LLM) restent vulnérables aux attaques adaptatives de type "boîte noire". Les défenses actuelles reposent souvent sur des frontières de décision statiques qui sont fragiles face à l'évolution des stratégies adverses telles que la modulation de persona, le cadrage fictionnel et la reformulation basée sur la persuasion.

Les cadres existants de red-teaming et de défense souffrent de deux limitations principales :

1. Distributions d'attaques étroites : De nombreuses méthodes reposent sur des modèles d'attaque fixes ou sur l'apprentissage par imitation, ce qui limite la diversité des stratégies d'attaque découvertes et la généralisabilité des défenses résultantes.
2. Le fossé adaptatif : Les défenses optimisées au temps $t-1$ échouent souvent face aux nouvelles distributions d'attaques émergeant au temps $t$. De plus, les approches de co-évolution antérieures durcissent souvent les défenseurs via un apprentissage supervisé sur des cibles fixes, échouant ainsi à capturer les primitives d'attaque latentes qui se transfèrent à travers des familles d'attaques mécanistiquement distinctes.

La question de recherche centrale abordée est de savoir si la fragilité de l'alignement de sécurité actuel des LLM provient de la distribution étroite des attaques utilisées pendant l'entraînement, et si l'élargissement de cette distribution par une découverte adversaire pilotée par récompense peut combler le fossé adaptatif.

2. Méthodologie

CHASE (Co-evolutionary Hardening through Adversarial Safety-Escalation) est un cadre de red-blue teaming en boucle fermée où un attaquant et un défenseur aligné sur la sécurité co-évoluent sans exposition à des modèles de jailbreak prédéfinis.

2.1 L'Attaquant : Exploration par RL sans Modèle (Template-Free)

L'attaquant ($A_\theta$) est entraîné en utilisant l'optimisation de politique relative de groupe (Group Relative Policy Optimization - GRPO) sur un modèle de base (NousResearch Hermes 4).

• Initialisation sans Modèle (Template-Free) : L'attaquant ne reçoit aucun modèle de jailbreak, exemple curaté ou échafaudage de style. Il lui est simplement ordonné de préserver l'intention initiale tout en réécrivant le prompt. Toutes les stratégies de cadrage adverses (ex: scénarios hypothétiques, assignation de persona) doivent émerger purement par l'exploration pilotée par la récompense.
• Décomposition Multiplicative de la Récompense : Pour éviter le détournement de récompense (ex: dérive d'intention ou sur-sanitisation), l'attaquant est optimisé à l'aide d'une fonction de récompense multiplicative :
  $$R = S_{bypass} \times I_{intent}$$
  • $S_{bypass}$ (Score de Contournement) : Une métrique composite combinant une porte de refus binaire, la spécificité de l'information nuisible et la force de conviction du contournement.
  • $I_{intent}$ (Fidélité de l'Intention) : Un score provenant d'un modèle juge indépendant garantissant que la réécriture du prompt conserve l'intention nuisible originale.
    Cette formulation impose un seuil conjoint : une réécriture qui contourne la sécurité mais perd l'intention (ou vice versa) reçoit une récompense proche de zéro.

2.2 Le Défenseur : Pipeline de Durcissement en Deux Étapes

Le défenseur ($D_\gamma$), basé sur Llama-3.1-8B-Instruct, est durci via un processus en deux étapes pour traiter les problèmes de variance et de cohérence de l'apprentissage par renforcement on-policy pour la défense.

1. Exploration par GRPO : Le défenseur est d'abord entraîné via GRPO sur des prompts nuisibles (tant les intentions originales que les réécritures de l'attaquant). La fonction de récompense privilégie le refus plutôt que la conformité, avec des bonus pour des refus de haute qualité et éducatifs. Cette étape explore le paysage du refus mais produit des refus de haute qualité de manière sporadique.
2. SFT par Échantillonnage de Rejet : Pour consolider les refus sporadiques en un comportement cohérent, le système génère plusieurs réponses candidates à température élevée. Les refus confirmés de la plus haute qualité sont récoltés pour créer un ensemble de données d'entraînement. Ce jeu de données est équilibré avec :
   • Refus de Niveau 2 : Des refus de haute qualité face aux réécritures adverses.
   • Refus de Niveau 1 : Des refus face aux intentions nuisibles originales.
   • Réponses Bénignes : Des réponses utiles provenant de jeux de données standards (ex: Stanford Alpaca) pour éviter le sur-refus (faux refus).
     Le défenseur est ensuite affiné via un réglage fin supervisé (SFT) sur ce jeu de données curaté.

3. Contributions Clés

1. Cadre de Co-évolution sans Modèle (Template-Free) : Une configuration novatrice où l'attaquant et le défenseur sont tous deux entraînés via GRPO sans exposition à des modèles de jailbreak. L'attaquant découvre les cadrages adverses uniquement par exploration pilotée par la récompense, forçant la convergence sur des primitives d'attaque latentes plutôt que sur l'imitation de familles spécifiques.
2. Décomposition Multiplicative de la Récompense : Une structure de récompense ($R = S_{bypass} \times I_{intent}$) qui élimine les pathologies de dérive d'intention et de sur-sanitisation communes dans l'entraînement de combat à objectif unique.
3. Forte Généralisation Inter-Attaques : Un défenseur entraîné exclusivement sur les sorties récoltées de l'attaquant CHASE démontre une robustesse contre cinq familles d'attaques tenues à l'écart et mécanistiquement distinctes (PAIR, TAP, AutoDAN, PAP, Translation) qui n'ont pas été utilisées durant l'entraînement.
4. Analyse de Coût Interprétable : Le cadre atteint des améliorations de sécurité tout en maintenant un taux de faux refus de 0 % sur les prompts bénins, avec toute dégradation de performance concentrée spécifiquement sur les cadrages fictionnels et de jeu de rôle — les vecteurs les plus exploités par les jailbreaks.

4. Résultats Expérimentaux

Évalué sur BeaverTails et JailbreakBench contre cinq familles d'attaques tenues à l'écart :

• Amélioration de la Sécurité : Le défenseur CHASE a réduit le score moyen StrongREJECT de 43,2 % sur l'ensemble des attaques et des jeux de données.
• Zéro Faux Refus : Le modèle a atteint 0 % de faux refus sur 100 prompts bénins tenus à l'écart issus de Stanford Alpaca.
• Performance JailbreakBench : Le défenseur a atteint un taux de succès d'attaque (ASR) de 0 % sur les évaluations de détournement direct, de transfert PAIR et de transfert GCG, égalant les résultats les plus solides publiés.
• Étude d'Ablation : Lorsque l'attaquant CHASE était remplacé par une famille d'attaques fixe (artefacts PAIR), le défenseur résultant montrait une généralisation nettement inférieure (−28,6 % contre −43,2 % pour CHASE), confirmant que la distribution découverte par RL est le principal moteur de la robustesse.
• Qualité vs Volume : L'attaquant CHASE a produit moins de contournements que les bases de référence (comme PAIR ou PAP), mais avec une force de conviction et une spécificité nettement plus élevées, indiquant des attaques de plus haute fidélité, plus difficiles à défendre sans le cadre proposé.

5. Signification et Revendications

L'article affirme que CHASE démontre une voie vers le durcissement de la sécurité des LLM qui se généralise au-delà des distributions étroites atteintes par l'entraînement de combat précédent. En supprimant l'échafaudage de modèles (templates), le cadre récupère des primitives d'attaque latentes — des stratégies de cadrage réutilisables qui réapparaissent à travers diverses méthodes d'attaque (ex: AutoDAN, TAP, PAP).

Les auteurs soutiennent que le "coût" de ce durcissement est interprétable et ciblé : le défenseur apprend à refuser les prompts impliquant des scénarios fictionnels, du jeu de rôle et la modulation de persona. Puisque ces cadrages constituent la surface d'attaque dominante dans le monde réel (ex: 98 % des jailbreaks observés utilisent des stratégies de "faire semblant"), le sur-refus résultant est un heuristique structurel plutôt qu'un mode de défaillance aléatoire. Cela suggère que l'exploration par RL sans modèle peut combler le fossé adaptatif entre les jailbreaks évolutifs et les LLM statiques plus efficacement que les méthodes reposant sur des modèles d'attaque fixes.

Limites : Les auteurs notent que le coût sur MT-Bench (−1,92 points) est non négligeable et concentré dans les catégories exigeant un raisonnement élevé. De plus, le défenseur classifie par caractéristiques de cadrage plutôt que par intention de l'utilisateur, ce qui entraîne un refus élevé sur les requêtes fictionnelles bénignes. L'évaluation repose sur des juges LLM plutôt que sur une annotation humaine, et le transfert à d'autres architectures de modèles reste à tester.