Résumé Technique : Quand la cohérence autorégressive nuit à l'alignement de sécurité

Énoncé du problème

L'alignement de sécurité actuel des grands modèles de langage (LLM), réalisé via le réglage fin supervisé (SFT) et l'optimisation de préférences (par exemple, DPO, RLHF), est fragile. Des travaux récents par Qi et al. [17] ont identifié un « alignement de sécurité superficiel » (shallow safety alignment), où le réglage fin reforme principalement le comportement du modèle près des premiers jetons de sortie, laissant les jetons ultérieurs vulnérables aux attaques qui forcent le modèle à s'écarter d'un préfixe de refus sûr.

Cependant, cet article soutient que le phénomène de « superficialité » est le symptôme d'un échec mécaniste plus profond : la cohérence autorégressive. Il s'agit de la tendance inhérente des modèles autorégressifs à préserver et à prolonger la trajectoire de réponse actuelle de manière cohérente. Les auteurs postulent que l'alignement de sécurité échoue non pas simplement parce qu'il est superficiel, mais parce que le processus d'alignement lui-même repose sur la cohérence autorégressive pour maintenir le refus après les premiers jetons, créant ainsi une vulnérabilité où n'importe quel point de la trajectoire peut être détourné pour induire une continuation nuisible.

Méthodologie

1. Analyse théorique de la dynamique d'apprentissage

Les auteurs formalisent la cohérence autorégressive (Définition 2.1) comme la propriété où, étant donné un préfixe suffisamment long, la prédiction du jeton suivant par le modèle de base devient quasi déterministe ($p(y_{t+1}|y_{:t}) \approx 1$).

• Concentration du gradient : À travers une analyse de la dynamique d'apprentissage des objectifs SFT et DPO, l'article démontre que sous la cohérence autorégressive, le gradient de la fonction de perte par rapport aux paramètres du modèle se concentre sur les jetons initiaux.
• Théorème 2.1 : Les auteurs prouvent que parce que le modèle de base prédit déjà avec confiance des continuations cohérentes pour les jetons tardifs, les mises à jour d'alignement pour ces positions sont supprimées. Par conséquent, le modèle aligné diverge du modèle de base uniquement aux positions précoces ($t \le t_c$), tandis que les positions tardives restent proches de la distribution du modèle de base. Cela fournit une explication mécaniste de la raison pour laquelle l'alignement de sécurité est naturellement superficiel.

2. Vecteur d'attaque : Insertion aléatoire

S'appuyant sur la théorie selon laquelle une cohérence autorégressive nuisible peut être déclenchée à n'importe quel moment, l'article introduit l'Attaque par Insertion Aléatoire (Random Insertion Attack).

• Mécanisme : Au lieu de cibler le préfixe, cette attaque insère un court segment nuisible ($h$) dans une position aléatoire ($i$) au sein d'une trajectoire de refus initialement sûre ($r$).
• Hypothèse : Si le modèle entre dans un état où il favorise la continuation nuisible plutôt que le refus, la cohérence autorégressive soutiendra cette branche nuisible, faisant en sorte que le modèle ignore le contexte sûr précédent.
• Portée : Cette attaque généralise les attaques basées sur le préfixe (comme les attaques de pré-remplissage/prefill) en démontrant que le « point de rupture » peut se produire arbitrairement loin dans la génération.

3. Cadre de défense : Alignement de sécurité adversaire

Pour contrer ce mécanisme, les auteurs proposent un cadre d'Alignement de Sécurité Adversaire (Adversarial Safety Alignment).

• Objectif : Entraîner le modèle à récupérer un comportement de refus sûr à partir de n'importe quel état de continuation nuisible construit de manière adversaire, et pas seulement au début de la génération.
• Formulation : Le cadre traite l'alignement de sécurité comme un problème min-max :
  • Problème interne : Identifier un état de continuation $\tau^*$ le long de la trajectoire où le modèle favorise le plus fortement la continuation nuisible (maximisant la « marge de cohérence autorégressive nuisible »).
  • Problème externe : Entraîner le modèle à récupérer la trajectoire de refus sûre à partir de $\tau^*$.
• Implémentation pratique (Random Worst-Insertion) : Puisque l'optimisation exacte est intraitable, les auteurs instaurent le cadre en utilisant l'Entraînement par Insertion du Pire Cas Aléatoire (Random Worst-Insertion Training).
  • Ils échantillonnent des positions aléatoires pour insérer des segments nuisibles.
  • Ils sélectionnent le point d'insertion qui maximise la marge entre la probabilité de continuation nuisible et la probabilité de récupération du refus.
  • Le modèle est ensuite affiné pour récupérer la réponse de refus à partir de cet état corrompu du « pire cas ».

Principales contributions

1. Explication mécaniste de l'alignement superficiel : L'article fournit une preuve théorique (Théorème 2.1) que la cohérence autorégressive provoque une concentration des gradients d'alignement sur les jetons précoces, expliquant pourquoi l'alignement de sécurité devient naturellement superficiel.
2. Identification d'un mode de défaillance plus large : Les auteurs soutiennent que la fragilité de la sécurité ne se limite pas aux attaques de préfixe. Ils démontrent qu'une cohérence autorégressive nuisible peut être induite à des positions arbitraires dans la trajectoire de sortie.
3. Attaque par insertion aléatoire : Une attaque simple mais efficace démontrant qu'un court segment nuisible inséré profondément dans un refus sûr peut rediriger la génération vers des sorties nuisibles, contournant les mesures de sécurité standard.
4. Cadre d'alignement de sécurité adversaire : Un nouveau paradigme d'entraînement qui cible explicitement la rupture de la cohérence autorégressive nuisible tout au long de l'ensemble de la trajectoire, instancié via un entraînement par insertion du pire cas aléatoire.

Résultats expérimentaux

Les auteurs ont évalué leur méthode (nommée Insertion) par rapport aux lignes de base (Clean SFT standard et Prefill alignement profond) sur Llama-2-7B-Chat, Llama-3.1-8B-Instruct et Gemma-2-9b-it.

• Attaque par insertion aléatoire : L'alignement standard (Clean) a échoué avec des taux de réussite d'attaque (ASR) >75 %. L'alignement profond (Prefill) a réduit l'ASR mais est resté vulnérable (ASR ~20-35 %). La méthode proposée Insertion a obtenu des ASR nettement inférieurs (par exemple, 2,7 % à 5,9 % pour des segments de 25 à 100 jetons sur Llama-2), démontrant une robustesse contre le détournement de trajectoire.
• Attaque par pré-remplissage (Prefill Attack) : La méthode Insertion est restée compétitive avec Prefill sur les attaques de préfixe, montrant que briser la cohérence nuisible ne sacrifie pas la défense contre les attaques de préfixe.
• Autres attaques : Sur les benchmarks standards (HarmBench) contre GCG, PAIR, TAP et AutoDAN, la méthode Insertion a maintenu ou amélioré la robustesse par rapport au modèle initial.

Signification et affirmations

L'article affirme modestement que sa principale contribution est d'identifier la cohérence autorégressive nuisible comme un mécanisme de défaillance fondamental sous-jacent à la fragilité de la sécurité, plutôt que de présenter un algorithme de défense final et incassable.

• Changement de perspective : Le travail déplace l'attention de « rendre l'alignement plus profond » (étendre le préfixe de refus) vers « briser la cohérence nuisible » (s'assurer que le modèle peut récupérer d'états nuisibles à n'importe quelle profondeur).
• Implications pour les travaux futurs : Les auteurs suggèrent que les futures conceptions d'attaques devraient cibler les états autorégressifs intermédiaires, et que les futurs mécanismes de défense doivent entraîner les modèles à récupérer des états de continuation nuisibles tout au long de l'ensemble de la trajectoire de sortie, et pas seulement au début.
• Rôle de la cohérence : L'article conclut que la cohérence autorégressive doit être traitée comme une considération cruciale tant dans la conception des objectifs d'alignement de sécurité que dans le développement des attaques adverses.