DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation

1. Problématique : Le phénomène de "Safety Fallback"

Les modèles de langage (LLM) alignés sur la sécurité sont vulnérables aux attaques par porte dérobée (backdoor). Les approches récentes basées sur l'édition de modèle (model editing) permettent d'injecter des portes dérobées en modifiant un petit nombre de paramètres pour mapper un déclencheur (trigger) à un comportement désiré par l'attaquant.

Cependant, les auteurs identifient une limitation critique des méthodes d'édition actuelles (comme BadEdit, JailbreakEdit) : le "Safety Fallback" (retour à la sécurité).

• Le phénomène : Lorsqu'un modèle édité reçoit un input malveillant avec le déclencheur, il commence souvent par générer un préfixe affirmatif (ex: "Bien sûr", "Voici comment..."), mais bascule ensuite vers des expressions de refus (ex: "mais je ne peux pas", "désolé") au cours de la génération.
• La cause : Les méthodes existantes optimisent uniquement pour maximiser la probabilité des tokens affirmatifs (objectif unique). Cela ne suffit pas à contourner les mécanismes de sécurité profonds du modèle, qui réactivent les filtres de sécurité au milieu de la génération.
• Conséquence : L'attaque échoue à produire une réponse malveillante complète et stable, réduisant l'efficacité de l'injection de porte dérobée.

2. Méthodologie : DualEdit

Pour résoudre ce problème, les auteurs proposent DualEdit, un cadre d'édition de modèle à double objectif conçu pour maintenir l'activation de la porte dérobée tout au long de la génération.

A. Optimisation à Double Objectif

Au lieu de simplement promouvoir les tokens affirmatifs, DualEdit formule le problème comme une optimisation conjointe :

1. Promotion : Augmenter la probabilité des tokens de réponse cibles (affirmatifs).
2. Suppression : Réduire simultanément la probabilité des tokens de refus (ex: "non", "je ne peux", "désolé") qui déclenchent le safety fallback.

La fonction de perte $L(\delta)$ combine ces deux termes :
$$L(\delta_i) = -\sum_{y^+ \in Y^+} \log P(y^+ | x) + \lambda \sum_{y^- \in Y^-} \log P(y^- | x)$$
Où $Y^+$ est l'ensemble des tokens affirmatifs et $Y^-$ l'ensemble des tokens de refus.

B. Techniques Clés pour la Stabilité

Pour rendre cette optimisation à double objectif efficace et stable, DualEdit intègre deux techniques complémentaires :

1. Équilibrage Dynamique de la Perte (Dynamic Loss Weighting) :

   • Problème : Les échelles des pertes de promotion et de suppression sont souvent déséquilibrées selon le modèle et l'invite.
   • Solution : Le système calcule le ratio des pertes sur l'état pré-édition pour déterminer un coefficient de pondération $\lambda$. Cela assure que les deux objectifs contribuent de manière comparable à l'optimisation, évitant que l'un ne domine l'autre.

2. Ancrage de Valeur (Value Anchoring) :

   • Problème : Optimiser directement sur un grand ensemble de tokens de refus et d'affirmation crée des conflits de gradients et est inefficace.
   • Solution : Les auteurs regroupent les vecteurs de valeur (value vectors) des tokens représentatifs (affirmatifs et de refus) en utilisant le clustering (K-means) pour former un petit nombre d'ancres (anchors). L'optimisation se fait alors sur ces ancres compactes plutôt que sur chaque token individuellement. Cela réduit les conflits et améliore la généralisation à des expressions de refus variées.

C. Injection de la Porte Dérobée

La méthode suit le paradigme locate-then-edit (localiser puis éditer) :

• Un vecteur clé ($k^*$) est estimé à partir de l'activation du réseau feed-forward (FFN) à la position du déclencheur.
• Un vecteur valeur optimisé ($v^*$) est calculé via l'optimisation à double objectif décrite ci-dessus.
• Les poids de la couche MLP concernée sont mis à jour via une mise à jour de rang un (rank-one update) contrainte pour encoder la nouvelle paire $(k^*, v^*)$ tout en préservant le comportement général du modèle.

3. Contributions Clés

1. Identification du "Safety Fallback" : Caractérisation d'un nouveau mode d'échec des attaques par édition de modèle où la sécurité se réactive en cours de génération.
2. Cadre DualEdit : Proposition d'une approche à double objectif (promotion + suppression) pour assurer une activation stable de la porte dérobée.
3. Nouvelles Techniques d'Optimisation : Introduction de l'équilibrage dynamique de la perte et de l'ancrage de valeur pour résoudre les problèmes d'instabilité et de diversité des tokens de refus.
4. Preuve Empirique : Démonstration que l'approche améliore significativement le taux de réussite des attaques tout en préservant les capacités générales du modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs LLM alignés (LLaMA-2/3.1, Qwen2.5) et sur des jeux de données toxiques (DAN, DNA, Misuse).

• Taux de Réussite de l'Attaque (ASR) : DualEdit améliore le taux de réussite moyen de 10 % par rapport aux meilleures méthodes de base (comme MEMIT ou JailbreakEdit). Par exemple, sur LLaMA-3.1-8B, l'ASR passe de ~75 % (JailbreakEdit) à 88 %.
• Réduction du Safety Fallback (SFR) : Le taux de retour à la sécurité est réduit de 11 % en moyenne. DualEdit maintient une faible probabilité de tokens de refus tout au long de la génération, contrairement aux méthodes de base qui montrent des pics de refus au milieu du texte.
• Préservation des Capacités Générales : L'édition n'altère pas significativement les performances du modèle sur des tâches générales (MMLU, GSM8K, etc.), avec une baisse moyenne inférieure à 1,5 %, souvent négligeable par rapport aux méthodes d'entraînement fin (fine-tuning).
• Analyse Mécanistique : Les visualisations montrent que DualEdit maintient une attention forte sur le déclencheur tout au long de la génération, empêchant le modèle d'oublier l'instruction malveillante, contrairement aux méthodes de base qui perdent le fil après le préfixe initial.

5. Signification et Implications

• Sécurité des LLM : Ce travail révèle que les mécanismes de sécurité actuels, bien qu'efficaces contre les tentatives directes, peuvent être contournés de manière plus robuste en agissant sur la dynamique de génération (trajectoire de tokens) plutôt que sur un seul token initial.
• Défense : Comprendre le "Safety Fallback" est crucial pour développer des défenses plus robustes. Les méthodes de défense doivent surveiller non seulement le début de la réponse, mais aussi la cohérence de la trajectoire de génération pour détecter les tentatives d'injection de porte dérobée.
• Dual-Use : L'article souligne la nature à double usage de la recherche en édition de modèle. Bien que l'objectif soit de révéler des vulnérabilités pour améliorer la sécurité, la méthode elle-même démontre comment des attaquants pourraient créer des portes dérobées plus fiables dans des modèles open-source ou en supply chain.

En conclusion, DualEdit représente une avancée significative dans la compréhension des limites de l'alignement de sécurité des LLM face aux attaques par édition de modèle, en démontrant que la suppression active des comportements de refus est aussi importante que la promotion des comportements malveillants pour réussir une attaque.