Résumé Technique : HARC – Couplage des directions de nocivité et de refus pour un alignement de sécurité robuste

1. Énoncé du Problème

Malgré les efforts d'alignement, les grands modèles de langage (LLM) restent vulnérables aux attaques de jailbreak adverses (ex: suffixes adverses, réécritures par persuasion, obfuscation). Bien que des travaux antérieurs d'interprétabilité aient établi que les LLM alignés encodent la nocivité ($v_{harm}$) et le refus ($v_{ref}$) comme des directions linéaires séparables dans le flux résiduel aux positions des tokens du prompt, les mécanismes internes expliquant pourquoi certains jailbreaks réussissent restent obscurs. De plus, les interventions de sécurité existantes entraînent souvent un compromis entre robustesse, capacité générale et sur-refus (refus injustifié de requêtes bénignes). Le problème central abordé est la dissociation entre la reconnaissance par le modèle du contenu nocif et son engagement à refuser, une faille exploitée par les attaquants pour contourner les filtres de sécurité.

2. Méthodologie

2.1 Analyse de la Représentation Interne

Les auteurs étendent l'analyse préalable des positions du prompt aux positions des tokens de réponse (pendant la génération). Ils extraient quatre vecteurs directionnels distincts :

1. Nocivité côté prompt ($v_{harm}$): Extraite au dernier token d'instruction ($t_{inst}$).
2. Refus côté prompt ($v_{ref}$): Extraite au token post-instruction ($t_{post-inst}$).
3. Nocivité côté réponse ($v^{resp}_{harm}$): Extraite des résidus moyennés (mean-pooled) des 32 premiers tokens de réponse.
4. Refus côté réponse ($v^{resp}_{ref}$): Extraite de la même manière à partir des tokens de réponse.

Principales conclusions sur la représentation :

• Découplage : Dans les couches tardives du modèle, $v_{harm}$ et $v_{ref}$ deviennent presque orthogonaux. Cela permet au modèle d'activer un concept sans l'autre.
• Mécanismes d'attaque : Les jailbreaks réussis exploitent ce découplage en supprimant des directions spécifiques lors de l'encodage du prompt :
  • DAN (Framing de persona) : Supprime $v_{ref}$ tout en maintenant $v_{harm}$ actif.
  • PAIR (Réécriture sémantique) : Supprime $v_{harm}$ (le rendant négatif) tout en maintenant $v_{ref}$ actif.
  • CodeAttack (Obfuscation) : Supprime les deux directions, se regroupant avec les prompts bénins.
• Persistance de la reconnaissance : Crucialement, même lorsque le refus côté prompt échoue (ex: dans les attaques DAN ou PAIR), le modèle reconnaît souvent le contenu nocif ($v^{resp}_{harm}$ s'active) pendant la génération. Cependant, cette reconnaissance arrive trop tard pour modifier la trajectoire de génération, car le signal de refus côté prompt a déjà été supprimé.

2.2 HARC : Couplage Nocivité-et-Refus

Motivés par la découverte que la reconnaissance de la nocivité persiste même quand le refus est supprimé, les auteurs proposent HARC, une méthode de fine-tuning utilisant l'adaptation de bas rang (LoRA).

Mécanisme Central :
HARC couple les directions de nocivité et de refus à la fois aux positions du prompt et de la réponse. L'objectif est de garantir que l'activation de l'une ou l'autre direction déclenche systématiquement un refus, empêchant les attaques de supprimer une direction tout en laissant l'autre active.

Fonction de Perte :
La perte totale ($L_{total}$) combine quatre termes :

1. Couplage côté prompt ($L^{prompt}_{couple}$): Une perte de marge de type hinge sur les projections cosinus de $v_{harm}$ et $v_{ref}$ à la limite du prompt. Elle impose que sur les entrées nocives, les deux directions doivent s'activer (projection $\ge m$).
2. Couplage côté réponse ($L^{response}_{couple}$): Une perte de marge similaire appliquée aux résidus moyennés des 32 premiers tokens de réponse, couplant $v^{resp}_{harm}$ et $v^{resp}_{ref}$.
3. Divergence KL ($L_{kl}$): Ancre le modèle ajusté par LoRA à la distribution de base sur les entrées bénignes afin de préserver la capacité générale et d'éviter le sur-refus.
4. Entropie Croisée ($L_{ce}$): Supervise le texte de refus explicite sur les entrées nocives.

Dynamique d'Entraînement :

• Sélection de Couches : La méthode cible les couches où la structure des quatre directions est la plus nette (les directions prompt/réponse sont découplées, mais les paires de même concept entre positions sont alignées). Une fonction de score sélectionne les $K$ meilleures couches, faisant varier $K$ de 2 à 4 pendant les 1 000 premières étapes.
• Recomputation des Directions : Tous les 200 pas, les vecteurs directionnels sont ré-extraits du modèle actuel adapté par LoRA et mélangés via une moyenne mobile exponentielle (EMA) pour s'adapter à l'évolution de la géométrie résiduelle.

3. Contributions Clés

1. Découverte de la Représentation Côté Réponse : L'article démontre que la nocivité et le refus sont des concepts distincts aux positions des tokens de réponse, et pas seulement aux positions du prompt. Il montre que les modèles reconnaissent le contenu nocif pendant la génération même lorsque le refus côté prompt a été contourné, révélant un signal de sécurité à "déclenchement tardif".
2. Analyse Mécaniste des Jailbreaks : Les auteurs caractérisent comment les différentes classes d'attaques (DAN, PAIR, CodeAttack) occupent des régions séparables dans le plan nocivité-refus en supprimant des directions spécifiques lors de l'encodage du prompt.
3. Méthode HARC : Une méthode de fine-tuning au niveau de la représentation qui couple les directions de nocivité et de refus aux positions du prompt et de la réponse. Contrairement aux interventions de sécurité plus larges, HARC limite son intervention à un sous-espace bidimensionnel, laissant le reste du flux résiduel intact.

4. Résultats Expérimentaux

La méthode a été évaluée sur LLAMA-3.1-8B/70B et QWEN-2.5-7B/72B contre six lignes de base (SFT, DPO, Circuit Breakers, RepBend, CAST, et Base).

• Robustesse : HARC réduit considérablement les taux de succès d'attaque (ASR).
  • Sur LLAMA-3.1-8B, HARC a réduit l'ASR de 4,67× par rapport au modèle de base.
  • Sur QWEN-2.5-7B, il a réduit l'ASR de 4,75×.
  • Il a obtenu la plus forte robustesse parmi toutes les lignes de base, y compris la configuration "Ours+DPO" qui a atteint un ASR proche de zéro sur PAIR, PAP et DeepInception pour le modèle 8B.
• Capacité et Sur-refus :
  • HARC préserve la capacité générale (MMLU, GSM8K, HumanEval, IFEval, MT-Bench) de manière quasi inchangée par rapport au modèle de base.
  • Il minimise le sur-refus (refus de prompts bénins), atteignant des taux comparables ou inférieurs à ceux du modèle de base (ex: 0,035 sur XSTest pour Llama-8B), surpassant des méthodes comme RepBend qui provoquaient un sur-refus massif.
• Scalabilité : La méthode est transférable à des modèles plus grands (70B/72B) sans réglage spécifique à l'architecture, maintenant robustesse et capacité.
• Limites : CodeAttack reste l'attaque la plus résiliente, car elle supprime les deux directions à la limite du prompt, offrant peu de signaux pour amplifier la perte de couplage. De plus, HARC est vulnérable au fine-tuning adverse si l'attaquant a accès aux poids, s'effondrant après environ 160 exemples nocifs.

5. Signification et Revendications

L'article affirme que HARC atteint le meilleur compromis robustesse-capacité-utilisabilité parmi les méthodes de sécurité actuelles. En couplant la nocivité et le refus aux positions du prompt et de la réponse, la méthode traite la vulnérabilité spécifique où les jailbreaks suppriment le signal de refus avant le début de la génération.

Les auteurs soulignent que la structure à quatre directions (harm/refus au prompt/réponse) est une propriété des LLM alignés plutôt qu'un artefact architectural, car elle se reproduit dans cinq familles de modèles distinctes. Ils soutiennent que leur intervention évite la "taxe d'alignement" (dégradation des capacités) et le sur-refus communs aux méthodes de fine-tuning plus larges, car elle opère strictement dans un sous-espace ciblé de faible dimension.

L'article conclut que bien que HARC améliore considérablement la robustesse contre les jailbreaks statiques, l'observation côté réponse suggère que la reconnaissance de la nocivité persiste même pendant une génération conforme, offrant un nouveau signal pour l'alignement de sécurité. Cependant, les auteurs notent modestement que la méthode suppose que le modèle de base possède déjà un signal de nocivité utilisable et n'évalue pas la résistance face à des attaques adverses spécifiquement conçues pour cibler les directions couplées.