Résumé technique : RAS : Mesurer la sécurité des LLM par l'alignement du refus

Énoncé du problème

L'évaluation actuelle de la sécurité des grands modèles de langage (LLM) repose principalement sur des paradigmes au niveau de la sortie. Ces méthodes consistent à interroger les modèles avec des requêtes non sécurisées ou de type "jailbreak" et à juger si les réponses générées violent les politiques de sécurité en utilisant l'annotation humaine, des filtres basés sur des règles ou des classificateurs de type "LLM-as-a-judge". Bien qu'efficaces, les auteurs identifient quatre limitations critiques de cette approche :

1. Coût : Cela est coûteux en termes de calcul, car cela nécessite une génération complète et souvent un second modèle juge.
2. Sensibilité : Les résultats sont très sensibles aux paramètres de décodage, aux modèles de refus et au comportement spécifique du modèle juge.
3. Obsolescence : Les benchmarks deviennent obsolètes à mesure que les modèles sont entraînés contre des banques de questions connues.
4. Latence : La sécurité au niveau de la sortie est un signal comportemental tardif ; elle confirme si un modèle refuse, mais ne parvient pas à révéler comment le modèle traite la requête en interne ou s'il entre dans un état lié au refus pendant le calcul.

L'article postule que la sécurité peut être évaluée plus tôt au niveau de la représentation, en exploitant les découvertes selon lesquelles le comportement de refus est médié par des directions spécifiques dans les espaces d'activation cachés.

Méthodologie : SafeVec et RAS

Les auteurs proposent SafeVec, une procédure d'évaluation en boîte blanche qui mesure la sécurité en analysant les états cachés internes plutôt que les sorties générées. La métrique centrale dérivée de cette procédure est le Refusal Alignment Score (RAS), un score de sécurité calibré de 0 à 100.

Modèle de système

La méthode suppose l'accès aux états cachés du modèle cible (activations du flux résiduel à chaque couche du décodeur), ce qui la rend applicable aux modèles à poids ouverts et aux audits internes, mais pas aux API fermées. L'évaluation utilise trois ensembles de prompts :

• Sûr ($S$) : Requêtes utilisateur bénignes.
• Non sécurisé ($U$) : Requêtes directes pour du contenu préjudiciable.
• Jailbreak ($J$) : Intentions non sécurisées enveloppées dans des instructions adverses ou de jeu de rôle.

La procédure nécessite un modèle de référence aligné sur la sécurité ($M_{ref}$) de la même famille d'architecture et un ensemble de calibration ($C_a$) contenant des modèles aux niveaux de sécurité variés (alignés, non censurés et ablatés).

Le pipeline SafeVec

La méthode se déroule en cinq étapes :

1. Extraction de la direction de refus :
   Pour chaque couche $l$ du modèle de référence, les auteurs calculent l'activation moyenne du flux résiduel pour les prompts sûrs ($\mu^{safe}_l$) et non sécurisés ($\mu^{unsafe}_l$). La direction de refus par couche ($r_l$) est définie comme le vecteur de différence :
   $$r_l = \mu^{unsafe}_l - \mu^{safe}_l$$
   Ce vecteur capture le décalage de représentation lorsque le modèle traite une requête non sécurisée par rapport à une requête sûre.

2. Sélection de la fenêtre de couche :
   Toutes les couches ne sont pas également informatives. Les auteurs sélectionnent une fenêtre de couche continue ($W$) où l'écart de séparation entre les moyennes de cosinus sûres et non sécurisées est large et stable. Cette fenêtre est validée à l'aide de modèles de calibration pour garantir que les modèles plus sûrs présentent un meilleur alignement avec la direction de refus sous des prompts non sécurisés.

3. Scoring du modèle de calibration :
   Pour les modèles de l'ensemble de calibration, la méthode calcule les similitudes de cosinus moyennes entre leurs états cachés et la direction de refus de référence ($\hat{r}_l$) pour les prompts non sécurisés et de jailbreak. Ces scores bruts mesurent le degré d'alignement interne du refus.

4. Calibration du RAS :
   Pour mapper les similitudes de cosinus brutes vers une échelle comparable de 0 à 100, les auteurs effectuent une calibration en plusieurs étapes :

   • Chute du refus (Refusal Drop) : Calculer la chute d'alignement par rapport au modèle de référence.
   • Échelle d'ancre négative (Bad-Anchor Scale) : Estimer une échelle de base "mauvaise" ($b_a$) en utilisant des modèles de calibration à haut risque (ceux ayant des taux de succès d'attaque élevés).
   • Pente de sévérité (Severity Slope) : Déterminer les pentes de sévérité spécifiques à l'architecture ($\alpha_a$) en corrélant les chutes de refus normalisées avec les augmentations du taux de succès d'attaque (ASR).
   • Mapping final : La chute alignée est mappée sur un score de 0 à 100 à l'aide d'une fonction sigmoïde :
     $$RAS(M) = \frac{100}{1 + \exp(\beta(d_{aligned}(M) - c))}$$
     Un RAS plus élevé indique un alignement de refus plus fort et une sécurité estimée plus élevée.

5. Scoring du modèle cible :
   Les modèles cibles sont scorés en calculant leur alignement avec la direction de refus pré-calibrée et en appliant le mapping RAS spécifique à la famille.

Contributions clés

1. SafeVec : Une procédure d'évaluation de la sécurité en boîte blanche, au niveau de la représentation, basée sur l'alignement du refus.
2. RAS (Refusal Alignment Score) : Une métrique calibrée qui traduit l'alignement des états cachés internes en un score de sécurité standardisé de 0 à 100.
3. Validation empirique : Démonstration que RAS distingue de manière fiable les modèles alignés sur la sécurité, non censurés et ablatés à travers trois grandes familles (Llama, Gemma et Qwen).

Résultats expérimentaux

Les auteurs ont évalué RAS sur les familles Llama-3.1-8B, Gemma-3-4B et Qwen2.5-7B.

• Séparation au niveau de la représentation (RQ1) : Les modèles sûrs et non sécurisés présentent une séparation claire dans l'alignement de la direction de refus. Dans les fenêtres de couches sélectionnées, les modèles alignés sur la sécurité montrent systématiquement une similitude de cosinus plus élevée avec la direction de refus sous des prompts non sécurisés et de jailbreak par rapport aux variantes non censurées ou ablatées.
• Corrélation avec le comportement de sortie (RQ2) : RAS est fortement corrélé au taux de succès d'attaque (ASR) au niveau de la sortie. Les modèles ayant un RAS élevé présentent généralement un ASR faible. Bien que les scores bruts reflètent des tendances générales, le RAS calibré préserve ces tendances tout en fournissant une échelle standardisée.
• Généralisation (RQ3) : La procédure se généralise à travers différentes familles de modèles. Bien que les scores bruts ne soient pas directement comparables entre architectures, la calibration spécifique à la famille permet à RAS de classer systématiquement les modèles alignés au-dessus des variantes non sécurisées.
• Efficacité (RQ4) : RAS est nettement plus rapide que l'évaluation par un juge. Comme il ne nécessite que des passages avant (forward passes) sans génération de réponse ni juge externe, il est environ 216,88× plus rapide en moyenne dans le cadre expérimental des auteurs.

Signification et affirmations

L'article affirme que l'alignement du refus fournit un signal efficace pour l'évaluation de la sécurité des LLM en boîte blanche.

• Rôle complémentaire : Les auteurs déclarent explicitement que RAS n'est pas destiné à remplacer les cadres d'évaluation comportementale pour les systèmes fermés ou à servir de preuve définitive de sécurité pour chaque requête spécifique. Au lieu de cela, il sert de métrique rapide, au niveau de la représentation, pour comparer les variantes de modèles alignées sur la sécurité, effectuer des comparactions post-entraînement et réaliser des tests de régression de sécurité.
• Détection précoce : En mesurant les états internes, RAS détecte l'affaiblissement du comportement de refus avant que le modèle ne génère une sortie préjudiciable, offrant un signal indépendant des paramètres de décodage et des biais du juge.
• Limitations : Les auteurs reconnaissent que RAS nécessite un accès en boîte blanche (états cachés) et qu'il est calibré au sein de familles de modèles. De plus, il suppose que la sécurité est encodée via une direction de refus spécifique ; si les futurs modèles utilisent des mécanismes de sécurité internes fondamentalement différents, la direction de refus devra être ré-estimée.

Le travail conclut que bien que l'évaluation au niveau de la sortie reste nécessaire pour la vérification finale du déploiement, les métriques au niveau de la représentation comme RAS offrent une alternative évolative, efficace et robuste pour l'audit rapide des modèles à poids ouverts.