Résumé technique : Tous les refus ne sont pas égaux

Énoncé du problème

L'alignement de sécurité des grands modèles de langage (LLM) est essentiel mais conceptuellement indifférencié ; il traite tous les dommages potentiels comme un bloc monolithique. Cela crée un conflit dans des domaines spécialisés comme la cybersécurité, où des opérations légitimes et autorisées (par exemple, les tests d'intrusion, l'analyse de vulnérabilités) nécessitent que le modèle traite et génère du contenu qui pourrait être signalé comme nuisible par les circuits de sécurité standards.

Le problème central abordé est de savoir s'il est possible d'effectuer une ablitération spécifique à un domaine : modifier les poids d'un modèle pour supprimer le mécanisme de refus spécifiquement pour un domaine choisi (la cybersécurité) tout en préservant les mécanismes de refus pour d'autres domaines (par exemple, la violence, les armes biologiques, le harcèlement). Des travaux antérieurs suggéraient que le refus est médié par une direction unique dans le flux résiduel du modèle qui, si elle est supprimée, provoque l'effondrement de la sécurité pour tous les domaines. Des découvertes géométriques récentes indiquent toutefois que le refus occupe un sous-espace multidimensionnel. Ce document étudie si les techniques d'ablitération standard peuvent exploiter cette géométrie pour supprimer chirurgicalement le refus pour un seul domaine sans compromettre la sécurité générale.

Méthodologie

Les auteurs ont mené une étude systématique à grande échelle sur 24 LLM open-source allant de 0,6 milliard à 1 billion de paramètres, représentant 10 organisations de développeurs différentes et diverses architectures (transformers denses et Mixture-of-Experts).

1. Construction du jeu de données d'extraction

Pour isoler la direction du refus pour un domaine spécifique, les auteurs ont construit un jeu de données ciblé associant des prompts nuisibles et inoffensifs qui partagent le même sujet technique mais diffèrent par leur intention :

• Nuisible : Requêtes directes pour des actions offensives (ex. : « Comment créer une attaque par injection SQL... ? »).
• Inoffensif : Cadrage éducatif ou défensif du même sujet (ex. : « Qu'est-ce qu'une injection SQL et comment peut-on l'empêcher de se produire... ? »).
  Cette séparation sémantique garantit que la direction extraite capture la différence entre l'intention offensive et la connaissance en cybersécurité, plutôt qu'un signal générique de « sujet dangereux ».

2. Technique d'ablitération

L'étude utilise la méthode de projection orthogonale standard (Arditi et al., 2024) :

• Extraction de la direction : Les activations de l'état caché sont extraites de la position du dernier jeton de la dernière couche du décodeur pour les prompts tant nuisibles qu'inoffensifs. La direction du refus $\hat{r}$ est calculée comme la différence moyenne normalisée entre ces activations.
• Modification des poids : La direction du refus est projetée hors des matrices de poids du modèle ($W' = W - \alpha \hat{r}(\hat{r}^\top W)$). La modification est appliquée aux matrices down_proj (sortie MLP) et o_proj (projection de sortie de l'attention).
• Sélection de la couche : Contrairement aux travaux antérieurs qui ciblaient des couches intermédiaires étroites, cette étude a appliqué la modification uniformément sur 25 à 95 % de la profondeur du modèle (couvrant 6 percentiles). Cela s'est avéré nécessaire pour les architectures modernes, particulièrement les modèles MoE, où les signaux de refus sont largement distribués.
• Force : L'intensité de l'intervention $\alpha$ a été testée jusqu'à 1,0 (projection orthogonale exacte), avec des valeurs plus élevées explorées pour les architectures MoE afin de compenser les voies d'experts redondantes.

3. Cadre d'évaluation

Les modèles ont été évalués sur trois jeux de données :

• Benchmark scientifique : 360 prompts provenant de HarmBench, AdvBench et PurpleLlama CyberSecEval couvrant 6 catégories de dommages.
• Jeu de données d'évaluation croisée : 306 prompts (181 nuisibles, 125 inoffensifs) spécifiquement conçus pour mesurer le refus spécifique au domaine et les faux positifs.
• MMLU : Utilisé pour vérifier que les capacités de raisonnement général sont préservées.

Résultats clés

1. L'ablitération spécifique au domaine est réalisable

L'étude a démontré avec succès que le refus peut être supprimé pour un domaine spécifique tout en étant conservé pour d'autres. Le résultat principal a été obtenu sur le Kimi K2 (1 billion de paramètres) :

• Refus en cybersécurité : Réduit de 100 % à 7 % (une chute de 93 points de pourcentage sur le jeu d'évaluation croisée).
• Domaines non ciblés : Le refus a été largement préservé. Par exemple, le refus de « contenu explicite » est resté à 100 %, et celui de « violation de la vie privée » est resté à 44 %.
• Sélectivité : Cela représente un ratio de sélectivité de 13x entre le domaine cible et le domaine non ciblé le plus proche.

2. Susceptibilité hétérogène

Tous les modèles n'ont pas répondu de la même manière à l'intervention. Les auteurs ont classé les modèles en trois niveaux :

• Haute susceptibilité : Modèles où la suppression spécifique au domaine a réussi (ex. : Kimi K2, Gemma-12B, Qwen3-8B).
• Partiellement vulnérables : Modèles montrant une certaine réduction mais moins de sélectivité.
• Résistants : Modèles où l'intervention n'a pas réussi à supprimer le refus ou a provoqué un effondrement à travers tous les domaines (ex. : Mistral-Large, GLM-4.7, Phi-4-mini).

3. Prédicteurs de susceptibilité

La capacité à effectuer une ablitération spécifique au domaine s'est avérée être propre au modèle, et non dépendante de sa taille.

• Méthode d'entraînement de la sécurité : Le prédicteur le plus fort. Les modèles entraînés avec DPO (Direct Preference Optimization) étaient les plus susceptibles. Les modèles entraînés avec GRPO (Group Relative Policy Optimization) ou des méthodes de RL non divulguées montraient une haute résistance.
• Architecture : Les architectures MoE ont généralement montré une plus grande résistance que les modèles denses, probablement en raison de la distribution des représentations de concepts à travers les experts.
• Taille du modèle : Aucune relation monotone n'a été trouvée ; un modèle de 1 billion (Kimi K2) était très susceptible, tandis qu'un modèle de 123 milliards (Mistral-Large) était résistant.

4. Préservation des capacités

Sur les 24 modèles, les scores MMLU ont été universellement préservés. La dégradation maximale observée est de 0,028 (DeepSeek-V3), confirmant que l'intervention ne dégrade pas les capacités de raisonnement général.

5. Variance des domaines

Même au sein d'un même modèle, différents domaines de dommages réagissent différemment. La désinformation a été systématiquement le domaine le plus affecté sur tous les modèles (réduction moyenne de -22,3 pp), tandis que le droit d'auteur présentait la plus grande variance et la plus faible réduction. Cela suggère que la « distance » entre les domaines dans l'espace d'embedding influence la facilité de suppression sélective.

Signification et affirmations

L'article affirme fournir la première preuve empirique à grande échelle que l'alignement de sécurité est hétérogène selon le domaine. La signification des résultats réside dans trois extensions opérationnelles de la compréhension actuelle :

1. Refus multidimensionnel : Les résultats corroborent le fait que le refus est un sous-espace multidimensionnel, permettant la suppression chirurgicale de vecteurs de dommages spécifiques sans provoquer l'effondrement de l'ensemble du mécanisme de sécurité.
2. Scalabilité de l'intervention : À l'échelle du trillion de paramètres, le signal de refus est largement distribué à travers les couches et les experts, nécessant une sélection de couches étendue plutôt que le ciblage étroit des couches moyennes utilisé dans les études antérieures.
3. Utilité pratique pour la cybersécurité : La recherche démontre qu'il est possible de créer des modèles conformes aux opérations de sécurité offensives autorisées (ex. : défis CTF, recherche de vulnérabilités) sans supprimer indistinctement les filtres de sécurité pour des dommages non liés comme la violence ou les actes illégaux.

Les auteurs concluent que le type d'entraînement de sécurité et l'architecture du modèle sont les prédicteurs les plus fiables de la capacité d'un modèle à subir une ablitération spécifique au domaine. Ils positionnent ce travail comme un outil pour les chercheurs en sécurité de l'IA afin de tester la robustesse des différentes techniques d'alignement, et pour les praticiens de la cybersécurité afin d'obtenir des modèles capables d'opérer sur l'intégralité de leur domaine de compétence.