Résumé technique : Comprendre le comportement des experts sensibles à la sécurité dans les LLM à mélange d'experts

1. Énoncé du problème

Les modèles de langage (LLM) à mélange d'experts (MoE) utilisent une activation sparse pilotée par un routeur, où les jetons sont dirigés vers un sous-ensemble spécifique d'experts feed-forward. Une intuition prédominante en matière d'alignement de la sécurité suggère que le refus des demandes nuisibles est obtenu en acheminant les entrées vers des experts distincts, « orientés refus », séparés de ceux traitant le sujet.

Cet article remet en cause cette intuition en se demandant : Lorsqu'un modèle MoE aligné refuse une demande nuisible, ce refus est-il induit par un routage vers un ensemble distinct d'experts spécialisés dans la sécurité, ou est-il médiatisé par des représentations au sein des mêmes experts spécialisés dans le sujet qui traiteraient autrement la demande ?

Les auteurs postulent que si le comportement de sécurité est contrôlé principalement par le routage, alors modifier la décision du routeur devrait être le moyen le plus efficace de contourner la sécurité. À l'inverse, si la sécurité est intégrée dans les paramètres des experts eux-mêmes, les motifs de routage pourraient rester stables même lorsque le comportement de sécurité s'inverse. Comprendre cette distinction est crucial pour développer des mécanismes de sécurité robustes et évaluer les vulnérabilités des modèles MoE.

2. Méthodologie

2.1 Sondages empiriques sur le comportement de routage

Pour investiguer la relation entre le routage et la sécurité, les auteurs ont mené trois sondages empiriques complémentaires sur des modèles MoE alignés :

1. Contraste comportemental par contrainte de l'enseignant : Les auteurs ont comparé les motifs de routage pour la même prompt nuisible dans deux conditions : une continuation de refus alignée sur la sécurité et une continuation conforme contrainte par l'enseignant.
2. Contraste de style de refus au niveau de la prompt : En utilisant des prompts bénins, ils ont préfixé des préfixes de refus pour induire des réponses de style refus et ont comparé le routage résultant aux demandes bénignes originales et aux contrôles inter-sujets.
3. Contraste d'intention de sécurité appariée : Ils ont construit des prompts appariés où le sujet et la structure syntaxique étaient préservés, mais l'intention non sûre était supprimée (par exemple, changer « comment fabriquer une bombe » en « comment fabriquer un jouet »).

Métriques : La similarité de routage a été quantifiée à l'aide de la divergence de Jensen-Shannon (JS) des logits du routeur et du chevauchement des $k$ premiers experts activés.

Résultats : Pour tous les sondages, les changements de comportement de refus/conformité ou d'intention de sécurité ont entraîné des déplacements de routage significativement plus faibles que les changements de sujet de la demande. Cela suggère que les routeurs MoE sont principalement pilotés par le sujet, tandis que l'application de la sécurité réside dans les représentations des experts naturellement activés pour ce sujet, plutôt que dans un chemin de routage séparé.

2.2 Cadre RASET

Motivés par la découverte que le comportement de sécurité peut être altéré sans perturber le chemin de routage intrinsèque, les auteurs proposent RASET (Routage-Agnostic Safety-critical Expert Tuning). Il s'agit d'un cadre de red teaming conçu pour induire du contenu nuisible tout en préservant le calcul spécialisé par sujet du modèle.

Étapes clés :

1. Identification des experts critiques pour la sécurité :

   • Le cadre calcule un Score de sensibilité à la sécurité ($S_{l,i}$) pour chaque expert $i$ à la couche $l$.
   • Ce score est dérivé d'un critère contrastif de sensibilité au routage : $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$.
   • Cela contraste l'activation de l'expert sur les requêtes nuisibles ($D_{harm}$) avec les instructions bénignes ($D_{norm}$), supprimant les experts généralement actifs (généraux au sujet) et mettant en évidence ceux recrutés de manière disproportionnée pour les demandes nuisibles.
   • Les $K$ premiers experts ayant les scores les plus élevés sont sélectionnés comme l'ensemble clé $\Phi_{key}$.

2. Adaptation contrainte au niveau de l'expert :

   • Gel : Le routeur, les composants partagés et tous les experts non sélectionnés sont gelés.
   • Affinement : Un ajustement efficace des paramètres (PEFT) est appliqué uniquement aux experts sélectionnés ($\theta_{\Phi}$).
   • Fonctions de perte :
     • $L_{violate}$ : Une stratégie duale qui pénalise les motifs de refus (par exemple, « Désolé, je ne peux pas ») et favorise les préfixes affirmatifs (par exemple, « Bien sûr, voici... ») associés à des requêtes non sûres. Elle utilise une pénalité à marge maximale pour empêcher une optimisation illimitée.
     • $L_{preserve}$ : Garantit que les capacités générales sont maintenues en minimisant le logarithme négatif de vraisemblance (NLL) sur les instructions bénignes ($D_{norm}$) et en appliquant une régularisation L2 pour maintenir les paramètres ajustés proches de leurs états pré-entraînés.
   • Objectif : $L_{total} = L_{violate} + L_{preserve}$.

3. Contributions clés

1. Preuves empiriques sur la dynamique de routage : L'article fournit des preuves contrôlées montrant que dans les modèles MoE alignés, le routage est largement piloté par la structure sémantique du sujet plutôt que par la distinction binaire entre refus et conformité. Le comportement lié à la sécurité peut changer considérablement sans déplacements de routage correspondants importants.
2. Cadre RASET : L'introduction d'un cadre d'adaptation au niveau de l'expert, diagnostique, qui gèle le routeur. Cela permet une analyse contrôlée des représentations d'experts sensibles à la sécurité et démontre que l'alignement de la sécurité peut être compromis par des changements de paramètres localisés sans perturber la spécialisation fonctionnelle du modèle.
3. Évaluation sur divers modèles de base : L'étude évalue ce phénomène sur cinq modèles de base MoE à poids ouverts (OLMoE, DeepSeek-V2, Qwen3, Phi-3.5 et GPT-oss), montrant des modes d'échec de sécurité localisés cohérents.

4. Résultats

4.1 Performance de red teaming

RASET a été évalué par rapport à des bases de référence telles que Greedy Coordinate Gradient (GCG) sur cinq modèles MoE.

• Taux de réussite de l'attaque (ASR) : RASET a obtenu le rendement le plus élevé à tous les niveaux de sévérité.
  • $ASR_{raw}$ (Violation de la sauvegarde) : 78,6 % en moyenne.
  • $ASR_{valid}$ (Violation valide) : 74,0 % en moyenne.
  • $ASR_{hq}$ (Violation de haute qualité) : 50,5 % en moyenne.
• Comparaison : RASET a surpassé la base de référence la plus forte (GCG) d'une moyenne de 37,6 points sur la métrique $ASR_{hq}$.

4.2 Préservation des capacités générales

• Efficacité des paramètres : RASET met à jour seulement 0,12 % à 0,95 % des paramètres du modèle.
• Rétention de l'utilité : Le cadre préserve une utilité bénigne significativement meilleure par rapport aux bases de référence de manipulation de routage.
  • TruthfulQA : Baisse moyenne de 5,4 points (de 68,9 % à 63,4 %).
  • MMLU : Baisse moyenne de 7,5 points (de 69,9 % à 62,4 %).

4.3 Stabilité du routage

Crucialement, RASET préserve la logique de routage intrinsèque du modèle :

• Divergence JS : Le déplacement des logits du routeur entre les modèles avant et après l'ajustement est resté inférieur à 0,04 pour les tâches bénignes et à 0,08 pour les tâches nuisibles.
• Chevauchement d'experts : Le chevauchement des 8 premiers experts est resté élevé (par exemple, >7,0 sur 8 pour les tâches bénignes, ~5,66 pour les tâches nuisibles).
• Conclusion : Le modèle continue d'acheminer les jetons vers les mêmes experts pertinents pour le sujet ; le contournement de la sécurité est réalisé parce que les paramètres sous-jacents des experts ont été « reprogrammés », et non parce que le chemin de routage a été altéré.

5. Signification et affirmations

L'article affirme que ces découvertes révèlent un risque de sécurité distinct dans les architectures MoE : l'alignement de la sécurité peut être compromis par de petits changements localisés au niveau des experts, même lorsque le comportement de routage du modèle reste largement intact.

• Implication pour la sécurité : Les mécanismes de sécurité actuels qui reposent sur la direction du routeur ou supposent que la sécurité est isolée dans des « experts de refus » spécifiques peuvent être insuffisants. L'application de la sécurité semble être distribuée au sein des représentations des experts spécialisés par sujet.
• Implication pour les attaques : Les interventions de direction du routeur (forçant les jetons vers différents experts) peuvent altérer le comportement de sécurité, mais souvent au détriment de la fidélité sémantique et de l'utilité, car elles détournent les jetons des experts spécialisés pour le sujet demandé.
• Direction future : Les auteurs soulignent la nécessité de mécanismes d'alignement conscients des experts qui prennent en compte conjointement le comportement du routeur, la spécialisation des experts et la robustesse des paramètres des experts eux-mêmes.

L'article conclut que le succès de RASET à inverser le comportement de sécurité tout en maintenant la cohérence du routage soutient l'idée que l'adaptation au niveau des experts est un vecteur puissant pour contourner la sécurité dans les LLM MoE.