💻 computer science

MASCing: Configurable Mixture-of-Experts Behavior via Activation Steering Masks

MASCing est un cadre léger et sans réentraînement qui configure les modèles à mélange d'experts (MoE) pour des scénarios de sécurité diversifiés en utilisant un substitut basé sur un LSTM pour optimiser les masques de pilotage sur les portes de routage, permettant ainsi l'amélioration ou la suppression ciblée de comportements spécifiques sans compromettre l'utilité générale.

Auteurs originaux : Jona te Lintelo, Lichao Wu, Marina Krček, Sengim Karayalçin, Stjepan Picek

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jona te Lintelo, Lichao Wu, Marina Krček, Sengim Karayalçin, Stjepan Picek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme ceux qui alimentent les chatbots) comme un immense orchestre high-tech.

Dans les anciens modèles, chaque musicien (paramètre) jouait de son instrument pour chaque note que le modèle chantait. C'était bruyant, coûteux et lent.

Les modèles à Mélange d'Experts (MoE) sont différents. Ils ressemblent à un immense orchestre où, pour chaque note, seul un tout petit groupe spécifique de musiciens est appelé à jouer. Le reste reste silencieux. Un « chef d'orchestre » (le routeur) décide quel groupe de 2 ou 4 musiciens peut jouer pour chaque mot. Cela rend le modèle beaucoup plus rapide et moins coûteux à exécuter.

Cependant, ce système présente un nouveau problème : le chef d'orchestre est le maillon faible.

Le Problème : Le « Mauvais Chef d'Orchestre »

Puisque seuls quelques musiciens jouent à la fois, un habile farceur (un attaquant) peut tenter de tromper le chef d'orchestre pour qu'il appelle le mauvais groupe de musiciens.

Scénario A (Contournement de sécurité) : Le farceur demande au modèle de faire quelque chose de mal (comme rédiger un manuel pour fabriquer une bombe). Le modèle répond généralement : « Non, c'est dangereux. » Mais un farceur peut poser la question de manière détournée sur plusieurs tours, confondant le chef d'orchestre pour qu'il appelle les musiciens « nuisibles » au lieu des musiciens « sécurité ».
Scénario B (Refus excessif) : Parfois, le modèle est trop prudent. Il refuse d'écrire une histoire sur un méchant fictif car il pense que « méchant » signifie « mauvais ». Le développeur pourrait vouloir que le modèle ait le droit d'écrire cette histoire dans un contexte spécifique, mais le chef d'orchestre continue d'appeler les musiciens « refus ».

Habituellement, pour résoudre ce problème, il faut licencier tout l'orchestre et en embaucher de nouveaux (réentraînement), ce qui prend des mois et coûte une fortune.

La Solution : MASCing (La « Partition Intelligente »)

L'article présente MASCing (Configuration de Pilotage de l'Activation des MoE). Considérez cela non pas comme le licenciement de l'orchestre, mais comme la remise au chef d'orchestre d'une partition spéciale, préécrite (un masque de pilotage) qui l'incite subtilement à choisir les bons musiciens pour la tâche, sans changer les musiciens eux-mêmes.

Voici comment MASCing fonctionne en trois étapes simples :

1. Le Détective « Surrogate » (Apprentissage du Motif)

D'abord, les chercheurs entraînent une petite IA rapide (un LSTM) pour agir comme un détective. Ce détective observe les « notes » du chef d'orchestre (les logits de routage) pendant que le modèle parle.

Il apprend : « Lorsque le chef d'orchestre voit ces notes spécifiques, le modèle refuse généralement de répondre. »
Il apprend aussi : « Lorsque le chef d'orchestre voit ces notes, le modèle accepte généralement d'écrire une histoire. »
Crucialement, le détective ne regarde pas seulement qui a réellement joué ; il examine les notes potentielles que le chef d'orchestre envisageait, préservant ainsi toutes les informations cachées.

2. Trouver le « Circuit de Sécurité » (Le Masque)

Le détective détermine ensuite exactement quelles notes sur la partition du chef d'orchestre doivent être ajustées pour obtenir le résultat souhaité.

Si nous voulons empêcher une mauvaise réponse, le détective trouve les notes qui mènent à la « sécurité » et les amplifie, tout en atténuant les notes qui mènent au « danger ».
Si nous voulons autoriser une réponse spécifique (comme du contenu pour adultes dans un contexte sûr), il trouve les notes qui mènent au « refus » et les atténue, tout en amplifiant les notes de « conformité ».

Cela crée un Masque de Pilotage. Imaginez un surligneur qui marque des endroits spécifiques sur la partition du chef d'orchestre. Il ne change pas la musique elle-même ; il dit simplement au chef d'orchestre : « Hé, prête une attention particulière à ces notes spécifiques. »

3. La Performance (Inférence)

Lorsque le modèle s'exécute réellement, le système applique ce masque en temps réel.

Le chef d'orchestre regarde les notes.
Le masque ajoute une petite « impulsion » aux notes.
Le chef d'orchestre, influencé par l'impulsion, choisit les musiciens « sécurité » au lieu des musiciens « nuisibles » (ou inversement).

Qu'ont-ils accompli ?

Les chercheurs ont testé cela sur sept modèles MoE différents avec deux objectifs très distincts :

Arrêter les contournements de sécurité (Le Bouclier) : Ils ont utilisé MASCing pour rendre les modèles plus résistants aux farceurs qui tentent de les tromper pour dire de mauvaises choses sur une longue conversation.
- Résultat : Les modèles sont passés de bloquer les mauvaises demandes environ 52 % du temps à les bloquer 84 % du temps.
- Analogie : Le chef d'orchestre est devenu beaucoup plus difficile à tromper pour appeler les musiciens « mauvais ».
Autoriser un contenu spécifique (La Clé) : Ils ont utilisé MASCing pour rendre les modèles moins enclins à refuser des demandes de contenu pour adultes lorsque ce contenu est effectivement autorisé par la politique.
- Résultat : Les modèles sont passés d'accepter d'écrire de telles histoires 52 % du temps à 82 % du temps.
- Analogie : Le chef d'orchestre a cessé de paniquer et d'appeler les musiciens « refus » pour chaque histoire sur un méchant, permettant aux musiciens « créatifs » de jouer.

Pourquoi est-ce spécial ?

Pas de réentraînement : Vous n'avez pas besoin de réapprendre à tout l'orchestre. Vous changez simplement la partition (le masque).
Rapide : L'entraînement du « détective » prend environ 5 minutes sur un ordinateur puissant. L'application du masque prend presque aucun temps.
Flexible : Vous pouvez échanger le masque instantanément. Si les règles changent demain, vous générez simplement un nouveau masque.
Sûr : Cela ne brise pas la capacité du modèle à faire des mathématiques ou à rédiger des e-mails normaux. Il ajuste simplement la partie « sécurité » du processus de prise de décision.

En bref, MASCing est une méthode légère et instantanée pour dire à une IA intelligente : « Pour cette situation spécifique, veuillez écouter un groupe différent d'experts », sans avoir à reconstruire l'IA depuis zéro.

1. Énoncé du problème

Les grands modèles de langage (LLM) utilisant des architectures de mélange d'experts (MoE) sont devenus dominants en raison de leur capacité à augmenter le nombre de paramètres tout en maintenant des coûts d'inférence faibles grâce à une activation éparsse. Cependant, ce paradigme d'activation éparsse introduit des défis de sécurité uniques :

Comportement couplé : Le comportement du modèle est étroitement lié aux décisions de routage dynamiques. Puisqu'un sous-ensemble d'« experts » est activé par token, les mécanismes de sécurité peuvent être contournés si un adversaire manipule le routeur pour éviter les experts alignés sur la sécurité.
Rigidité des défenses actuelles : L'alignement de sécurité traditionnel repose sur un fine-tuning complet ou un réentraînement. Ces méthodes sont prohibitives en termes de calcul pour les grands modèles MoE et manquent d'agilité pour s'adapter aux politiques de sécurité en évolution rapide (par exemple, de nouvelles stratégies de jailbreak ou des directives de contenu changeantes).
Le fossé : Il existe un manque de mécanismes légers, sans réentraînement, permettant de reconfigurer flexiblement le comportement des MoE pour des scénarios de sécurité spécifiques (par exemple, renforcer les défenses contre les jailbreaks ou assouplir les restrictions pour des domaines spécifiques) sans réentraîner les poids du modèle.

2. Méthodologie : Le cadre MASCing

MASCing (Configuration de guidage d'activation des MoE) est un cadre en trois phases, sans réentraînement, qui intervient au niveau de la porte de routage pour orienter le comportement du modèle. Il évite toute modification des poids du modèle.

Phase 1 : Modélisation séquentielle du comportement

Modèle de substitution : Au lieu d'optimiser sur des sélections discrètes des $k$ meilleurs experts (qui sont non différentiables), MASCing entraîne un modèle de substitution LSTM léger sur des logits de routage continus et non normalisés.
Entrée : Le LSTM traite les logits de routage de tous les experts à travers toutes les couches pour une séquence de tokens.
Objectif : Le LSTM apprend à mapper ces motifs de routage vers un comportement cible (par exemple, « refus » vs « conformité »). En utilisant des logits continus, le modèle préserve l'information fine-granulaire sur les experts qui ne sont pas sélectionnés mais influencent toujours la distribution de routage.
Entraînement : Le LSTM est entraîné pour classifier si une séquence de logits conduit à un comportement spécifique (classification binaire).

Phase 2 : Création du masque de guidage

Identification du circuit : En utilisant le LSTM entraîné comme proxy différentiable, le cadre optimise une matrice de guidage ( $S$ ) pour identifier quels experts sont responsables du comportement cible.
Optimisation : La matrice est optimisée pour minimiser une fonction de perte composite composée de :
1. Entropie croisée binaire (BCE) : Pour orienter la prédiction du substitut vers la classe cible.
2. Régularisation $L_1$ : Pour imposer la parcimonie, forçant les poids non importants à zéro.
Mise à l'échelle adaptative : Pour gérer la variance entre les couches, les valeurs de guidage sont mises à l'échelle par l'écart-type des logits non guidés dans chaque couche.
Élagage : Une porte de magnitude symétrique (seuil $\tau$ ) est appliquée à la matrice optimisée pour créer un masque de guidage épars final. Ce masque identifie les experts spécifiques à amplifier (valeurs positives) ou à supprimer (valeurs négatives).

Phase 3 : Application du masque de guidage

Intervention d'inférence : Lors de l'inférence, le masque de guidage statique est appliqué directement aux logits de routage du modèle MoE cible via des crochets pré-avance.
Mécanisme : L'intervention ajoute un biais mis à l'échelle aux logits : $g'_{l,t} = g_{l,t} + \alpha(\sigma_l \cdot \hat{S}_l)$ .
Résultat : Cela déplace la distribution de probabilité du routeur, surchargeant efficacement la sélection des $k$ meilleurs pour activer ou désactiver des circuits d'experts spécifiques. Le modèle conserve son utilité linguistique générale car l'intervention est éparsse et ciblée.

3. Contributions clés

Cadre novateur : Introduction de MASCing, le premier cadre permettant une reconfiguration flexible et bidirectionnelle du comportement de sécurité des MoE (renforcement et assouplissement) sans réentraînement.
Analyse des logits continus : Un changement méthodologique passant de l'analyse des sélections discrètes des $k$ meilleurs experts à l'analyse des logits de routage continus. Cela contourne le goulot d'étranglement non différentiable et capture l'information de sécurité latente dans les experts non sélectionnés.
Découverte de circuits guidée par substitut : L'utilisation d'un substitut LSTM pour mapper des dépendances de routage complexes, inter-couches, vers des circuits comportementaux spécifiques, permettant l'identification d'interventions d'experts minimales et à fort impact.
Flexibilité bidirectionnelle : Capacité démontrée à la fois à renforcer la sécurité (défense contre les jailbreaks) et à assouplir les contraintes (conformité aux politiques spécifiques à un domaine) sur la même architecture de modèle.

4. Résultats expérimentaux

Le cadre a été évalué sur sept modèles MoE open-source (y compris DeepSeek-MoE, Mixtral, Qwen et GPT-OSS) dans deux scénarios contrastés :

A. Défense contre les jailbreaks multi-tours

Objectif : Renforcer les défenses contre les prompts adverses qui orientent progressivement le modèle vers du contenu nuisible sur plusieurs tours.
Performance :
- Référence : Taux de réussite moyen de la défense de 52,5 %.
- MASCing : Amélioration du taux de réussite moyen à 83,9 %.
- Performance maximale : Jusqu'à 89,2 % (Qwen3-30B-A3B-Instruct-2507).
Comparaison : Surpasse significativement l'état de l'art SteerMoE (58,4 % en moyenne), qui repose sur une sélection d'experts discrète et ignore le contexte de l'historique de conversation.

B. Génération de contenu pour adultes (Assouplissement de la politique)

Objectif : Permettre aux modèles de générer du contenu pour adultes dans des contextes appropriés (simulant un changement de politique), réduisant les « refus excessifs ».
Performance :
- Référence : Taux de réussite moyen de génération de 52,6 %.
- MASCing : Amélioration du taux de réussite moyen à 82,0 %.
- Performance maximale : Jusqu'à 93,0 % (Phi-3.5-MoE-Instruct).

C. Préservation de l'utilité

Référence : Évalué sur MMLU (connaissances factuelles) et GSM8K (raisonnement mathématique).
Résultat : MASCing a entraîné un déclin moyen négligeable de l'utilité (~4,1 %). Les modèles ont conservé leur capacité à effectuer des raisonnements complexes et des tâches générales, prouvant que le guidage ne provoque pas d'oubli catastrophique.

D. Efficacité

Entraînement : Le substitut LSTM peut être entraîné en ~5 minutes sur une seule GPU NVIDIA H100.
Inférence : Ajoute une latence négligeable (addition élément par élément aux logits) et ne nécessite aucune mémoire supplémentaire pour les poids du modèle.

5. Importance et impact

Praticité pour le déploiement : MASCing offre une solution « plug-and-play » pour la configuration de la sécurité. Les développeurs peuvent adapter rapidement les modèles à de nouvelles politiques ou menaces émergentes sans le coût et le temps d'un réentraînement complet.
Insight mécanistique : Le papier démontre que la sécurité dans les modèles MoE n'est pas monolithique mais distribuée à travers des circuits d'experts spécifiques qui peuvent être isolés et manipulés via les logits de routage.
Contrôle bidirectionnel : Il remet en question la vision binaire de la sécurité (sûr vs non sûr) en montrant que les contraintes de sécurité peuvent être ajustées dynamiquement — renforcées pour la sécurité ou assouplies pour des cas d'utilisation spécifiques — tout en maintenant l'intégrité du modèle.
Supériorité sur les méthodes discrètes : Les résultats confirment que l'exploitation des informations de routage continues (logits) est supérieure à l'analyse discrète des $k$ meilleurs pour comprendre et contrôler des comportements complexes, multi-tours, dans des architectures éparse.

En conclusion, MASCing établit un nouveau paradigme pour la sécurité configurable dans les modèles MoE, fournissant un mécanisme léger, efficace et hautement performant pour gérer le compromis entre l'utilité du modèle et l'alignement de sécurité dans des environnements de déploiement dynamiques.