Résumé Technique : LoMC pour la Suppression de la Réponse de Refus dans les Modèles de Base Routés

Formulation du Problème

Cet article traite du défi de la suppression contrôlée de la réponse de refus en post-entraînement dans les modèles de fondation de type Mixture-of-Experts (MoE) et hybrides-MoE routés. L'objectif est d'augmenter le Taux de Conformité Cible (TCR) — défini comme le complément du taux de refus sur les prompts malveillants — tout en préservant la Moyenne des Capacités Générales (GCA) sur les entrées bénignes.

Le problème est particulièrement aigu dans les architectures routées où les entrées n'activent qu'un sous-ensemble d'experts. Les approches existantes font face à un compromis :

1. Les éditions basées sur une direction large (ex: ablation par vecteur unique) peuvent perturber le calcul général de l'ensemble du modèle, dégradant ainsi la GCA.
2. La sélection du support d'édition seule (sélectionner des experts spécifiques à éditer) maintient l'empreinte de l'intervention de manière compacte, mais peut échouer à corriger efficacement les représentations de refus hétérogènes en raison d'un manque de signaux de correction riches.

Les auteurs formulent cela comme un problème d'optimisation cherchant une intervention $\Delta$ structurellement compacte qui maximise le gain de TCR tout en minimisant la dérive bénigne, sous une contrainte sur l'empreinte de l'intervention.

Méthodologie : Localized Multidirectional Correction (LoMC)

L'article propose LoMC, un cadre de « sélection du support puis correction » qui découple l'endroit (where) où les mises à jour ont lieu de la manière (how) dont elles sont appliquées. La méthode opère en deux étapes distinctes :

Étape I : Sélection du Support d'Édition

LoMC identifie d'abord un ensemble compact de localisations (le « support d'édition ») où les mises à jour de poids sont autorisées.

• Mécanisme : Il évalue les experts routés dans chaque couche recherchée en fonction de leur alignement avec la direction de refus par couche ($r_\ell$), dérivée des activations résiduelles.
• Sélection : Un pool de candidats d'experts est conservé (ex: le top 1/8), et un nombre fixe d'experts les mieux classés (ex: $E=6$) est sélectionné par couche.
• Sortie : Un masque de support fixe $S$ est généré, spécifiant les tuples exacts de couche, d'expert et de composante (ex: moe.down_proj, moe.gate_up_proj) éligibles à l'édition. Cette étape garantit que l'empreinte de l'intervention reste structurellement compacte.

Étape II : Agrégation de Directions Multi-Prototypes

Une fois le support $S$ fixé, LoMC détermine le signal de correction pour ces localisations spécifiques.

• Extraction de Prototypes : Pour chaque couche à support fixe, la méthode contraste les prototypes résiduels malveillants (extraits via des cartes auto-organisatrices [SOM] à partir de prompts malveillants) avec le centroïde résiduel bénin.
• Agrégation : Au lieu d'appliquer plusieurs vecteurs de correction indépendants, LoMC agrège un petit ensemble de $K$ directions de prototypes (ex: $K=4$) en une seule direction de correction par couche agrégée ($\tilde{r}_\ell$). Cette agrégation équilibre l'alignement avec la direction de refus de base et la diversité entre les prototypes.
• Application : La mise à jour finale est une correction de rang un par couche appliquée uniquement à travers le masque de support $S$. Mathématiquement, pour une projection éditable $W$, la mise à jour est $(I - \eta P)W$ si la composante est dans $S$, et $W$ sinon, où $P = \tilde{r}_\ell \tilde{r}_\ell^\top$.

Cette conception garantit que la capacité de correction est améliorée via l'agrégation multidirectionnelle sans étendre l'empreinte de l'intervention au-delà de la sélection de support initiale.

Contributions Clés

1. Formulation de Correction à Support Gated : L'article reformule la suppression de la réponse de refus dans les modèles routés comme un problème de « support géré par porte » (support-gated), où le support d'édition agit comme une contrainte de porte pour toutes les corrections, plutôt que de traiter la sélection du support et la correction comme des étapes séparées et non coordonnées.
2. L'Algorithme LoMC : Il introduit une méthode qui agrège les directions de correction de prototypes en une mise à jour de rang un appliquée strictement à travers un masque de support fixe. Cela améliore le signal de correction sans introduire d'opérateurs de mise à jour indépendants ou sans étendre l'ensemble des paramètres édités.
3. Validation Empirique : Les auteurs évaluent LoMC sur quatre backbones routés (Qwen3-VL, InternVL3.5, DeepSeek-VL2, Kimi-VL) et quatre benchmarks de sécurité (AdvBench, StrongREJECT, JailbreakV-28K, VLSBench), couvrant des contextes textuels uniquement et multimodaux.

Résultats

• Conformité Cible (TCR) : LoMC atteint le TCR le plus élevé dans les 16 configurations modèle-benchmark. Les modèles alignés originaux affichaient une moyenne de 8,75 % de TCR, tandis que LoMC a atteint 96,33 %. Comparé au meilleur baseline dans chaque configuration, LoMC a amélioré le TCR de 12,76 points de pourcentage en moyenne.
• Capacité Générale (GCA) : LoMC maintient efficacement les capacités générales. La GCA moyenne a légèrement augmenté, passant de 63,77 % (original) à 64,25 % (LoMC), les moyennes par modèle restant compétitives par rapport aux checkpoints originaux.
• Comparaison avec les Baselines :
  • Heretic-MoE (direction unique large) a obtenu un TCR plus faible (73,54 %) et a montré une instabilité à travers les backbones.
  • SOM Directions (multi-prototypes large) a obtenu un TCR élevé mais a causé une dégradation significative de la GCA en raison de l'absence de portage (gating) du support.
  • GateBreaker (sélection locale de route) a montré une capacité de correction limitée sans l'agrégation multidirectionnelle.
• Études d'Ablation : Les résultats confirment que ni la taille du support d'édition ($E$) ni le nombre de prototypes ($K$) ne sont des curseurs monotones. Le compromis optimal a été trouvé à $E=6$ et $K=4$. Une sélection de support aléatoire avec le même footprint a entraîné une GCA plus faible, prouvant que la sélection spécifique du support est critique.

Signification et Revendications

L'article affirme que LoMC améliore avec succès le compromis entre la suppression de la réponse de refus et la préservation de la capacité générale sous une empreinte d'intervention compacte. En factorisant le problème en « support » (où) et « correction » (comment), la méthode permet des signaux de correction plus riches (via l'agrégation de multi-prototypes) sans les effets secondaires destructeurs des éditions larges à l'échelle du modèle.

Les auteurs positionnent LoMC principalement comme un outil d'analyse post-entraînement contrôlé pour comprendre l'éditabilité localisée et les vulnérabilités spécifiques au routage dans les LLM et MLLM de style MoE. Ils déclarent explicitement que :

• Le TCR est une métrique de réponse cible de non-refus et ne doit pas être interprété comme une conformité malveillante vérifiée par un juge ou une exploitabilité en conditions réelles.
• Le travail n'est pas une recommandation pour le déploiement de modèles avec suppression de refus, mais plutôt un test de résistance pour les modèles alignés sur la sécurité.
• Les conclusions sont limitées aux backbones multimodaux routés et aux benchmarks évalués, des travaux futurs étant nécessaires pour les architectures denses et d'autres langues.

L'étude conclut que le couplage d'un support creux contrastif avec une correction résiduelle multi-prototype est la clé pour atteindre un équilibre favorable entre la modification de l'alignement de sécurité et la rétention de l'utilité.