Résumé Technique : RouteHijack

Énoncé du Problème

Alors que les Grands Modèles de Langage (LLM) adoptent de plus en plus des architectures de type Mélange d'Experts (MoE) pour augmenter leur capacité de manière efficace, leur robustesse en matière de sécurité reste sous-explorée. Les attaques adverses existantes rencontrent des limitations significatives lorsqu'elles sont appliquées aux modèles MoE :

• Les jailbreaks basés sur les prompts reposent sur une recherche heuristique, sont fragiles et transfèrent mal.
• Les méthodes d'intervention sur le modèle (par exemple, élagage d'experts, manipulation des logits) nécessitent un accès privilégié aux poids internes ou aux activations, ce qui est irréaliste dans les scénarios de déploiement standard.
• Les attaques basées sur l'optimisation (par exemple, GCG), bien qu'opérant uniquement sur l'entrée, sont fondamentalement inadaptées aux modèles MoE. Elles sont conçues pour des architectures denses, ne tenant pas compte du mécanisme de routage Top-K non différentiable. De plus, elles sont centrées sur la sortie, optimisant pour des préfixes de tokens spécifiques (par exemple, "Bien sûr, voici") plutôt que pour la dynamique de routage interne qui régit le comportement de sécurité. Cela conduit souvent à une optimisation instable ou à des modèles qui se conforment initialement mais refusent ensuite.

Il n'existe actuellement aucune attaque basée sur l'optimisation, uniquement sur l'entrée, capable de contourner les mécanismes de sécurité des LLM MoE tout en maintenant une génération cohérente.

Méthodologie : RouteHijack

Les auteurs proposent RouteHijack, un cadre adversarial conscient du routage qui exploite la vulnérabilité structurelle des modèles MoE : la concentration des comportements alignés sur la sécurité au sein d'un petit sous-ensemble spécialisé d'experts. L'attaque opère sous des contraintes réalistes d'entrée uniquement au moment du déploiement, en utilisant un modèle de substitution pour une optimisation hors ligne.

Le cadre se compose de deux étapes principales :

1. Localisation d'Experts Pilotée par la Réponse

Contrairement aux méthodes antérieures qui analysent les activations basées sur les prompts d'entrée (ce qui confond le comportement de sécurité avec la sémantique du prompt), RouteHijack emploie un profilage contrastif piloté par la réponse.

• Mécanisme : Pour une requête malveillante donnée, le modèle génère deux réponses : un refus sûr ($a_{safe}$) et une réponse nuisible conforme ($a_{harm}$). La méthode compare les fréquences d'activation des experts entre ces deux réponses, isolant les experts spécifiquement actifs lors du refus par rapport à la génération nuisible.
• Filtrage Sensible à l'Utilité : Pour éviter de dégrader les capacités générales du modèle, la méthode filtre les experts "polysemantiques" qui contribuent à la fois à la sécurité et à la modélisation du langage général. Elle sélectionne les experts critiques pour la sécurité ($E_{safe}$) et les experts nuisibles ($E_{harm}$) en fonction de leur activation différentielle, pénalisant ceux ayant des fréquences d'activation générale élevées.

2. Optimisation Consciente du Routage (Perte Ternaire)

RouteHijack construit une suffixe adversaire universelle ($x_{adv}$) optimisée pour manipuler la décision du routeur au niveau du token de frontière ($t^*$) avant le début du décodage auto-régressif. L'optimisation minimise une perte ternaire ($L_{total}$) comprenant trois composantes :

• Suppression de la Sécurité ($L_{suppress}$) : Minimise la probabilité de routage des experts de sécurité identifiés ($E_{safe}$) pour affaiblir le mécanisme de défense principal du modèle.
• Promotion Nuisible Bornée ($L_{promote}$) : Maximise la probabilité de routage des experts nuisibles ($E_{harm}$) mais impose une contrainte bornée (perte à charnière). Cela empêche le routeur de se concentrer sur quelques experts, ce qui causerait une dégradation sémantique, assurant ainsi que le modèle reste fluide.
• Improbabilité de Refus ($L_{refusal}$) : Pénalise la génération de tokens de refus (par exemple, "désolé", "ne peut pas") lors des étapes initiales de décodage ($W=5$). Cela empêche le modèle de revenir vers des trajectoires de refus même si le routage initial est manipulé.

L'optimisation utilise une recherche discrète guidée par le gradient (similaire à GCG) mais cible les probabilités softmax continues du routeur avant la troncature Top-K non différentiable, permettant une propagation stable du gradient.

Contributions Clés

1. Cadre RouteHijack : La première attaque basée sur l'optimisation, uniquement sur l'entrée, spécifiquement conçue pour les LLM MoE qui influence directement la sélection d'experts par le biais de perturbations d'entrée.
2. Profilage Piloté par la Réponse : Une méthode novatrice pour isoler les experts critiques pour la sécurité et les experts nuisibles en contrastant les réponses du modèle plutôt que les prompts d'entrée, offrant une caractérisation plus précise des mécanismes internes de sécurité.
3. Objectif Conscient du Routage : Une fonction de perte ternaire qui contrôle conjointement l'activation des experts et la dynamique de décodage précoce, surmontant la non-différentiabilité du routage MoE.
4. Validation Empirique : Évaluation complète sur sept LLM MoE de l'état de l'art (couvrant les variantes de routage épars, à experts partagés et groupés) et trois Modèles de Langage-Vision (VLM) basés sur MoE.

Résultats Expérimentaux

• Taux de Succès de l'Attaque (ASR) : RouteHijack atteint un ASR moyen de 69,3 % sur sept LLM MoE, avec un pic de 89,1 %. Cela surpasse significativement la meilleure base de référence en boîte blanche (SAFEx, 33,3 %) et les attaques standard basées sur l'optimisation (GCG, 21,9 %).
• Préservation de l'Utilité : L'attaque entraîne une baisse moyenne minimale de l'utilité de 1,3 % sur cinq benchmarks NLU (CoLA, RTE, WinoGrande, OpenBookQA, ARC-Challenge), démontrant que le filtrage sensible à l'utilité préserve avec succès les capacités générales de langage.
• Transférabilité :
  • Modèles Siblings : Les suffixes optimisés se transfèrent en zero-shot sur cinq variantes MoE siblings, augmentant l'ASR moyen de 27,7 % à 61,2 %.
  • Multimodal : L'attaque se généralise aux VLM basés sur MoE, augmentant l'ASR moyen de 2,47 % à 38,7 %, indiquant que les vulnérabilités de routage sont inhérentes à l'architecture MoE indépendamment de la modalité.
• Validation Mécanistique : L'analyse confirme que l'attaque déplace avec succès les probabilités de routage au niveau du token de frontière (Taux de Suppression d'Experts Cibles de -28,75 % et Taux de Promotion Nuisible Cible de +28,51 %), et que ces déplacements se propagent à travers le processus de génération auto-régressive.

Signification et Revendications

L'article revendique que RouteHijack expose une vulnérabilité fondamentale dans les architectures d'experts éparses : l'alignement sur la sécurité n'est pas uniformément distribué mais est concentré dans un petit sous-ensemble d'experts. Cette concentration crée une surface d'attaque localisée qui peut être exploitée via la manipulation du routage.

Les auteurs soutiennent que les méthodes actuelles d'alignement sur la sécurité (par exemple, RLHF, DPO) sont insuffisantes car elles se concentrent sur les distributions de sortie sans traiter les dynamiques de routage épars sous-jacentes. Les résultats suggèrent que :

1. Le Routage est un Risque Agnostique de la Modalité : Les vulnérabilités dans le mécanisme de routage affectent à la fois les modèles de texte et les modèles de langage-vision.
2. Menace en Boîte Noire : La capacité à transférer des attaques entre modèles siblings implique que même les modèles MoE propriétaires et en boîte noire sont à risque s'ils partagent une colonne vertébrale de routage avec des variantes à poids ouverts.
3. Besoin de Nouvelles Défenses : L'article conclut que des défenses robustes doivent aller au-delà de l'alignement au niveau de la sortie pour inclure une régularisation consciente du routage pendant l'entraînement (afin de distribuer plus largement les comportements de sécurité) ou des audits de routage au moment de l'inférence pour détecter des motifs d'activation d'experts anormaux.