Résumé Technique : Les LLM de Diffusion comme Cibles et Adversaires : Exploitations de la Sécurité Mécaniste

1. Énoncé du Problème

L'émergence rapide des Modèles de Langage de Diffusion (DLLM - Diffusion Large Language Models) introduit une nouvelle génération de générateurs de texte qui remplacent la prédiction de jeton suivant autorégressive (AR) par un débruitage itératif et parallèle. Bien que les DLLM offrent des avantages en matière de modélisation de contexte bidirectionnel et d'efficacité des données, leurs mécanismes de sécurité internes restent mal compris. La recherche actuelle sur l'alignement de la sécurité s'est largement concentrée sur les architectures AR, où la sécurité est souvent localisée dans des ensembles épars de « neurones de sécurité ».

Cette publication étudie deux questions critiques :

1. En tant que Cibles : Les DLLM héritent-ils des mêmes vulnérabilités de sécurité mécanistes et éparses trouvées dans leurs prédécesseurs AR (ex: Qwen2.5), et ces vulnérabilités sont-elles transférables entre architectures ?
2. En tant qu'Adversaires : Les propriétés uniques des DLLM (spécifiquement leur capacité à modéliser les distributions conjointes prompt-réponse $q(x, y)$) peuvent-elles être exploitées pour générer des prompts adverses plus efficacement que les méthodes de jailbreak actuelles de l'état de l'art (SOTA), qui reposent souvent sur une recherche de jetons ou un apprentissage par renforcement coûteux en calcul ?

Les auteurs postulent que les cadres de sécurité actuels sont structurellement fragiles et que le passage aux paradigmes de diffusion peut exposer de nouveaux vecteurs d'attaque tout en offrant simultanément de nouveaux outils d'exploitation.

2. Méthodologie

Le papier propose une approche à deux volets : une Attaque de Transfert en Boîte Blanche pour valider l'héritage de la vulnérabilité, et un Cadre de Jailbreak en Boîte Noire (Diffusion Guidée par les SN) pour exploiter ces vulnérabilités.

2.1. Boîte Blanche : Transférabilité Inter-Architecture

Les auteurs établissent d'abord que les mécanismes de sécurité dans les DLLM sont épars et transférables.

• Identification des Neurones de Sécurité : En utilisant une variante du cadre NeuroStrike, les auteurs identent les « neurones de sécurité » dans un modèle source à poids ouverts (soit un DLLM natif comme LLaDA, soit un modèle AR comme Qwen2.5). Ils extraient les activations des réseaux de neurones à propagation avant (feed-forward) à partir de prompts bénins et malveillants, entraînant un classificateur de régression logistique pour isoler les neurones dont les poids s'écartent significativement de la moyenne.
• Cartographie Directe d'Index : Pour les DLLM initialisés à partir de poids AR (ex: Dream, Fast-dLLM issus de Qwen2.5), la structure interne du réseau est identique. Les auteurs cartographient directement les coordonnées des neurones de sécurité $(\ell, i)$ du modèle AR source vers le DLLM cible sans profiler le DLLM lui-même.
• Élagage au Moment de l'Inférence : Pour tester la vulnérabilité, les auteurs annulent les activations de ces neurones de sécurité cartographiés lors de la passe avant (forward pass). Cet « élagage de transfert » contourne les garde-fous de sécurité sans nécessiter de réglage fin (fine-tuning) du modèle.

2.2. Boîte Noire : Cadre de Diffusion Guidée par les SN

Pour générer des jailbreaks sans interroger le modèle cible, les auteurs introduisent la Diffusion Guidée par les SN, un cadre entièrement hors ligne.

• Perte de Neurone de Sécurité (SN) Pondérée : Les auteurs formulent une métrique de perte continue pour guider le processus de diffusion. Au lieu d'une optimisation discrète, ils calculent une espérance pondérée des activations des neurones de sécurité :
  $$SN(x) = E_\ell \left[ \sum_{i:(\ell,i) \in S} h^\ell_i(x) \cdot w_{\ell,i} \right]$$
  où $w_{\ell,i}$ sont les poids de régression logistique appris lors de l'identification. Minimiser cette perte oriente la génération loin des régions déclenchant la sécurité.
• Cascade d'Élagage Générative : Pour garantir des réponses adverses de haute qualité, le cadre utilise d'abord un DLLM de substitution progressivement élagué pour générer des paires prompt-réponse « camouflées ». Cette cascade filtre les refus, la dégénérescence et l'effacement sémantique, établissant une « Zone de Jailbreak » fiable dans l'espace d'activation.
• Boucle d'Optimisation Hors Ligne : Le cadre ancre le processus de diffusion inverse à une réponse cible malveillante fixe $y^*$. À chaque étape de débruitage, il évalue les jetons candidats pour les positions masquées. Il sélectionne les jetons qui minimisent la perte SN tout en maintenant la fluidité sémantique, orientant efficacement la trajectoire vers la « Zone de Jailbreak » (un sous-espace à faible activation indiscernable des requêtes bénignes).
• Camouflage d'Intention : Pour contourner les filtres lexicaux, le cadre emploit des modèles basés sur des personas et une traduction euphémistique pour masquer les déclencheurs bruts malveillants avant le début du processus de diffusion.

3. Contributions Clés

1. Démonstration de la Transférabilité Structurelle : Le papier fournit une preuve empirique que l'alignement de la sécurité dans les DLLM reste hautement localisé et structurellement transférable. Les neurones de sécurité identifiés dans les modèles AR (comme Qwen2.5) peuvent être directement cartographiés vers les DLLM initialisés à partir de ces poids, permettant des attaques inter-architectures sans profiler le DLLM cible.
2. Introduction de la Perte SN Pondérée : Les auteurs proposent une métrique de perte scalaire continue qui intègre les activations des neurones avec des poids logistiques appris. Cette métrique atteint une séparabilité quasi parfaite (AUROC = 1.0) entre les prompts bénins, malveillants et de jailbreak, établissant un objectif fiable pour l'optimisation au moment de l'inférence.
3. Cadre de Diffusion Guidée par les SN : Un nouveau générateur de jailbreak en boîte noire, entièrement hors ligne. Contrairement aux méthodes précédentes nécessitant des milliers de requêtes ou de l'apprentissage par renforcement, ce cadre tire parti de la nature bidirectionnelle des DLLM pour résoudre l'optimisation du jailbreak comme un problème d'inférence. Il atteint une transférabilité compétitive avec des coûts de génération ordres de grandeur inférieurs.

4. Résultats Expérimentaux

4.1. Attaques de Transfert en Boîte Blanche

• Auto-Élagage : L'élagage des neurones de sécurité dans les DLLM natifs (LLaDA, Dream) a augmenté les taux de succès d'attaque (ASR) de ~2,6 % à 73,8 % (LLaDA) et de 1,9 % à 86,6 % (Dream).
• Élagage de Transfert : L'élagage des neurones cartographiés de Qwen2.5 vers les DLLM cibles a augmenté l'ASR de 1,9 % à 73,2 % sur Dream et de 7,0 % à 86,3 % sur Fast-dLLM.
• Préservation de l'Utilité : L'utilité générale (mesurée via GSM8K) est restée largement intacte, avec une dégradation typiquement inférieure à 2-3 %, confirmant que les neurones de sécurité sont distincts des capacités linguistiques générales.

4.2. Transférabilité en Boîte Noire

• Performance : La Diffusion Guidée par les SN a atteint un ASR élevé sur divers cibles :
  • Llama-3-8B-Instruct : 77,1 %
  • Qwen2.5-7B-Instruct : 86,9 %
  • Gemini-2.5-Flash-Lite : 74,3 %
  • Fast-dLLM-v2-7B : 88,8 %
• Comparaison au SOTA : La méthode a surpassé NeuroStrike (ex: 83,3 % contre 54,7 % sur Gemini-2.0-Flash) et des cadres compétitifs comme Puzzler, tout en ne nécessitant que 20 épisodes de génération par prompt.
• Évasion de Défense : L'attaque est restée robuste face au filtrage de perplexité et à SmoothLLM. L'édition spécifique aux couches (LSE) a fourni la mitigation la plus forte mais n'a réduit l'ASR qu'à 69,0 % sur Llama-3, indiquant la nature systémique de la vulnérabilité.

4.3. Efficacité

Le cadre nécessite environ 1 920 évaluations de substitution par épisode. Avec un budget maximum de 20 épisodes par prompt, le coût computationnel total est de 38 400 évaluations de substitution par tentative adverse. Cela est de plusieurs ordres de grandeur inférieur aux millions de déploiements requis par les méthodes basées sur GRPO ou aux dizaines de milliers de requêtes requises par les méthodes de recherche itérative comme GCG.

5. Signification et Revendications

Le papier affirme que le passage aux paradigmes de génération basés sur la diffusion ne résout pas intrinsèquement les problèmes d'alignement de la sécurité ; au contraire, il peut propager les vulnérabilités existantes des modèles AR vers de nouvelles architectures. Les auteurs soutiennent que :

• La Sécurité est Sparse et Transférable : Les mécanismes de sécurité ne sont pas holistiques mais reposent sur des neurones localisés et épars qui sont préservés lorsque les DLLM sont initialisés à partir de poids AR. Cela crée une « épée à double tranchant » où le partage de poids pour la capacité partage également les vulnérabilités.
• Angles Mort Mécanistes : Il existe une « Zone de Jailbreak » dans l'espace d'activation où les prompts peuvent être structurellement optimisés pour minimiser l'activation des neurones de sécurité tout en conservant l'intention malveillante. Cette zone est accessible via le guidage de diffusion hors ligne.
• Efficacité des Attaques Mécanistes : En tirant parti de la modélisation de la distribution conjointe des DLLM, les attaquants peuvent contourner le besoin d'une optimisation en ligne coûteuse ou de l'apprentissage par renforcement, atteignant une haute transférabilité avec un coût de calcul minimal.

Les auteurs concluent que les futures stratégies d'alignement doivent aller au-delà du réglage comportemental de surface pour traiter ces vulnérabilités structurelles fondamentales, potentiellement en liant les représentations de sécurité aux capacités linguistiques centrales ou en perturbant la correspondance un-à-un des neurones de sécurité.