Résumé Technique : NeuronFuzz

Problématique

L'évaluation de la sécurité est cruciale pour garantir que les modèles de langage de grande taille (LLM) alignés restent robustes face aux attaques par débridage (jailbreak). Cependant, les méthodes de test automatisées existantes reposent lourdement sur un retour au niveau de la réponse. Dans ce paradigme, chaque prompt candidat doit être soumis au modèle cible, une réponse doit être générée via un décodage autorégressif, et la sortie est ensuite évaluée par un classificateur ou un juge. Cette approche présente deux limitations fondamentales :

1. Retour de recherche éparse : Sur les modèles fortement alignés, la plupart des prompts mutés sont rejetés, ce qui aboutit au même résultat d'« échec ». L'évaluation au niveau de la réponse ne peut pas distinguer un candidat qui laisse le mécanisme de sécurité inchangé d'un candidat qui l'affaiblit considérablement mais ne parvient pas à produire un débridage réussi. Ce manque de granularité offre aux fuzzer un guidage limité sur les candidats à conserver.
2. Génération de réponse coûteuse : Générer une réponse complète pour chaque candidat est beaucoup plus coûteux en termes de calcul que le traitement du seul prompt d'entrée. Cela crée un goulot d'étranglement pour la mise à l'échelle du fuzzing automatisé, qui nécessite l'évaluation d'un grand nombre de candidats.

Méthodologie : NeuronFuzz

Le papier propose NeuronFuzz, un cadre de fuzzing en boîte blanche qui remplace l'évaluation coûteuse et éparse au niveau de la réponse par un retour interne continu dérivé des activations des neurones de sécurité. Le cadre opère en deux étapes principales :

1. Construction du SafetyOracle

Le cœur de NeuronFuzz est un SafetyOracle léger qui cartographie les activations internes du modèle vers un « score d'alarme de sécurité » ($S_{alarm}$) continu.

• Extraction d'activation invariante au template : Pour s'assurer que le signal capture l'intention malveillante plutôt que les artefacts du template de débridage, les auteurs construisent des paires d'entrées partageant le même template de débridage mais contenant soit des charges utiles (payloads) malveillantes, soit bénignes. Ils extraient les activations des projections de porte (gate) et de montée (up) des blocs MLP du Transformer lors de la phase de prefill (avant la génération de la réponse).
• Sélection de neurones sensible à la stabilité : Les activations brutes sont de haute dimension et bruitées. Les auteurs emploient un processus de sélection de stabilité basé sur le bootstrap pour identifier un ensemble compact de « neurones de sécurité ». Ce sont des neurones qui montrent systématiquement des coefficients positifs pour les entrées malveillantes à travers des ensembles d'entraînement rééchantillonnés, garantissant ainsi une robustesse contre la variation d'échantillonnage.
• Tête de score : Un modèle de régression logistique avec une régularisation Elastic Net est entraîné pour mapper les activations des neurones sélectionnés vers un score continu $S_{alarm}(x) \in (0, 1)$. Un score plus élevé indique une reconnaissance interne plus forte de l'intention malveillante, tandis qu'un score plus faible suggère que le mécanisme de sécurité est contourné.

2. Pipeline de Fuzzing Guidé par le Gradient

NeuronFuzz intègre le SafetyOracle dans une boucle de fuzzing qui évite la génération de réponses pour les candidats intermédiaires :

• Ordonnancement des graines (Seed Scheduling) : Utilise la recherche arborescente Monte Carlo (MCTS) pour sélectionner des templates de débridage prometteurs pour la mutation.
• Mutation guidée par le gradient : Puisque le score du SafetyOracle est différentiable par rapport aux embeddings d'entrée, le cadre calcule des gradients pour identifier les positions de tokens sensibles à la sécurité au sein du template.
• Mutation compatible avec le contexte : Un modèle de langue masqué (MLM) est utilisé pour générer des remplacements fluides pour les positions sensibles sélectionnées. Crucialement, les mutations sont restreintes au template de débridage uniquement ; la charge utile malveillante reste gelée. Cela préserve la structure du langage naturel et l'intention malveillante centrale tout en explorant les variations dans le cadrage du prompt.
• Boucle de rétroaction : Les candidats sont évalués via un passage de prefill uniquement pour collecter les activations des neurones de sécurité. Le SafetyOracle assigne un score continu, qui sert de signal de récompense pour mettre à jour l'ordonnanceur de graines. Le modèle cible ne génère une réponse que pour la vérification finale d'un débridage réussi.

Contributions Clés

1. Nouvelle perspective de fuzzing : Introduit l'utilisation des activations internes des neurones de sécurité comme retour d'exécution, remplaçant l'évaluation coûteuse au niveau de la réponse par un signal continu disponible lors du prefill.
2. Conception du SafetyOracle : Développe un oracle léger basé sur l'extraction d'activation invariante au template et la sélection de neurones sensible à la stabilité. Son score différentiable guide à la fois le classement des candidats et la localisation des positions de tokens sensibles à la sécurité dans le template.
3. Cadre NeuronFuzz : Combine le retour de prefill uniquement avec la mutation de tokens masqués guidée par le gradient pour explorer efficacement les templates de débridage tout en préservant la charge utile malveillante et la structure du langage naturel.
4. Évaluation approfondie : Valide l'approche sur 21 modèles textuels et multimodaux, démontrant des améliorations en termes de découverte de débridage, d'efficacité et de transférabilité.

Résultats Expérimentaux

Les auteurs ont évalué NeuronFuzz sur cinq modèles sources en boîte blanche (DeepSeek-R1-14B, GPT-OSS-20B, Gemma-3-4B-it, Gemma-4-E4B-it, Llama-3.1-8B-Instruct) et ont testé la transférabilité sur 16 modèles cibles supplémentaires (incluant des API propriétaires).

• Taux de découverte de débridage (JDR) : NeuronFuzz a atteint un JDR de 76 à 100 % sur les cinq modèles sources, surpassant les bases de référence (GCG, AutoDAN, PAIR, LLM-Fuzzer) jusqu'à 48 points de pourcentage sur les modèles fortement alignés (ex: 96 % sur GPT-OSS-20B contre 48 % pour LLM-Fuzzer).
• Efficacité : En éliminant la génération de réponse pour les candidats intermédiaires, NeuronFuzz a atteint un Nombre de Générations de Réponse par Découverte (RGD) de 1,0 (ne générant une réponse que pour la vérification finale). Cela a entraîné un temps de bout en bout (ETD) par découverte nettement inférieur par rapport aux bases de référence, qui nécessitaient souvent des centaines de générations de réponses.
• Templates Universels : Le cadre a réussi à optimiser des templates partagés qui se généralisent à différentes charges utiles malveillantes, atteignant un Taux de Succès d'Attaque d'Ensemble (EASR) de 92,6 % (top-5 templates) sur les cibles en boîte blanche.
• Transférabilité : Les templates optimisés ont été transférés en zéro-shot vers des modèles cibles en poids ouverts et propriétaires. Sur les modèles en poids ouverts, l'approche a atteint un ASR moyen de 69,6 % et un EASR top-5 de 92,6 %. Sur les API propriétaires, elle a atteint un ASR moyen de 44,1 % et un EASR top-5 de 60,0 %.
• Validité de l'Oracle : Le score d'alarme de sécurité a montré une forte corrélation négative (coefficients de Spearman $\approx -0,96$) avec les taux de succès de débridage, confirmant que les scores de sécurité internes plus bas prédisent de manière fiable les débridages réussis avant même qu'une réponse ne soit générée.

Signification et Revendications

Le papier affirme que NeuronFuzz répond aux inefficacités fondamentales des tests de sécurité automatisés actuels en exploitant l'état interne des LLM. Sa signification réside dans :

• Surmonter la parcité : Fournir un signal de retour dense et continu qui permet aux fuzzer de distinguer les candidats échoués « prometteurs » des candidats « non prometteurs », une capacité absente des méthodes au niveau de la réponse.
• Scalabilité : Réduire drastiquement le coût computationnel de l'évaluation de la sécurité en supprimant le besoin de décodage autorégressif pendant la phase de recherche.
• Robustesse : Démontrer que les signaux de sécurité internes restent informatifs même sur les modèles fortement alignés où le retour au niveau de la réponse est souvent binaire et peu informatif.

Les auteurs positionnent NeuronFuzz comme un outil destiné aux évaluateurs autorisés (développeurs, auditeurs) pour identifier systématiquement les faiblesses de sécurité avant le déploiement, et comme une méthode pour les adversaires afin d'optimiser les débridages transférables, soulignant la nature à double usage de l'analyse interne des modèles.