💻 computer science

SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs

Le document présente SafeNexus, un cadre d'alignement de sécurité cross-modal qui identifie et dirige les neurones de sécurité universels aux modalités par une suppression ciblée et une amplification d'activation afin de défendre robustement les grands modèles de langage multimodaux contre diverses menaces cross-modales tout en préservant l'utilité.

Auteurs originaux : Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Publié 2026-08-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense bibliothèque bouillonnante où les livres peuvent vous répondre. Pendant longtemps, ces livres parlants n'étaient que du texte, comme un chatbot très intelligent. Mais récemment, ils ont évolué pour devenir des « Modèles de Langage de Grande Taille Multimodaux » (MLLM). Voyez-les comme des super-bibliothécaires qui peuvent désormais lire du texte, regarder des images et écouter de l'audio, tout cela en même temps. Ils sont incroyablement utiles, mais ce nouveau super-pouvoir vient avec un piège : il ouvre de nouvelles façons pour les fauteurs de troubles de les duper. Tout comme un agent de sécurité dans un musée peut savoir reconnaître un faux tableau mais ne pas remarquer un faux enregistrement sonore, ces modèles d'IA ont souvent des gardes de sécurité qui ne fonctionnent que pour un type d'entrée. Si vous essayez de duper l'IA avec une image plutôt qu'avec des mots, ou un clip sonore plutôt qu'une phrase, les gardes pourraient passer à côté du danger sans le voir. La grande question que se posent les chercheurs est la suivante : comment construire un système de sécurité qui fonctionne, peu importe la manière dont le fauteur de troubles tente de s'introduire ?

C'est ici qu'une nouvelle étude appelée SafeNexus intervient. Les chercheurs, une équipe issue d'universités chinouses et singapouriennes, ont décidé de ne plus regarder la sécurité de l'IA de l'extérieur, mais de partir à la recherche d'un trésor à l'intérieur du « cerveau » de l'IA. Ils ont découvert que la capacité de l'IA à dire « non » aux requêtes malveillantes n'est pas dispersée de manière aléatoire ; elle est en réalité contrôlée par un petit groupe spécial d'interrupteurs internes appelés neurones.

Voici la partie intéressante : l'équipe a découvert que si différents types d'entrées (comme le texte, les images ou l'audio) utilisent différentes parties du cerveau pour traiter l'information, il existe un club secret et partagé de neurones qui fait office de « détecteur de danger » ultime pour tous ces types d'entrées. Ils les appellent les US-Neurons (Neurones de Sécurité Universels aux Modalités). C'est comme découvrir que, que vous essayiez de faire passer un couteau, une bombe ou une fausse pièce d'identité devant la sécurité, il y a une caméra de surveillance spécifique et minuscule dans le couloir qui repère tout cela. Si vous éteignez cette caméra, tout le bâtiment devient dangereux, quel que soit l'objet transporté par l'intrus.

L'article suggère que les méthodes précédentes tentaient de colmater les brèches de sécurité en réentraînant toute l'IA ou en ajoutant des filtres externes, ce qui revient à embaucher un nouvel agent de sécurité pour chaque porte. SafeNexus adopte une approche différente : il trouve ces quelques neurones critiques, ces « détecteurs de danger », et leur donne un coup de boost de super-puissance. L'équipe a testé deux méthodes :

L'Amplificateur : Pendant le processus de réflexion de l'IA, ils ont simplement augmenté le volume de ces neurones spécifiques, les faisant crier « DANGER ! » plus fort et plus vite.
Le Calibrateur : Ils ont offert à ces neurones spécifiques un petit réglage ciblé (en utilisant une méthode appelée LoRA) pour qu'ils deviennent naturellement meilleurs pour repérer les problèmes, sans avoir besoin de réentraîner toute l'IA.

Les résultats ont été impressionnants. Lorsqu'ils ont testé cela sur des modèles comme Qwen et VITA, ils ont constaté que le renforcement de ces quelques neurones rendait l'IA bien meilleure pour refuser les requêtes nuisibles, que la requête provienne de texte, d'une image ou d'un son. Crucialement, ils ont constaté que cela ne rendait pas l'IA « stupide » ou excessivement prudente. Elle ne commençait pas à refuser des questions inoffensives (comme « comment faire un gâteau ? »), et elle n'oubliait pas ses autres tâches. En fait, dans certains tests, la nouvelle méthode était bien plus efficace pour stopper les attaques que les meilleures méthodes actuelles, tout en ne modifiant que moins de 0,05 % de la puissance cérébrale totale de l'IA.

Les chercheurs ont également montré que ce tour de force fonctionne même sur des éléments sur lesquels ils ne l'ont pas explicitement entraînée, comme la vidéo. Bien qu'ils n'aient jamais montré de clips vidéo à l'IA pendant leur phase de « réglage », les neurones renforcés étaient toujours capables de détecter le danger dans les attaques vidéo. Cela suggère qu'ils ont réellement trouvé un mécanisme de sécurité central et universel plutôt que de simplement mémoriser des exemples spécifiques.

En résumé, SafeNexus suggère que nous n'avons pas besoin de reconstruire tout le système de sécurité de l'IA pour la rendre sûre dans tous les formats. Au lieu de cela, nous devons simplement trouver les quelques « freins » minuscules et universels à l'intérieur de la machine et nous assurer qu'ils fonctionnent à pleine puissance. C'est un peu comme réaliser que pour empêcher une voiture de rouler trop vite, il ne faut pas remplacer tout le moteur, mais simplement s'assurer que la pédale de frein est bien reliée aux roues.

Résumé Technique : SafeNexus

Énoncé du Problème

Bien que les grands modèles de langage (LLM) aient démontré une performance de sécurité robuste, leur évolution vers des modèles de langage de grande taille multimodaux (MLLM) a révélé un écart significatif entre l'expansion des capacités multimodales et les mécanismes de sécurité existants. Les stratégies de défense actuelles sont principalement confinées à des configurations de modalités spécifiques (par exemple, la défense uniquement par l'image ou uniquement par le texte), ce qui les rend inadéquates face aux attaques cross-modales sophistiquées où les adversaires exploitent les interactions entre le texte, l'image et l'audio pour contourner les garde-fous. De plus, les approches de défense cross-modales existantes traitent souvent les mécanismes de sécurité internes comme une « boîte noire » ou reposent sur un alignement basé sur l'entraînement, coûteux en calcul, qui risque d'entraîner un oubli catastrophique des capacités générales. Il existe un manque critique de compréhension concernant les mécanismes internes intrinsèques régissant les comportements de sécurité à travers diverses modalités.

Méthodologie : SafeNexus

Le document propose SafeNexus, un cadre d'alignement de la sécurité cross-modale qui adopte une stratégie d'intervention au niveau des neurones de type « localiser puis renforcer ». La méthodologie se déroule en trois étapes principales :

1. Localisation et Identification des Neurones

Les auteurs formulent un paradigme pour identifier les neurones fonctionnellement spécialisés en caractérisant les motifs d'activation des couches intermédiaires.

Évaluation de l'importance : Les neurones sont définis comme des vecteurs lignes individuels au sein des matrices de projection ascendante (up-projection) ou de projection de porte (gate-projection) du réseau de neurones à propagation avant (FFN). Leur contribution est quantifiée en agrégeant les magnitudes d'activation sur un corpus de sondage et en les intégrant à la direction de la projection descendante pour dériver un score d'importance sensible à la sortie.
Neurones de Sécurité Liés à la Modalité (BS-Neurons) : En utilisant des ensembles de données contrastives comprenant des requêtes nuisibles (jailbreak) et bénignes pour des modalités spécifiques (Texte, Image, Audio), les auteurs identifient les neurones qui sont hautement actifs lors des réponses nuisibles mais pas lors des réponses bénignes. Ceux-ci sont nommés BS-Neurons ( $BS^c$ ).
Neurones de Sécurité Universels à la Modalité (US-Neurons) : En intersectant les ensembles de BS-Neurons identifiés à travers différentes modalités ( $US = BS^T \cap BS^I \cap BS^A$ ), les auteurs isolent un sous-ensemble compact et partagé de neurones. Il est hypothétisé que ces US-Neurons régissent la sécurité multimodale globale, quelle que soit la modalité d'entrée.

2. Validation via la Suppression Ciblée

Les auteurs valident le rôle critique de ces neurones par des expériences de suppression (masquage) ciblées :

Validation des BS-Neurons : Le masquage des BS-Neurons spécifiques à une modalité provoque une dégradation significative de la performance de sécurité (mesurée par le taux de réussite d'attaque, ASR) dans cette modalité spécifique, tandis que le masquage aléatoire de neurones n'a que des effets négligeables.
Validation des US-Neurons : Le masquage des US-Neurons partagés entraîne une détérioration prononcée des performances défensives dans tous les contextes d'entrée multimodaux divers (par exemple, texte seul, texte-image, texte-audio), confirmant leur rôle d'ancre de sécurité centrale. Crucialement, cette suppression ne dégrade pas substantiellement l'utilité générale du modèle.

3. Stratégies d'Alignement de la Sécurité

Sur la base de la découverte que le renforcement des US-Neurons améliore la sécurité, SafeNexus propose deux stratégies d'intervention distinctes :

Amplificateur de Sécurité au Niveau de l'Activation : Une approche sans entraînement qui met directement à l'échelle les magnitudes d'activation des US-Neurons pendant l'inférence par un coefficient $\alpha$ spécifié manuellement. Cela amplifie le signal de sécurité sans mettre à jour les paramètres du modèle.
Calibreur de Neurones de Sécurité : Une approche de fine-tuning ciblé utilisant l'adaptation de bas rang (LoRA). Contrairement au LoRA standard qui met à jour tous les paramètres, cette méthode contraint les mises à jour entraînables exclusivement aux US-Neurons (environ 0,05 % des paramètres du backbone). Cela calibre sélectivement les neurones pour améliorer l'alignement de la sécurité tout en préservant les capacités générales et en évitant l'oubli catastrophique.

Contributions Clés

Découverte de Sous-espaces de Sécurité : Le papier identifie et valide l'existence de BS-Neurons (liés à la modalité) et de US-Neurons (universels à la modalité), révélant que la sécurité multimodale dans les MLLM est principalement régie par un sous-ensemble de neurones partagé et très compact.
Stratégies d'Alignement Efficaces : Les auteurs proposent deux stratégies efficaces — l'Amplificateur de Sécurité au Niveau de l'Activation et le Calibreur de Neurones de Sécurité — qui améliorent considérablement la robustesse du modèle contre les entrées multimodales nuisibles.
Supériorité Empirique : Des expériences approfondies démontrent que SafeNexus atteint des performances de pointe sur divers benchmarks de sécurité multimodale (incluant Omni-Safe, HarmBench et JALM) tout en préservant efficacement l'utilité générale du modèle et en évitant les comportements de refus trop conservateurs.

Résultats Expérimentaux

Les auteurs ont évalué SafeNexus sur trois MLLM open-source (Qwen2.5-Omni, VITA et MiniCPM-o) à travers diverses combinaisons de modalités (Texte, Image, Audio et leurs combinaisons).

Performance de Sécurité : SafeNexus surpasse les méthodes de pointe actuelles (incluant les approches basées sur l'entraînement comme SPA-VL et les interventions au moment de l'inférence comme ECSO et Immune). Par exemple, sur le modèle MiniCPM avec des entrées Texte+Image+Audio, la stratégie de calibreur a réduit l'ASR de plus de 60 %, surpassant nettement les bases de référence.
Préservation de l'Utilité : La méthode maintient une haute précision sur les benchmarks de capacités générales (OmniBench, AV-Odyssey), montrant une dégradation négligeable par rapport aux modèles originaux.
Sur-Refus : L'approche évite l'effet secondaire de refus excessif des requêtes bénignes, avec une augmentation du taux de refus sur les prompts bénins restant inférieure à 3 %, alors que d'autres méthodes (par exemple, SARSteer) ont montré des augmentations d'environ 18 %.
Transfert Zero-Shot : La méthode a démontré une généralisabilité zero-shot à la modalité vidéo sans qu'aucune donnée vidéo n'ait été utilisée lors des étapes de sondage ou de renforcement, réduisant l'ASR sur les benchmarks liés à la vidéo.
Efficacité des Paramètres : Le Calibreur de Neurones de Sécurité met à jour moins de 0,05 % des paramètres du modèle, atteignant un alignement de sécurité supérieur par rapport au fine-tuning de tous les paramètres ou au réglage de neurones aléatoires.

Signification

Le papier affirme que SafeNexus répond à la limitation critique des mécanismes de sécurité actuels qui sont confinés à des réglages de modalités fixes. En révélant que la sécurité cross-modale est régie par un sous-ensemble de neurones partagé et compact, ce travail fournit une compréhension mécaniste de la manière dont les MLLM traitent la sécurité à travers des entrées hétérogènes. La stratégie proposée de « localiser puis renforcer » offre une solution hautement efficace, interprétable et robuste pour aligner les MLLM, prouvant qu'une intervention ciblée au niveau des neurones peut neutraliser efficacement les menaces cross-modales sans compromettre l'utilité générale du modèle ni nécessendre un réentraînement coûteux.