💻 computer science

The Linear Geometry of Interpretable Tokens: Jailbreaking Attacks and Defenses for Unlearned Diffusion Models

Cet article révèle que les concepts effacés dans les modèles de diffusion désappris persistent sous forme de sous-espaces linéaires cohérents au sein des plongements de jetons, menant au développement de SubAttack, une méthode de jailbreaking puissante qui exploite cette structure, et de SubDefense, un mécanisme léger qui projette le sous-espace pour supprimer de manière robuste les concepts nocifs résiduels tout en préservant la qualité de génération.

Auteurs originaux : Siyi Chen, Yimeng Zhang, Sijia Liu, Qing Qu

Publié 2026-08-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siyi Chen, Yimeng Zhang, Sijia Liu, Qing Qu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs peuvent peindre des tableaux simplement en écoutant vos paroles. Vous dites : « un chat portant un chapeau », et pouf, une image parfaite apparaît. On appelle cela des Modèles de Diffusion, et ce sont comme des artistes numériques qui ont appris à créer en étudiant des millions de photos. Mais parfois, ces artistes deviennent un peu trop doués pour se souvenir de choses qu'ils ne devraient pas. Si vous leur demandez de dessiner quelque chose de dangereux ou protégé par des droits d'auteur, ils pourraient le faire quand même. Pour correr cela, les scientifiques ont inventé un processus appelé « Désapprentissage » (Unlearning). Imaginez cela comme un professeur essayant de faire oublier un fait spécifique à un élève, comme la capitale d'un pays, sans lui faire oublier comment faire des mathématiques ou lire. Le but est d'« effacer » la mauvaise idée du cerveau de l'ordinateur tout en préservant sa capacité à dessiner tout le reste. Mais voici la partie délicate : même après que le professeur a dit : « Oublie ce fait », l'élève peut encore avoir une façon secrète de s'en souvenir, cachée d'une manière que nous ne pouvons pas facilement voir. Ce document plonge dans ce mystère, en posant la question : Si nous pensons avoir effacé une mauvaise idée, où se cache-t-elle réellement, et comment pouvons-nous enfin s'en débarrasser ?

Les chercheurs de cet article ont découvert que lorsqu'un modèle de diffusion tente de « désapprendre » un concept nocif (comme la nudité ou le style d'un artiste spécifique), il ne le supprime pas réellement. Au lieu de cela, le concept se cache dans un sous-espace linéaire secret au sein de la mémoire de l'ordinateur. Pour utiliser une métaphore, imaginez que le cerveau de l'ordinateur est une immense bibliothèque de mots. Lorsque nous essayons de retirer le livre sur la « Nudité », l'ordinateur ne brûle pas le livre. Au lieu de cela, il déchire les pages et cache les fragments dans un tiroir spécifique et invisible de la bibliothèque. L'article montre que ces fragments sont toujours organisés en une ligne nette et prévisible. Les auteurs appellent ce tiroir caché un « sous-espace résiduel ».

Pour prouver cela, l'équipe a créé un nouvel outil appelé SubAttack. Au lieu de deviner des mots aléatoires pour tromper l'ordinateur (ce qui est la méthode des anciens hackers), SubAttack agit comme un maître bibliothécaire qui sait exactement où se trouve ce tiroir invisible. Il apprend un ensemble spécial de « clés magiques » (qui sont simplement des combinaisons de mots normaux) qui ouvrent le tiroir. Lorsqu'ils ont utilisé ces clés, l'ordinateur « désappris » a immédiatement recommencé à dessiner les images nocives, prouvant que le concept n'était jamais vraiment parti. Ce qui est fascinant, c'est que ces clés sont composées de mots que nous comprenons. Par exemple, pour forcer l'ordinateur à dessiner à nouveau une personne « nue », les clés pourraient être un mélange de mots comme « esclave », « hanches » et « peau ». Cela montre que l'ordinateur fait toujours le lien entre la mauvaise idée et ces indices cachés et apparentés.

L'article a également révélé que ce tiroir secret n'est pas seulement présent dans un seul ordinateur ; il se trouve dans de nombreux modèles « désappris » différents. Si vous trouvez la clé pour un modèle, elle fonctionne souvent sur les autres aussi. Cela suggère que la façon dont ces ordinateurs « oublient » est défaillante de manière très similaire partout. Ils ne suppriment pas la mémoire ; ils la cachent simplement d'une manière qui suit une ligne droite et prévisible.

Mais l'histoire ne s'arrête pas avec le piratage. Parce que les chercheurs ont compris exactement comment le concept se cachait, ils ont construit un bouclier appelé SubDefense. Si SubAttack est la clé qui ouvre le tiroir, SubDefense est une plaque de métal lourde qui soude ce tiroir. Cela fonctionne en prenant toute la bibliothèque de mots de l'ordinateur et en les « projetant » mathématiquement loin de ce tiroir secret. C'est comme dire au bibliothécaire : « Peu importe le mot que vous utilisez, assurez-vous qu'il ne pointe jamais vers ce tiroir caché spécifique ».

Les résultats ont été impressionnants. Lorsqu'ils ont utilisé SubDefense, l'ordinateur est devenu beaucoup plus difficile à tromper. Même lorsque des hackers tentaient d'utiliser les anciennes méthodes ou les nouvelles clés de SubAttack, l'ordinateur refusait de dessiner les images nocives. Parallèlement, l'ordinateur n'a pas perdu sa capacité à dessiner des images sûres et magnifiques. En fait, les images qu'il dessinait après la défense étaient tout aussi de haute qualité qu'avant. L'article suggère que bien que nous ne puissions pas encore effacer parfaitement le concept, nous pouvons au moins bloquer le chemin spécifique qu'il utilise pour se faufiler de nouveau. Cela nous donne une nouvelle façon claire de comprendre pourquoi le « désapprentissage » est si difficile et offre un correctif pratique et prêt à l'emploi pour rendre ces artistes numériques plus sûrs pour tout le monde.

Résumé Technique : La Géométrie Linéaire des Tokens Interprétables dans les Modèles de Diffusion Désappris

Énoncé du Problème
Les modèles de diffusion (DM), particulièrement les modèles de Texte-vers-Image (T2I), excellent dans la génération de contenus de haute qualité mais posent des risques de sécurité en pouvant mémoriser et reproduire des concepts nocifs (par exemple, la nudité, des styles protégés par le droit d'auteur ou des objets spécifiques). Des méthodes de Désapprentissage Automatique (Machine Unlearning - MU) ont été développées pour « effacer » ces concepts de modèles pré-entraînés via un ajustement fin (fine-tuning) sans nécessiter un réentraînement complet. Cependant, les méthodes de désapprentissage existantes peinent à supprimer totalement les concepts nocifs tout en maintenant la qualité de génération sur les contenus sûrs. Par conséquent, les modèles désappris restent vulnérables aux attaques de jailbreak, où des adversaires manipulent les prompts pour régénérer les concepts effacés.

Les approches actuelles de jailbreak (par exemple, l'optimisation de prompts adverses ou les attaques basées sur les embeddings) reposent souvent sur des perturbations non interprétables et basées sur l'optimisation. Bien qu'efficaces, ces méthodes offrent une compréhension limitée de comment les concepts nocifs persistent dans l'état interne du modèle. Ce manque d'interprétabilité entrave le développement de stratégies de défense ciblées et robustes. De plus, les mécanismes de défense légers et post-hoc, opérant sur des modèles déjà désappris, restent peu explorés par rapport aux approches de ré-entraînement adverses.

Méthodologie
Les auteurs proposent que les concepts effacés ne disparaissent pas entièrement, mais persistent sous la forme d'un sous-espace linéaire cohérent et interprétable au sein de l'espace d'embedding des tokens du codeur de texte CLIP utilisé par les Modèles de Diffusion Latente (LDM). Sur la base de cette hypothèse, ils introduisent deux méthodes complémentaires : SubAttack et SubDefense.

SubAttack (Attaque par Sous-Espace) :
- Objectif : Identifier et exploiter le sous-espace résiduel d'un concept nocif.
- Mécanisme : La méthode apprend un ensemble d'embeddings de tokens orthogonaux $\{v_{att, k}\}$ qui engendrent le sous-espace résiduel. Chaque embedding est contraint d'être une combinaison linéaire non négative d'embeddings de tokens existants du vocabulaire ( $v_{att} = \sum \alpha_i v_i, \alpha_i \geq 0$ ).
- Optimisation : Un réseau MLP est entraîné pour optimiser les coefficients $\alpha_i$ afin de minimiser la perte de débruitage (denoising loss) lorsque l'image générée contient le concept nocif cible.
- Déflation : Pour apprendre plusieurs embeddings orthogonaux, les auteurs emploient une stratégie de déflation. Après l'apprentissage de $v_{att, k}$ , ils projettent l'ensemble du vocabulaire orthogonalement à $v_{att, k}$ avant d'apprendre l'embedding suivant. Cela garantit la diversité et permet de capturer l'intégralité du sous-espace du concept résiduel.
- Interprétabilité : Puisque les embeddings sont des combinaisons linéaires de tokens existants, les tokens les plus pondérés peuvent être extraits et analysés (par exemple, via des nuages de mots/WordClouds) pour révéler les composantes sémantiques (par exemple, « esclave », « hanches », « mamelon ») que le modèle désappris associe encore au concept effacé.
SubDefense (Défense par Sous-Espace) :
- Objectif : Neutraliser le sous-espace résiduel identifié par SubAttack.
- Mécanisme : Une fois le sous-espace d'attaque $V_{att}$ (engendré par les embeddings orthogonaux appris) identifié, SubDefense projette les embeddings de tokens du vocabulaire du modèle désappris sur l'espace nul (nullspace) de $V_{att}$ .
- Règle de mise à jour : Pour chaque embedding de token $v_i$ dans le vocabulaire, la défense met à jour l'embedding comme suit : $v_{def, i} = v_i - \text{Proj}_{V_{att}}(v_i)$ .
- Plug-and-Play : Cette opération est légère et ne nécessite pas de ré-entraîner les poids du modèle de diffusion. Elle peut être appliquée à n'importe quel modèle désappris, y compris ceux ayant subi un ajustement fin adversaire.

Principales Contributions

Identification de Sous-Espaces Résiduels Interprétables : L'article démontre que les concepts nocifs dans les DM désappris persistent sous la forme d'un sous-espace linéaire dans l'espace d'embedding des tokens, composé d'éléments textuels interprétables par l'humain.
SubAttack : Une nouvelle attaque de jailbreak interprétable qui apprend des embeddings de tokens orthogonaux pour engendrer ce sous-espace. Elle surpasse les bases de référence existantes en termes de Taux de Succès d'Attaque (ASR) et démontre une haute transférabilité à travers différents prompts, bruits initiaux et modèles désappris.
SubDefense : Un mécanisme de défense robuste et léger qui projette le sous-espace résiduel identifié. Il améliore la robustesse contre diverses attaques de jailbreak (incluant les prompts adverses et les attaques d'embeddings) tout en préservant mieux la qualité de génération sûre par rapport aux défenses existantes comme RECE.
Aperçu des Limites du Désapprentissage : Ce travail révèle que le désapprentissage supprime souvent les mots-clés de surface mais échoue à éliminer les associations implicites plus profondes (par exemple, « benne » pour « camion poubelle » ou « esclave » pour « nudité »), qui sont capturées par le sous-espace linéaire.

Résultats Expérimentaux

Performance d'Attaque : SubAttack a obtenu un ASR significativement plus élevé que les bases de référence (UnlearnDiff et CCE) sur plusieurs concepts (nudité, style Van Gogh, église) et modèles désappris (ESD, FMN, UCE, SPM). Par exemple, sur le concept de « nudité » à travers ESD, FMN, UCE et SPM, SubAttack a atteint des ASR de 97,56 %, 100 %, 81,67 % et 74,89 % respectivement, surpassant CCE et UnlearnDiff.
Transférabilité : Les embeddings d'attaque appris sur un modèle désappri (ex: ESD) se sont transférés efficacement vers d'autres (FMN, SPM, UCE), et même vers le modèle Stable Diffusion original, avec des ASR systématiquement supérieurs à 80 %.
Performance de Défense : SubDefense a considérablement réduit l'ASR pour diverses attaques. Par exemple, en défendant UCE contre SubAttack sur le concept « Van Gogh », l'ASR est passé de 98,33 % à 29,44 %. Il a également réduit l'ASR pour les attaques UnlearnDiff et CCE.
Préservation de la Qualité : Contrairement à certaines défenses qui dégradent la qualité d'image, SubDefense maintient ou améliore les scores FID et CLIP sur les prompts sûrs (jeu de données MSCOCO-10k) par rapport à la défense de base RECE.
Complémentarité : Il a été démontré que SubDefense est efficace même lorsqu'il est appliqué sur des modèles ayant subi un ajustement fin adversaire comme STEREO, réduisant davantage l'ASR de 21,67 % à 6,67 %, indiquant qu'il traite une vulnérabilité différente (résiduelle linéaire) de celle de l'entraînement adversaire.

Signification et Revendications
L'article affirme que la persistance des concepts nocifs dans les modèles désappris n'est pas un bruit aléatoire, mais un phénomène linéaire structuré qui peut être à la fois exploité et atténué. En formulant le problème à travers le prisme de la géométrie linéaire dans les embeddings de tokens, les auteurs fournissent un cadre unifié pour comprendre les vulnérabilités (SubAttack) et construire des défenses (SubDefense).

La signification réside dans le passage d'un paradigme d'attaques opaques basées sur l'optimisation à une analyse basée sur les sous-espaces et l'interprétabilité. Cette approche non seulement expose des vulnérabilités plus profondes dans les techniques de désapprentissage actuelles, mais offre également une stratégie de défense pratique et agnostique vis-à-vis du modèle, qui ne nécessite pas de ré-entraînement. Les auteurs soulignent que, bien que la projection linéaire ne puisse pas capturer les restes non linéaires (une limitation qu'ils reconnaissent), traiter le sous-espace résiduel linéaire constitue une première étape critique vers des mécanismes de sécurité plus robustes et interprétables pour l'IA générative.

Résumé Technique : La Géométrie Linéaire des Tokens Interprétables dans les Modèles de Diffusion Désappris

Articles similaires