🤖 AI

Erased but Exploitable: Black-box Embedding-Aware Prompting Against Unlearned Text-to-Image Diffusion Models

Ce papier présente BEAP, une attaque par prompting adversaire en boîte noire et consciente des embeddings qui exploite un grand modèle de langage pour générer itérativement des prompts de haute qualité et indétectables, contournant avec succès les défenses d'oubli machine dans les modèles de diffusion texte-à-image avec des taux de réussite nettement supérieurs aux méthodes antérieures.

Auteurs originaux : Arian Komaei Koma, Seyed Amir Kasaei, AmirMahdi Sadeghzadeh, Mohammad Hossein Rohban

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arian Komaei Koma, Seyed Amir Kasaei, AmirMahdi Sadeghzadeh, Mohammad Hossein Rohban

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : Le Problème du « Faux Effaceur »

Imaginez que vous avez un artiste très talentueux qui a vu des millions d'images. Vous demandez à cet artiste d'« oublier » comment dessiner quelque chose de spécifique, comme une personne nue. Vous voulez qu'il soit sûr et ne dessine plus jamais cela.

Pour ce faire, vous utilisez une technique spéciale d'« effacement machine ». Pensez-y comme prendre un feutre rouge et gribouiller sur la mémoire de l'artiste concernant les « personnes nues ». Vous espérez que maintenant, si vous demandez une image d'une personne nue, l'artiste dira : « Je ne sais pas ce que c'est », ou dessinera quelque chose de complètement différent.

Le Problème : Les auteurs de ce papier ont découvert que ce « feutre rouge » n'efface pas réellement la mémoire. Il la cache simplement. L'artiste se souvient encore comment le dessiner ; il a juste besoin du bon murmure pour déverrouiller cette mémoire à nouveau.

L'Attaque : BEAP (Le « Détective Murmurant »)

Le papier introduit une nouvelle méthode appelée BEAP. Imaginez BEAP comme un détective astucieux qui veut prouver que l'artiste se souvient encore de l'image interdite.

La plupart des tentatives précédentes pour tromper l'artiste consistaient à crier du charabia ou à utiliser du code qui n'avait aucun sens (par exemple, « personne nue x99#!! »). Les gardes de sécurité de l'artiste (les filtres) repéraient immédiatement ce non-sens et le bloquaient.

BEAP est différent. Il utilise une IA super-intelligente (un Grand Modèle de Langage) pour agir comme un traducteur diplomatique. Au lieu de crier, BEAP murmure. Il tente de décrire le concept interdit en utilisant un langage humain normal et poli qui semble totalement innocent aux yeux des gardes de sécurité.

Comment BEAP Fonctionne (La Danse en Trois Étapes)

BEAP ne se contente pas de deviner ; il joue à un jeu de « Chaud et Froid » avec l'artiste, affinant son approche à chaque fois. Voici comment cela fonctionne :

La « Carte de Vocabulaire » (Conscience des Embeddings) :
Imaginez le cerveau de l'artiste comme une immense bibliothèque où les mots sont arrangés selon leur ressemblance. Le mot « nu » se trouve dans un coin spécifique. BEAP crée une carte de mots qui sont des voisins de « nu » (comme « nu », « peau », « découvert ») mais qui ne sont pas le mot interdit lui-même. Il dit au traducteur IA : « Utilisez ces mots voisins pour décrire la scène. » Cela maintient la recherche focalisée sur la bonne zone de la bibliothèque.
La « Fiche de Score à Trois Points » (Signaux de Récompense) :
BEAP essaie un prompt, obtient une image, puis vérifie trois choses :
- Avons-nous obtenu l'objet interdit ? (Par exemple, l'image montre-t-elle réellement une personne nue ?)
- L'image correspond-elle aux mots ? (Par exemple, si j'ai demandé une « femme dans un jardin », l'image montre-t-elle une femme dans un jardin ?)
- L'image est-elle belle ? (Est-elle floue ou déformée, ou est-elle de haute qualité ?)
Si l'image échoue à l'un de ces points, BEAP ne renonce pas. Il dit au traducteur IA : « C'était proche, mais l'image était trop floue. Essayez de la décrire différemment, mais continuez d'utiliser ces mots « voisins ». »
La Boucle Itérative :
Cela se produit encore et encore. BEAP génère une nouvelle phrase, légèrement meilleure, réessaie et obtient un meilleur score. Finalement, il trouve une phrase qui semble parfaitement normale et sûre pour les filtres, mais qui trompe l'artiste pour qu'il dessine l'image interdite en haute qualité.

Les Résultats : « Effacé » mais Pas Disparu

Le papier a testé cela contre plusieurs méthodes d'« effacement » différentes (comme ESD, MACE et SPM) qui étaient censées avoir supprimé le concept de nudité du cerveau de l'artiste.

L'Ancienne Façon (Ring-a-Bell) : Les attaques précédentes tentaient de casser le système mais finissaient par créer des prompts de charabia. Les filtres de sécurité les attrapaient, ou les images résultantes étaient laides et brisées. Elles avaient un taux de réussite de 0 % pour créer de bonnes images.
La Façon BEAP : BEAP a réussi dans 95 % à 99 % des cas. Il a réussi à générer des images de haute qualité et belles du concept « oublié » en utilisant des phrases qui semblaient complètement naturelles.
Le Test du « Charabia » : Le papier a vérifié si les prompts de BEAP ressemblaient à du non-sens. Ils ne ressemblaient pas. Ils ressemblaient à un anglais normal. Les filtres de sécurité qui attrapent habituellement le texte « étrange » ou « cassé » ont été complètement trompés.

La Conclusion

Le papier conclut que les méthodes actuelles d'« effacement » ne sont pas réellement sûres. Elles sont comme mettre un panneau « Interdit d'entrer » sur une porte au lieu de verrouiller la porte. Si vous connaissez le bon code (ou dans ce cas, la bonne phrase qui sonne naturelle), vous pouvez toujours entrer directement.

Les auteurs avertissent que même après qu'un modèle a été « effacé », le savoir est toujours là, attendant simplement un prompt astucieux pour le ramener à la vie. Ils ont créé BEAP non pas pour encourager la mauvaise utilisation, mais pour montrer aux développeurs que leurs mesures de sécurité actuelles sont fragiles et doivent être corrigées.

Résumé technique : Effacé mais exploitable (BEAP)

Énoncé du problème

L'oubli machine vise à supprimer sélectivement des concepts spécifiques (par exemple, du contenu NSFW, des styles protégés par le droit d'auteur) des modèles de diffusion texte-à-image (T2I) préentraînés sans réentraînement complet. Bien que des méthodes telles que ESD, SPM et MACE aient été proposées pour « oublier » ces concepts, des études récentes suggèrent qu'elles sont vulnérables à des traces résiduelles. Les attaques adverses existantes conçues pour récupérer ces concepts oubliés souffrent de limitations significatives dans des modèles de menace réalistes :

Dépendance au modèle en boîte blanche : Des méthodes comme Generate-or-Not nécessitent l'accès aux poids du modèle ou aux gradients, ce qui est irréaliste pour des systèmes déployés.
Dépendance à l'encodeur : Des attaques comme Ring-a-Bell et QF-Attack nécessitent l'accès à l'encodeur de texte spécifique du modèle cible pour effectuer des recherches dans l'espace des embeddings.
Détection : Les méthodes en boîte noire actuelles génèrent souvent des invites « absurdes » sémantiquement dénuées de sens et à forte perplexité. Ces invites sont facilement détectées et filtrées par des garde-fous basés sur des règles simples ou des détecteurs basés sur la perplexité, les rendant inefficaces dans des scénarios réels.

Le problème central abordé est l'absence d'une attaque totalement en boîte noire, lisible par un humain et indétectable capable d'exploiter efficacement les connaissances résiduelles dans les modèles de diffusion oubliés.

Méthodologie : BEAP

Les auteurs proposent BEAP (Black-box Embedding-Aware Prompting), un cadre qui exploite un grand modèle de langage (LLM) pour générer itérativement des invites adverses efficaces dans l'espace du langage naturel. BEAP fonctionne sans accès aux poids du modèle, aux gradients ou à l'encodeur de texte du modèle cible.

1. Recherche sémantique pilotée par LLM

BEAP traite le LLM comme un optimiseur itératif. En partant d'une invite initiale décrivant le concept cible, le LLM génère un lot d'invites paraphrasées diversifiées. Ces invites sont interrogées auprès du modèle de diffusion oublié ( $M_u$ ). Les images résultantes sont évaluées, et les retours sont utilisés pour affiner le lot suivant d'invites. Contrairement aux méthodes précédentes qui optimisent dans l'espace des embeddings (conduisant à un texte non naturel), BEAP recherche directement dans la variété du langage naturel, garantissant que les invites générées restent fluides et lisibles par un humain.

2. Guidage par récompense multi-signaux

Pour guider le LLM vers des attaques réussies, BEAP emploie trois signaux de récompense complémentaires pour chaque image générée :

Score de détection de concept : Utilise des détecteurs (par exemple, NudeNet, DINOv2) pour vérifier la présence du concept oublié.
Alignement texte-image : Utilise ImageReward pour s'assurer que l'image générée correspond sémantiquement à l'invite.
Qualité de l'image : Utilise un Score esthétique pour garantir que la sortie est visuellement cohérente et de haute qualité.

Une invite est considérée comme réussie uniquement si elle satisfait les seuils des trois signaux, empêchant ainsi le « piratage de récompense » où le modèle optimise une métrique au détriment des autres.

3. Recherche de similarité consciente des embeddings

Pour combler le fossé entre le langage naturel et le concept « oublié » spécifique dans l'espace latent du modèle, BEAP introduit un vocabulaire de similarité adverse :

Construction du vecteur : Le système construit un vecteur de concept ( $c_{adv}$ ) en moyennant les différences d'embeddings entre des paires d'invites contenant le concept et leurs contreparties neutralisées (par exemple, « personne nue » vs « une personne »).
Sélection du vocabulaire : Ce vecteur est comparé à un vocabulaire de référence (par exemple, Oxford 3000) en utilisant la similarité cosinus. Les $k$ mots les plus similaires sont sélectionnés.
Guidage : Ces mots sont fournis au LLM comme des « indices ». Cela oriente le LLM vers des formulations situées dans le voisinage conceptuel de la cible oubliée, guidant efficacement la recherche vers des régions où l'oubli est incomplet, sans nécessiter d'accès direct à l'encodeur du modèle cible.

Contributions clés

Première attaque LLM entièrement en boîte noire : BEAP est le premier cadre à générer des invites adverses lisibles par un humain pour les modèles T2I en utilisant uniquement un accès en boîte noire, éliminant ainsi le besoin d'accès aux poids du modèle ou à l'encodeur.
Stratégie itérative guidée par récompense : Les auteurs conçoivent une boucle de rétroaction multi-signaux (présence du concept, alignement, qualité) qui affine les invites itérativement, garantissant des taux de réussite élevés sans sacrifier la qualité de l'image.
Recherche consciente des embeddings : L'introduction d'un composant de similarité guidé par les embeddings permet au LLM de se concentrer sur un vocabulaire sémantiquement pertinent, améliorant considérablement l'efficacité et l'efficacité de l'exploration de l'espace textuel.
Démonstration d'une vulnérabilité fondamentale : Ce travail fournit des preuves empiriques que les méthodes d'oubli actuelles échouent à supprimer complètement les connaissances, car elles restent vulnérables au prompting adversaire en langage naturel.

Résultats expérimentaux

Les auteurs ont évalué BEAP sur des modèles Stable Diffusion v1.4 ayant subi un oubli via cinq méthodes différentes (UCE, ESD, MACE, SPM, Receler) par rapport au benchmark I2P (200 invites à forte nudité).

Taux de réussite de l'attaque (ASR) : BEAP surpasse nettement les méthodes précédentes. Alors que Ring-a-Bell a obtenu un ASR de 0 % sous des critères stricts (nécessitant la présence du concept, l'alignement et la qualité), BEAP a obtenu des scores ASR compris entre 86 % et 99 % sur tous les modèles de base d'oubli.
Efficacité : BEAP nécessite en moyenne seulement 15 invites par attaque réussie, démontrant une haute efficacité d'échantillonnage.
Indétectabilité : Contrairement à Ring-a-Bell, qui produisait de l'absurde avec une perplexité d'environ 4736 et un taux de détection d'absurde de 100 %, BEAP a généré des invites avec des valeurs de perplexité (569–653) proches du langage naturel (référence I2P : 505) et un faible taux de détection d'absurde (26 %).
Qualité de l'image : BEAP a réussi à récupérer les concepts oubliés tout en maintenant des scores esthétiques et d'alignement élevés, tandis que Ring-a-Bell produisait des images déformées et de mauvaise qualité.
Généralisabilité : L'attaque a également été testée sur un oubli au niveau de l'objet (« balle de golf »), où elle a également surpassé les modèles de base, confirmant que la vulnérabilité s'étend au-delà des concepts sensibles à la sécurité.

Importance et revendications

L'article affirme que les pipelines actuels d'oubli machine sont fondamentalement insuffisants pour garantir la suppression des concepts des modèles de diffusion. Les auteurs soutiennent que, bien que les méthodes d'oubli puissent supprimer les traces visuelles explicites, elles n'éliminent pas les représentations sémantiques sous-jacentes, qui peuvent être réactivées par des invites soigneusement conçues en langage naturel.

L'importance de ce travail réside dans la mise en lumière d'un fossé critique entre les garanties théoriques de l'oubli et la réalité pratique de la sécurité des modèles. En démontrant que les modèles oubliés peuvent être « contournés » à l'aide d'invites fluides et indétectables, les auteurs soulignent le besoin urgent d'approches plus robustes, vérifiables et fiables pour la suppression de concepts dans l'IA générative. Ce travail sert d'avertissement aux développeurs de modèles que le filtrage post-hoc et les techniques actuelles d'oubli ne constituent pas des défenses suffisantes contre des adversaires déterminés.