💻 computer science

TEA: Text Encoder Alignment for Robust Concept Erasure in Text-to-Image Models

Le papier propose TEA, un cadre léger et agnostique au modèle qui parvient à une éradication robuste des concepts dans les modèles de texte-vers-image en affinant l'encodeur de texte pour aligner les invites contenant le concept avec des ancres sûres, éliminant ainsi les vulnérabilités adverses sans surcoût lors de l'inférence ni dégradation de la qualité de génération bénigne.

Auteurs originaux : Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Publié 2026-08-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs peuvent peindre des images à partir de rien d'autre qu'une phrase. Vous tapez « un chat assis sur un toit éclairé par la lune », et une machine, entraînée sur des millions d'images et de légendes, crée une scène réaliste et époustouflante en quelques secondes. Cette technologie, connue sous le nom de modèle de texte-en-image, a ouvert des portes aux artistes et aux designers, transformant l'imagination en réalité visuelle. Cependant, ce même pouvoir comporte un risque. Tout comme un faussaire habile peut imiter un style, un utilisateur astucieux peut tromper ces ordinateurs pour qu'ils créent des images nuisibles ou inappropriées en utilisant des instructions détournées et reformulées qui contournent les filtres de sécurité intégrés au système. L'ordinateur voit les mots, mais il manque l'intention, générant un contenu qui n'était jamais censé être vu.

Pendant des années, des scientifiques ont essayé de réparer cela en apprenant à l'ordinateur à oublier certaines mauvaises idées, un processus appelé effacement de concept. Certaines méthodes tentent d'éliminer les mauvaises données avant que l'ordinateur n'apprenne, tandis que d'autres tentent d'empêcher l'apparition des mauvaises images uniquement au moment où elles sont créées. Mais ces solutions ont souvent un inconvénient : elles sont soit trop lentes pour être utiles à grande échelle, soit elles dégradent la capacité de l'ordinateur à dessiner de bonnes images, soit elles nécessitent une puissance de calcul constante et lourde chaque fois que quelqu'un demande une image. L'objectif a toujours été de trouver un moyen de supprimer définitivement la capacité de créer du contenu nuisible sans ralentir la machine ou ruiner son talent artistique.

Une équipe de chercheurs a maintenant proposé une nouvelle approche qui s'attaque à ce problème en modifiant la façon dont l'ordinateur comprend le langage, plutôt que sa façon de peindre. Ils appellent leur méthode TEA, pour Text Encoder Alignment (Alignement de l'encodeur de texte). Dans ces systèmes de création d'images, deux parties principales travaillent ensemble. La première partie est l'encodeur de texte, qui agit comme un traducteur, transformant votre phrase écrite en un ensemble de nombres que l'ordinateur peut comprendre. La seconde partie est le noyau génératif (generative backbone), qui prend ces nombres et dessine réellement l'image. Les tentatives précédentes pour arrêter les mauvaises images consistaient souvent à modifier la partie dessin, ce qui revient à essayer de réparer une fuite dans une maison en peignant sur les murs ; c'est désordonné et souvent inefficace car le problème réside dans la manière dont les instructions ont été traduites dès le départ.

Les chercheurs ont réalisé que la clé pour arrêter les images nuisibles réside dans le traducteur. Ils ont découvert que la capacité de l'ordinateur à reconnaître un concept spécifique et mauvais, tel que la nudité, est concentrée dans l'encodeur de texte. Pour corriger cela, ils ont créé un processus d'entraînement qui n'ajuste que ce traducteur, laissant la partie dessin complètement intacte. Ils ont commencé avec une paire de phrases : l'une contenant l'idée nuisible, comme « une femme nue dans une forêt », et une autre presque identique mais sûre, comme « une femme dans une forêt ». Ils ont ensuite appris au traducteur à faire en sorte que les nombres de la mauvaise phrase ressemblent exactement aux nombres de la phrase sûre.

Pour ce faire, ils ont utilisé un jeu de chat et de souris ingénieux. Ils ont mis en place un petit programme informatique, un discriminateur, dont le rôle était de faire la différence entre les nombres provenant de la mauvaise phrase et ceux de la phrase sûre. Le traducteur principal essayait de tromper ce discriminateur en modifiant ses propres paramètres afin que les deux phrases produisent des nombres identiques. Simultanément, les chercheurs se sont assurés que le traducteur n'oubliait pas comment gérer les phrases normales et sûres. Ils ont fait cela en vérifiant que les phrases sûres ressemblaient toujours à ce qu'elles étaient avant les modifications. Cela garantissait que l'ordinateur serait toujours capable de dessiner de belles images inoffensives de forêts et de femmes, mais sans la capacité de dessiner la version nuisible spécifique.

Les résultats de cette méthode ont été frappants. Lorsqu'elle a été testée contre diverses tentatives de manipulation visant à tromper l'ordinateur, y compris celles conçues par des experts pour contourner les systèmes de sécurité, cette nouvelle approche a stoppé les images nuisibles presque totalement. Dans les tests où d'autres méthodes échouaient à arrêter le contenu malveillant ou rendaient l'ordinateur moins bon pour dessiner de bonnes images, cette méthode a réussi sur les deux tableaux. Elle a fonctionné sur d'anciennes versions de la technologie ainsi que sur les systèmes les plus récents et les plus avancés, prouvant que l'idée tient la route à travers différents types de générateurs d'images. Plus important encore, parce que la partie dessin de l'ordinateur n'a jamais été modifiée, le système ne s'est pas du tout ralenti. Il a pris le même temps pour créer une image qu'avant, sans qu'aucune puissance de calcul supplémentaire ne soit nécessaire chaque fois qu'un utilisateur demandait une image.

Les chercheurs ont également testé si cette méthode pouvait supprimer d'autres types de concepts indésirables, tels que des styles artistiques spécifiques. Ils ont découvert qu'elle pouvait réussir à empêcher l'ordinateur de copier le style de certains artistes, incluant Van Gogh et Kelly McKernan, lorsqu'on le lui demande, tout en lui permettant de peindre dans d'autres styles. Cela suggère que la méthode n'est pas un outil à usage unique pour supprimer la nudité, mais un outil flexible qui peut être utilisé pour supprimer n'importe quelle idée spécifique que l'utilisateur ne souhaite pas voir l'ordinateur générer. En se concentrant sur l'étape de traduction et en utilisant un processus d'entraînement simple et efficace, l'équipe a démontré qu'il est possible de rendre ces outils puissants plus sûrs sans sacrifier leur vitesse ou leur capacité à créer de l'art.

Ce travail représente une étape significative vers une intelligence artificielle plus sûre et plus fiable. Il s'éloigne de l'idée de surveiller et de bloquer constamment les résultats, pour plutôt intégrer la sécurité directement dans la manière dont l'ordinateur comprend le langage. La méthode est légère, ne nécessitant qu'une courte période d'entraînement, et laisse le reste du système exactement tel qu'il était. Pour tous ceux qui comptent sur ces outils pour créer du contenu, cela signifie un avenir où l'ordinateur peut être considéré comme fiable pour suivre les instructions sans franchir accidentellement la limite du domaine nuisible, tout en préservant son étincelle créative. Les chercheurs ont rendu leur code disponible, permettant à d'autres de tester et de construire sur cette approche, garantissant que la voie vers une génération d'images plus sûre reste ouverte à de nouvelles découvertes.

Résumé Technique : TEA (Alignement de l'Encodeur de Texte pour l'Effacement Robuste de Concepts)

Énoncé du Problème

Les modèles de diffusion texte-image sont sensibles aux usages malveillants, où des invites (prompts) adverses ou paraphrasées peuvent contourner les mécanismes de sécurité intégrés pour générer du contenu nuisible (ex: deepfakes, imagerie NSFW). Les méthodes existantes d'effacement de concepts font face à des compromis importants :

Les méthodes sans entraînement (ex: projections au moment de l'inférence) évitent les coûts initiaux mais introduisent un surcoût computationnel persistant par requête et manquent de robustesse face aux attaques adverses fortes.
Les méthodes basées sur l'entraînement qui affinent le squelette génératif (ex: U-Net) sont coûteuses en calcul, risquent de dégrader la qualité de génération sur les invites bénignes et peinent à réaliser un effacement sélectif en raison de la distribution étendue des paramètres liés au concept à travers les couches du réseau.
Les approches actuelles basées sur l'encodeur de texte nécessitent souvent des jeux de données à grande échelle, une mémoire de codebook ou un entraînement adverse coûteux en calcul qui compromet la qualité de génération.

Le défi central est de parvenir à un effacement de concept robuste contre les attaques boîtes noires et boîtes blanches, tout en préservant la qualité de génération sur les invites bénignes et en maintenant un surcoût nul lors de l'inférence.

Méthodologie : Alignement de l'Encodeur de Texte (TEA)

Les auteurs formulent l'effacement de concept comme un problème d'alignement de domaine au sein de l'espace de représentation textuelle. La méthode repose sur la décomposition des modèles texte-image en un encodeur de texte ( $\tau$ ) et un squelette génératif gelé ( $G$ ).

1. Formulation Théorique
Le papier postule que la suppression d'un concept cible $c$ équivaut à aligner la distribution de représentation des entrées porteuses du concept ( $P_c$ ) avec celle des entrées "ancres" sans concept ( $P_{\neg c}$ ).

Borne de Risque : Basé sur la théorie de la divergence H, le risque conceptuel sur les entrées porteuses du concept est borné par le risque conceptuel sur les entrées sans concept plus la divergence entre les deux distributions de représentation.
Objectif : En minimisant la divergence (rendant les représentations indiscernables) tout en préservant le risque sur les entrées sans concept (préservation de l'utilité), le modèle ne peut plus distinguer les invites sûres des निर्देशों non sûrs, supprimant ainsi le concept.

2. Architecture du Cadre (Framework)
TEA affine uniquement l'encodeur de texte tout en gardant le squelette génératif (U-Net ou DiT) entièrement gelé. Le processus implique :

Construction de Paires d'Invites : Pour chaque invite de concept $p_c$ (contenant le concept cible), une invite ancre $p_a$ est générée (ex: via un LLM) qui préserve la sémantique environnante mais supprime le concept cible.
Alignement au Niveau du Token : Contrairement aux méthodes utilisant des représentations de séquence agrégées (pooled), TEA opère au niveau du token. Cela permet au modèle d'aligner les différences sémantiques spécifiques entre $p_c$ et $p_a$ sans provoquer l'effondrement de sémantiques non liées.
Entraînement Adversaire :
- Un discriminateur léger ( $D$ ) est entraîné pour distinguer les représentations au niveau du token des invites de concept ( $h^c_t$ ) et des invites ancres ( $h^a_t$ ).
- L'encodeur de texte ( $\tau_\theta$ ) est mis à jour pour tromper le discriminateur, rendant $h^c_t$ indiscernable de $h^a_t$ .
- Ancrage Dynamique : Les invites de concept et les invites ancres passent tous deux par l'encodeur actuel pendant l'entraînement. Cela empêche l'encodeur de s'effondrer sur une référence fixe et encourage le suivi d'une distribution sûre en constante évolution.
Fonctions de Perte :
- Perte Adversaire ( $L_{adv}$ ) : Minimise la capacité du discriminateur à classifier correctement les tokens de concept.
- Perte de Préservation ( $L_{pres}$ ) : Une perte de similitude cosinus qui maintient les représentations des invites ancres ( $h^{a, new}_t$ ) proches de celles produites par l'encodeur gelé d'origine ( $h^{a, orig}_t$ ). Cela garantit que les sémantiques bénignes ne sont pas dégradées.
- Objectif Total : $L_{enc} = \lambda_{adv} L_{adv} + \lambda_{pres} L_{pres}$ .

Contributions Clés

Formulation : Les auteurs fournissent une formulation rigoureuse de l'effacement de concept comme un problème d'alignement de domaine dans l'espace de représentation, dérivant une borne théorique où l'effacement est contrôlé par un terme d'alignement et un terme de préservation de l'utilité.
Cadre TEA : Ils proposent un cadre léger d'affinage de l'encodeur de texte par voie adversaire qui atteint une suppression robuste avec un surcoût nul lors de l'inférence et ne nécessite qu'un petit nombre d'étapes d'affinage.
Agnosticisme du Modèle et Nouvelles Architectures : La méthode est agnostique au modèle et se transfère avec succès aux architectures modernes, spécifiquement les Rectified Flow Transformers (ex: Stable Diffusion v3.5) avec conditionnement T5, où les méthodes d'effacement de concept antérieures ont été largement inexplorées.
Robustesse : La méthode démontre une robustesse supérieure contre les attaques adverses en boîte noire (ingénierie de prompt) et en boîte blanche (optimisation) par rapport aux bases existantes.

Résultats Expérimentaux

La méthode a été évaluée sur Stable Diffusion v1.4 et Stable Diffusion v3.5-large pour l'effacement de contenu explicite (nudité) et de styles artistiques (Van Gogh, Kelly McKernan).

Effacement de Contenu Explicite :
- Boîte Noire : TEA a obtenu le taux de réussite d'attaque (ASR) moyen le plus bas sur les benchmarks (MMA, Ring-A-Bell, P4D), surpassant des méthodes comme AdvUnlearn et DES.
- Boîte Blanche : TEA a systématiquement obtenu l'ASR le plus bas à travers les attaques adverses en boîte blanche UnlearnDiff, MMA et Ring-A-Bell.
- Préservation de la Qualité : TEA a maintenu une haute qualité de génération sur les invites bénignes (jeu de données COCO), montrant des scores FID et CLIP compétitifs ou supérieurs aux bases. Notamment, il a évité la dégradation de qualité observée dans les méthodes basées sur l'entraînement adverse.
Effacement de Style Artistique : TEA a obtenu une distance perceptuelle élevée (LPIPS de cible) pour les artistes cibles tout en maintenant une distance faible (LPIPS de non-cible) pour les autres artistes, indiquant un effacement efficace sans sur-effacement de styles non liés.
Analyse de Représentation : Les mesures empiriques de la distance A de Proxy (PAD) ont confirmé que TEA réduit considérablement la séparabilité entre les représentations de concept et d'ancre à travers les couches de l'encodeur, tout en maintenant la séparabilité entre les invites de concept et les invites non liées (COCO).

Signification et Revendications

Le papier affirme que TEA répond aux limitations critiques des méthodes actuelles d'effacement de concept en offrant une solution efficace, persistante et robuste.

Efficacité : En gelant le squelette génératif et en n'affinant que l'encodeur de texte, TEA n'introduit aucun surcoût lors de l'inférence, ce qui le rend adapté à un déploiement à grande échelle.
Robustesse : L'alignement adverse dans l'espace de représentation offre une défense plus forte contre les invites adverses que les méthodes sans entraînement ou les méthodes modifiant le squelette génératif.
Évolutivité : La capacité de la méthode à s'adapter aux Rectified Flow Transformers (SD v3.5) étend l'applicabilité de l'effacement de concept aux architectures de diffusion de nouvelle génération.
Position Éthique : Les auteurs soulignent que ce travail est motivé par la réduction des dommages. Bien que l'évaluation nécessite des invites et des images explicites pour vérifier l'efficacité, celles-ci sont strictement contrôlées, masquées dans les figures et utilisées uniquement à des fins défensives pour atténuer la génération non sûre.