💻 computer science

Orthogonal Negative Guidance in Attention Feature Space for Text-to-Image Generation

Ce papier propose une Guidance Négative Orthogonale, une méthode sans entraînement pour la génération d'images à partir de texte qui supprime les concepts indésirables en orthogonalisant les caractéristiques d'attention des invites négatives par rapport à celles des invites positives, permettant ainsi une suppression supérieure des concepts tout en préservant la qualité de l'image et l'alignement avec l'invite.

Auteurs originaux : Jungmin Ko, Jungwon Park, Jimyeong Kim, Changin Choi, Wonseok Lee, Wonjong Rhee

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jungmin Ko, Jungwon Park, Jimyeong Kim, Changin Choi, Wonseok Lee, Wonjong Rhee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé (l'IA) incroyablement talentueux pour préparer des plats à partir d'une recette (l'invite textuelle). Vous pouvez faire ressembler un « bol de ramen » à un plat délicieux, mais il y a un problème : chaque fois que vous préparez des ramen, vous ajoutez automatiquement un œuf dur, même si le client ne l'a pas demandé.

Si vous dites simplement au chef : « Pas d'œufs ! » (une invite négative), le chef pourrait se confondre et ajouter plus d'œufs par erreur, ou bien il pourrait gâcher tout le plat en essayant d'éviter les œufs. C'est la lutte actuelle avec les générateurs d'images par IA : leur dire ce qu'il ne faut pas inclure est étonnamment difficile.

Ce papier présente une nouvelle technique ingénieuse appelée Guidage Négatif Orthogonal. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : La "Gomme Maladroite"

Les méthodes actuelles pour supprimer les éléments indésirables (comme les « œufs » des « ramen ») ressemblent à l'utilisation d'une gomme géante et maladroite sur un dessin.

L'approche de "Négation de l'Invite" : Vous dites simplement « Pas d'œufs ». L'IA vous ignore souvent ou se confond.
L'approche de "Soustraction" : Certaines méthodes tentent de soustraire l'idée d'« œuf » de l'idée de « ramen ». Mais imaginez si les mots « œuf » et « ramen » étaient écrits avec le même encre. Si vous essayez d'effacer le mot « œuf », vous risquez d'effacer accidentellement des parties du mot « ramen » aussi, vous laissant avec une image floue et brisée.

2. La Solution : Le "Filtre Intelligent" (Guidage Négatif Orthogonal)

Les auteurs proposent une méthode qui agit comme un filtre intelligent ou un tamis spécialisé. Au lieu d'effacer aveuglément, elle examine les « ingrédients » (les caractéristiques mathématiques) que l'IA utilise pour construire l'image.

La Configuration : L'IA construit l'image en utilisant deux flux d'informations :
1. Le Flux Positif : « Préparez un bol de ramen. »
2. Le Flux Négatif : « Ne faites pas d'œuf. »
Le Tour de Magie (Orthogonalisation) :
Imaginez que le flux « Ramen » est un vecteur (une flèche) pointant dans une direction spécifique. Le flux « Pas d'œuf » est une autre flèche.
- Parfois, la flèche « Pas d'œuf » pointe dans une direction qui chevauche la flèche « Ramen ». Si vous soustrayez simplement la flèche « Pas d'œuf », vous gâchez le « Ramen ».
- Cette nouvelle méthode calcule la flèche « Pas d'œuf » et la fait pivoter pour qu'elle soit parfaitement perpendiculaire (à un angle de 90 degrés) à la flèche « Ramen ».
- Elle supprime ensuite uniquement la partie de la flèche « Pas d'œuf » qui dépasse sur le côté (la partie qui ne chevauche pas les ramen).

L'Analogie : Imaginez que le « Ramen » est un faisceau de lumière rouge et que l'« Œuf » est un faisceau de lumière bleue. Ils éclairent le même mur.

Les anciennes méthodes tentent d'éteindre la lumière bleue, mais ce faisant, elles tamisent aussi la lumière rouge.
Cette nouvelle méthode trouve la partie de la lumière bleue qui n'éclaire pas la lumière rouge, et bloque uniquement cette partie spécifique. La lumière rouge (les ramen) reste vive et claire, tandis que la lumière bleue (l'œuf) est complètement bloquée.

3. Ce Que Cela Permet d'Obtenir

Grâce à la précision de cette méthode, elle peut réaliser des choses que les autres méthodes ne peuvent pas :

Suppression Multi-Concepts : Vous pouvez demander à l'IA de supprimer à la fois l'« œuf » et les « baguettes » en même temps, et elle gérera les deux sans gâcher le bol de ramen.
Intensité Réglable : Vous pouvez tourner un « cadran » pour décider à quel point vous souhaitez supprimer l'œuf. Vous pouvez passer de « peut-être pas d'œuf » à « absolument pas d'œuf » sans que l'image ne devienne de la bouillie.
Pas de Réentraînement : Le meilleur, c'est que cela ne nécessite pas de réapprendre à l'IA. C'est un tour « plug-and-play » appliqué pendant la création de l'image.

4. Les Résultats

Les auteurs ont testé cette méthode sur une référence appelée DCS-Bench (Diverse Concept Suppression Benchmark), qui est comme un test comportant 200 scénarios différents (par exemple, « un médecin » sans « stéthoscope », ou « un salon » sans « canapé »).

Le Score : Lors de tests humains, les gens ont préféré cette nouvelle méthode à la suivante par près de 19 %.
La Qualité : Les images ne sont pas devenues floues ou étranges. Les « ramen » ressemblaient toujours à des ramen, juste sans l'« œuf » indésirable.

Résumé

En bref, ce papier résout le problème de « dire à une IA ce qu'il ne faut pas dessiner » en utilisant un tour de passe-passe mathématique pour séparer les idées « mauvaises » des idées « bonnes » avant qu'elles ne se mélangent. C'est comme avoir un videur dans un club qui sait exactement comment empêcher l'invité indésirable (l'œuf) d'entrer sans renvoyer accidentellement le VIP (les ramen).

Résumé Technique : Guidance Négative Orthogonale dans l'Espace des Caractéristiques d'Attention pour la Génération d'Images à partir de Texte

Énoncé du Problème

Bien que les modèles de génération d'images à partir de texte (T2I) aient considérablement progressé dans la production d'images de haute qualité, imposer explicitement l'absence d'objets ou d'attributs spécifiques demeure un défi fondamental. Les stratégies existantes souffrent de limitations notables :

Négation par Invite : Insérer simplement des mots comme « non » ou « sans » échoue souvent, provoquant parfois au contraire une génération du concept nié plus fréquemment que sans négation.
Chaînes de Génération et de Modification : Ces méthodes génèrent d'abord une image, puis utilisent des modèles de modification pour supprimer les concepts indésirables. Cependant, parce que les modèles de modification sont entraînés à préserver l'intégrité spatiale et structurelle, ils peinent à éliminer des concepts nécessitant une réorganisation structurelle significative de la scène.
Guidage Négatif Standard : Des techniques comme le Guidage Sans Classificateur (CFG) et ses variantes (par exemple, NAG, NASA) orientent la génération loin des invites négatives par soustraction linéaire. Toutefois, elles soustraient souvent l'intégralité du signal négatif, ce qui peut dégrader l'alignement avec l'invite positive et la qualité globale de l'image avant que le concept indésirable ne soit suffisamment supprimé.

Méthodologie

Les auteurs proposent la Guidance Négative Orthogonale, une méthode sans réentraînement conçue pour les modèles T2I à flux rectifié basés sur des architectures de Transformateur de Diffusion Multimodale (MM-DiT) (par exemple, FLUX-dev, FLUX-schnell). La méthode opère dans l'espace des caractéristiques d'attention pour supprimer les concepts indésirables tout en préservant les sémantiques souhaitées.

Mécanisme Central

La méthode intervient sur les sorties d'attention image-vers-texte ( $Z_{I2T}$ ) au sein des blocs MM-DiT, qui médiatisent les interactions intermodales. Le processus implique deux branches parallèles :

Branche Positive : Calcule les sorties d'attention basées sur l'invite de génération originale ( $P^+$ ).
Branche Négative : Calcule les sorties d'attention basées sur une invite négative auxiliaire ( $P^-$ ) spécifiant le concept à supprimer. Crucialement, cette branche réutilise les caractéristiques côté image ( $Q_I, K_I, V_I$ ) de la branche positive pour assurer un alignement spatial, tout en utilisant ses propres caractéristiques côté texte.

Soustraction Orthogonale

Au lieu de soustraire directement la sortie d'attention négative ( $Z_{I2T}^-$ ) de la sortie positive ( $Z_{I2T}^+$ ), la méthode isole et ne retire que la composante du signal négatif qui est orthogonale au signal positif. La sortie d'attention modifiée $\widehat{Z}_{I2T}^+$ est calculée comme suit :

$\widehat{Z}_{I2T}^+ = Z_{I2T}^+ - \alpha \cdot \left[ Z_{I2T}^- - \mathrm{proj}_{Z_{I2T}^+}(Z_{I2T}^-) \right]$

Où :

$\alpha$ est l'échelle de guidage.
$\mathrm{proj}_{Z_{I2T}^+}(\cdot)$ désigne la projection du vecteur négatif sur le vecteur positif le long de la dimension cachée.

En ne soustrayant que la composante orthogonale, la méthode supprime les informations spécifiques au concept indésirable sans interférer avec les directions sémantiques alignées avec l'invite positive. Cette procédure est appliquée à tous les blocs MM-DiT à partir d'un pas de temps spécifique $\tau$ .

Contributions Clés

Guidance Négative Orthogonale : Une intervention novatrice et sans réentraînement dans l'espace des caractéristiques d'attention qui supprime efficacement les concepts indésirables en ne retirant que la composante orthogonale des signaux de guidage négatif, préservant ainsi l'alignement de l'invite et la qualité de l'image.
DCS-Bench (Benchmark de Suppression de Concepts Diversifiés) : Les auteurs introduisent un nouveau benchmark comprenant 200 scénarios de suppression répartis sur six catégories sémantiques (par exemple, Lieu/Scène, Événement/Action, Objets Co-occurrents). Contrairement aux benchmarks précédents axés sur la qualité perceptuelle (par exemple, « flou »), DCS-Bench évalue la capacité à supprimer des concepts spécifiques et naturellement présents que les modèles ont tendance à halluciner.
Évaluation Complète : Des expériences extensives sur FLUX-dev, FLUX-schnell et Stable Diffusion 3.5 Large démontrent que la méthode surpasse les lignes de base de guidage négatif existantes (CFG, NASA, NAG, VSF) et les chaînes de génération et de modification (Kontext, Qwen-Image-Edit, OmniGen2).

Résultats Expérimentaux

Performance Quantitative

En utilisant des métriques basées sur des VLM (Suppression de Concept Négatif, Alignement de l'Invite, Qualité de l'Image), la méthode proposée atteint des compromis supérieurs :

Suppression : Sur FLUX-dev, la méthode améliore la Suppression de Concept Négatif d'au moins 15 % par rapport à toutes les méthodes de guidage négatif antérieures.
Alignement et Qualité : Contrairement aux méthodes de soustraction linéaire qui dégradent la qualité de l'image ou l'alignement de l'invite, la Guidance Négative Orthogonale maintient des scores élevés sur ces deux métriques, comparables à ceux du modèle original.
Évaluation Humaine : Dans une étude impliquant 111 participants, la méthode a obtenu un score de préférence de 70,81 %, surpassant la deuxième meilleure ligne de base (NAG à 46,22 %) de 18,78 %.

Observations Qualitatives

Suppression Multi-Concept : La méthode peut supprimer plusieurs concepts simultanément en les listant dans une seule invite négative.
Suppression Ajustable : En variant l'échelle de guidage $\alpha$ , les utilisateurs peuvent contrôler continuellement l'intensité de la suppression, éliminant progressivement les concepts sans détruire la scène.
Cas d'Échec : La méthode éprouve parfois des difficultés avec les catégories Lieu/Scène et Événement/Action où le concept est profondément intégré à la structure de la scène (par exemple, échec à éliminer complètement les « lumières softbox » d'un « studio de photographie professionnelle »).

Importance et Revendications

L'article revendique que la Guidance Négative Orthogonale représente une avancée significative dans la génération T2I contrôlable en abordant le compromis entre suppression de concepts et fidélité sémantique. Les auteurs soulignent que leur méthode :

Ne nécessite ni réentraînement ni paramètres supplémentaires.
S'intègre de manière transparente dans les architectures modernes de transformateurs à flux rectifié.
Fournit un mécanisme plus explicite pour la suppression de concepts par rapport à la négation par invite ou à la modification postérieure.
Établit une nouvelle norme d'évaluation via DCS-Bench, soulignant que les méthodes actuelles sont insuffisantes pour des scénarios de suppression diversifiés et réalistes.

Les auteurs concluent que, bien que la méthode ne soit pas une panacée pour toutes les tâches de modification structurelle (où les chaînes de génération et de modification peuvent toujours être préférées pour une édition séquentielle), elle améliore substantiellement la capacité à générer des images adhérant strictement aux contraintes de l'utilisateur concernant l'absence de concepts spécifiques.