TP-Blend: Textual-Prompt Attention Pairing for Precise Object-Style Blending in Diffusion Models

Le papier présente TP-Blend, un cadre léger et sans entraînement qui fusionne de manière précise un objet et un style distincts dans les modèles de diffusion en combinant une fusion d'attention croisée optimisée par transport optimal et une fusion d'attention auto-attentionnelle sensible aux détails via une normalisation instance.

L'essentiel

🎨 TP-Blend : Le Chef d'Orchestre Magique des Images

Imaginez que vous êtes un photographe ou un peintre très talentueux, mais que vous utilisez un pinceau magique (une intelligence artificielle appelée "modèle de diffusion") pour modifier des photos.

Jusqu'à présent, ce pinceau était très doué pour deux choses :

1. Remplacer un objet (ex: changer un chien en chat).
2. Changer le style (ex: transformer une photo en tableau à l'huile).

Mais il y avait un gros problème : si vous vouliez faire les deux en même temps, ou si vous vouliez fusionner deux objets (ex: faire un chien qui a la tête d'un lion et le corps d'un ours) tout en changeant le style, le pinceau perdait ses moyens. Le résultat était souvent bizarre, flou, ou les objets ne se mélangeaient pas bien.

C'est là qu'intervient TP-Blend (Twin-Prompt Attention Blend). C'est comme si vous donniez au pinceau deux instructions distinctes au lieu d'une seule, et qu'il apprenait à les écouter séparément pour créer une fusion parfaite.

---

🧩 Comment ça marche ? (Les deux super-pouvoirs)

TP-Blend fonctionne avec deux "assistants" magiques qui travaillent ensemble pendant que l'image est créée, pixel par pixel.

1. L'Assistant "Fusion d'Objets" (CAOF) : Le Chef de la Danse

Imaginez que vous voulez mélanger un Robot et un Cheval pour créer un "Cheval-Robot".

• Le problème habituel : L'IA essaie de coller la tête du robot sur le corps du cheval, mais ça fait un collage moche.
• La solution TP-Blend : Cet assistant regarde l'image comme une carte de foule. Il identifie exactement où le "Robot" et le "Cheval" doivent se rencontrer.
• L'analogie : Imaginez un choregraphe de danse très précis. Il ne se contente pas de mettre les danseurs côte à côte. Il utilise une méthode mathématique intelligente (appelée "Transport Optimal") pour dire : "Toi, tu es le bras gauche du robot, et toi, tu es la patte du cheval. Allez, bougez-vous pour que vos mouvements s'alignent parfaitement."
• Le résultat : Les deux objets se fondent l'un dans l'autre de manière naturelle, comme de l'eau qui se mélange, sans laisser de traces de couture.

2. L'Assistant "Style et Texture" (SASF) : Le Peintre de Détails

Maintenant, imaginez que vous voulez que ce Cheval-Robot soit dessiné au charbon ou en style Cyberpunk.

• Le problème habituel : L'IA change la couleur, mais elle perd les petits détails (les traits de crayon, la texture du métal, les grains). L'image devient trop lisse et artificielle.
• La solution TP-Blend : Cet assistant agit comme un peintre qui ajoute de la texture.
  • Il sépare l'image en deux : les grandes formes (le corps du cheval) et les petits détails (les traits, les rugosités).
  • Il garde la forme du cheval intacte, mais il "pulvérise" par-dessus les détails du style demandé (comme des coups de pinceau de charbon ou des néons cyberpunk).
• L'analogie : C'est comme si vous preniez une photo en noir et blanc, et que vous passiez par-dessus un filtre spécial qui ajoute de la poussière d'or ou des éclaboussures de peinture, sans changer le visage de la personne sur la photo.

---

🚀 Pourquoi c'est révolutionnaire ?

1. Pas besoin d'apprendre à l'IA : Contrairement à d'autres méthodes qui demandent des mois d'entraînement sur des milliers d'images, TP-Blend est "prêt à l'emploi". C'est comme un logiciel que vous installez et qui marche tout de suite.
2. Contrôle total : Vous pouvez dire : "Remplace le cheval par un dragon, fusionne-le avec un phénix, et fais-le en style peinture à l'huile." TP-Blend comprend que ce sont trois choses différentes et les gère séparément pour ne pas que le dragon mange le phénix ou que la peinture gâche le dragon.
3. Rapidité et Qualité : Les tests montrent que cela va plus vite que les anciennes méthodes et que le résultat ressemble à une vraie photo ou à un vrai tableau, avec des détails incroyables (comme les plis d'un vêtement ou la texture de la peau).

🌟 En résumé

TP-Blend, c'est comme avoir un assistant artistique qui ne confond jamais ses tâches.

• Il sait exactement où placer les objets pour qu'ils se fondent parfaitement (comme un puzzle magique).
• Il sait exactement comment appliquer le style (comme un artiste qui ajoute de la texture sans gâcher le dessin).

Grâce à cela, vous pouvez créer des images surréalistes, des mélanges d'animaux ou des portraits dans des styles artistiques complexes, simplement en écrivant une phrase, sans avoir besoin d'être un expert en informatique ou en dessin. C'est la fin des "collages moches" et le début de la fusion parfaite !

Résumé technique

1. Problématique

Les éditeurs d'images basés sur des modèles de diffusion conditionnés par le texte excellent dans le remplacement d'objets uniques (ex: changer un chien en chat). Cependant, ils peinent à gérer deux tâches simultanées de manière robuste :

1. Le mélange d'objets (Object Blending) : Fusionner deux objets distincts en une entité cohérente (ex: un cheval mélangé à un poisson) tout en préservant les caractéristiques de chacun.
2. La fusion de style (Style Fusion) : Appliquer un style textuel spécifique (ex: "peinture à l'huile", "cyberpunk") sans recourir à des images de référence, tout en conservant les détails texturaux fins (pinceaux, grain) et la géométrie globale.

Les méthodes existantes souffrent souvent d'une perte de fidélité sémantique, d'un lissage excessif des textures, ou d'une interférence entre le contenu et le style lorsqu'ils sont traités conjointement.

2. Méthodologie : TP-Blend

TP-Blend (Twin-Prompt Attention Blend) est un cadre léger, sans entraînement (training-free), qui étend le guidage par texte sans classeur (Classifier-Free Guidance Text Editing - CFG-TE). Il reçoit deux prompts textuels distincts : l'un pour l'objet de mélange et l'autre pour le style cible, et les injecte dans une seule trajectoire de débruitage.

L'architecture repose sur deux processeurs d'attention complémentaires :

A. Fusion d'Objets par Attention Croisée (CAOF - Cross-Attention Object Fusion)

Ce module gère la fusion morphologique entre l'objet original (remplacé) et l'objet de mélange.

• Localisation des tokens : Il calcule la moyenne des cartes d'attention tête par tête pour identifier les positions spatiales qui répondent fortement soit au prompt de l'objet remplacé, soit à celui de l'objet de mélange.
• Transport Optimal (Optimal Transport - OT) : Au lieu d'une fusion simple, TP-Blend formule le problème comme un transport optimal régularisé par l'entropie. Il réassigne les vecteurs de caractéristiques complets (multi-têtes, ex: 640 dimensions dans SD-XL) des positions sources (objet de mélange) vers les positions destinations (objet remplacé).
• Avantage : En traitant les vecteurs de caractéristiques dans leur dimensionnalité complète, CAOF préserve les corrélations riches entre les têtes d'attention, assurant une transition morphologique fluide tout en maintenant une faible empreinte mémoire.

B. Fusion de Style par Auto-Attention (SASF - Self-Attention Style Fusion)

Ce module injecte le style textuel sans perturber la structure de l'objet.

• Normalisation Instance Sensible aux Détails (DSIN) : Une technique légère utilisant un filtre gaussien 1D pour séparer les composantes basse fréquence (géométrie globale) et haute fréquence (textures, coups de pinceau). Seule la composante haute fréquence résiduelle du style est mélangée, permettant d'imprimer des détails textuels fins sans déformer la forme globale.
• Substitution des Matrices Clé/Valeur : Les matrices $K$ (Clé) et $V$ (Valeur) de l'auto-attention de l'objet cible sont remplacées par celles dérivées du prompt de style. Cela force une modulation de texture contextuelle.
• Asymétrie intelligente : Bien que $K$ et $V$ soient remplacés, la matrice $Q$ (Requête) conserve les caractéristiques modifiées par le DSIN. Cela permet au style d'influencer les scores d'attention tout en préservant la fidélité structurelle de l'objet.

3. Contributions Clés

1. Mécanisme à Double Prompt : Découplage strict des prompts d'objet et de style pour éviter les interférences, permettant un contrôle indépendant de la structure sémantique et de l'apparence.
2. CAOF avec Transport Optimal : Alignement et intégration des caractéristiques de l'objet de mélange en traitant les cartes d'attention comme des distributions, garantissant des transitions morphologiques cohérentes et une intégrité sémantique.
3. SASF avec DSIN : Extraction et transfert de caractéristiques de style haute fréquence pour préserver les détails textuels complexes (sans sur-lissage) tout en permettant une modulation adaptative.
4. Substitution Textuelle Clé/Valeur : Remplacement des matrices d'attention par des vecteurs issus de prompts textuels (et non d'images de référence), assurant une modulation de style localisée tout en maintenant la cohérence spatiale.

4. Résultats Expérimentaux

Les expériences ont été menées sur SD-XL avec un jeu de données de 4 000 images haute résolution.

• Métriques Quantitatives : TP-Blend (CAOF + SASF) surpasse les méthodes de l'état de l'art (IP2P, StyleAligned, TurboEdit, LEDITS++, etc.) sur les métriques de fidélité perceptive (1-LPIPS) et d'alignement sémantique (CLIP).
  • Le score BOSM (Blending Object Style Metric), qui combine la fidélité de l'objet, du mélange et du style, atteint 0.8656 pour TP-Blend, contre un maximum de ~0.58 pour les meilleurs concurrents.
• Qualité Visuelle : Les résultats montrent une fusion équilibrée où les identités remplacées et mélangées sont clairement visibles, avec des textures de style précises (ex: coups de pinceau, motifs de tissu) sans dégradation du fond ni distorsion géométrique.
• Comparaison : Contrairement aux méthodes baselines qui souffrent souvent de la perte d'identité, de la destruction du fond ou de l'apparition d'objets fantômes, TP-Blend maintient une cohérence naturelle.

5. Signification et Impact

TP-Blend représente une avancée significative dans l'édition d'images générative car :

• Il résout le problème complexe de la fusion simultanée de contenu et de style sans nécessiter de fine-tuning coûteux ou d'entraînement de modèles.
• Il offre un contrôle granulaire sur les textures et les morphologies, comblant le fossé entre le remplacement d'objets simple et la création d'entités hybrides complexes.
• Il démontre que l'utilisation combinée du transport optimal (pour la géométrie) et de la séparation fréquentielle (pour le style) au sein des mécanismes d'attention des modèles de diffusion permet d'atteindre une fidélité photoréaliste supérieure.

Ce travail ouvre la voie à des applications créatives avancées dans la conception, le cinéma et la visualisation scientifique, où des transitions fluides et des fusions stylistiques précises sont essentielles.