HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models

1. Problématique

Le transfert de style basé sur les modèles de diffusion (comme Stable Diffusion) vise à appliquer les caractéristiques visuelles d'une image de référence (ou d'un texte) à une image de contenu tout en préservant l'identité structurelle et sémantique de cette dernière.

Les approches existantes souffrent de deux limitations majeures :

• Méthodes avec entraînement (Fine-tuning) : Elles sont coûteuses en calcul et manquent de robustesse, car leurs performances dépendent fortement de l'étendue du fine-tuning pour chaque nouveau style.
• Méthodes sans entraînement (Training-free) : Des travaux récents comme StyleID ou DiffArtist injectent des caractéristiques de style dans les couches d'attention auto-attentionnelles (self-attention). Cependant, ces méthodes échouent souvent à capturer des styles complexes ou, inversement, déforment l'image de contenu. Elles tombent dans le piège du compromis style-contenu : soit le style est faible, soit l'identité du contenu est perdue.

2. Méthodologie : HAM (Heterogeneous Attention Modulation)

L'article propose HAM, une approche sans entraînement (training-free) qui résout ce compromis en modulant de manière hétérogène les mécanismes d'attention du modèle de diffusion. La méthode repose sur trois modules clés :

A. Initialisation du Bruit Infusé de Style (SINI - Style-Infused Noise Initialization)

Au lieu d'utiliser simplement le bruit initial d'une image de contenu ou une fusion directe, HAM introduit une initialisation hybride à l'étape $T$ :

• Elle fusionne le bruit latent inversé de l'image de contenu et de l'image de style via une Normalisation par Instance Adaptative (AdaIN).
• Pour éviter la dégradation de l'identité, elle ajoute un composant de bruit résiduel de contenu spécifique.
• Cela permet d'équilibrer l'intensité du style et la fidélité du contenu dès le début du processus de débruitage.

B. Régulation de l'Attention Globale (GAR - Global Attention Regulation)

Ce module agit sur les couches d'auto-attention (Self-Attention) pour préserver la structure spatiale et sémantique globale.

• Il fusionne les projections d'attention (Query, Key, Value) provenant d'un « enseignant de contenu » et d'un « enseignant de style ».
• Il utilise l'AdaIN pour aligner les statistiques de distribution des caractéristiques de style sur celles du contenu, tout en préservant les attributs discriminatifs.
• Une fusion pondérée (paramètre $\alpha$) combine ces projections optimisées avec les projections natives du générateur, assurant une régulation macroscopique qui maintient l'identité du contenu tout en intégrant le style.

C. Transplantation d'Attention Locale (LAT - Local Attention Transplantation)

Ce module agit sur les couches d'attention croisée (Cross-Attention) pour un contrôle précis du style sans altérer la structure globale.

• Contrairement aux méthodes précédentes qui modifient l'auto-attention, HAM transfère les paires Key/Value du modèle enseignant de style vers le générateur principal.
• Pour protéger l'identité du contenu, la projection Query est une fusion pondérée (paramètre $\beta$) entre le Query du générateur et celui du modèle enseignant de contenu.
• Cela permet de découpler efficacement la guidance du style (via K/V) de la préservation de la structure (via Q), évitant ainsi la distorsion de l'image.

3. Contributions Clés

1. Approche sans entraînement : HAM permet une génération d'images stylisées de haute qualité sans nécessiter d'optimisation de gradient ni de mise à jour des paramètres du modèle.
2. Découplage Hétérogène : L'innovation principale réside dans l'utilisation combinée de la régulation globale (Self-Attention) pour la structure et de la transplantation locale (Cross-Attention) pour le style, résolvant le conflit traditionnel entre préservation de l'identité et transfert de style.
3. Compatibilité Universelle : La méthode est conçue pour fonctionner sur différentes architectures de base, y compris les modèles basés sur DDIM (SD2.1) et DiT (SD3.5).
4. Initialisation de Bruit Innovante : Le module SINI offre un mécanisme robuste pour initialiser le processus de diffusion avec un équilibre optimal entre contenu et style.

4. Résultats Expérimentaux

Les auteurs ont évalué HAM sur les ensembles de données MS-COCO et WikiArt, en comparaison avec des méthodes de l'état de l'art (SOTA) comme StyleID, DiffArtist, CSGO, STAM, etc.

• Évaluation Quantitative :

  • HAM obtient les meilleurs résultats sur les métriques de force du style (CLIP-T : 0.223, le plus élevé) et des performances globales (ArtFID : 15.151, le meilleur).
  • Il surpasse significativement les autres méthodes sur les métriques de préservation du contenu (LPIPS, DINO, CLIP-I), démontrant une meilleure rétention des détails structurels et de l'identité.
  • Les métriques composites DC et CC (mesurant l'équilibre global) confirment que HAM atteint le meilleur compromis.

• Évaluation Qualitative :

  • Les résultats visuels montrent que HAM préserve mieux les détails fins (textes, contours) et l'identité des objets tout en capturant des styles complexes (ex: Van Gogh, croquis au crayon) que les méthodes concurrentes, qui souffrent souvent de fuites de style ou de distorsions.

5. Signification et Conclusion

HAM représente une avancée significative dans le domaine du transfert de style par IA. En évitant le fine-tuning coûteux et en résolvant le compromis fondamental entre fidélité du contenu et expressivité du style grâce à une modulation d'attention hétérogène, cette méthode offre une solution robuste et adaptable.

Bien que l'article note que le transfert de styles artistiques hautement abstraits ou surréalistes reste un défi, HAM établit un nouvel état de l'art pour les applications de transfert de style guidé par image ou texte, ouvrant la voie à des outils de création plus accessibles et performants.