Résumé Technique : Renforcement de l'Encodeur de Texte pour la Génération Personnalisée d'Images à partir de Texte

Énoncé du Problème

Les récents progrès des modèles de diffusion pour la génération d'images à partir de texte (T2I) ont permis une synthèse d'images haute fidélité, pourtant les invites standard manquent souvent de spécificité pour capturer des concepts uniques ou des styles artistiques. Des techniques de personnalisation, telles que DreamBooth et Textual Inversion, sont apparues pour y remédier en apprenant des concepts spécifiques ($V^\star$) dans l'espace des tokens. Cependant, les méthodes existantes souffrent d'inefficacités significatives en termes de calcul et de stockage. Des approches comme DreamBooth nécessitent un fine-tuning de vastes portions du U-Net, entraînant une surcharge de stockage substantielle pour chaque concept. De plus, de nombreuses méthodes reposent sur plusieurs images de référence (généralement 3 à 5), limitant leur praticité dans des scénarios one-shot où les utilisateurs ne possèdent qu'une seule image de référence. Par ailleurs, les adaptations actuelles axées sur l'encodeur dépendent souvent d'un pré-entraînement étendu sur des ensembles de données à grande échelle.

Méthodologie

Les auteurs proposent TextBoost, une approche de personnalisation one-shot efficace qui déplace le focus du fine-tuning du module de génération d'images (U-Net) vers le fine-tuning sélectif de l'encodeur de texte. La méthodologie repose sur trois composantes principales :

1. Motivation : Le Rôle de l'Encodeur de Texte

Une analyse empirique révèle que lors du fine-tuning des modèles T2I, l'encodeur de texte subit les changements de paramètres les plus significatifs par rapport aux couches du U-Net. Cela suggère que l'adaptation de l'encodeur de texte est primordiale pour la personnalisation. Cependant, un fine-tuning naïf de l'encodeur de texte perturbe son espace sémantique appris, en particulier sa causalité auto-régressive (où la sortie d'un token dépend uniquement de lui-même et des tokens précédents).

2. Adaptation Préservant la Causalité (CPA)

Pour affiner l'encodeur de texte sans déformer l'intégrité sémantique de la séquence originale, les auteurs introduisent l'Adaptation Préservant la Causalité (CPA).

• Mécanisme : La CPA attache des adaptateurs légers en parallèle à des couches linéaires spécifiques au sein des blocs Transformer de l'encodeur de texte.
• Masquage Causal : Un masque causal binaire $m$ est appliqué à la sortie de l'adaptateur. Pour un nouveau token de concept $V^\star$ situé à la position $i^\star$, le masque garantit que l'adaptateur n'influence que les tokens aux positions $i \ge i^\star$.
• Effet : Les embeddings de sortie pour tous les tokens précédant $V^\star$ restent identiques à ceux de l'encodeur pré-entraîné original, préservant ainsi la compréhension contextuelle d'origine tout en permettant au modèle d'apprendre le nouveau concept.
• Implémentation : Les adaptateurs sont spécifiquement ajoutés à la deuxième couche feed-forward ($fc2$) des blocs de Perceptron Multicouche (MLP) au sein de l'encodeur de texte, plutôt qu'aux projections d'auto-attention, sur la base d'études d'ablation.

3. Embedding de Texte Étendu

Pour améliorer le contrôle fin, les auteurs proposent d'étendre l'espace d'embedding de texte.

• Conditionnement par Couche : Au lieu de partager une seule matrice d'embedding de texte $H$ à travers toutes les couches d'attention croisée du U-Net, TextBoost génère un ensemble d'embeddings par couche d'attention croisée $\{H^{(\ell)}\}$.
• Processus : Chaque embedding est affiné par un adaptateur léger spécifique à cette couche d'attention croisée $\ell$, en utilisant le même masque de causalité.
• Efficacité : Contrairement aux méthodes basées sur l'espace des tokens (par exemple, XTI, NeTI) qui nécessitent plusieurs passages avant à travers l'encodeur de texte, cette approche effectue un seul passage avant suivi de transformations d'adaptateurs légères, réduisant considérablement la surcharge computationnelle.

La méthode est présentée sous deux variantes : TextBoost (utilisant la CPA) et TextBoost++ (incorporant à la fois la CPA et l'embedding de texte étendu).

Contributions Clés

1. Fine-Tuning de l'Encodeur de Texte : L'article présente une approche novatrice spécifiquement pour le fine-tuning des encodeurs de texte pour la personnalisation T2I, une direction précédemment sous-explorée par rapport à l'adaptation du U-Net.
2. Adaptation Préservant la Causalité (CPA) : Une stratégie qui maintient l'intégrité des propriétés sémantiques originales et des relations causales de l'encodeur de texte lors de l'adaptation de nouveaux tokens de concept.
3. Embedding de Texte Étendu : Un mécanisme pour étendre l'espace d'embedding en utilisant des adaptateurs légers, facilitant une adaptation précise des concepts grâce à une intégration améliorée de l'attention croisée.
4. Efficacité : La méthode réduit considérablement le nombre de paramètres entraînables et les exigences de stockage, permettant une personnalisation de haute qualité adaptée aux environnements aux ressources limitées.

Résultats Expérimentaux

Les auteurs ont évalué TextBoost sur Stable Diffusion v2.1-base et SDXL, en le comparant à des méthodes telles que DreamBooth, Textual Inversion, LoRA, Custom Diffusion et DisenBooth.

• Performance Quantitative :
  • Fidélité : TextBoost atteint des scores VQA élevés (0,680) et des scores de similarité DINOv2 (0,560), comparables ou supérieurs aux méthodes de fine-tuning complet comme DreamBooth (865M de paramètres) tout en n'utilisant que 0,12M de paramètres.
  • Diversité : La méthode démontre une diversité de génération supérieure (0,307) par rapport à DreamBooth (0,164) et Custom Diffusion (0,136), indiquant un surapprentissage réduit.
  • Comparaison avec les Méthodes Basées sur l'Encodeur : TextBoost++ surpasse ou égale les méthodes basées sur l'encodeur comme ELITE et BLIP-Diffusion, qui nécessitent généralement un pré-entraînement étendu, sans avoir besoin d'un tel pré-entraînement.
• Résultats Qualitatifs :
  • TextBoost suit avec précision des invites complexes impliquant plusieurs attributs, arrière-plans et styles (par exemple, "Un chien V* faisant du vélo dans la rue"), tandis que les méthodes de référence omettent souvent des éléments ou souffrent de fuite d'attributs.
  • Dans la personnalisation de style, TextBoost capture efficacement les styles de référence tout en maintenant la fidélité du contenu, surpassant DisenBooth.
• Étude Utilisateur : Une étude avec 50 participants sur Amazon Mechanical Turk a montré que TextBoost avait un taux de victoire plus élevé que les méthodes existantes lorsque les utilisateurs sélectionnaient des images basées sur la fidélité au sujet et l'alignement texte-image.
• Évolutivité : La méthode a été appliquée avec succès à SDXL (qui utilise deux encodeurs de texte) en affinant uniquement l'encodeur OpenCLIP ViT-bigG, démontrant une évolutivité vers des modèles plus grands avec des mises à jour de paramètres minimales.

Importance et Revendications

L'article revendique que TextBoost offre une solution efficace, évolutive et pratiquement applicable pour la personnalisation de haute qualité de la génération d'images à partir de texte. En démontrant que l'encodeur de texte est un locus hautement efficace pour la personnalisation, les auteurs soutiennent que la personnalisation one-shot de haute qualité ne nécessite pas nécessairement une modification étendue de l'architecture de diffusion sous-jacente. Au contraire, des gains significatifs peuvent être obtenus en adaptant de manière sélective et structurelle l'espace de représentation du côté texte.

Les auteurs positionnent ce travail comme une étape vers des approches centrées sur le texte pour une personnalisation T2I efficace, particulièrement bénéfique dans les environnements aux ressources limitées (par exemple, appareils périphériques, stockage cloud à capacité limitée) où l'efficacité du stockage et de l'entraînement est critique. Ils suggèrent que la compréhension de la manière dont la personnalisation est encodée et propagée à travers le chemin de conditionnement ouvre de nouvelles opportunités pour concevoir des méthodes de personnalisation légères et déployables.