Résumé Technique : Génération d'Images Créatives avec les Modèles de Diffusion

1. Énoncé du Problème

Les modèles de génération de texte-vers-image actuels (par exemple, Stable Diffusion, DALL-E) excellent dans la production d'images de haute qualité qui s'alignent sur les distributions de données d'entraînement. Cependant, ils présentent un « biais contre-créatif » fondamental. Leurs fonctions de perte et leurs métriques d'évaluation (telles que le FID) privilégient la typicalité et la fidélité de reconstruction, menant à des résultats qui sont souvent conventionnels, ennuyeux ou simplement une réplication de concepts existants.

Le problème central abordé est la manière d'induire une véritable créativité — définie comme la génération de sorties novatrices et de haute qualité présentant une faible probabilité d'existence — sans dépendre de l'ingénierie de prompts manuelle, du mélange explicite de concepts ou de l'exclusion de sous-catégories connues. Les approches existantes peinent souvent à équilibrer le compromis entre la qualité de l'image et la nouveauté, aboutissant fréquemment soit à du bruit de faible qualité « hors domaine », soit à des images sûres mais peu créatives.

2. Méthodologie

Les auteurs proposent un cadre qui reformule la créativité comme un problème probabiliste : les images créatives résident dans les queues de probabilité faible de la distribution d'embeddings d'images. La méthode opère sur un modèle de diffusion latent (spécifiquement Kandinsky 2.1) et se compose de quatre composantes primaires :

2.1. Échantillonnage de la Distribution Prior

Le système établit d'abord une distribution de base des embeddings d'images ($e$) générés par le prior de diffusion $\epsilon_\theta$ pour un prompt textuel donné.

• Processus : Un grand nombre d'échantillons sont prélevés, projetés dans un espace de dimension inférieure via l'Analyse en Composantes Principales (PCA), et ajustés à une distribution gaussienne multivariée $\hat{G}$.
• Objectif : Ce $\hat{G}$ représente la région « typique » ou « ennuyeuse » de l'espace sémantique.

2.2. Optimisation Créative

Pour générer des sorties créatives, le modèle est optimisé pour s'éloigner de la moyenne de $\hat{G}$ vers ses queues.

• Espace Conceptuel : L'optimisation s'effectue sur un espace combiné comprenant un embedding de token apprenable (ex: le sujet « véhicule ») et les paramètres de LoRA (Low-Rank Adaptation) du prior de diffusion.
• Perte Créative ($L_{creative}$) : L'objectif est de minimiser la log-vraisemblance de l'embedding généré sous la distribution de base :
  $$L_{creative}(\tilde{e}) = \log \hat{G}(\tilde{e})$$
  Minimiser cette perte pousse l'embedding vers des régions de plus faible probabilité, augmentant théoriquement le « potentiel d'éveil » (nouveauté et surprise).

2.3. Mécanismes de Rappel (Pullback)

Pour éviter que le modèle ne se dégrade en un bruit incohérent (échec hors-domaine) tout en cherchant des régions de faible probabilité, deux contraintes sont appliquées :

1. Perte d'Ancrage ($L_{anchor}$) : Force l'alignement sémantique en maximisant la similitude cosinus entre l'embedding de l'image générée et l'embedding textuel du prompt original ($P_{pos}$).
2. Vérificateur de Validité Sémantique (MLLM) : Périodiquement, une image générée est rendue et interrogée par un Modèle de Langage Multimodal (ex: Janus ou LLaVA) avec le prompt : « Est-ce toujours un {sujet} ? Oui ou Non. » Si le MLLM rejette l'image, l'essai d'optimisation est terminé. Cela agit comme une garde robuste contre les échecs de type adverses que les simples contraintes CLIP pourraient manquer.

2.4. Contrôle de la Directionnalité

Pour éviter de converger vers des régions de faible probabilité qui sont simplement « laides » ou indésirables, le système emploie une Modélisation de Cluster Négatif.

• Si l'optimisation produit des sorties visuellement peu attrayantes, leurs embeddings sont collectés pour former une distribution gaussienne négative $\hat{G}_{neg}$.
• Un terme de pénalité ($L_{neg}$) est ajouté à la fonction de perte pour repousser le modèle de ces directions « défavorables » spécifiques, guidant l'exploration vers des régions novatrices mais esthétiquement plaisantes.

3. Contributions Clés

1. Perspective Probabiliste de la Créativité : L'article introduit un cadre où la créativité est explicitement définie comme l'inverse de la probabilité d'existence d'une image dans l'espace d'embedding CLIP, s'éloignant du mélange manuel de concepts.
2. Optimisation Orientée Créativité : Une fonction de perte spécialisée est conçue pour pousser le modèle vers les régions d'embedding de faible probabilité, optimisant directement la nouveauté.
3. Rappel et Contrôle Directionnel : L'introduction de pertes d'ancrage et de vérificateurs sémantiques basés sur le MLLM garantit que la haute créativité ne se fait pas au détriment de la fidélité sémantique ou de la cohérence visuelle. De plus, la modélisation de cluster négatif oriente le modèle loin des directions créatives indésirables mais esthétiques.
4. Efficacité : La méthode démontre une convergence rapide, produisant des résultats créatifs en quelques minutes (environ 50 étapes), ce qui est nettement plus rapide que les méthodes reposant sur l'exclusion itérative de sous-catégories.

4. Résultats Expérimentaux

• Qualité Visuelle : La méthode génère avec succès des images novatrices à travers diverses catégories (ex: bâtiments, véhicules, extraterrestres, fruits) qui sont visuellement intrigantes et distinctes des sorties standards.
• Décalage de Distribution : La visualisation de l'espace d'embedding confirme que la distribution générée se déplace progressivement vers les queues de la distribution de base pendant l'entraînement.
• Évaluation Humaine : Dans une étude utilisateur impliquant huit sujets, la méthode proposée a été préférée à la ligne de base (ConceptLab) dans la majorité des cas (ex: 70,8 % de préférence pour les images d'extraterrestres, 75 % pour les véhicules). Les utilisateurs ont jugé les sorties plus créatives et engageantes.
• Études d'Ablation :
  • Cible d'Optimisation : L'optimisation des paramètres LoRA et des tokens de sujet a produit des résultats créatifs cohérents, tandis que l'optimisation directe des embeddings d'images a conduit à une dégradation rapide de la qualité.
  • Nécessité du Rappel (Pullback) : Le retrait du vérificateur MLLM a entraîné une adhérence « trompeuse » aux prompts (ex: transformer un fruit en une figure humaine avec des motifs de fruits), tandis que le retrait de la perte d'ancrage a causé une dérive totale du modèle hors du domaine.
  • Directionnalité : La modélisation de cluster négatif a réussi à empêcher le modèle de s'installer sur des styles esthétiques peu attrayants, le forçant à découvrir des directions créatives plus diverses et plaisantes.
• Comparaison : Contrairement à ConceptLab, qui nécessite d'identifier et d'exclure des sous-catégories (inefficace pour les concepts sans sous-classes claires comme les « extraterrestres »), cette méthode opère directement sur la distribution de probabilité, atteignant la créativité de manière plus efficace et plus large.

5. Signification et Revendications

L'article affirme fournir une nouvelle perspective sur la créativité dans les modèles génératifs, déplaçant l'accent de la imitation des distributions d'entraînement vers l'exploration des queues de probabilité faible de l'espace d'embedding. Les auteurs soutiennent que leur approche offre une méthode fondée sur des principes pour favoriser l'innovation dans la synthèse de contenu visuel sans dépendre de l'ingénierie de prompts humaine ou de l'exclusion explicite de sous-catégories.

Ce travail est présenté comme une étape fondamentale vers des systèmes d'IA plus expressifs et flexibles, démontrant qu'il est possible de définir mathématiquement et d'optimiser le « potentiel d'éveil » (un concept psychologique de nouveauté et de surprise) tout en maintenant la validité sémantique grâce à des mécanismes de rappel robustes. Les auteurs positionnent cela comme le premier cadre de créativité probabiliste pour la génération d'images à partir de texte qui ne dépend pas de l'existence de sous-catégories connues.