GASS: Geometry-Aware Spherical Sampling for Disentangled Diversity Enhancement in Text-to-Image Generation

Ce papier propose GASS, une méthode d'échantillonnage sphérique géométriquement consciente qui améliore la diversité des images générées par texte en contrôlant de manière désintriquée les variations dépendantes et indépendantes du prompt via la décomposition des embeddings CLIP, le tout sans compromettre la fidélité ni l'alignement sémantique.

L'essentiel

Imaginez que vous demandez à un artiste très talentueux (une intelligence artificielle) de peindre « une voiture noire ».

Si vous lui demandez de faire 10 tableaux différents, vous vous attendez à une vraie variété : une voiture de sport, une berline, vue de face, de profil, sur une route de montagne, dans une ville, sous la pluie, au soleil, etc.

Mais souvent, ces artistes numériques sont un peu « paresseux » ou « conformistes ». Ils vont vous sortir 10 voitures noires qui se ressemblent toutes : mêmes angles, mêmes décors, mêmes lumières. C'est ce qu'on appelle un manque de diversité.

C'est là que le papier dont vous parlez, baptisé GASS, intervient avec une idée brillante et géométrique.

Le Problème : L'Artiste qui a peur de sortir du cadre

Les modèles actuels sont excellents pour respecter la consigne (la voiture doit être noire), mais ils ont du mal à explorer tout ce qui n'est pas spécifié. Ils restent coincés dans une petite zone de leur imagination.

Les anciennes méthodes pour les forcer à être plus créatifs ressemblaient à quelqu'un qui secouerait le tableau au hasard pour essayer de trouver une nouvelle idée. Ça marche parfois, mais c'est souvent désordonné et ça peut gâcher la qualité de l'image.

La Solution GASS : Une boussole géométrique

Les auteurs de GASS (Geometry-Aware Spherical Sampling) ont eu une idée : au lieu de secouer le tableau au hasard, regardons la « géographie » de l'imagination de l'IA.

Imaginez que toutes les images possibles existent sur une immense sphère (comme une boule de cristal géante).

• Le centre de cette sphère, c'est votre texte (« voiture noire »).
• Les points sur la sphère sont les images générées.

Leur découverte géniale est que cette sphère a deux axes principaux, comme les axes d'un globe terrestre :

1. L'axe du Texte (La Latitude) : C'est ce qui change quand on respecte le texte. Si on bouge sur cet axe, la voiture change de modèle (une Ferrari devient une Tesla), mais elle reste une voiture noire. C'est la variation dépendante du texte.
2. L'axe de l'Inconnu (La Longitude) : C'est ce qui change quand on ignore le texte. Si on bouge sur cet axe, la voiture reste une voiture noire, mais le décor change (la forêt devient une plage, le ciel devient rouge, l'heure change). C'est la variation indépendante du texte.

Comment GASS fonctionne-t-il ? (L'analogie du Chef d'Orchestre)

GASS agit comme un chef d'orchestre très précis qui dit à l'IA : « Hé, tu es trop groupée ! Écarte-toi ! »

Voici les trois étapes magiques :

1. La Cartographie : L'IA regarde le groupe d'images qu'elle vient de créer. Elle identifie l'axe du texte (évident) et trouve magiquement l'axe de l'inconnu (le fond, le style) qui est perpendiculaire au premier. C'est comme tracer une ligne droite sur une carte pour voir où l'on n'est jamais allé.
2. L'Expansion (Le Grand Écart) : Au lieu de laisser les images se bousculer au même endroit, GASS les pousse doucement vers les bords de la sphère, dans les deux directions.
   • Il dit : « Allez, faites une voiture vue de face ET une vue de profil ! » (Axe du texte).
   • Et surtout : « Allez, mettez-en une sur la plage, une dans la neige, une au coucher de soleil ! » (Axe de l'inconnu).
3. Le Guidage : L'IA ajuste ses coups de pinceau (son processus de génération) pour s'assurer que les nouvelles images tombent bien dans ces nouvelles zones élargies, sans perdre la qualité de l'image.

Pourquoi est-ce révolutionnaire ?

Avant, pour avoir de la diversité, il fallait souvent changer le texte (demander « une voiture noire sur la plage » puis « une voiture noire dans la neige »).

Avec GASS, vous donnez une seule fois la consigne « voiture noire », et l'IA génère automatiquement 10 versions différentes avec des arrière-plans et des styles variés, sans que vous ayez à modifier le texte.

C'est comme si vous demandiez à un photographe de prendre 10 photos d'un objet, et qu'il décidait tout seul de changer l'éclairage, l'angle et le décor pour vous offrir un véritable album complet, au lieu de 10 photos identiques.

En résumé

GASS est une méthode qui utilise la géométrie (des maths sur des sphères) pour dire aux intelligences artificielles : « Ne te contente pas de faire la même chose 10 fois. Explore tout l'espace disponible autour de ta consigne, surtout les détails que tu as oubliés (comme le fond de l'image). »

Résultat : Des images plus belles, plus variées, et moins ennuyeuses, tout en restant fidèles à ce que vous avez demandé.

Résumé technique

1. Problématique

Les modèles de génération d'images à partir de texte (Text-to-Image ou T2I) modernes, bien qu'ils excellent en termes de fidélité visuelle et d'alignement sémantique, souffrent d'un manque de diversité lorsqu'ils sont confrontés à un même prompt. Cette limitation pose deux problèmes majeurs :

• Contrainte utilisateur : Elle restreint le choix et le contrôle créatif des utilisateurs.
• Biais sociétaux : Elle risque d'amplifier les stéréotypes visuels (genre, ethnie, etc.) en produisant systématiquement les mêmes représentations pour un même concept.

Les méthodes existantes tentent d'augmenter la diversité en maximisant l'entropie des échantillons (via des perturbations de latents ou de signaux de conditionnement), mais elles ignorent souvent la nature multi-sources de cette diversité. Elles ne distinguent pas clairement entre les variations liées au prompt (ex: angle de vue, modèle d'objet) et les variations indépendantes du prompt (ex: arrière-plan, éclairage, style).

2. Méthodologie : GASS (Geometry-Aware Spherical Sampling)

L'approche proposée, GASS, adopte une perspective géométrique dans l'espace d'embedding de CLIP pour décomposer et contrôler la diversité.

A. Décomposition Géométrique de la Diversité

Les auteurs modélisent la diversité d'un lot d'images générées dans l'hyper-sphère des embeddings CLIP. Ils décomposent la variance des embeddings d'images ($e_i$) par rapport à l'embedding du texte ($e_t$) en deux composantes orthogonales :

1. Variation dépendante du prompt ($D_{dep}$) : Capturée par la projection sur le vecteur du texte $e_t$. Elle reflète les changements sémantiques alignés avec le prompt (ex: différentes poses d'un objet).
2. Variation indépendante du prompt ($D_{ind}$) : Capturée par un vecteur unitaire orthogonal identifié, noté $u_{ind}$. Ce vecteur est trouvé par une recherche aléatoire dans le sous-espace orthogonal à $e_t$ pour maximiser la variance résiduelle. Il capture des attributs visuels non spécifiés par le texte (ex: arrière-plans, styles).

La diversité globale est mesurée par un score d'étalement sphérique (SPP) :
$$SPP = D_{dep} + D_{ind}$$
où $D_{dep}$ et $D_{ind}$ sont les étendues (max - min) des projections des embeddings sur les axes respectifs.

B. Algorithme GASS

Le processus d'amélioration se déroule lors de l'inférence (sampling) et comprend deux étapes principales :

1. Guidage Sphérique Latent (Projection Expansion) :

   • Pour chaque image du lot, les auteurs définissent un vecteur cible perturbé $\tilde{e}_i$.
   • Ils appliquent un décalage aléatoire ($\delta$) tiré d'une distribution uniforme le long des deux axes orthogonaux ($e_t$ et $u_{ind}$).
   • Le vecteur perturbé est ensuite re-normalisé pour rester sur l'hyper-sphère unité de CLIP, garantissant ainsi une représentation valide.

2. Optimisation par Gradient (SPP Gradient Optimization) :

   • Puisque CLIP n'a pas de décodeur intégré pour revenir aux pixels, GASS utilise le gradient de l'encodeur d'images CLIP (froid) pour guider le modèle générateur.
   • À chaque étape de débruitage $t$, le modèle T2I prédit une image propre estimée $\hat{x}_{0|t}$.
   • On calcule la perte d'alignement entre l'embedding de cette image estimée et la cible étendue $\tilde{e}_i$.
   • Une étape de correction par gradient est appliquée directement sur l'image estimée $\hat{x}_{0|t}$ avant qu'elle ne soit utilisée pour la prochaine étape de débruitage. Cela permet de "pousser" la trajectoire de génération vers une plus grande couverture géométrique sans modifier les poids du modèle générateur.

3. Contributions Clés

1. Cadre Géométrique de Décomposition : Introduction d'une méthode pour séparer et quantifier les sources de diversité (dépendante et indépendante du prompt) directement dans l'espace CLIP via des projections orthogonales.
2. Méthode GASS : Proposition d'un algorithme d'échantillonnage qui étend explicitement la dispersion géométrique des embeddings générés le long des axes identifiés, offrant un contrôle granulaire sur le type de diversité ajouté.
3. Première approche pour la diversité d'arrière-plan : À la connaissance des auteurs, GASS est la première méthode basée sur l'échantillonnage capable d'introduire une diversité significative d'arrière-plans sans modifier le prompt textuel, comblant une lacune des travaux précédents.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs architectures de modèles T2I (U-Net et DiT, diffusion et flux rectifié) et benchmarks (ImageNet, DrawBench).

• Diversité supérieure : GASS surpasse les méthodes de l'état de l'art (PG, CADS, IG, SPELL) sur les métriques de diversité intrinsèque (Vendi Score) et le score d'étalement sphérique (SPP).
• Préservation de la qualité : Contrairement à de nombreuses méthodes qui sacrifient la qualité pour la diversité, GASS maintient (voire améliore légèrement) la fidélité (ImageReward) et l'alignement sémantique (ClipScore).
• Contrôlabilité : Les ablations montrent qu'il est possible de contrôler sélectivement la diversité :
  • Expansion sur $e_t$ $\rightarrow$ variations de pose et de disposition.
  • Expansion sur $u_{ind}$ $\rightarrow$ variations d'arrière-plan et de style.
• Robustesse : La méthode fonctionne même avec des prompts complexes et détaillés, là où d'autres méthodes échouent à ajouter de la diversité supplémentaire.

5. Signification et Impact

Ce travail est significatif car il change le paradigme de l'amélioration de la diversité : au lieu de maximiser aveuglément l'entropie, il propose une compréhension structurelle de la diversité dans l'espace latent.

• Pour la recherche : Il ouvre la voie à un contrôle plus fin des facteurs de variation dans les modèles génératifs, en exploitant la géométrie des espaces d'embedding.
• Pour la société : En permettant une génération plus diversifiée (notamment des arrière-plans et des contextes variés) sans changer le prompt, GASS aide à atténuer les biais et les stéréotypes visuels souvent renforcés par les modèles T2I actuels.
• Efficacité : La méthode est légère, ne nécessite pas de réentraînement des modèles (inference-time only) et s'adapte à différentes architectures de base.

En résumé, GASS offre un cadre théorique et pratique pour rendre la génération d'images par IA plus riche, variée et équitable, en exploitant intelligemment la géométrie des représentations sémantiques.