Premier: Personalized Preference Modulation with Learnable User Embedding in Text-to-Image Generation

Each language version is independently generated for its own context, not a direct translation.

Imagine que vous essayez de dessiner un chef-d'œuvre, mais vous parlez à un artiste qui a un problème : il comprend très bien les mots, mais il ne comprend pas votre style. Si vous lui dites "dessine un chat", il vous donnera un chat générique, comme ceux qu'on voit dans les magazines. Mais vous, vous aimez les chats avec des oreilles pointues, assis sur un coussin bleu, avec une lumière dorée. C'est là que le papier Premier intervient.

Voici une explication simple de cette technologie, imagée comme une histoire d'art et de mémoire.

1. Le Problème : L'Artiste qui oublie vos goûts

Actuellement, les générateurs d'images par IA (comme Midjourney ou DALL-E) sont comme des chefs cuisiniers très doués, mais qui ne connaissent pas votre palais.

L'ancien moyen : Pour leur expliquer vos goûts, vous deviez écrire des descriptions très précises ("un chat bleu, oreilles pointues..."). Le problème ? Les humains sont mauvais pour décrire ce qu'ils aiment en mots. De plus, l'IA a tendance à oublier vos préférences spécifiques dès qu'on lui donne une nouvelle commande.
Le résultat : L'IA produit quelque chose de "moyen", qui ne ressemble pas vraiment à ce que vous auriez aimé.

2. La Solution de "Premier" : La Carte de Goût Personnelle

L'équipe derrière Premier a eu une idée brillante : au lieu de vous faire écrire des descriptions, pourquoi ne pas donner à l'IA une carte de goût personnelle (un "badge" numérique) basée sur les images que vous avez déjà aimées ?

Imaginez que chaque utilisateur possède un badge magique (appelé "embedding" dans le jargon technique).

Ce badge ne contient pas de mots, mais une sorte de "fréquence" ou de "vibration" qui résume tout ce que vous aimez (vos couleurs préférées, vos styles, vos compositions).
Plus vous montrez d'images à l'IA, plus ce badge devient précis et unique à votre personnalité.

3. Comment ça marche ? Le Chef et le Chef de Cuisine

Le système utilise deux outils principaux pour faire le lien entre votre badge et l'image finale :

A. L'Adaptateur de Préférence (Le Traducteur)

C'est comme un chef de cuisine très attentif qui se tient à côté de l'artiste.

Quand vous donnez une instruction ("Dessine un chat"), l'artiste regarde d'abord votre badge magique.
Le chef de cuisine dit à l'artiste : "Attends, ce n'est pas juste un chat. C'est un votre-style de chat. Ajoute un peu de bleu, rends les oreilles plus pointues."
Cela permet à l'IA de modifier chaque mot de votre phrase pour qu'il corresponde exactement à votre style, sans que vous ayez à le redire à chaque fois.

B. La Loi de la Distinction (Le "Mélangeur" de Couleurs)

Il y a un risque : si tout le monde a un badge, l'IA pourrait finir par penser que le badge de Paul est le même que celui de Marie.

Pour éviter cela, le système utilise une loi de dispersion (Dispersion Loss).
Imaginez que vous avez un mélangeur de couleurs. Si vous mettez le badge de Paul et celui de Marie dans le même bol, le système les force à s'éloigner l'un de l'autre, comme des aimants qui se repoussent.
Cela garantit que le style de Paul reste très différent du style de Marie. L'IA ne confondra jamais vos goûts avec ceux de votre voisin.

4. Le Cas des Nouveaux Arrivants : L'Effet "Mélange"

Que se passe-t-il si un nouvel utilisateur arrive avec seulement 2 ou 3 images préférées ? C'est trop peu pour créer un badge parfait.

L'ancienne méthode : L'IA paniquerait et essaierait de deviner, ce qui donnerait un résultat bizarre (comme essayer de deviner le goût d'un plat avec un seul grain de sel).
La méthode Premier : Le système dit : "Ce nouveau client aime un peu le style de Paul, un peu celui de Marie et un peu celui de Sophie."
Il crée le nouveau badge en mélangeant (combinaison linéaire) les badges des utilisateurs qu'il connaît déjà. C'est comme faire une nouvelle recette en mélangeant des épices connues pour créer un nouveau parfum, même avec peu d'ingrédients. Cela rend le résultat beaucoup plus stable et fiable.

En Résumé

Premier est comme un assistant personnel pour l'IA artistique.

Il apprend vos goûts en regardant vos images préférées, pas en lisant vos longs textes.
Il crée un badge unique pour vous.
Il utilise ce badge pour corriger en temps réel les instructions que vous donnez à l'IA, afin que le résultat ressemble exactement à ce que vous imaginez.
Il s'assure que votre badge reste unique (vous ne ressemblez pas à tout le monde) et qu'il fonctionne même si vous êtes un nouvel utilisateur avec peu d'images.

Le résultat ? Des images qui ne sont pas juste "jolies", mais qui sont vraiment à vous.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La génération d'images à partir de texte (Text-to-Image ou T2I) a considérablement progressé, mais elle peine encore à capturer les préférences utilisateurs nuancées et subjectives.

Limites des approches actuelles : Les méthodes existantes reposent souvent sur des modèles de langage multimodaux (LMM) pour déduire les préférences à partir d'historiques d'images ou de textes. Cependant, ces approches souffrent de plusieurs défauts :
- La transformation des préférences en prompts textuels ou en codes latents entraîne une perte d'information et une fidélité imparfaite.
- Les modèles T2I ont du mal à suivre des instructions complexes ou subtiles dérivées de ces LMM.
- L'ajout de tokens conditionnels (pour représenter l'utilisateur) dans les modèles de type DiT (Diffusion Transformer) crée un problème de "dilution des tokens", réduisant l'efficacité du contrôle.
Objectif : Extraire directement les préférences à partir des images sélectionnées par l'utilisateur (sans description textuelle explicite) et les intégrer de manière fine et précise dans le processus de génération.

2. Méthodologie : Le Framework "Premier"

L'approche proposée, Premier, utilise des embeddings utilisateurs apprenables (learnable user embeddings) et une modulation de préférence au niveau des tokens de texte.

A. Représentation par Embedding Apprenable

Au lieu d'utiliser un LMM pour extraire des caractéristiques, chaque utilisateur est représenté par un vecteur d'embedding ( $e_u$ ) apprenable. Ce vecteur est optimisé directement via la rétropropagation de la perte de diffusion sur les images de préférence de l'utilisateur.

B. Adaptateur de Préférence (Preference Adapter)

Pour fusionner l'embedding utilisateur avec le prompt texte, l'article introduit un module d'adaptation qui génère une direction de modulation ( $\Delta$ ) pour chaque token de texte.

Mécanisme : Deux adaptateurs fonctionnent en parallèle via un mécanisme d'attention croisée (Cross-Attention) :
1. Adaptateur Partagé (Block-Shared) : Produit une direction de modulation uniforme pour tous les blocs DiT.
2. Adaptateur Distinct (Block-Distinct) : Génère des directions de modulation spécifiques à chaque bloc DiT, permettant un contrôle plus granulaire et contextuel.
Fonctionnement : Ces directions sont ajoutées au vecteur de modulation original du modèle (dans le mécanisme AdaLN du MM-DiT), permettant de guider la génération sans diluer les tokens de texte.

C. Perte de Dispersion (Dispersion Loss)

Un défi majeur est que l'adaptateur a tendance à s'adapter trop aux tokens de texte plutôt qu'aux spécificités de l'utilisateur, conduisant à des résultats similaires pour différents utilisateurs.

Solution : Introduction d'une perte de dispersion basée sur InfoNCE.
Objectif : Cette perte force les directions de modulation générées par différents utilisateurs (au sein d'un même batch) à être bien séparées dans l'espace des caractéristiques. Cela garantit que chaque utilisateur a une "signature" de préférence unique et distincte.

D. Stratégie de Démarrage à Froid (Cold-Start) pour Nouveaux Utilisateurs

Pour les nouveaux utilisateurs disposant de très peu de données (ex: 2 à 8 images), l'entraînement direct d'un embedding est instable et sujet au surapprentissage.

Approche : L'embedding d'un nouvel utilisateur est représenté comme une combinaison linéaire des embeddings des utilisateurs déjà entraînés dans le jeu de données.
Optimisation : Seuls les coefficients de cette combinaison linéaire sont optimisés, tandis que les adaptateurs et les embeddings de base restent figés. Cela permet une généralisation robuste avec peu de données.

3. Contributions Clés

Embeddings Utilisateurs Apprenables : Utilisation d'embeddings directs entraînés par diffusion pour capturer les préférences, évitant les pertes d'information des LMM.
Modulation de Préférence par Prompt : Intégration des préférences via une modulation token-par-token (via des adaptateurs partagés et distincts), assurant un contrôle contextuel fin sans dilution de tokens.
Perte de Dispersion : Une nouvelle fonction de perte qui améliore la discriminabilité entre les utilisateurs, empêchant l'effondrement des préférences vers un style moyen.
Stratégie de Combinaison Linéaire : Une méthode efficace pour gérer les nouveaux utilisateurs avec des données limitées, assurant la stabilité de l'alignement des préférences.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données PrefBench en utilisant le modèle de base FLUX.1-dev.

Métriques Quantitatives :
- ViPer Score & Win Rate : Premier obtient les meilleurs scores (0.6889 pour le ViPer Score et 87.6% de taux de victoire) par rapport aux méthodes de l'état de l'art (ViPer, DrUM, InstantStyle, Bagel, Qwen-Image-Edit).
- Fidélité au Texte (CLIP T2I) : Le modèle maintient une haute cohérence avec le prompt texte (0.3183), prouvant que la personnalisation ne se fait pas au détriment de l'instruction.
- Similarité Perceptuelle (LPIPS) : Premier génère des images plus proches des préférences visuelles de l'utilisateur (LPIPS plus bas : 0.5986).
Étude Utilisateur (Human Evaluation) :
- Sur une étude avec 40 experts humains, les images générées par Premier ont été préférées dans 64,1% à 86,6% des cas par rapport aux autres méthodes, pour leur meilleur alignement avec les préférences de l'utilisateur et le prompt.
Études d'Ablation :
- La suppression de la perte de dispersion réduit considérablement la diversité entre les utilisateurs.
- La suppression des adaptateurs (partagés ou distincts) dégrade la qualité de la modulation.
- La stratégie de combinaison linéaire surpasse l'entraînement direct lorsque l'historique de l'utilisateur est court (< 8 images).

5. Signification et Impact

Ce travail marque une avancée significative dans la génération d'images personnalisée :

Efficacité des Données : Il démontre qu'il est possible de capturer des préférences complexes sans dépendre de descriptions textuelles lourdes ou de LMM coûteux, en utilisant uniquement des images de préférence.
Architecture Flexible : L'approche de modulation (plutôt que l'ajout de tokens) s'adapte mieux aux architectures modernes de type DiT, résolvant les problèmes de dilution de l'information.
Robustesse : La stratégie de combinaison linéaire rend le système viable pour des applications réelles où les nouveaux utilisateurs n'ont pas encore accumulé de grandes bases de données historiques.

En résumé, Premier propose un cadre robuste et efficace pour aligner les modèles de génération d'images sur les goûts individuels, surpassant les méthodes actuelles tant en précision technique qu'en satisfaction humaine.