Résumé Technique : Génération d'Images Personnalisée via l'Optimisation Bayésienne avec l'Humain dans la Boucle

1. Énoncé du Problème

Malgré les progrès rapides des modèles de diffusion (ex. : FLUX, Stable Diffusion 3), un écart fondamental subsiste entre l'image mentale d'un utilisateur ($x^*$) et la meilleure image ($x_p^*$) réalisable par de simples prompts textuels. Cet écart provient du fait que l'espace des images est de dimension supérieure à celui du langage, que le vocabulaire de l'utilisateur est limité, et que les modèles conjoints langage-image (comme CLIP) possèdent des imperfections intrinsèques.

Bien que les utilisateurs puissent souvent identifier quand une image générée est « plus proche » de leur cible mentale qu'une précédente, ils éprouvent des difficultés à articuler les changements linguistiques spécifiques requis pour combler cet écart. Les méthodes existantes reposant sur le prompting textuel, ou celles nécessitant un entraînement hors ligne intensif sur de grands ensembles de données (ex. : RLHF, DiffusionDPO), sont soit insuffisantes pour l'hyper-personnalisation, soit trop coûteuses en termes de calcul. Le papier cadre cela comme un problème d'optimisation boîte noire avec l'humain dans la boucle : comment affiner de manière itérative une image en utilisant uniquement un retour de préférence d'un utilisateur, sans avoir accès à la fonction de satisfaction interne de l'utilisateur ou à la cible de vérité terrain $x^*$.

2. Méthodologie : MultiBO

Les auteurs proposent MultiBO (Multi-Choice Preferential Bayesian Optimization), un cadre interactif sans entraînement qui optimise la génération d'images en modifiant les représentations internes d'un modèle de diffusion sur la base des préférences de l'utilisateur.

Composants Clés

La méthodologie aborde deux défis principaux : la haute dimensionnalité de l'espace image et la difficulté d'obtenir des évaluations numériques précises de la part des utilisateurs.

A. Optimisation Bayésienne Préférentielle à Choix Multiples (Multi-choicePBO)

Au lieu des comparaisons par paires classiques (A vs B), MultiBO présente à l'utilisateur un ensemble de $K$ images et lui demande de sélectionner les $N$ meilleures options ($N$ parmi $K$).

• MultiwiseGPR : Pour modéliser la fonction de satisfaction latente $f$ de l'utilisateur à partir de ce feedback complexe, les auteurs introduisent un modèle de vraisemblance MultiwiseGaussian Process Regression (MultiwiseGPR). Cela étend les modèles standards de probabilité Binomiale-Probit/Logit utilisés dans l'optimisation de préférence par paire à un cadre Multinomial-Logit. Il cartographie la probabilité qu'un utilisateur sélectionne un sous-ensemble spécifique d'images vers les valeurs de la fonction latente, permettant au système d'inférer $f$ plus efficacement avec moins de requêtes.
• Fonction d'Acquisition de Sous-Espace Équilibré Dynamique (DBS) : L'amélioration attendue (Expected Improvement - EI) standard est informatiquement intractables lorsqu'on optimise conjointement sur $K$ choix. Les auteurs proposent DBS, une fonction d'acquisition légère qui :
  1. Calcule un échantillon unique d'amélioration attendue ($x_{EI}$).
  2. Construit $K$ points « ancres » (vecteurs de pont) entre la meilleure estimation actuelle ($\hat{x}^*$) et $x_{EI}$.
  3. Échantillonne des perturbations à partir d'un sous-espace dynamique $\Omega \subseteq Y$. Ce sous-espace est déterminé par l'écart spectral de la matrice de covariance du gradient de la distribution postérieure du GPR, garantissant que les $K$ choix présentés à l'utilisateur couvrent les dimensions visuellement les plus significatives de l'espace latent tout en maintenant la diversité.

B. Déformation de l'Auto-Attention (Self-Attention Warping)

L'optimisation directe dans l'espace latent de haute dimension ($D \approx 16k$) est infaisable. MultiBO optimise plutôt au sein du mécanisme d'auto-attention du modèle de diffusion (spécifiquement les matrices Query, Key et Value, $Q, K, V$).

• Espace de Transformation : L'optimisation est contrainte à un espace de transformations de déformation valides (une composition de transformations Affines et de Splines à Plaque Mince) appliquées aux caractéristiques d'attention.
• Raisonnement : L'auto-attention contrôle les attributs spatiaux, la texture et la forme. En déformant ces caractéristiques, MultiBO peut induire des changements sémantiques globaux et locaux sans le coût dimensionnel de l'optimisation dans l'espace des pixels. Cela évite d'avoir recours à l'attention croisée (qui est liée au prompt textuel) et se concentre sur l'affinement du résultat visuel.

Flux de Travail (Workflow)

1. Initialisation : Générer une image initiale $x_p^*$ à partir d'un prompt.
2. Itération (jusqu'à $B$ cycles) :
   • Le module DBS propose $K$ ensembles de paramètres de déformation.
   • Ces paramètres sont appliqués aux caractéristiques d'auto-attention du modèle de diffusion pour générer $K$ images candidates.
   • L'utilisateur sélectionne les $N$ meilleures images.
   • Le modèle MultiwiseGPR met à jour sa croyance postérieure de la fonction de satisfaction $f$.
   • Le processus se répète jusqu'à épuisement du budget $B$, produisant l'image optimisée finale $\hat{x}^*$.

3. Contributions Clés

1. Cadre de Préférence à Choix Multiples : Le papier démontre que le feedback de préférence $N$-sur-$K$ fournit des informations nettement plus riches que les comparaisons par paires, réduisant la charge de requête de l'utilisateur. Il formalise cela mathématiquement via la vraisemblance MultiwiseGPR et une fonction d'acquisition correspondante.
2. Optimisation dans l'Espace d'Attention : Contra Contrairement aux méthodes qui optimisent les vecteurs de bruit ou l'espace des pixels, MultiBO optimise les caractéristiques d'auto-attention ($Q, K, V$) en utilisant un espace de transformation de déformation contraint. Cela équilibre le besoin de modification expressive et la faisabilité computationnelle.
3. Personnalisation Sans Entraînement : L'approche ne nécessite aucun entraînement hors ligne sur de grands ensembles de données ou de réglage fin (fine-tuning) du modèle de diffusion. Elle opère entièrement au moment de l'inférence, ce qui la rend indépendante du modèle et adaptable aux préférences individuelles de chaque utilisateur.
4. Sélection de Sous-Espace Dynamique : La fonction d'acquisition DBS identifie de manière adaptative les dimensions les plus influentes pour l'optimisation, empêissant la recherche de s'effondrer dans des variations redondantes.

4. Résultats Expérimentaux

Les auteurs ont évalué MultiBO par rapport à cinq catégories de bases : l'alignement de préférence basé sur l'entraînement (DiffusionDPO, IterComp), les méthodes d'inférence sans entraînement (DEMON, DNO, DAS), et des variantes guidées par des métriques (MultiBO).

• Alignement de la Cible : MultiBO a nettement surpassé toutes les bases dans les métriques CLIP-I2I et LPIPS (mesurant la similitude avec la cible $x^*$), atteignant des résultats comparables à une borne supérieure « Oracle » guidée par L2. Notamment, il a surpassé les variantes où l'humain est remplacé par des modèles de récompense automatisés (ex. : MultiBOCLIP-I2I), validant que le feedback humain capture des nuances manquées par les métriques de substitution.
• Métriques de Préférence : MultiBO a obtenu des scores compétitifs ou supérieurs sur les métriques de récompense standard (ImageReward, Aesthetic, HPSv2) par rapport aux méthodes basées sur l'entraînement, malgré l'absence de données d'entraînement.
• Robustesse : Contraéndose de certaines bases (ex. : DNO, DAS) qui souffraient de « reward hacking » (générant de mauvaises images qui obtenaient des scores élevés sur des métriques spécifiques), MultiBO a maintenu l'intégrité visuelle.
• Évaluation Humaine : Dans une étude avec 30 volontaires, MultiBO a obtenu un taux de victoire de 70,82 % pour la sélection de l'image la plus proche de la cible, surpassant largement toutes les bases (la suivante étant à 15,60 %).
• Études d'Ablation :
  • Multiwise vs Pairwise : Le feedback à choix multiples ($K=4$) a convergé plus rapidement et avec une qualité supérieure au mode par paire ($K=2$).
  • Taille de l'Ensemble de Choix : $K=4$ offrait le meilleur compromis entre gain d'information et charge cognitive de l'utilisateur ; $K=10$ entraînait des rendements décroissants.
  • Sélection de Couches : L'édition des couches d'auto-attention du milieu vers la fin (couches du décodeur) a produit le meilleur contrôle spatial sans détruire la structure sémantique.
  • Timesteps : L'édition durant les étapes de débruitage précoces à moyennes a fourni la plus grande liberté de pilotage.

5. Signification et Revendications

Le papier affirme que MultiBO parvient efficacement à réduire l'écart du « dernier kilomètre » entre l'imagination d'un utilisateur et le résultat du modèle génératif. Sa signification réside dans :

• Efficacité : Atteindre une personnalisation de haute fidélité avec seulement environ 50 requêtes utilisateur, évitant le coût computationnel de l'entraînement de grands modèles de récompense.
• Conception Centrée sur l'Humain : En exploitant la capacité humaine à juger la qualité relative (préférence) plutôt que la qualité absolue (notation), le système contourne les limites du prompting textuel et les imperfections des modèles de récompense.
• Praticité : La méthode est sans entraînement et indépendante du modèle, offrant une voie viable pour la génération d'images hyper-personnalisées sans nécessiter de jeux de données massifs ou de matériel spécialisé pour l'entraînement.

Les auteurs reconnaissent des limites, notant que l'optimisation peut stagner dans des scénarios où les préférences de l'utilisateur sont ambiguës (choix également mauvais ou bons) et que l'espace de déformation contraint peut limiter l'étendue des modifications par rapport à une optimisation complète de l'espace latent. Des travaux futurs sont proposés pour intégrer des priors informés de modèles de récompense pré-entraînés et explorer des stratégies d'optimisation de haute dimension mieux adaptées à la géométrie des diffusions latentes.