Résumé technique : Alignement de jeton à jeton des plongements de texte pour le mélange sémantique

Énoncé du problème

Les modèles génératifs texte-image modernes reposent sur des séquences de jetons textuels pour définir le conditionnement sémantique. Bien qu'expressives, l'espace de ces séquences de jetons manque d'une structure cohérente et accessible. Des images sémantiquement similaires peuvent correspondre à des séquences de jetons présentant des différences significatives de formulation, d'ordre et de placement de concepts, tandis que des séquences de jetons similaires peuvent encoder des sémantiques divergentes. Ce désalignement structurel provoque un alignement linéaire standard entre les plongements de texte qui produit des états intermédiaires incohérents et enchevêtrés. Par conséquent, les applications nécessitant des transitions sémantiques fluides — telles que l'édition d'images continue, le mélange sémantique et la synthèse de concepts — sont entravées, car l'interpolation mélange des attributs sans rapport plutôt que de suivre une trajectoire sémantique significative.

Les auteurs soutiennent que cette limitation ne provient pas d'une absence de structure sémantique dans l'espace de plongement, mais plutôt du désalignement entre les représentations. Les concepts correspondants ne sont pas représentés de manière cohérente à travers différents prompts, empêissant le modèle génératif de traverser une variété sémantique continue.

Méthodologie : Alignement de jeton à jeton (Token-to-Token)

Le cadre proposé, l'alignement Token-to-Token (T2T), établit une correspondance sémantique explicite entre les jetons de différents prompts. La méthode transforme les prompts non structurés en une représentation structurée où les concepts sémantiquement correspondants sont mappés vers des positions cohérentes, permettant une interpolation linéaire significative. Le processus se compose de deux étapes primaires suivies de l'interpolation :

1. Alignement structurel au niveau du concept

La première étape traite la variabilité linguistique en transformant les prompts d'entrée ($p_A, p_B$) en une représentation structurée partagée à l'aide d'un grand modèle de langage (LLM).

• Processus : Le LLM est instruit pour construire conjointement une paire de descriptions de scènes alignées ($J_A, J_B$) sous des contraintes structurelles explicites.
• Schéma : Les descriptions sont formatées sous forme de chaînes JSON avec un ensemble fixe de champs sémantiques (ex: objets, attributs, éclairage) et un ordre cohérent.
• Objectif : Les éléments correspondants sont exprimés en utilisant une formulation textuelle alignée au sein de chaque champ. Cela établit une correspondance grossière au niveau textuel, garantissant que les différences sémantiques sont capturées comme des substitutions locales au sein d'un contexte partagé plutôt que comme des reformulations indépendantes.

2. Alignement au niveau du plongement (Embedding)

La seconde étape résout les divergences dans l'espace de l'encodeur de texte, où l'alignement structurel seul ne peut garantir la correspondance de jeton à jeton en raison des différences de tokenisation (ex: nombres de jetons variables pour des mots sémantiquement similaires).

• Calcul de similitude : Une matrice de similitude cosinus par paire $S$ est calculée entre les plongements de jetons des deux séquences alignées.
• Contraintes et biais :
  • Masquage de champ : L'appariement est restreint aux jetons au sein des champs sémantiques correspondants pour respecter la décomposition de la scène.
  • Biais de localité : Un biais gaussien est appliqué sur les positions relatives des jetons au sein des champs, supposant que les jetons correspondants apparaissent dans des positions relatives similaires après l'alignement structurel.
  • Échelle de température : Un paramètre de température ($\tau$) est utilisé pour affiner les scores de similitude.
• Projection : Une matrice d'alignement doux $A$ est dérivée via une normalisation softmax pondérée par la température. Cette matrice projette le contenu sémantique des plongements sources sur la structure de jetons cible, produisant des séquences de plongements alignées ($E_A, E_B$) de longueur égale avec une correspondance de jeton à jeton établie.

3. Interpolation dans l'espace aligné

Une fois les plongements alignés, une simple interpolation linéaire est effectuée entre les jetons correspondants :
$$E_\alpha = \{(1 - \alpha)e^A_j + \alpha e^B_j\}_{j=1}^m, \quad \alpha \in [0, 1]$$
Ces plongements interpolés servent de conditionnement pour le modèle génératif (par exemple, Flux2 ou FIBO). Pour les tâches basées sur l'image (édition et mélange), le modèle est conditionné à la fois sur l'image (ou les images) d'entrée et le plongement de texte interpolé. Dans le cas du mélange continu, les poids d'attention sont modulés par $\alpha$ (en utilisant une mise à l'échelle quadratique) pour équilibrer la contribution des images d'entrée, préservant la fidélité aux points finaux tout en permettant une évolution sémantique dans les étapes intermédiaires.

Contributions clés

1. Cadre d'alignement de jeton à jeton : Une méthode en deux étapes (structurelle et au niveau du plongement) qui impose une correspondance sémantique explicite entre les jetons de divers prompts, transformant l'espace de plongement de texte en une variété linéairement interpolable.
2. Mécanisme de contrôle unifié : Une démonstration que le contrôle sémantique dans les modèles texte-image peut être réalisé en organisant les représentations existantes plutôt qu'en modifiant l'architecture du modèle génératif ou en entraînant de nouveaux paramètres de contrôle.
3. Polyvalence d'application : Le cadre prend en charge la synthèse continue (changement d'attributs), l'édition continue (modification d'images basées sur des instructions) et le mélange continu (morphing entre deux images) sans entraînement spécifique à la tâche.

Résultats et évaluation

Les auteurs ont évalué la méthode par rapport à des lignes de base de pointe à travers des métriques qualitatives et quantitatives.

• Performance qualitative :
  • Édition continue : Comparé à des méthodes comme Kontinuous Kontext, SliderEdit et GRAG, T2T produit des transitions fluides avec des états intermédiaires cohérents. Les lignes de base reposent souvent sur une interpolation basée sur l'apparence ou introduisent des changements sémantiques abrupts.
  • Mélange continu : Comparé à DiffMorpher, FreeMorph et VibeSpace, T2T évite les artefacts de "ghosting" et les discontinuités structurelles. Alors que les méthodes dans l'espace pixel/latent luttent contre les changements géométriques, T2T maintient la cohérence structurelle en interpolant dans l'espace de texte aligné.
• Performance quantitative :
  • Mélange (Morph4Data & BlendBench) : T2T a obtenu une fluidité compétitive (PPL) tout en surpassant significativement les lignes de base en qualité visuelle (MUSIQ) et en alignement de distribution (FID). Il a démontré une meilleure adhérence aux images d'entrée que VibeSpace et moins d'artefacts que les méthodes de morphing.
  • Édition (PIE-Bench) : T2T a obtenu un fort alignement sémantique (Norm CLIP-Dir) et une continuité améliorée par rapport aux lignes de base, équilibrant la fluidité avec une adhérence fidèle à la direction d'édition prévue.
• Étude utilisateur : Dans des comparaisons par paires impliquant 20 participants, T2T a obtenu des taux de victoire plus élevés en termes de qualité visuelle, de fluidité sémantique et de préférence globale pour les tâches d'édition et de mélange.
• Études d'ablation : Les expériences ont confirmé que l'alignement structurel et l'alignement au niveau du plongement sont complémentaires. L'interpolation directe échoue ; l'alignement textuel seul manque de détails fins ; l'alignement de plongement seul est instable sans contraintes structurelles. La méthode complète produit les résultats les plus cohérents.

Signification et affirmations

L'article soutient que la capacité à effectuer des transitions sémantiques fluides dans les modèles génératifs est fondamentalement un problème de représentation plutôt que de manipulation. L'espace de plongement de texte encode déjà implicitement une structure sémantique continue, mais cette structure est enchevêtrée et inaccessible sous les formulations de prompts standards en raison du désalignement.

En imposant une correspondance de jeton à jeton, les auteurs affirment effectivement "linéariser" cet espace, transformant l'interpolation d'une heuristique peu fiable en une opération rigoureuse. Dans cette optique, le modèle génératif agit largement comme un rendu passif de trajectoires définies dans l'espace sémantique aligné. La signification réside dans la démonstration qu'un contrôle sémantique complexe peut être obtenu en organisant les représentations existantes, évitant ainsi la modification du modèle, le fine-tuning ou l'introduction de paramètres de contrôle explicites.

Les auteurs reconnaissent des limites, notant que l'approche dépend de la qualité de l'alignement structurel initial et que l'interpolation linéaire peut ne pas capturer des transformations sémantiques hautement non linéaires. Ils suggèrent que les travaux futurs pourraient se concentrer sur l'amélioration de la robustesse de l'alignement et l'extension de la formulation à des contextes temporellement cohérents comme la génération de vidéo.