Technische Samenvatting: Token-naar-Token Uitlijning van Tekstembeddings voor Semantische Versmelting

Probleemstelling

Moderne tekst-naar-beeld generatieve modellen vertrouwen op sequenties van teksttokens om semantische conditionering te definiëren. Hoewel expressief, mist de ruimte van deze tokensequenties een consistente, toegankelijke structuur. Semantisch vergelijkbare afbeeldingen kunnen overeenkomen met tokensequenties met aanzienlijke verschillen in bewoording, volgorde en conceptplaatsing, terwijl vergelijkbare tokensequenties divergente semantiek kunnen coderen. Deze structurele mismatch veroorzaakt dat standaard lineaire interpolatie tussen prompt-embeddings leidt tot incoherente, verstrengelde tussenstaten. Gevolgelijk worden toepassingen die vloeiende semantische transities vereisen—zoals continue beeldredactie, semantische versmelting en conceptsynthese—belemmerd, omdat interpolatie ongerelateerde attributen mengt in plaats van een betekenisvol semantisch traject te volgen.

De auteurs stellen dat deze beperking niet voortkomt uit een gebrek aan semantische structuur binnen de embedding-ruimte, maar uit de mismatch tussen representaties. Overeenkomstige concepten worden niet consistent gerepresenteerd over verschillende prompts, wat voorkomt dat het generatieve model een continue semantische manifold kan doorlopen.

Methodologie: Token-naar-Token Uitlijning

Het voorgestelde framework, Token-to-Token (T2T) uitlijning, vestigt expliciete semantische correspondentie tussen tokens over verschillende prompts. De methode transformeert ongestructureerde prompts naar een gestructureerde representatie waar semantisch overeenkomstige concepten naar consistente posities mappen, wat betekenisvolle lineaire interpolatie mogelijk maakt. Het proces bestaat uit twee primaire stadia gevolgd door interpolatie:

1. Conceptuele Structurele Uitlijning

De eerste fase adresseert linguïstische variabiliteit door input-prompts ($p_A, p_B$) te transformeren naar een gedeelde gestructureerde representatie met behulp van een Large Language Model (LLM).

• Proces: De LLM krijgt de instructie om gezamenlijk een paar uitgelijnde scènebeschrijvingen ($J_A, J_B$) te construeren onder expliciete structurele beperkingen.
• Schema: Beschrijvingen worden geformatteerd als JSON-strings met een vaste set semantische velden (bijv. objecten, attributen, verlichting) en een consistente volgorde.
• Doel: Overeenkomstige elementen worden uitgedrukt met behulp van uitgelijnde tekstuele formuleringen binnen elk veld. Dit vestigt grove correspondentie op tekstueel niveau, waardoor wordt gewaarborgd dat semantische verschillen worden gevangen als lokale substituties binnen een gedeelde context, in plaats van onafhankelijke herformuleringen.

2. Embedding-niveau Uitlijning

De tweede fase lost discrepanties in de tekstencoder-ruimte op, waar structurele uitlijning alleen geen token-wijze correspondentie kan garanderen vanwege tokenisatieverschillen (bijv. variërende token-aantallen voor semantisch vergelijkbare woorden).

• Berekening van Gelijkenis: Een paarwijze cosine-gelijkenismatrix $S$ wordt berekend tussen de token-embeddings van de twee uitgelijnde sequenties.
• Beperkingen en Bias:
  • Field Masking: Matching wordt beperkt tot tokens binnen overeenkomstige semantische velden om de scène-decompositie te respecteren.
  • Locality Bias: Een Gaussische bias wordt toegepast over relatieve tokenposities binnen velden, uitgaande van het feit dat overeenkomstige tokens in vergelijkbare relatieve posities verschijnen na structurele uitlijning.
  • Temperatuur Schaling: Een temperatuurparameter ($\tau$) wordt gebruikt om de gelijkenisscores te verfijnen.
• Projectie: Een zachte uitlijningsmatrix $A$ wordt afgeleid via temperatuur-geschaalde softmax-normalisatie. Deze matrix projecteert de semantische inhoud van de bron-embeddings op de doel-tokenstructuur, wat resulteert in uitgelijnde embedding-sequenties ($E_A, E_B$) van gelijke lengte met een gevestigde token-wijze correspondentie.

3. Interpolatie in de Uitgelijnde Ruimte

Zodra de embeddings zijn uitgelijnd, wordt eenvoudige lineaire interpolatie uitgevoerd tussen overeenkomstige tokens:
$$E_\alpha = \{(1 - \alpha)e^A_j + \alpha e^B_j\}_{j=1}^m, \quad \alpha \in [0, 1]$$
Deze geïnterpoleerde embeddings dienen als conditionering voor het generatieve model (bijv. Flux2 of FIBO). Voor beeldgebaseerde taken (redactie en versmelting) wordt het model geconditioneerd op zowel de input-afbeelding(en) als de geïnterpoleerde tekst-embedding. In continue versmelting worden aandachtsgewichten gemoduleerd door $\alpha$ (met kwadratische schaling) om de bijdrage van input-afbeeldingen te balanceren, waarbij de getrouwheid bij de eindpunten behouden blijft terwijl semantische evolutie in tussenstappen wordt toegestaan.

Belangrijkste Bijdragen

1. Token-naar-Token Uitlijningsframework: Een twee-fasen methode (structureel en op embedding-niveau) die expliciete semantische correspondentie tussen tokens over willekeurige prompts afdwingt, waardoor de tekst-embedding-ruimte wordt getransformeerd in een lineair interpoleerbare manifold.
2. Verenigd Controlemechanisme: Een demonstratie dat semantische controle in tekst-naar-beeld modellen kan worden bereikt door bestaande representaties te organiseren, in plaats van de generatieve modelarchitectuur te wijzigen of nieuwe controleparameters te trainen.
3. Toepassingsveelzijdigheid: Het framework ondersteunt continue synthese (veranderende attributen), continue redactie (afbeeldingen modificeren op basis van instructies) en continue versmelting (morphen tussen twee afbeeldingen) zonder taakspecifieke training.

Resultaten en Evaluatie

De auteurs hebben de methode geëvalueerd tegen state-of-the-art baselines over kwalitatieve en kwantitatieve metrieken.

• Kwalitatieve Prestaties:
  • Continue Redactie: Vergeleken met methoden zoals Kontinuous Kontext, SliderEdit en GRAG, produceert T2T vloeiende transities met coherente tussenstaten. Baselines vertrouwen vaak op uiterlijk-gebaseerde interpolatie of introduceren abrupte semantische veranderingen.
  • Continue Versmelting: Vergeleken met DiffMorpher, FreeMorph en VibeSpace, vermijdt T2T ghosting-artefacten en structurele discontinuïteiten. Terwijl pixel/latent-ruimte methoden moeite hebben met geometrische veranderingen, behoudt T2T structurele consistentie door te interpoleren in de uitgelijnde tekstruimte.
• Kwantitatieve Prestaties:
  • Versmelting (Morph4Data & BlendBench): T2T bereikte competitieve vloeiendheid (PPL) terwijl het aanzienlijk presteerde op visuele kwaliteit (MUSIQ) en distributie-overeenkomst (FID) ten opzichte van baselines. Het demonstreerde een betere naleving van de input-afbeeldingen dan VibeSpace en minder artefacten dan morphing-gebaseerde methoden.
  • Redactie (PIE-Bench): T2T bereikte sterke semantische uitlijning (Norm CLIP-Dir) en verbeterde continuïteit vergeleken met baselines, waarbij een balans werd gevonden tussen vloeiendheid en getrouwe naleving van de beoogde redactierichting.
• Gebruikersstudie: In tweezijdige vergelijkingen met 20 deelnemers behaalde T2T hogere winstpercentages op het gebied van visuele kwaliteit, semantische vloeiendheid en algemene voorkeur voor zowel redactie- als versmeltings-taken.
• Ablatie-studies: Experimenten bevestigden dat zowel structurele als embedding-niveau uitlijning complementair zijn. Directe interpolatie faalt; tekst-niveau uitlijning alleen mist fijne details; embedding-uitlijning alleen is instabiel zonder structurele beperkingen. De volledige methode levert de meest coherente resultaten op.

Betekenis en Claims

Het artikel stelt dat het vermogen om vloeiende semantische transities in generatieve modellen uit te voeren fundamenteel een probleem is van representatie in plaats van manipulatie. De tekst-embedding-ruimte codeert impliciet al een continue semantische structuur, maar deze structuur is verstrengeld en ontoegankelijk onder standaard prompt-formuleringen vanwege mismatch.

Door token-wijze correspondentie af te dwingen, claimen de auteurs effectief deze ruimte te "lineariseren", waardoor interpolatie van een onbetrouwbare heuristiek naar een geprincipeerde operatie wordt getransformeerd. In dit licht fungeert het generatieve model grotendeels als een passieve renderer van trajecten die gedefinieerd zijn in de uitgelijnde semantische ruimte. De betekenis ligt in het demonstreren dat complexe semantische controle kan worden bereikt door bestaande representaties te organiseren, zonder de noodzaak voor modelmodificatie, fine-tuning of de introductie van expliciete controleparameters.

De auteurs erkennen beperkingen en merken op dat de aanpak afhankelijk is van de kwaliteit van de initiële structurele uitlijning en dat lineaire interpolatie mogelijk geen hoogst niet-lineaire semantische transformaties kan vatten. Ze suggereren dat toekomstig werk zich kan richten op het verbeteren van de robuustheid van de uitlijning en het uitbreiden van de formulering naar tijds-coherente settings zoals videogeneratie.