Sintesi Tecnica: Allineamento Token-to-Token di Embedding Testuali per la Fusione Semantica

Definizione del Problema

I moderni modelli generativi text-to-image si affidano a sequenze di token testuali per definire il condizionamento semantico. Sebbene espressive, lo spazio di queste sequenze di token manca di una struttura coerente e accessibile. Immagini semanticamente simili possono corrispondere a sequenze di token con differenze significative nel lessico, nell'ordine e nella disposizione dei concetti, mentre sequenze di token simili possono codificare semantiche divergenti. Questo disallineamento strutturale causa un'interpolazione lineare standard tra gli embedding dei prompt che produce stati intermedi incoerenti ed entangled. Di conseguenza, le applicazioni che richiedono transizioni semantiche fluide — come l'editing continuo di immagini, la fusione semantica e la sintesi di concetti — sono ostacolate, poiché l'interpolazione mescola attributi non correlati invece di seguire una traiettoria semantica significativa.

Gli autori sostengono che questo limite non derivi da un'assenza di struttura semantica nello spazio degli embedding, quanto piuttosto da un disallineamento tra le rappresentazioni. I concetti corrispondenti non sono rappresentati in modo coerente attraverso diversi prompt, impedendo al modello generativo di attraversare un manifold semantico continuo.

Metodologia: Allineamento Token-to-Token

Il framework proposto, l'allineamento Token-to-Token (T2T), stabilisce una corrispondenza semantica esplicita tra i token attraverso diversi prompt. Il metodo trasforma i prompt non strutturati in una rappresentazione strutturata in cui i concetti semanticamente corrispondenti mappano a posizioni coerenti, consentendo un'interpolazione lineare significativa. Il processo consiste in due fasi primarie seguite dall'interpolazione:

1. Allineamento Strutturale a Livello di Concetto

La prima fase affronta la variabilità linguistica trasformando i prompt di input ($p_A, p_B$) in una rappresentazione strutturata condivisa utilizzando un Large Language Model (LLM).

• Processo: L'LLM riceve l'istruzione di costruire congiuntamente una coppia di descrizioni di scena allineate ($J_A, J_B$) sotto espliciti vincoli strutturali.
• Schema: Le descrizioni sono formattate come stringhe JSON con un set fisso di campi semantici (ad esempio, oggetti, attributi, illuminazione) e un ordine coerente.
• Obiettivo: Gli elementi corrispondenti sono espressi utilizzando un fraseggio testuale allineato all'interno di ciascun campo. Ciò stabilisce una corrispondenza grossolana a livello testuale, garantendo che le differenze semantiche siano catturate come sostituzioni locali all'interno di un contesto condivente anziché come riformulazioni indipendenti.

2. Allineamento a Livello di Embedding

La seconda fase risolve le discrepanze nello spazio dell'encoder testuale, dove l'allineamento strutturale da solo non può garantire la corrispondenza token-wise a causa delle differenze di tokenizzazione (ad esempio, conteggi di token variabili per parole semanticamente simili).

• Calcolo della Similarità: Viene calcolata una matrice di similarità del coseno pairwise $S$ tra gli embedding dei token delle due sequenze allineate.
• Vincoli e Bias:
  • Field Masking: Il matching è limitato ai token all'interno dei corrispondenti campi semantici per rispettare la decomposizione della scena.
  • Locality Bias: Un bias gaussiano è applicato sulle posizioni relative dei token all'interno dei campi, assumendo che i token corrispondenti appaiano in posizioni relative simili dopo l'allineamento strutturale.
  • Temperature Scaling: Un parametro di temperatura ($\tau$) viene utilizzato per raffinare i punteggi di similarità.
• Proiezione: Una matrice di allineamento morbida $A$ viene derivata tramite normalizzazione softmax scalata per temperatura. Questa matrice proietta il contenuto semantico degli embedding sorgente sulla struttura dei token target, producendo sequenze di embedding allineate ($E_A, E_B$) di lunghezza uguale con corrispondenza token-wise stabilita.

3. Interpolazione nello Spazio Allineato

Una volta allineati gli embedding, viene eseguita una semplice interpolazione lineare tra i token corrispondenti:
$$E_\alpha = \{(1 - \alpha)e^A_j + \alpha e^B_j\}_{j=1}^m, \quad \alpha \in [0, 1]$$
Questi embedding interpolati servono come condizionamento per il modello generativo (ad esempio, Flux2 o FIBO). Per i compiti basati su immagini (editing e fusione), il modello è condizionato sia sull'immagine di input che sull'embedding testuale interpolato. Nella fusione continua, i pesi dell'attenzione sono modulati da $\alpha$ (usando una scalatura quadratica) per bilanciare il contributo delle immagini di input, preservando la fedeltà agli endpoint pur permettendo l'evoluzione semantica nei passaggi intermedi.

Contributi Chiave

1. Framework di Allineamento Token-to-Token: Un metodo in due fasi (strutturale e a livello di embedding) che impone una corrispondenza semantica esplicita tra i token attraverso prompt arbitrari, trasformando lo spazio degli embedding testuali in un manifold linearmente interpolabile.
2. Meccanismo di Controllo Unificato: Una dimostrazione del fatto che il controllo semantico nei modelli text-to-image può essere ottenuto organizzando le rappresentazioni esistenti piuttosto che modificando l'architettura del modello generativo o addestrando nuovi parametri di controllo.
3. Versatilità di Applicazione: Il framework supporta la sintesi continua (cambio di attributi), l'editing continuo (modifica di immagini basata su istruzioni) e la fusione continua (morfismo tra due immagini) senza addestramento specifico per il task.

Risultati e Valutazione

Gli autori hanno valutato il metodo rispetto a baseline allo stato dell'arte attraverso metriche qualitative e quantitative.

• Prestazioni Qualitative:
  • Editing Continuo: Rispetto a metodi come Kontinent Kontext, SliderEdit e GRAG, T2T produce transizioni fluide con stati intermedi coerenti. Le baseline spesso si affidano all'interpolazione basata sull'aspetto o introducono cambiamenti semantici bruschi.
  • Fusione Continua: Rispetto a DiffMorpher, FreeMorph e VibeSpace, T2T evita artefatti di ghosting e discontinuità strutturali. Mentre i metodi nello spazio pixel/latente faticano con i cambiamenti geometrici, T2T mantiene la coerenza strutturale interpolando nello spazio testuale allineato.
• Prestazioni Quantitative:
  • Blending (Morph4Data & BlendBench): T2T ha ottenuto una fluidità competitiva (PPL) superando significativamente le baseline nella qualità visiva (MUSIQ) e nell'allineamento della distribuzione (FID). Ha dimostrato una migliore aderenza alle immagini di input rispetto a VibeSpace e meno artefatti rispetto ai metodi basati sul morphing.
  • Editing (PIE-Bench): T2T ha ottenuto un forte allineamento semantico (Norm CLIP-Dir) e una migliore continuità rispetto alle baseline, bilanciando la fluidità con l'aderenza fedele alla direzione dell'edit prevista.
• Studio Utente: In confronti a coppie che hanno coinvolto 20 partecipanti, T2T ha ottenuto tassi di vittoria più elevati in termini di qualità visiva, fluidità semantica e preferenza generale per entrambi i compiti di editing e fusione.
• Studi di Ablazione: Gli esperimenti hanno confermato che l'allineamento strutturale e quello a livello di embedding sono complementari. L'interpolazione diretta fallisce; l'allineamento a livello di testo da solo manca di dettagli fini; l'allineamento degli embedding da solo è instabile senza vincoli strutturali. Il metodo completo produce i risultati più coerenti.

Significato e Assertions

Il paper sostiene che la capacità di eseguire transizioni semantiche fluide nei modelli generativi sia fondamentalmente un problema di rappresentazione piuttosto che di manipolazione. Lo spazio degli embedding testuali codifica già implicitamente una struttura semantica continua, ma questa struttura è entangled e inaccessibile sotto le formulazioni standard dei prompt a causa del disallineamento.

Imponendo la corrispondenza a livello di token, gli autori affermano di aver effettivamente "linearizzato" questo spazio, trasformando l'interpolazione da un'euristica inaffidabile in un'operazione principiata. In questa visione, il modello generativo agisce in gran parte come un renderer passivo di traiettorie definite nello spazio semantico allineato. Il significato risiede nel dimostrare che un controllo semantico complesso può essere ottenuto organizzando le rappresentazioni esistenti, evitando la necessità di modificare il modello, effettuare fine-tuning o introdurre espliciti parametri di controllo.

Gli autori riconoscono i limiti, notando che l'approccio dipende dalla qualità dell'allineamento strutturale iniziale e che l'interpolazione lineare potrebbe non catturare trasformazioni semantiche altamente non lineari. Suggeriscono che il lavoro futuro potrebbe concentrarsi sul miglioramento della robustezza dell'allineamento e sull'estensione della formulazione a contesti temporalmente coerenti come la generazione video.