Resumo Técnico: Alinhamento de Token para Token de Embeddings de Texto para Mistura Semântica

Declaração do Problema

Modelos generativos modernos de texto-para-imagem dependem de sequências de tokens de texto para definir o condicionamento semântico. Embora expressivas, o espaço dessas sequências de tokens carece de uma estrutura consistente e acessível. Imagens semanticamente similares podem corresponder a sequências de tokens com diferenças significativas de vocabulário, ordenação e posicionamento de conceitos, enquanto sequências de tokens similares podem codificar semânticas divergentes. Esse desalinhamento estrutural faz com que a interpolação linear padrão entre embeddings de prompts resulte em estados intermediários incoerentes e emaranhados. Consequentemente, aplicações que exigem transições semânticas suaves — como edição contínua de imagens, mistura semântica e síntese de conceitos — são prejudicadas, pois a interpolação mistura atributos não relacionados em vez de seguir uma trajetória semântica significativa.

Os autores argumentam que essa limitação não se deve à ausência de estrutura semântica dentro do espaço de embedding, mas sim ao desalinhamento entre as representações. Conceitos correspondentes não são representados de forma consistente em diferentes prompts, impedindo que o modelo generativo percorra um manifold semântico contínuo.

Metodologia: Alinhamento de Token para Token

O framework proposto, alinhamento de Token-para-Token (T2T), estabelece uma correspondência semântica explícita entre tokens em diferentes prompts. O método transforma prompts não estruturados em uma representação estruturada onde conceitos semanticamente correspondentes mapeiam para posições consistentes, permitindo uma interpolação linear significativa. O processo consiste em duas etapas primárias seguidas de interpolação:

1. Alinhamento Estrutural de Nível de Conceito

A primeira etapa aborda a variabilidade linguística transformando os prompts de entrada ($p_A, p_B$) em uma representação estruturada compartilhada usando um Modelo de Linguagem de Grande Escala (LLM).

• Processo: O LLM é instruído a construir conjuntamente um par de descrições de cena alinhadas ($J_A, J_B$) sob restrições estruturais explícitas.
• Esquema: As descrições são formatadas como strings JSON com um conjunto fixo de campos semânticos (ex: objetos, atributos, iluminação) e uma ordenação consistente.
• Objetivo: Elementos correspondentes são expressos usando frases textuais alinhadas dentro de cada campo. Isso estabelece uma correspondência grosseira no nível textual, garantindo que as diferenças semânticas sejam capturadas como substituições locais dentro de um contexto compartilhado, em vez de reformulações independentes.

2. Alinhamento de Nível de Embedding

A segunda etapa resolve as discrepâncias no espaço do codificador de texto, onde o alinhamento estrutural sozinho não pode garantir a correspondência de token por token devido às diferenças de tokenização (ex: contagens de tokens variadas para palavras semanticamente similares).

• Computação de Similaridade: Uma matriz de similaridade de cosseno par a par $S$ é computada entre os embeddings de tokens das duas sequências alinhadas.
• Restrições e Viés:
  • Mascaramento de Campo: O pareamento é restrito a tokens dentro de campos semânticos correspondentes para respeitar a decomposição da cena.
  • Viés de Localidade: Um viés Gaussiano é aplicado sobre as posições relativas dos tokens dentro dos campos, assumindo que tokens correspondentes aparecem em posições relativas similares após o alinhamento estrutural.
  • Escalonamento de Temperatura: Um parâmetro de temperatura ($\tau$) é usado para refinar os escores de similaridade.
• Projeção: Uma matriz de alinhamento suave $A$ é derivada via normalização softmax escalonada por temperatura. Esta matriz projeta o conteúdo semântico dos embeddings de origem na estrutura de token de destino, gerando sequências de embeddings alinhadas ($E_A, E_B$) de comprimento igual com correspondência estabelecida de token por token.

3. Interpolação no Espaço Alinhado

Uma vez que os embeddings estão alinhados, a interpolação linear simples é realizada entre os tokens correspondentes:
$$E_\alpha = \{(1 - \alpha)e^A_j + \alpha e^B_j\}_{j=1}^m, \quad \alpha \in [0, 1]$$
Estes embeddings interpolados servem como condicionamento para o modelo generativo (ex: Flux2 ou FIBO). Para tarefas baseadas em imagem (edição e mistura), o modelo é condicionado tanto na imagem(ns) de entrada quanto no embedding de texto interpolado. Em misturas contínuas, os pesos de atenção são modulados por $\alpha$ (usando escalonamento quadrático) para equilibrar a contribuição das imagens de entrada, preservando a fidelidade nos pontos finais enquanto permite a evolução semântica nos passos intermediários.

Principais Contribuições

1. Framework de Alinhamento de Token para Token: Um método de dois estágios (estrutural e de nível de embedding) que impõe correspondência semântica explícita entre tokens através de prompts arbitrários, transformando o espaço de embedding de texto em um manifold linearmente interpolável.
2. Mecanismo de Controle Unificado: Uma demonstração de que o controle semântico em modelos de texto-para-imagem pode ser alcançado organizando as representações existentes, em vez de modificar a arquitetura do modelo generativo ou treinar novos parâmetros de controle.
3. Versatilidade de Aplicação: O framework suporta síntese contínua (mudança de atributos), edição contínua (modificação de imagens baseada em instruções) e mistura contínona (morfismo entre duas imagens) sem necessidade de treinamento específico para a tarefa.

Resultados e Avaliação

Os autores avaliaram o método contra baselines de estado da arte através de métricas qualitativas e quantitativas.

• Desempenho Qualitativo:
  • Edição Contínua: Comparado a métodos como Kontinent Kontext, SliderEdit e GRAG, o T2T produz transições suaves com estados intermediários coerentes. Os baselines frequentemente dependem de interpolação baseada em aparência ou introduzem mudanças semânticas abruptas.
  • Mistura Contínua: Comparado ao DiffMorpher, FreeMorph e VibeSpace, o T2T evita artefatos de "ghosting" e descontinuidades estruturais. Enquanto métodos de espaço de pixel/latente lutam com mudanças geométricas, o T2T mantém a consistência estrutural ao interpolar no espaço de texto alinhado.
• Desempenho Quantitativo:
  • Mistura (Morph4Data & BlendBench): O T2T alcançou suavidade competitiva (PPL) enquanto superou significativamente os baselines em qualidade visual (MUSIQ) e alinhamento de distribuição (FID). Demonstrou melhor aderência às imagens de entrada do que o VibeSpace e menos artefatos do que métodos baseados em morfismo.
  • Edição (PIE-Bench): O T2T alcançou forte alinhamento semântico (Norm CLIP-Dir) e melhor continuidade em comparação aos baselines, equilibrando suavidade com adesão fiel à direção de edição pretendida.
• Estudo de Usuário: Em comparações pareadas envolvendo 20 participantes, o T2T obteve taxas de vitória mais altas em qualidade visual, suavidade semântica e preferência geral para tarefas de edição e mistura.
• Estudos de Ablação: Experimentos confirmaram que o alinhamento estrutural e o de nível de embedding são complementares. A interpolação direta falha; o alinhamento apenas em nível de texto carece de detalhes finos; o alinhamento de embedding sozinho é instável sem restrições estruturais. O método completo produz os resultados mais coerentes.

Significância e Alegações

O artigo postula que a capacidade de realizar transições semânticas suaves em modelos generativos é fundamentalmente um problema de representação e não de manipulação. O espaço de embedding de texto já codifica implicitamente uma estrutura semântica contínua, mas essa estrutura está emaranhada e inacessível sob formulações de prompt padrão devido ao desalinhamento.

Ao impor a correspondência de token por token, os autores alegam efetivamente "linearizar" esse espaço, transformando a interpolação de uma heurística não confiável em uma operação principista. Nesta visão, o modelo generativo atua amplamente como um renderizador passivo de trajetórias definidas no espaço semântico alinhado. A significância reside em demonstrar que o controle semântico complexo pode ser alcançado organizando as representações existentes, evitando a necessidade de modificação do modelo, ajuste fino (fine-tuning) ou a introdução de parâmetros de controle explícitos.

Os autores reconhecem limitações, observando que a abordagem depende da qualidade do alinhamento estrutural inicial e que a interpolação linear pode não capturar transformações semânticas altamente não lineares. Eles sugerem que trabalhos futuros poderiam focar em melhorar a robustez do alinhamento e estender a formulação para configurações de coerência temporal, como geração de vídeo.