Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
Este artigo introduz um framework de interpretabilidade causal para Diffusion Transformers que revela que tokens de template estrutural atuam como registradores semânticos implícitos que mantêm a identidade do objeto através de um mecanismo indireto de leitura (read-back), permitindo o design de uma estratégia de poda livre de treinamento que reduz significativamente o custo computacional com perda mínima de desempenho.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Resumo Técnico: Tokens de Templates de Texto são Registradores Semânticos Implícitos em Diffusion Transformers
Declaração do Problema
A geração moderna de texto para imagem mudou das arquiteturas U-Net para Diffusion Transformers (DiTs), onde os tokens de texto e imagem interagem via atenção conjunta. Concomitantemente, o condicionamento de texto evoluiu de codificadores isolados (ex: CLIP, T5) para Grandes Modelos de Linguagem (LLMs) que serializam prompts do usuário em templates de chat contendo tokens de sistema, usuário, assistente e delimitadores.
Embora o conteúdo semântico do prompt do usuário seja claro, o papel dos tokens de template estrutural (o resíduo de formatação como delimitadores) permanece pouco compreendido. Em DiTs de atenção conjunta, todos os tokens de condicionamento competem como chaves para o fluxo de imagem. É uma questão em aberto se esses tokens estruturais permanecem como resíduos de formatação inertes, atuam como condicionamento transparente ou adquirem um papel computacional mais profundo. Além disso, há uma lacuna mais ampla na compreensão da organização mecanística dos DiTs: especificamente, quais camadas consolidam o conteúdo semântico, quais cabeças afetam causalmente a geração e como a atenção texto-imagem media o condicionamento ao longo da trajetória de denoising.
Metodologia
Os autores introduzem um framework de interpretabilidade causal projetado para rastrear onde a informação de condicionamento é lida, roteada e armazenada durante o denoising. Este framework combina quatro técnicas específicas:
- Decomposição de Atenção por Token: Analisar a massa de atenção Imagem-para-Texto (I2T) para quantificar quanto a atenção das queries de imagem direciona para spans específicos de tokens de texto (semânticos vs. estruturais).
- Intervenções de Condicionamento por Span: Realizar trocas entre prompts (cross-prompt swaps) e média de tokens estruturais para testar se eles carregam semântica específica do prompt.
- Transplante de Cabeça entre Trajetórias (Cross-trajectory Head Transplantation): Trocar progressivamente as projeções de atenção () entre duas trajetórias de geração diferentes (ex: "maçã" vs. "banana") para identificar quais cabeças determinam causalmente a identidade do objeto.
- Mascaramento Causal por Camada: Mascarar fluxos de atenção (ex: Registrador Semântico ou Registrador Imagem) em camadas específicas para determinar a direção do fluxo de informação.
O estudo utiliza primordialmente a família Qwen-Image (um MMDiT de fluxo duplo) e avalia através de múltiplos benchmarks (GenEval, DPG-Bench, Qwen-Image-Bench) e idiomas (Inglês e Chinês).
Principais Descobertas
1. Tokens Estruturais como Sumidouros de Atenção Dominantes
A análise revela que os tokens de template estrutural (ex: delimitadores como `
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.