Resumo Técnico: Decoupled Guidance (DeGu)

1. Problema

A personalização de texto-para-imagem visa gerar imagens de um sujeito específico fornecido pelo usuário (por exemplo, um animal de estimação ou produto específico) em novas cenas descritas por texto. No entanto, os métodos existentes sofrem de uma limitação estrutural fundamental denominada emaranhamento de condicionamento (conditioning entanglement). Nos paradigmas atuais — seja por otimização de embedding (ex: Textual Inversion), ajuste fino (ex: DreamBooth) ou abordagens baseadas em codificadores — a identidade do sujeito e o contexto da cena são roteados através de um único caminho de condicionamento.

Essa estrutura unificada força o token do sujeito e os tokens de contexto a competirem pelos mesmos recursos de atenção cruzada (cross-attention). Os autores identificam um fenômeno chamado colapso de atenção (attention collapse), onde o token de sujeito aprendido absorve a maior parte do orçamento de atenção, suprimindo sistematicamente os tokens de contexto (ex: "floresta", "tapete roxo"). Isso cria um trade-off rígido entre fidelidade e editabilidade: aumentar a fidelidade do sujeito inevitavelmente degrada a capacidade do modelo de aderir às instruções composicionais do prompt de texto, e vice-versa.

2. Metodologia: Decoupled Guidance (DeGu)

Para resolver este emaranhamento, os autores propõem o Decoupled Guidance (DeGu), um framework plug-and-play que roteia a identidade do sujeito e o contexto da cena através de dois fluxos de orientação independentes. O framework opera em três níveis:

A. Context-Agnostic Embeddings (CAE)

Métodos padrão treinam tokens de sujeito dentro de prompts que carregam contexto (ex: "um sks na neve"), fazendo com que o embedding codifique coocorrências linguísticas. O DeGu introduz o CAE, que treina o token aprendível $[S^*]$ em completo isolamento usando uma sequência contendo apenas o token e preenchimento (padding) (ex: [SOT] [S*] [EOT]...).

• Mecanismo: O codificador de texto mapeia essa sequência isolada para uma condição de fidelidade ($c_f$) que captura apenas a identidade visual do sujeito, livre de contexto linguístico.
• Contraste: A condição de contexto ($c_e$) é derivada de prompts de texto padrão que não contêm tokens aprendíveis.

B. Decoupled Guidance Mixer (DGM)

O DeGu reformula o Classifier-Free Guidance (CFG) para combinar previsões de dois fluxos independentes. Em vez de uma única previsão condicional, a previsão de ruído $\tilde{\epsilon}(z_t)$ é calculada como:
$$\tilde{\epsilon}(z_t) = \epsilon(z_t) + \gamma_e(\epsilon(z_t, t, c_e) - \epsilon(z_t)) + \gamma_f(\epsilon(z_t, t, c_f) - \epsilon(z_t))$$

• Mecanismo: $c_f$ e $c_e$ são processados em passagens forward separadas, gerando pares de chave-valor (key-value pairs) disjuntos para o mecanismo de atenção cruzada. Isso elimina a interferência ao nível do caminho (pathway-level interference).
• Base Teórica: Esta formulação corresponde ao score de uma distribuição de Produto de Especialistas (PoE), assumindo independência condicional entre as condições de fidelidade e editabilidade dado o estado latente.

C. Test-time Cross-Attention Masking (TCAM)

Mesmo com fluxos separados, o fluxo de fidelidade ($c_f$) pode vazar informações de fundo de referência para a cena gerada. O TCAM aborda isso particionando espacialmente a orientação em cada etapa de denoising sem modelos de segmentação externos.

• Mecanismo: O TCAM deriva uma máscara de sujeito $M_t$ invertendo e binarizando o mapa de atenção de um token designado não-sujeito (ex: [SOT] ou [EOT]) dentro do fluxo de fidelidade.
• Aplicação: A orientação final é espacialmente restrita: $c_f$ é aplicado apenas à região do sujeito ($M_t$), enquanto $c_e$ é aplicado ao fundo ($1 - M_t$). Isso utiliza mapas de atenção no espaço latente, evitando a instabilidade de decodificar latentes ruidosos para segmentação externa.

3. Principais Contribuições

1. Diagnóstico do Emaranhamento de Condicionamento: O artigo fornece evidência causal de que o trade-off fidelidade–editabilidade é uma consequência estrutural de prompts unificados, caracterizada pelo "colapso de atenção", onde os tokens de sujeito suprimem os tokens de contexto.
2. Framework Desacoplado: O DeGu é o primeiro framework a rotear explicitamente o sujeito e o contexto através de fluxos de orientação independentes, permitindo o ajuste independente da fidelidade ($\gamma_f$) e da editabilidade ($\gamma_e$) durante a inferência.
3. Integração Plug-and-Play: O método não requer modificação dos pesos do backbone subjacente. Pode ser aplicado a métodos de personalização existentes (otimização de embedding, ajuste fino, métodos baseados em codificador) e diversos backbones (U-Net, Diffusion Transformers) com overhead de armazenamento mínimo (centenas de kilobytes para tokens CAE).
4. Particionamento Espacial: A introdução do TCAM permite controle espacial preciso usando mapas de atenção internos, eliminando a necessidade de modelos de segmentação externos e o respectivo overhead computacional.

4. Resultados Experimentais

Os autores avaliaram o DeGu através de três backbones (SD v2.1, SDXL, SD v3.5) e múltiplos paradigmas:

• Desempenho Quantitativo: O DeGu consistentemente empurra a fronteira de Pareto da personalização. No SD v2.1, melhorou a pontuação geral do Textual Inversion (TI) de 0.4953 para 0.5236 e do DreamBooth de 0.5127 para 0.5254. Melhorou significativamente as métricas de fidelidade mascarada (MDINO) em até +0.0786, mantendo uma editabilidade competitiva.
• Generalização: O método melhorou o desempenho em otimização de embedding, ajuste fino e métodos baseados em codificador. Também foi eficaz no SD v3.5, que utiliza uma arquitetça Diffusion Transformer (DiT).
• Estudos de Ablação:
  • CAE sozinho: Recria o colapso de atenção se colocado em um fluxo unificado.
  • DGM sozinho: Desacopla a orientação, mas permite vazamento de fundo (background leakage).
  • DeGu Completo: A combinação de todos os componentes alcança alta fidelidade e controle composicional.
• Controle de Inferência: O framework permite o controle dinâmico sobre o equilíbrio fidelidade–editabilidade durante a inferência através do ajuste de $\gamma_f$ e $\gamma_e$, uma capacidade ausente em métodos emaranhados.

5. Significância e Alegações

O artigo afirma que o emaranhamento de condicionamento é um gargalo estrutural na personalização de texto-para-imagem que limita o controle composicional. Ao desacoplar os caminhos de orientação, o DeGu desloca o equilíbrio fidelidade–editabilidade de uma decisão fixa em tempo de treinamento para uma escolha flexível em tempo de inferência.

Os autores enfatizam que sua abordagem:

• Não depende do aumento da capacidade do modelo (ex: adicionar mais tokens) para resolver o trade-off, mas sim reestrutura como as condições são aplicadas.
• É agnóstica à arquitetura, funcionando efetivamente com backbones U-Net e Diffusion Transformer.
• Fornece um mecanismo principista para ajustar independentemente a identidade do sujeito e a aderência à cena, resolvendo o "colapso de atenção" observado em métodos existentes.

O trabalho é apresentado como um aprimoramento modular que melhora os métodos de personalização existentes sem exigir o retreinamento dos modelos base, ofereando uma solução escalável para a geração de imagens de alta fidelidade e editáveis.