HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models

Título: HAM: Uma Abordagem de Transferência de Estilo sem Treinamento via Modulação de Atenção Heterogênea para Modelos de Difusão

1. O Problema

Os modelos de difusão generativa revolucionaram a geração de imagens e a transferência de estilo. No entanto, as abordagens existentes enfrentam um dilema fundamental: o compromisso (trade-off) entre estilo e conteúdo.

• Métodos Baseados em Ajuste Fino (Fine-tuning): Técnicas que utilizam LoRA ou ControlNet são computacionalmente intensivas e carecem de robustez, pois o desempenho varia drasticamente dependendo do grau de ajuste fino para cada novo estilo.
• Métodos sem Treinamento (Training-Free): Soluções anteriores (como StyleID e DiffArtist) tentam injetar características de estilo nas camadas de auto-atenção do modelo. Contudo, a manipulação exclusiva da auto-atenção frequentemente resulta em:
  1. Perda de Identidade: O conteúdo da imagem original é distorcido ou perdido.
  2. Estilo Insuficiente: A transferência do estilo de referência é fraca ou não captura complexidades artísticas.
  3. Desequilíbrio: Falha em manter simultaneamente a fidelidade estrutural do conteúdo e a riqueza do estilo.

2. Metodologia (HAM)

O authors propõem o HAM (Heterogeneous Attention Modulation), uma abordagem totalmente sem treinamento que utiliza três módulos principais para equilibrar a preservação de identidade e a transferência de estilo. O método opera sobre modelos de difusão latente (como SD2.1 e SD3.5) e envolve:

A. Inicialização de Ruído Infundido com Estilo (SINI - Style-Infused Noise Initialization)

Em vez de usar apenas o ruído inicial da imagem de conteúdo ou uma fusão simples, o HAM cria um ruído inicial híbrido no tempo $T$.

• Mecanismo: Utiliza a Normalização de Instância Adaptativa (AdaIN) para fundir o ruído invertido da imagem de estilo com o da imagem de conteúdo.
• Inovação: Adiciona um componente de resíduo de ruído de conteúdo à fusão. Isso permite um ajuste preciso entre a intensidade da estilização e a preservação da estrutura original, resolvendo conflitos de otimização comuns em fusões diretas.

B. Regulação Global de Atenção (GAR - Global Attention Regulation)

Este módulo atua nas camadas de auto-atenção (Self-Attention) para garantir a estrutura global e a identidade do conteúdo.

• Funcionamento: O método extrai projeções de atenção (Query, Key, Value) de um "modelo professor de conteúdo" e de um "modelo professor de estilo".
• Fusão: Combina essas projeções usando uma normalização estatística (média e variância) para alinhar as distribuições, criando projeções compostas otimizadas.
• Controle: Aplica uma fusão ponderada (com hiperparâmetro $\alpha$) entre as projeções nativas do gerador e as projeções compostas. Isso permite a introdução macroscópica de características de estilo enquanto mantém a integridade espacial e semântica do conteúdo.

C. Transplante de Atenção Local (LAT - Local Attention Transplantation)

Este módulo atua nas camadas de atenção cruzada (Cross-Attention) para controle preciso e decoplamento de estilo e conteúdo.

• Inovação: Diferente de métodos anteriores que alteram a auto-atenção (o que destrói a estrutura), o HAM utiliza os canais de atenção cruzada, que são menos explorados para esse fim.
• Mecanismo:
  • Chaves e Valores (K/V): São substituídos diretamente pelas projeções extraídas do modelo professor de estilo, garantindo uma forte orientação estilística.
  • Query (Q): É protegido através de uma fusão ponderada (com hiperparâmetro $\beta$) entre o Query do modelo de conteúdo e o do gerador. Isso impede que a injeção de estilo degrade a identidade estrutural da imagem.

3. Principais Contribuições

1. Abordagem sem Treinamento: O HAM gera imagens estilizadas de alta qualidade sem necessidade de otimização de gradientes ou ajuste fino de parâmetros do modelo base.
2. Modulação Heterogênea: A combinação única de GAR (controle macro global via auto-atenção) e LAT (controle local preciso via atenção cruzada) permite desacoplar efetivamente a orientação de estilo da preservação de conteúdo.
3. Compatibilidade Universal: O método foi validado e demonstrou compatibilidade com arquiteturas baseadas em DDIM (Stable Diffusion 2.1) e DiT (Stable Diffusion 3.5), adaptando-se a diferentes mecanismos de atenção (single/dual attention).
4. Inicialização de Ruído Otimizada: A proposta de SINI com resíduo de conteúdo resolve o problema de perda de identidade em fusões de ruído tradicionais.

4. Resultados e Avaliação

O método foi avaliado qualitativa e quantitativamente contra o estado da arte (SOTA), incluindo StyleID, DiffArtist, CSGO, StyTR2, entre outros.

• Métricas Quantitativas:
  • O HAM alcançou desempenho State-of-the-Art (SOTA) em múltiplas métricas.
  • Preservação de Conteúdo: Superou todos os concorrentes em métricas como DINO (0.728) e CLIP-I (0.682), indicando uma retenção superior da identidade estrutural e semântica.
  • Força do Estilo: Alcançou a melhor pontuação em CLIP-T (0.223), demonstrando alinhamento excepcional com prompts de estilo textuais.
  • Métricas Compostas: Superou os métodos existentes nas métricas compostas DC (2.113) e CC (2.057), que equilibram fidelidade de conteúdo e semântica de estilo.
• Avaliação Qualitativa:
  • As imagens geradas pelo HAM preservam detalhes finos e a estrutura original (como texto em placas ou formas geométricas) muito melhor que os métodos concorrentes, que frequentemente sofrem de distorção ou "vazamento" de estilo excessivo.
  • O método demonstra robustez ao transferir estilos complexos (ex: Van Gogh, Cubismo) para uma única imagem de conteúdo sem necessidade de ajuste de hiperparâmetros por estilo.

5. Significado e Impacto

O trabalho HAM representa um avanço significativo na área de transferência de estilo generativa ao demonstrar que é possível alcançar um equilíbrio superior entre estilo e conteúdo sem o custo computacional do treinamento.

• Eficiência: Elimina a necessidade de fine-tuning, tornando a transferência de estilo acessível e rápida para qualquer usuário com um modelo de difusão pré-treinado.
• Qualidade: Resolve o "dilema estilo-conteúdo" que limitava as abordagens anteriores, permitindo a geração de imagens que são artisticamente ricas mas estruturalmente fiéis ao original.
• Versatilidade: A arquitetura proposta é agnóstica ao modelo base, sugerindo que a modulação heterogênea de atenção é uma direção promissora para futuras pesquisas em controle de geração difusiva.

Em suma, o HAM estabelece um novo padrão para transferência de estilo sem treinamento, oferecendo uma solução robusta, de alta fidelidade e universalmente aplicável.