Resumo Técnico: Redes de Dois Fluxos com Desmembramento de Estilo e Cor para Transferência de Estilo Universal sem Ajuste (Tuning-Free)

Declaração do Problema

A transferência de estilo, embora seja um problema clássico de visão computacional, permanece mal definida, envolvendo a transferência complexa de atributos como pinceladas, textura, material, cor, luz e estrutura. As soluções existentes enfrentam três limitações primárias:

1. Semelhança de Estilo Inadequada: Modelos atuais frequentemente falham em reconstruir atributos de estilo específicos, como pinceladas ou materiais.
2. Capacidade de Edição Limitada: Modelos que se destacam na reconstrução de estilo costumam ter dificuldade em seguir comandos de texto (prompts) ou permitir a edição de conteúdo.
3. Invasão de Cor: Em cenários que envolvem tanto referências de conteúdo quanto de estilo, os modelos frequentemente sobretransferem a cor da referência de estilo para o conteúdo, alterando as características inerentes do conteúdo.

Além disso, métodos de ajuste em tempo de teste (ex: StyleDrop) são computacionalmente caros e impraticáveis para aplicações do mundo real que exigem referências de estilo customizadas. Embora existam modelos sem ajuste (tuning-free), eles ainda não resolveram o desafio da transferência de estilo com preservação de características — transferir atributos de estilo enquanto preservam estritamente a distribuição de cor e as características da imagem de conteúdo.

Metodologia

Os autores propõem o Color Disentangled Style Transfer (CDST), um novo paradigma de treinamento de dois fluxos projetado para isolar completamente a cor de outros atributos de estilo. O framework opera em um único modelo treinado capaz de inferência zero-shot para diversas tarefas de transferência de estilo.

1. Paradigma de Treinamento: Desmembramento de Dois Fluxos

O CDST formula a transferência de estilo como uma tarefa de construção de imagem de referência condicional usando uma arquitetura de fluxo duplo:

• Fluxo de Estilo: Para evitar a contaminação de cor, a imagem de referência de estilo é convertida para tons de cinza. As características são extraídas usando DinoV2, utilizando uma estratégia de compressão de incorporação de múltiplos recursos. Isso envolve:
  • Extração de características de grade profundas e do token CLS do bloco final.
  • Compressão das incorporações de grade em 4 tokens via um Transformer de Estilo.
  • Extração de representações rasas dos Blocos 5, 11 e 17 para capturar pistas de baixo nível, que são processadas por MLPs e média de agrupamento (average-pooling).
  • Concatenação desses 7 tokens para formar a incorporação de estilo ($e_s$).
• Fluxo de Cor: A cor é representada independentemente usando um histograma de cores quantizado. O histograma é extraído via pacote Rayleigh (convertendo HSV para o espaço LAB e quantizando distâncias euclidianas), resultando em um vetor de 180 dimensões. Este é inflado via MLP em 4 tokens para formar a incorporação de cor ($e_c$).

Ambos os fluxos são injetados no Denoising UNet através de matrizes lineares aprendíveis ($W^K, W^V$) e mecanismos de atenção cruzada (cross-attention). O objetivo de treinamento é reconstruir a imagem de referência usando perda MSE padrão.

2. Inferência: Desmembramento de UNet e Calibração Global

Durante a inferência, o CDST emprega estratégias específicas para equilibrar a fidelidade de estilo e a capacidade de edição:

• Nova Definição de Estilo (Mecanismo de Esquecimento): Diferente do treinamento, onde os tokens de estilo mapeiam para todos os 70 blocos de atenção cruzada da SDXL UNet, a inferência mapeia os tokens de estilo apenas para intervalos específicos: cross_attention_list[0:14] (Encoder) e cross_attention_list[44:70] (Decoder).
  • Os pesos são definidos como $\lambda_s = 0.2$ para o Encoder (preservando espaço/estrutura) e $\lambda_s = 0.9$ para o Decoder (preservando aparência/textura).
  • Este "mecanismo de esquecimento" evita o overfitting e a invasão de conteúdo, melhorando significativamente as capacidades de edição.
• Calibração Global de Cor: Para corrigir pequenos erros de aproximação do histograma de cores quantizado, uma etapa de pós-processamento converte a imagem gerada e a referência de cor para o espaço YUV. Ela realiza um alinhamento estatístico (combinando média e variância) e mistura o resultado de volta ao espaço RGB usando um hiperparâmetro $\alpha$ (padrão 0.8).

3. Fluxos de Trabalho do CDST

O modelo único treinado suporta múltiplos fluxos de trabalho ajustando entradas e pesos:

• Transferência de Estilo com Preservação de Características: Transfere o estilo (excluindo a cor) de uma referência de estilo enquanto preserva as características de nível de pixel do conteúdo. Isso é alcançado injetando um Content Prior Latent (versão ruidosa da imagem de conteúdo) e usando ControlNet (Canny edge) para manter a estrutura espacial. O fluxo de cor é efetivamente ignorado ou definido com peso zero, já que o Content Prior Latent domina a cor ao nível de pixel.
• Estilo + Cor + Conteúdo: Combina referências de estilo, cor e conteúdo usando ControlNet.
• Estilo + Cor + Prompt: Gera imagens baseadas em um comando de texto, referência de estilo e uma referência de cor separada.

Contribuições Principais

1. Framework CDST: Um paradigma de treinamento de dois fluxos que desmembra completamente a cor do estilo, permitindo a transferência de estilo universal sem ajuste. É o primeiro a resolver a transferência de estilo com preservação de características com referências de estilo e conteúdo de maneira tuning-free.
2. Melhoria de Semelhança e Edição: Através da compressão de incorporação de imagem de múltiplos recursos (DinoV2 raso+profundo) e uma nova definição de estilo baseada nas leis de desmembramento de UNet, o CDST alcança um equilíbrio superior entre semelhança de estilo e capacidade de edição em comparação com modelos comerciais e de código aberto anteriores.
3. Desempenho de Estado da Arte: Experimentos quantitativos extensos e avaliações humanas demonstram a superioridade do CDST em semelhança de estilo, alinhamento de prompt, consistência de cor e preservação de características em várias tarefas.

Resultados e Avaliação

Os autores conduziram experimentos abrangentes usando um benchmark de 25 referências de estilo e diversas tarefas.

• Métricas Quantitativas: Na tarefa "Estilo/Cor Ref + Prompt", o CDST alcançou as melhores pontuações em alinhamento de prompt (CLIP Score: 0.291), semelhança de estilo (CSD Score: 0.587) e distância de cor (0.116), superando o InstantStyle, CSGO e Adobe Firefly. Ficou atrás apenas do Midjourney v6.1 em pontuações estéticas.
• Avaliação Humana:
  • Estilo + Conteúdo: O CDST venceu o modelo estado da arte CSGO em semelhança de estilo (78.0%), consistência de cor (81.6%) e preferência geral (84.4%).
  • Transferência com Preservação de Características: Comparado ao GPT-4O, o CDST mostrou maior semelhança de estilo (63.2%) e consistência de cor (94.8%), embora o GPT-4O tenha tido melhor desempenho em consistência de características e estética. A preferência geral do usuário foi quase equilibrada (52.8% para o CDST).
• Estudos de Ablação:
  • Embeddings: As incorporações rasas+profundas do DinoV2 superaram significativamente as incorporações CLIP e as incorporações apenas profundas.
  • Definição de Estilo: Mapear os tokens de estilo para blocos específicos da UNet (Encoder+Decoder) com mecanismos de esquecimento gerou melhores resultados do que usar todos os blocos ou apenas o decoder.
  • Desmembramento: Usar referências de estilo em tons de cinza foi crítico; o uso de referências coloridas causou confusão e distorção de cor quando as referências de estilo e cor eram diferentes.

Significância e Alegações

O artigo afirma que o CDST representa um avanço significativo ao resolver o problema da "invasão de cor" que assola os modelos tuning-free anteriores. Ao isolar a cor através de um fluxo dedicado e impor um fluxo de estilo cego à cor, o CDST desbloqueia a capacidade de realizar a transferência de estilo com preservação de características, uma tarefa anteriormente instável ou impossível sem ajuste fino.

Os autores enfatizam que o CDST é um modelo universal e sem ajuste (tuning-free). Apesar de ter sido treinado em uma configuração específica, ele pode lidar com diversos cenários (Estilo+Prompt, Estilo+Conteúdo, Transferência com Preservação de Características) com um único modelo. O artigo observa que, embora o modelo tenha sido treinado em 2025, ele permanece útil em 2026, tendo sido utilizado para a síntese de dados de treinamento para os modelos subsequentes TeleStyle, demonstrando sua robustez mesmo conforme os modelos de fundação evoluem em direção às arquiteturas DiT.