StyleVAR: Controllable Image Style Transfer via Visual Autoregressive Modeling

1. Problema e Motivação

O trabalho aborda o desafio da transferência de estilo baseada em referência (reference-based image style transfer). O objetivo é gerar uma imagem de saída que preserve a semântica estrutural e o layout espacial de uma imagem de conteúdo, enquanto adota a textura artística e o tom de uma imagem de estilo.

Os principais desafios identificados são:

• Equilíbrio: Encontrar o ponto ideal entre preservar a estrutura do conteúdo e aplicar um estilo forte sem distorcer objetos ou introduzir artefatos.
• Limitações de Métodos Anteriores:
  • Modelos baseados em CNNs/GANs muitas vezes exigem treinamento específico para cada estilo ou sofrem com instabilidade.
  • Modelos baseados em Difusão (Diffusion Models), embora de alta qualidade, são computacionalmente caros e lentos devido aos muitos passos iterativos de remoção de ruído, além de dependerem frequentemente de mecanismos de guia adicionais.
• Necessidade: Uma abordagem que ofereça alta capacidade generativa, eficiência computacional e condicionamento direto e controlável entre conteúdo e estilo.

2. Metodologia: O Framework StyleVAR

O projeto propõe o StyleVAR, que adapta o framework de Modelagem Autoregressiva Visual (VAR) para a tarefa de transferência de estilo.

A. Modelagem Autoregressiva Condicional

Em vez de gerar pixels ou tokens sequencialmente linha por linha (como em modelos de linguagem tradicionais), o StyleVAR utiliza uma abordagem multiescala:

1. Tokenização: As imagens (conteúdo, estilo e alvo) são decompostas em representações multiescala e tokenizadas em códigos discretos usando um VQ-VAE.
2. Geração Hierárquica: A imagem alvo é gerada escala por escala (de baixa para alta resolução). A probabilidade de gerar os tokens na escala $k$ é condicionada não apenas aos tokens já gerados nas escalas anteriores ($r_{<k}$), mas também aos tokens correspondentes das imagens de estilo ($s_k$) e conteúdo ($c_k$).

B. Mecanismo de Atenção Cruzada Misturada (Blended Cross-Attention)

Uma inovação central da arquitetura é o mecanismo de atenção introduzido nos blocos do Transformer:

• Configuração Inversa: Diferente da atenção cruzada padrão onde o alvo é a Query, no StyleVAR:
  • Key (K) e Value (V): São as características do histórico da imagem alvo (o que já foi gerado). Isso preserva a continuidade autoregressiva e a integridade estrutural.
  • Query (Q): São as características do estilo e do conteúdo. Elas atuam como "consultas" que decidem quais partes do histórico do alvo devem ser enfatizadas ou modificadas para incorporar o estilo.
• Coeficiente de Mistura ($\alpha$): Um parâmetro controla a proporção entre a atenção ao estilo e ao conteúdo em cada etapa, garantindo que a geração alinhe tanto a estrutura quanto a textura.

C. Otimização em Duas Etapas

O treinamento ocorre em duas fases distintas para superar as limitações da perda de entropia cruzada padrão:

1. Ajuste Fino Supervisionado (SFT):

   • O modelo é treinado com uma perda de entropia cruzada em nível de token sobre um grande conjunto de dados de tripletos (conteúdo, estilo, alvo).
   • Isso ensina o modelo a reproduzir estilizações plausíveis, mas não garante necessariamente alta qualidade perceptual no nível da imagem decodificada.

2. Ajuste Fino por Reforço (GRPO):

   • Utiliza Group Relative Policy Optimization (GRPO) para otimizar diretamente uma recompensa perceptual.
   • Recompensa: Baseada no DreamSim, uma métrica de similaridade perceptual alinhada com julgamentos humanos, que avalia layout, conteúdo e aparência global (superando limitações de métricas baseadas em pixels ou estatísticas de textura puras).
   • Atribuição de Crédito (PANW): Como o VAR gera escalas com tamanhos muito diferentes (de 1 token a 256 tokens), uma média uniforme dos gradientes favoreceria as escalas finas (detalhes) em detrimento das escalas grossas (estrutura). O método aplica Per-Action Normalization Weighting (PANW), ponderando os tokens das escalas mais grossas (estruturais) mais fortemente para garantir que a semântica global seja preservada.
   • Atualização Iterativa de Referência: O modelo de referência (usado para penalizar desvios no KL-divergence) é atualizado iterativamente conforme o modelo melhora, permitindo progresso sustentado sem "esquecer" os ganhos anteriores.

3. Contribuições Principais

• Novo Paradigma para Transferência de Estilo: Adaptação bem-sucedida do framework VAR (originalmente para geração de imagens) para transferência de estilo condicional, oferecendo uma alternativa eficiente aos modelos de difusão.
• Mecanismo de Atenção Híbrido: Proposta de usar características de estilo/conteúdo como Queries sobre o histórico autoregressivo do alvo, equilibrando a fidelidade estrutural com a transferência de textura.
• Otimização Perceptual com GRPO: Introdução de um pipeline de RL (Reinforcement Learning) sem critic (usando GRPO) para otimizar métricas perceptuais (DreamSim) em tarefas de geração visual, resolvendo o problema de não diferenciabilidade do VQ-VAE.
• Correção de Desequilíbrio Multiescala: Aplicação de PANW para garantir que as decisões estruturais tomadas nas escalas iniciais (baixa resolução) recebam o devido crédito durante o treinamento por reforço.

4. Resultados Experimentais

O StyleVAR foi avaliado em três benchmarks: in-distribution (OmniStyle), near-distribution (ImagePulse) e out-of-distribution (COCO + WikiArt).

• Desempenho Quantitativo:
  • O StyleVAR superou consistentemente a linha de base AdaIN em todas as métricas de qualidade (Style Loss, Content Loss, LPIPS, SSIM, DreamSim e Similaridade CLIP).
  • Melhorias significativas foram observadas na preservação de estrutura (SSIM) e redução de distorção perceptual (LPIPS).
  • A etapa de GRPO trouxe melhorias adicionais sobre o modelo SFT, especialmente nas métricas alinhadas à recompensa (DreamSim e CLIP), refinando o compromisso entre estilo e conteúdo.
• Desempenho Qualitativo:
  • O modelo transfere texturas e paletas de cores de forma eficaz enquanto mantém o layout espacial, sendo particularmente forte em paisagens e cenas arquitetônicas.
• Eficiência: Embora o StyleVAR seja mais lento que a AdaIN (devido ao processo autoregressivo), ele é significativamente mais rápido que os modelos de difusão tradicionais.

5. Limitações e Discussão

• Generalização: O modelo apresenta uma lacuna de generalização em imagens da internet não vistas, sugerindo um certo grau de overfitting à distribuição de treinamento.
• Diversidade de Conteúdo: A análise revelou que o conjunto de dados de treinamento (OmniStyle-150K) possui um número limitado de imagens de conteúdo únicas (~1.800), o que pode ter levado o modelo a memorizar priores estruturais específicos em vez de aprender uma representação generalizada.
• Rostos Humanos: O desempenho é inferior em rostos humanos, provavelmente devido à complexidade topológica e à alta sensibilidade perceptual humana a deformações estruturais em características faciais.

6. Significado

O StyleVAR demonstra que a modelagem autoregressiva visual, quando combinada com mecanismos de atenção condicional inteligentes e otimização por reforço baseada em recompensas perceptuais, é uma abordagem viável e poderosa para transferência de estilo. Ele oferece um caminho para gerar imagens de alta qualidade com controle preciso sobre a estrutura e o estilo, superando as limitações de velocidade dos modelos de difusão e a instabilidade de métodos baseados em GANs, ao mesmo tempo que destaca a importância de conjuntos de dados diversificados e priores estruturais robustos para tarefas de visão computacional complexas.