Resumo Técnico: ViDiT (Transferência de Direção Visual para Difusão)

Declaração do Problema

Apesar do rápido avanço dos Modelos de Difusão de Denoising (DDMs) e Modelos de Difusão Latente (LDMs) na geração de imagens de alta fidelidade, alcançar um controle preciso e desentrançado sobre atributos específicos continua sendo um desafio significativo. Os fluxos de trabalho atuais dependem fortemente de prompts de texto criados por humanos para guiar edições. No entanto, a linguagem natural sofre de um "gargalo descritivo": ela é frequentemente muito grosseira para capturar diferenças visuais sutis ou "deltas" (por exemplo, mudanças sutis de textura, alterações precisas na estrutura facial ou estilos artísticos específicos) que são facilmente evidentes em pares de imagens, mas difíceis de articular em texto.

Além disso, ao contrário das Redes Adversárias Generativas (GANs), que possuem espaços latentes bem estruturados e propensos à manipulação semântica linear, os modelos de difusão possuem processos de estimativa de ruído recursivos e complexos que tornam a descoberta de direções latentes desentrançadas difícil. Métodos existentes frequentemente exigem ajuste fino extensivo, otimização por imagem ou dados de treinamento em larga escala, o que limita sua escalabilidade e aplicabilidade a diversos domínios.

Metodologia: ViDiT

Os autores propõem o ViDiT (Visual Direction Transfer for Diffusion), um framework projetado para expandir o vocabulário de edição de modelos de difusão pré-treinados através do aprendizado de direções de edição contínuas diretamente de pares de imagem-edição, contornando a necessidade de descrições textuais.

Princípio Central: "Aprenda uma Vez, Edite em Qualquer Lugar"

O ViDiT opera sob o princípio de aprender uma direção de edição única, global e contínua ($d$) a partir de um pequeno conjunto de pares de imagens "antes e depois". Uma vez otimizada, essa direção pode ser aplicada zero-shot a qualquer imagem (do mundo real, artística ou sintética) sem a necessidade de ajuste fino do modelo base ou de realizar otimização por imagem.

Estrutura Técnica

O método otimiza uma direção $d$ dentro do espaço de condicionamento do modelo de difusão (tipicamente o espaço de embedding de texto) usando uma função de perda de objetivo duplo. A rede de denoising ($\epsilon_\theta$) e o codificador visão-linguagem ($E_I$) permanecem congelados durante o treinamento; apenas $d$ é atualizado.

1. Perda de Alinhamento Semântico ($\mathcal{L}_{sem}$):
   Esta perda utiliza um Codificador Visão-Linguagem congelado (ex: CLIP) para garantir que a direção $d$ esteja geometricamente alinhada com a imagem editada ($x'$) e desalinhada com a imagem original ($x$) no espaço de características. Ela atua como uma âncora semântica global:
   $$\mathcal{L}_{sem} = 1 - \text{cossim}(E_I(x'), \mathbf{d}) + \text{cossim}(E_I(x), \mathbf{d})$$
   Embora eficaz para conceitos de alto nível, esta perda sozinha carece de resolução espacial e pode levar a edições emaranhadas (ex: alterar o tom de pele ao editar uma barba).

2. Perda de Alinhamento Latente ($\mathcal{L}_{latent}$):
   Para capturar detalhes estruturais finos e impor correspondência ao nível de pixel, o ViDiT aproveita o espaço de predição nativo do modelo de difusão. Ele maximiza a diferença entre as predições de ruído para a imagem editada com ruído ($x'_t$) e a imagem original com ruído ($x_t$) em timesteps aleatórios:
   $$\mathcal{L}_{latent} = -\mathbb{E}_{x_0, \epsilon, t} [ ||\epsilon_\theta(x_t', \mathbf{d}) - \epsilon_\theta(x_t, \mathbf{d})||_2^2 ]$$
   Este termo fundamenta a direção no espaço de características densas e espacialmente alinhadas do modelo, preservando pistas de identidade de alta frequência, como folículos capilares, reflexos especulares e textura da pele.

Inferência e Aplicação

• Injeção de Direção: Durante a inferência, a direção $d$ aprendida substitui o resíduo padrão de condicionamento de texto na formulação de Classifier-Free Guidance (CFG). A predição de ruído é direcionada por:
  $$\bar{\epsilon}_\theta(x_t, c, \mathbf{d}) = \tilde{\epsilon}_\theta(x_t, c) + \lambda_e (\epsilon_\theta(x_t, \mathbf{d}) - \epsilon_\theta(x_t, \phi))$$
  onde $\lambda_e$ controla a intensidade da edição.
• Edição de Imagens Reais: Para fotografias do mundo real, a imagem de entrada é primeiro invertida para a trajetória latente do modelo usando Inversão DDPM. A direção $d$ é então injetada durante o processo de denoising reverso.
• Componibilidade: Múltiplas direções aprendidas independentemente podem ser combinadas aditivamente durante a inferência sem retreinamento, permitindo edições de múltiplos atributos complexos enquanto mantém o desentrançamento.

Principais Contribuições

1. Framework Universal: Um método para aprender direções de edição contínuas a partir de exemplos visuais, expandindo o vocabulário de modelos de difusão pré-treinados sem ajuste fino do modelo base.
2. Agnóstico à Fonte: Demonstrou versatilidade na transferência de direções de diversas fontes, incluindo espaços generativos incondicionais (StyleGAN2), modelos de adaptação de domínio (StyleGAN-NADA) e editores baseados em difusão (Prompt2Prompt).
3. Capacidade "Edite em Qualquer Lugar": A habilidade de aplicar edições desentrançadas e de granularidade fina a qualquer imagem (rostos, animais, estilos artísticos, fotos do mundo real) de maneira zero-shot com controle granular sobre a intensidade.
4. Desentrançamento Superior: Alcança melhor preservação de identidade e isolamento de atributos em comparação com métodos baseados em texto e de seguimento de instruções de última geração.
5. Código Aberto: Os autores disponibilizam o código fonte para facilitar pesquisas futuras.

Resultados e Avaliação

Os autores avaliaram o ViDiT em rostos humanos, gatos e cães, comparando-o com baselines orientados por texto (SEGA, InstructPix2Pix, Prompt2Prompt, Concept Sliders) e métodos de condicionamento visual.

• Desempenho Quantitativo: O ViDT supera significativamente os baselines orientados por texto em métricas de preservação de identidade (LPIPS, DINO, DreamSim), mantendo-se competitivo em alinhamento semântico (CLIP-T, SigLIP-T). Por exemplo, nas tarefas de edição "Asiático" e "Sorriso", o ViDT alcançou um score DINO de 0,929 comparado a 0,867 para o Prompt2Prompt e 0,851 para o InstructPix2Pix.
• Análise Qualitativa: Os resultados visuais mostram que o ViDT preserva o fundo, a identidade e o estilo artístico de forma mais fiel do que os concorrentes, que frequentemente sofrem com deriva de identidade ou mudanças estruturais indesejadas.
• Estudos de Ablação:
  • Termos de Perda: Remover $\mathcal{L}_{latent}$ resultou em edições emaranhadas (ex: alterando o tom de pele ao editar o cabelo), confirmando a necessidade da abordagem de perda dupla.
  • Tamanho da Amostra: Direções significativas podem ser aprendidas com apenas 10 pares, embora 1000 pares produzam a melhor preservação de identidade.
  • Método de Inversão: A Inversão DDPM mostrou-se superior à Inversão DDIM para preservar detalhes de alta frequência em imagens reais.
• Estudo de Usuário: Em um estudo com 40 participantes, o ViDT recebeu a maior pontuação média de preferência (3,36/5) para desentrançamento e fidelidade semântica, superando o Concept Sliders (3,25) e o Prompt2Prompt (2,74).

Significância e Alegações

O artigo afirma que o ViDT preenche a lacuna entre as limitações descritivas da linguagem natural e a semântica visual complexa necessária para edições precisas. Ao enquadrar o problema como transferência de delta visual em vez de engenharia de prompt de texto, o ViDT supera o gargalo linguístico, permitindo que usuários definam edições através de exemplos visuais que são então traduzidos para o espaço latente nativo do modelo de difusão.

Os autores enfatizam que sua abordagem fornece uma solução leve e escalável que evita o overhead de treinar LoRAs por conceito ou módulos adaptadores especializados. Embora o framework herde vieses de suas fontes de supervisão (ex: StyleGAN, CLIP, Stable Diffusion), ele não introduz novos vieses. O trabalho estabelece um paradigma geral para incorporar semânticas visuais complexas em modelos de difusão a partir de qualquer fonte generativa, permitindo uma capacidade de "Aprenda uma Vez, Edite em Qualquer Lugar" que anteriormente era inalcançável sem retreinamento extensivo.