Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

Resumo Técnico: "Unconditional Priors Matter!"

1. O Problema: Degradação de Priores em Modelos Ajustados (Fine-Tuning)

O artigo aborda uma limitação crítica no uso da técnica de Classifier-Free Guidance (CFG) em modelos de difusão que passaram por fine-tuning para tarefas condicionais específicas (como edição de imagem, síntese de novos ângulos ou geração de vídeo).

Em um treinamento padrão de CFG, uma única rede aprende tanto a predição de ruído condicional quanto a incondicional (usando um dropout de condição). Os autores observam que, durante o fine-tuning para uma tarefa específica, a capacidade da rede é "roubada" pela nova condição, resultando em uma degradação severa dos priores incondicionais. Como o CFG depende da diferença entre o ruído condicional e o incondicional para guiar a geração, um ruído incondicional de baixa qualidade (sem semântica ou com artefatos) acaba prejudicando a qualidade final da imagem ou vídeo gerado, mesmo que a condição seja forte.

2. Metodologia: Substituição de Ruído Incondicional

A solução proposta é simples, elegante e livre de treinamento (training-free). Em vez de usar o ruído incondicional degradado do modelo ajustado, os autores propõem combinar a predição de ruído condicional do modelo ajustado com a predição de ruído incondicional de um modelo com "priores mais ricos".

A formulação matemática proposta é:
$$\epsilon^{(\gamma)}_{\theta,\psi}(x_t, c) = \epsilon_{\psi}(x_t, \emptyset) + \gamma(\epsilon_{\theta}(x_t, c) - \epsilon_{\psi}(x_t, \emptyset))$$

Onde:

• $\epsilon_{\theta}(x_t, c)$ é o ruído condicional do modelo ajustado (fine-tuned).
• $\epsilon_{\psi}(x_t, \emptyset)$ é o ruído incondicional de um modelo base ou de outro modelo pré-treinado de alta qualidade (como Stable Diffusion 2.1 ou PixArt-$\alpha$).
• $\gamma$ é a escala de orientação (guidance scale).

Descoberta Surpreendente: Os autores demonstram que o modelo $\psi$ não precisa ser necessariamente o modelo base original do qual o modelo $\theta$ derivou; pode ser qualquer modelo de difusão pré-treinado que possua uma distribuição incondicional superior.

3. Principais Contribuições

• Identificação de um gargalo de qualidade: Demonstraram que a degradação do ruído incondicional durante o fine-tuning é um fator determinante para a queda de qualidade em modelos condicionais.
• Método de Inferência Eficiente: Propuseram uma técnica que melhora a qualidade sem a necessidade de re-treinar modelos ou alterar suas arquiteturas.
• Versatilidade de Arquitetura: Provaram que o método funciona mesmo quando o modelo base e o modelo ajustado possuem arquiteturas diferentes (ex: combinar um modelo UNet com um modelo DiT como o PixArt-$\alpha$).
• Generalização: Validaram a técnica em diversas modalidades: síntese de visão (Zero-1-to-3), variações de imagem (Versatile Diffusion), edição de imagem (InstructPix2Pix) e geração de vídeo (DynamiCrafter).

4. Resultados Experimentais

Os resultados foram consistentes em todos os benchmarks testados:

• Zero-1-to-3 (Visão): Melhora significativa na iluminação e redução de distorções de forma, com melhorias métricas em LPIPS, PSNR e SSIM.
• Versatile Diffusion (Variação): Redução de cores excessivamente saturadas e distorções de objetos, melhorando o FID e a similaridade de imagem.
• DynamiCrafter (Vídeo): Aumento da consistência temporal e redução de artefatos visuais (como rostos e mãos distorcidas).
• InstructPix2Pix (Edição): Melhora na fidelidade às instruções de texto mantendo a identidade da imagem original, corrigindo edições que antes geravam imagens irreais.

5. Significância e Conclusão

Este trabalho é significativo porque oferece uma solução de "baixo custo" para um problema onipresente no desenvolvimento de modelos generativos. Ele muda a percepção de que o treinamento de CFG deve ser um processo de aprendizado conjunto (condicional + incondicional) dentro de uma única rede, sugerindo que podemos desacoplar esses aprendizados para aproveitar o conhecimento de modelos massivos pré-treinados.

Embora introduza um leve custo de memória (por carregar um segundo modelo) e um pequeno aumento no tempo de inferência, o ganho em qualidade visual e semântica torna a técnica extremamente valiosa para aplicações práticas de IA generativa.