It's Never Too Late: Noise Optimization for Collapse Recovery in Trained Diffusion Models

1. Declaração do Problema

Modelos de difusão texto-para-imagem contemporâneos (por exemplo, SDXL-Turbo, Flux.1) sofrem de colapso de modo. Ao amostrar múltiplas imagens a partir do mesmo prompt de texto usando diferentes sementes aleatórias (ruído i.i.d.), os modelos frequentemente produzem saídas quase idênticas com variação visual mínima.

• Limitações Atuais: As soluções existentes dependem de:
  • Mecanismos de orientação: Direcionamento do modelo via condicionamento modificado (por exemplo, Orientação de Partículas, DPP), que frequentemente sacrifica a qualidade pela diversidade.
  • Métodos baseados em busca: Geração de um grande conjunto de candidatos e sua poda (por exemplo, "Melhor de N"), o que é computacionalmente caro e intensivo em memória.
  • Engenharia de prompts: Modificação da entrada de texto, que não consegue capturar facilmente todas as variações no espaço de saída.
• Questão Central: Podemos otimizar diretamente o ruído inicial ($x_0$) para recuperar do colapso de modo e gerar imagens diversas e de alta qualidade sem alterar o modelo pré-treinado ou o prompt do usuário?

2. Metodologia

Os autores propõem uma estrutura de otimização de ruído ponta a ponta que trata o vetor de ruído inicial como um parâmetro aprendível. O processo envolve:

A. Objetivo de Otimização de Ruído

Dado um prompt fixo $c$ e um modelo de difusão congelado $g_\theta$, o método otimiza um lote de amostras de ruído inicial $\{x_0^{(i)}\}_{i=1}^B$. A função objetivo minimiza uma perda $\mathcal{L}$ composta por três termos:

1. Recompensa de Qualidade ($r_s$): Garante que as imagens individuais adiram ao prompt e mantenham alta fidelidade (por exemplo, usando CLIPScore ou HPSv2).
2. Métrica de Diversidade ($v_\mathcal{B}$): Maximiza a dissimilaridade entre as imagens no lote. O artigo explora várias métricas:
   • Par a par: Features de patch do DINOv2, DreamSim, LPIPS, Histogramas de Cor.
   • Nível de conjunto: Processos Pontuais Determinantal (DPP) e Pontuação Vendi, que medem o número efetivo de itens únicos em um conjunto.
3. Regularização ($\text{reg}$): Impede que o ruído otimizado se desvie excessivamente da distribuição a priori $N(0, I)$. Isso é alcançado penalizando desvios da distribuição $\chi_d$ da norma do ruído.

A otimização é realizada via retropropagação através do amostrador congelado $g_\theta$.

B. Estratégia de Inicialização de Ruído (Rosa)

Uma percepção chave do artigo é a análise da evolução do ruído. Durante a otimização, os autores observaram que as mudanças mais significativas ocorrem nos componentes de baixa frequência do espectro do ruído, enquanto as altas frequências permanecem relativamente estáveis.

• Hipótese: Imagens naturais seguem um espectro de potência $1/f$ (mais potência em baixas frequências). O ruído branco padrão é espectralmente plano.
• Solução: Os autores introduzem Inicialização de Ruído Rosa. Eles transformam o ruído branco para o domínio da frequência via FFT, aplicam um fator de escalonamento de potência de $f^{-\alpha/2}$ (onde $\alpha \approx 0.2$) e transformam de volta.
• Benefício: Esta inicialização alinha o ruído inicial com as propriedades estatísticas de imagens naturais e a dinâmica de otimização, levando a uma convergência mais rápida e maior diversidade.

C. Modos de Otimização

• Otimização em Lote: Otimiza conjuntamente um conjunto de imagens (por exemplo, 4) para maximizar a diversidade em nível de conjunto.
• Otimização Sequencial: Gera imagens uma por uma, otimizando cada uma para diferir das saídas geradas anteriormente. Isso reduz a sobrecarga de memória e permite gerar grandes conjuntos diversos.

3. Contribuições Principais

1. Otimização de Ruído para Diversidade: Demonstra que otimizar diretamente o ruído inicial é uma estratégia superior para recuperar do colapso de modo em comparação com métodos baseados em orientação ou busca.
2. Objetivos de Diversidade em Nível de Conjunto: Identifica que DPP e Pontuação Vendi são mais eficazes do que métricas simples par a par para otimizar conjuntos diversos, pois impedem que a métrica "par a par média" seja manipulada tornando uma imagem muito diferente enquanto mantém as outras similares.
3. Inicialização de Ruído Rosa: Propõe uma estratégia simples, sem parâmetros (usando ruído rosa) que consistentemente melhora a diversidade em diferentes modelos (SDXL-Turbo, Flux.1) e baselines, mesmo sem otimização adicional.
4. Compromisso Qualidade-Diversidade: Mostra que seu método pode aumentar a diversidade sem sacrificar a qualidade da imagem ou a aderência ao prompt, superando o compromisso típico observado em métodos baseados em orientação.

4. Resultados Experimentais

O método foi avaliado em GenEval, DPG-Bench (prompts complexos) e T2I-CompBench usando modelos como SDXL-Turbo e Flux.1 [schnell].

• Desempenho Quantitativo:
  • Diversidade: Supera a amostragem i.i.d. e o método de busca mais avançado [Parmar et al., 2025] em todas as métricas (DINO, DreamSim, LPIPS, Pontuação Vendi).
  • Qualidade: Mantém ou melhora ligeiramente as pontuações de qualidade de imagem (HPSv2, CLIPScore) em comparação com as baselines.
  • Eficiência: Com a inicialização de ruído rosa, o método atinge pontuações de diversidade mais altas do que o método de busca baseline em significativamente menos iterações (por exemplo, 6–8 iterações vs. 9–12 para ruído branco).
• Resultados Qualitativos:
  • Gera variações diversas em pose de objeto, cor, estilo e fundo, aderindo estritamente a prompts complexos.
  • Lida com sucesso com prompts complexos (por exemplo, "Uma cena pitoresca de outono...") onde a amostragem i.i.d. falha em produzir variação.
• Estudo com Usuários: Avaliadores humanos preferiram as saídas do método proposto (especialmente aquelas otimizadas com DPP/Vendi) em relação à amostragem i.i.d. e à baseline de busca em 85–91% dos casos.

5. Significado

Este trabalho muda o paradigma da geração de diversidade em modelos de difusão de estratégias de amostragem (esperar por uma boa semente) ou orientação (modificar o caminho de geração) para otimização de entrada.

• Aplicabilidade Geral: A abordagem é agnóstica ao modelo e funciona tanto em modelos de difusão destilados por etapas (rápidos) quanto em modelos de difusão padrão.
• Eficiência: Ao otimizar o ruído diretamente, evita a enorme sobrecarga de memória de gerar e armazenar centenas de candidatos para poda.
• Insight no Espaço Latente: A descoberta de que componentes de ruído de baixa frequência impulsionam a diversidade fornece uma nova compreensão de como os modelos de difusão interpretam o ruído inicial, sugerindo que a "estrutura" é estabelecida cedo no domínio da frequência.

Em conclusão, o artigo apresenta uma solução robusta, eficiente e de alta qualidade para o problema de colapso de modo, provando que "nunca é tarde demais" para otimizar o ruído de entrada e desbloquear o potencial de diversidade total de modelos de difusão treinados.