Resumo Técnico: Amostragem de Difusão com Ruído Colorido (CNS)

Declaração do Problema

Os modelos de difusão estabeleceram desempenho de última geração na síntese de imagens, contudo suas trajetórias generativas exibem um viés espectral fundamental: elas resolvem estruturas globais de baixa frequência no início do processo de amostragem e detalhes finos de alta frequência posteriormente. Solucionadores convencionais de Equações Diferenciais Estocásticas (EDEs) não levam em conta essa dinâmica. Eles injetam ingenuamente ruído branco uniforme durante todo o processo de geração, tratando todas as bandas de frequência de forma igual. Essa abordagem desperdiça o "orçamento de energia" finito do processo estocástico, alocando energia de ruído para bandas de frequência que já estão estruturalmente resolvidas, enquanto negligencia aquelas que estão atrasadas. Consequentemente, as EDEs padrão frequentemente falham em recuperar perfeitamente a densidade espectral de potência (PSD) da variedade de dados verdadeira, levando a uma "lacuna espectral" entre imagens geradas e reais.

As soluções existentes ou alteram o framework de treinamento (exigindo retreinamento custoso) ou aplicam modificações no tempo de inferência que tratam o solucionador estocástico subjacente como uma caixa preta estática (por exemplo, operações desacopladas por frequência ou ajustes de tamanho de passo). Esses métodos permanecem limitados por sua dependência de solucionadores espectralmente uniformes.

Metodologia: Amostragem com Ruído Colorido (CNS)

Os autores propõem a Amostragem com Ruído Colorido (CNS), um solucionador estocástico inovador e sem necessidade de treinamento que explora ativamente o viés espectral inerente do modelo. A ideia central é que a inferência por EDE pode ser reencenada como uma transferência de energia direcionada e desacoplada por frequência.

1. Framework Matemático

Os autores estabelecem que a inferência por difusão atua como um mecanismo de transferência que preserva o sinal. Embora o ruído inicial seja preservado em algum grau, os incrementos estocásticos injetados pelos solucionadores de EDE ao longo da trajetória também são mapeados diretamente para os recursos espaciais da imagem final. Crucialmente, esse mapeamento é desacoplado por frequência: ruído injetado em uma banda de frequência específica mapeia para recursos espaciais nessa mesma banda.

Os autores demonstram que o requisito clássico de Langevin para ruído branco uniforme pode ser relaxado com segurança. Ao garantir que a energia total injetada por passo permaneça normalizada (uma restrição global de conservação de variância), os estados intermediários não se desviam da distribuição, mesmo que a composição espectral do ruído mude.

2. O Algoritmo CNS

O CNS substitui a injeção de ruído branco uniforme por um cronograma dinâmico dependente de passo de tempo e frequência.

• Rastreamento de Progresso: O método utiliza um índice de progresso limitado, $\gamma(f, t)$, que mede quanto da estrutura final de uma banda de frequência específica foi resolvida pela rede no passo de tempo $t$. Baixas frequências resolvem-se cedo ($\gamma \to 1$), enquanto altas frequências resolvem-se tarde.
• Alocação Dinâmica: O CNS calcula um peso de escala $\beta_f(t)$ para cada banda de frequência. Esse peso é inversamente proporcional à resolução estrutural da banda. Especificamente, o multiplicador de variância é proporcional ao déficit estrutural ($1 - \gamma(f, t)$).
  • Bandas totalmente resolvidas ($\gamma \approx 1$) recebem menos energia injetada (atenuação).
  • Bandas estruturalmente não resolvidas ($\gamma \approx 0$) recebem mais energia injetada (amplificação).
• Restrição Global: Para manter a estabilidade, os pesos de escala são normalizados de modo que a energia média injetada através de todas as dimensões permaneça constante: $\frac{1}{D}\sum \beta_f^2(t) = 1$. Isso trata a injeção de ruído como um jogo de soma zero, realocando energia de bandas "resolvidas" para bandas "atrasadas".

3. Implementação

O CNS é implementado como uma substituição plug-and-play para solucionadores de EDE padrão (por exemplo, Euler-Maruyama, Heun, SRK). Não requer retreinamento do modelo e opera inteiramente no tempo de inferência. O algoritmo colore dinamicamente o incremento de ruído a cada passo com base no perfil espectral do estado atual.

Contribuições Principais

1. Framework Teórico: O artigo estabelece um framework matemático que reencena a injeção de ruído de EDE como uma transferência de energia direcionada. Ele prova que o requisito estrito para ruído branco espectralmente uniforme pode ser relaxado para resolver lacunas espectrais sem empurrar estados intermediários para fora da distribuição.
2. Novo Solucionador (CNS): A introdução da Amostragem com Ruído Colorido, um solucionador estocástico sem treinamento que aloca dinamicamente a energia de ruído injetada para bandas de frequência estruturalmente não resolvidas, aproveitando ativamente o viés espectral do modelo.
3. Validação Empírica: Experimentos extensivos em diversas arquiteturas (SiT, JiT, FLUX) e modalidades (espaço de pixels, espaço latente, texto para imagem) demonstram que o CNS supera significativamente as linhas de base padrão de ODE e EDE.

Resultados Experimentais

Os autores avaliam o CNS no ImageNet-256 e em benchmarks de texto para imagem (FLUX), medindo o desempenho através da Distância Fréchet Inception (FID), FID espacial (sFID), Pontuação de Inception (IS) e métricas de preferência humana.

• Geração Condicional por Classe (ImageNet-256):
  • SiT-XL/2: O CNS reduz o FID não guiado de 8,26 (EDE) para 6,27.
  • JiT-B/16: O CNS reduz o FID não guiado de 32,39 (EDE) para 26,69.
  • JiT-H/16: O CNS reduz o FID não guiado de 11,88 (EDE) para 8,31.
  • O CNS também produz melhorias relativas consistentes no FID quando usado com Orientação Livre de Classificador (CFG), variando de ~8% a ~50% sobre as linhas de base.
• Geração de Texto para Imagem (FLUX):
  • A integração no FLUX.1-dev e FLUX.2-klein melhora as pontuações automáticas de preferência humana (ImageReward) e pontuações estéticas, mantendo o alinhamento semântico (CLIPScore).
• Robustez: O CNS supera consistentemente a amostragem padrão em vários passos de discretização e ordens de solucionador (1ª a 5ª ordem).
• Ortogonalidade: O CNS fornece melhorias mesmo quando aplicado a modelos treinados com distribuições de ruído alternativas (por exemplo, Ruído Azul para Modelos de Difusão), confirmando sua utilidade geral.

Significado e Alegações

O artigo alega que o CNS aborda uma ineficiência fundamental nos solucionadores padrão de EDE de difusão: a injeção uniforme e desperdiçada de ruído branco. Ao reconceitualizar a inferência como uma transferência de energia direcionada, o CNS orienta sistematicamente a distribuição gerada em direção à variedade de dados verdadeira.

Os autores enfatizam que o CNS é uma solução estritamente plug-and-play. Ele aprimora a fidelidade da geração e a qualidade visual sem exigir qualquer retreinamento do modelo ou modificação da arquitetura de rede subjacente. O trabalho sugere que a "lacuna espectral" em imagens geradas não é meramente um erro numérico, mas um resultado de alocação de energia desalinhada, que pode ser corrigida colorindo dinamicamente o ruído para corresponder à curva de aprendizado estrutural do modelo.

Limitações: Os autores observam que o CNS depende do framework de EDE e, portanto, é incompatível com solucionadores determinísticos de ODE, que permanecem preferíveis para inferência ultra-rápida com poucos passos. Trabalhos futuros são sugeridos para explorar a extensão do roteamento de energia dependente de frequência para paradigmas determinísticos e aplicar o método à geração de vídeo.