Resumo Técnico: Diversificação de Difusão com Amostragem de Temperatura e Deslocamento de Tempo Corretivo de Variância

Declaração do Problema

Modelos de difusão reproduzem fielmente suas distribuições de treinamento, mas herdam inerentemente desequilíbrios nos dados, tornando difícil alcançar modos raros ou sub-representados durante a amostragem. Embora uma solução natural de inferência seja amostrar de uma distribuição alvo de alta temperatura $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ (onde $0 < \gamma < 1$) para achatar os modos dominantes e impulsionar os raros, a aplicação ingênua desse conceito falha na prática.

Escalar diretamente a função de score aprendida por $\gamma$ (ou seja, usar $\gamma \nabla_x \log p_t(x)$) atinge o objetivo macroscópico de reponderar os modos, mas induz uma expansão de variância microscópica. Esse excesso de variância quebra a correspondência estrita entre o score da marginal ruidosa temperada e o processo de difusão reversa, resultando em amostras fora da variedade (off-manifold), borradas e de baixa qualidade. Métodos existentes para aumentar a diversidade geralmente exigem retreinamento, classificadores auxiliares ou filtragem de partículas paralela, o que limita sua aplicabilidade ou fidelidade.

Metodologia: Deslocamento de Tempo Corretivo de Variância

Os autores propõem o deslocamento de tempo corretivo de variância, um mecanismo livre de treinamento que desacopla a reponderação de modos da inflação de variância. O insight central é que, embora o score da distribuição temperada $\nabla_x \log p^{(\gamma)}_t(x)$ não possa ser obtido simplesmente escalando o score original, ele pode ser precisamente aproximado consultando a rede em um passo de tempo deslocado $\tilde{t}$.

Derivação Teórica

1. O Descompasso: O temperamento direto da marginal ruidosa $p_t(x)^\gamma$ difere da marginal ruidosa dos dados temperados $p^{(\gamma)}_t(x)$. Sob a suposição de modos bem separados, o temperamento direto efetivamente escala a variância dos componentes gaussianos por $1/\gamma$, enquanto a verdadeira marginal temperada mantém o cronograma de variância original.
2. A Correção: Para recuperar a desejada marginal temperada sem inflação de variância, o método consulta a rede pré-treinada em um tempo deslocado $\tilde{t}$ tal que o nível de ruído satisfaça $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$.
3. O Estimador de Score: O score para a distribuição temperada é aproximado como:
   $$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$$
   Isso efetivamente cancela a expansão da variância enquanto preserva o efeito de reponderação de modos.

Controle de Coarse-to-Fine (Grosso para Fino)

O método permite um cronograma $\gamma(t)$ aplicado em diferentes estágios do processo de difusão reversa:

• Estágios Iniciais (Alto Ruído): Aplicar $\gamma(t) < 1$ aqui impulsiona a diversidade composicional, direcionando as partículas de amostragem para diferentes atratores (modos).
• Estágios Médios/Finais (Baixo Ruído): Aplicar $\gamma(t) < 1$ aqui impulsiona a variação de aparência local enquanto preserva a composição global e a identidade do modo.

Principais Contribuições

1. Identificação da Expansão de Variância: O artigo identifica que o escalonamento direto de score em modelos de difusão quebra o processo de difusão reversa devido à inflação de variância indesejada, degradando a qualidade da amostra.
2. Deslocamento de Tempo Corretivo de Variância: Uma correção de custo zero e livre de treinamento que recupera a desejada marginal temperada consultando a rede em um passo de tempo deslocado, permitindo a amostragem de alta temperatura eficaz.
3. Botão de Diversidade Prático: O método transforma a amostragem de temperatura em uma ferramenta prática para aumentar a diversidade em backbones de difusão e flow-matching pré-treinados sem necessidade de retreinamento.
4. Controle Específico por Estágio: Os autores demonstram que o tempo da intervenção de temperatura permite o controle de grosso para fino, distinguindo entre diversidade composicional (início) e variação local (final).

Resultados Experimentais

O método foi avaliado em várias arquiteturas (DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models) e modalidades (imagens, movimento).

• Diversidade vs. Fidelidade: O método melhora consistentemente a diversidade (medida pelo escore Vendi) com custo mínimo para a qualidade da amostra e fidelidade da condição (medida pelo escore VQA ou precisão do classificador).
• Comparação:
  • vs. CADS: O método proposto mantém melhor fidelidade ao prompt, enquanto o CADS frequentemente degrada o alinhamento com a condição.
  • vs. Feynman-Kac (FK): O FK tem dificuldade com altas temperaturas ($\gamma < 1$) nos experimentos dos autores, frequentemente gerando amostras inutilizáveis, enquanto o método proposto permanece estável.
  • vs. Temperamento Direto/TSR: Sem o deslocamento de tempo, valores baixos de $\gamma$ introduzem ruído excessivo. A correção de deslocamento de tempo mantém a alta qualidade da amostra enquanto alcança os mesmos ganhos de diversidade.
• Desempenho Quantitativo: No DiT, SD1.5, SDXL e SD3.5, o método obteve o melhor ou o segundo melhor escore tanto em CMMD (qualidade perceptual) quanto em Vendi (diversidade), mantendo alta fidelidade.

Significância e Alegações

O artigo alega que o deslocamento de tempo corretivo de variância resolve uma limitação fundamental da aplicação de amostragem de temperatura em modelos de difusão. Ao corrigir a inflação de variância inerente ao escalonamento de score ingênuo, o método permite que os usuários explorem a "cauda longa" da distribuição de dados — gerando modos raros ou diversos — sem sacrificar a qualidade ou a adesão à condição que os modelos de difusão são conhecidos por possuir.

Os autores posicionam isso como um passo significativo em direção ao controle flexível de inferência, oferecendo um "botão" para diversidade que funciona em diferentes famílias de modelos (incluindo modelos de flow-matching) sem a necessidade de retreinamento ou dados auxiliares. Eles reconhecem que o método é limitado pela capacidade do modelo subjacente e que o compromisso entre fidelidade e diversidade requer ajuste por modelo, mas enfatizam que o mecanismo de deslocamento de tempo proposto torna esse compromisso gerenciável e eficaz.