Resumo Técnico: EDDY – Diversificação de Marginais Exatos via Dinâmicas sem Divergência

Declaração do Problema

Modelos de difusão e correspondência de fluxo estabeleceram-se como ferramentas generativas poderosas em modalidades como imagens, moléculas e texto. Uma estratégia comum no tempo de inferência para melhorar a qualidade das amostras é o guia (guidance), onde o termo de deriva é ajustado para satisfazer condições ou restrições. No entanto, ao gerar múltiplas amostras para a mesma condição, a amostragem independente e identicamente distribuída (I.I.D.) padrão frequentemente resulta em baixa diversidade, com as saídas agrupando-se em torno de modos similares.

Os métodos existentes para abordar essa falta de diversidade tipicamente introduzem interações entre as amostras, como a otimização de latentes de ruído inicial ou a adição de potenciais repulsivos durante a amostragem. Embora essas abordagens possam aumentar a diversidade, o artigo identifica uma falha crítica: elas frequentemente distorcem a distribuição marginal de amostras individuais. Essa distorção leva a um compromisso onde o aumento da diversidade ocorre à custa da fidelidade da amostra, manifestando-se como artefatos visíveis, redução na adesão ao prompt ou degradação perceptiva. O desafio central é introduzir diversidade baseada em partículas que incentive as amostras a explorar modos diferentes da distribuição condicional sem alterar a distribuição marginal alvo de qualquer amostra individual, e idealmente sem exigir treinamento adicional.

Metodologia: EDDY

Os autores propõem o EDDY (Diversificação de Marginais Exatos via Dinâmicas sem Divergência), um mecanismo de guia livre de treinamento que aproveita simetrias na equação de Fokker–Planck (FPE).

Fundamentação Teórica

O método baseia-se na observação de que a FPE, que governa a evolução da densidade de probabilidade $p_t$, admite simetrias não triviais. Especificamente, certas perturbações de deriva podem alterar as trajetórias das partículas sem alterar a densidade marginal em evolução.

• Simetria da FPE: Os autores utilizam o operador de Stein matricial. Eles provam que, se uma perturbação de deriva $\psi_t$ for construída a partir de um campo matricial suave e antissimétrico $A$ via o operador $A_p(A) = \text{div}(A) + A\nabla \log p$, a FPE resultante permanece inalterada. Consequentemente, a distribuição marginal $p_t$ é preservada para todo tempo $t$, mesmo que a distribuição conjunta de múltiplas partículas interagentes seja modificada.

Construção do Algoritmo

O EDDY instancia esse princípio ao construir um campo de guia que induz interações repulsivas entre partículas, mantendo a preservação marginal:

1. Matrizes Antissimétricas em Pares: Para cada par de partículas $(x_i, x_j)$, uma matriz antissimétrica $A^{(ij)}$ é construída usando uma direção repulsiva $r^{(ij)} = -\nabla k(x_i, x_j)$ derivada de um kernel de similaridade $k$, e um vetor $v^{(j)}$ (tipicamente a deriva ou pontuação da partícula $j$).
   $$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$$
2. Deriva sem Divergência: O termo de guia para a partícula $i$ é a média do operador de Stein aplicado a essas matrizes sobre todos os vizinhos:
   $$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$$
   Isso resulta em um campo de transporte que é localmente sem divergência (daí o nome "EDDY"), empurrando as partículas para longe umas das outras para aumentar a diversidade, enquanto garante teoricamente que a marginal de partícula única permaneça $p_t$.

Aproximações Práticas para Dimensões Elevadas

Em configurações de alta dimensão, como geração de imagem a partir de texto, o cálculo exato de derivadas de segunda ordem de kernels (necessárias para o termo de divergência) é computacionalmente proibitivo. O EDDY emprega duas aproximações práticas:

• Diferenças Finitas: Usadas para aproximar produtos Hessiano-vetor.
• Estimação de Rastros de Hutchinson: Usada para aproximar o termo Laplaciano.
  Essas aproximações permitem que o método opere em espaços de características perceptivas (por exemplo, incorporações DINO ou CLIP) em vez do espaço de pixels bruto. Embora essas aproximações signifiquem que a preservação marginal não seja mais exata em um sentido teórico, os autores argumentam que o método permanece uma estimativa de amostra finita do campo comprovadamente preservador de marginais.

Para reduzir ainda mais o custo computacional, o guia é aplicado apenas durante a porção inicial, de alto ruído, da trajetória de amostragem (por exemplo, os primeiros 20% dos passos).

Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Identificação Teórica: Identificação e prova de simetrias da FPE que permitem mecanismos de guia de partículas que preservam a distribuição marginal subjacente.
2. Construção Baseada em Kernel: Introdução de uma construção específica usando matrizes antissimétricas em pares para induzir interações repulsivas compatíveis com essas simetrias.
3. Aproximações Escaláveis: Desenvolvimento de aproximações práticas (diferenças finitas e estimadores de Hutchinson) que permitem o uso de kernels no espaço de características, tornando o método aplicável a tarefas de alta dimensão como geração de imagem a partir de texto.
4. Validação Empírica: Avaliação em distribuições sintéticas e modelos modernos de geração de imagem a partir de texto (FLUX.1-dev e SDXL), demonstrando diversidade aprimorada com fidelidade distribucional mantida em comparação com linhas de base.

Resultados Experimentais

Os autores avaliam o EDDY contra amostragem Independente e Identicamente Distribuída (I.I.D.), Guia de Partículas (PG) e Amostragem de Difusão Condicionada com Annealing (CADS).

• Mistura Gaussiana 2D Sintética: Em uma mistura 2D de Gaussianas, o EDDY-RBF (usando o kernel RBF exato) aumenta com sucesso a cobertura de modos (diversidade) enquanto passa em testes estatísticos (Kolmogorov-Smirnov, Mann-Whitney, teste t de Welch) que confirmam que a distribuição marginal é indistinguível da linha de base I.I.D.
• Geração de Imagem a partir de Texto:
  • Diversidade vs. Fidelidade: O EDDY consistentemente alcança uma fronteira de Pareto melhor do que o PG. Em níveis de diversidade correspondentes (medidos pela similaridade em pares DINO), o EDDY produz maior alinhamento ao prompt (CLIPScore) e melhores pontuações estéticas.
  • Redução de Artefatos: Enquanto o PG frequentemente introduz artefatos visuais severos (por exemplo, estruturas distorcidas) ao buscar diversidade, o EDDY mantém o fotorealismo, com qualquer degradação manifestando-se como desfoque leve em vez de artefatos estruturais.
  • Comparação com CADS: O CADS melhora a diversidade perturbando sinais de condicionamento, mas degrada significativamente a adesão ao prompt. O EDDY mantém forte fidelidade ao prompt enquanto aumenta a diversidade.
  • Modelos Testados: Os experimentos foram conduzidos no FLUX.1-dev (correspondência de fluxo) e no Stable Diffusion XL (difusão).

Significado e Alegações

O artigo alega que o EDDY fornece um caminho principiado para geração condicional diversa. Ao aproveitar as simetrias da equação de Fokker–Planck, ele desacopla o compromisso entre diversidade e fidelidade que aflige os métodos existentes de amostragem repulsiva.

Os autores enfatizam que o EDDY é livre de treinamento, não exigindo aprendizado adicional do modelo, ao contrário de métodos que dependem do aprendizado de funções potenciais ou pesos de importância. Embora o método incorra em uma sobrecarga computacional (aumento de tempo de execução de aproximadamente 25% no FLUX.1-dev devido a avaliações de kernel e aproximações), os autores argumentam que isso é um custo necessário para alcançar amostras diversas e de alta qualidade sem os artefatos severos observados em abordagens concorrentes. O trabalho sugere que preservar a distribuição marginal é uma restrição crucial para manter a qualidade das saídas generativas enquanto se exploram os modos da distribuição condicional.