Resumo Técnico: Design de Ruído Inicial Acoplado em Modelos de Difusão

Declaração do Problema

Modelos de difusão modernos destacam-se na geração de imagens fotorrealistas, mas controlar a saída de um lote de imagens geradas permanece um desafio. Embora os métodos existentes direcionem efetivamente amostras individuais para alta qualidade e alinhamento semântico, eles tipicamente tratam os ruídos iniciais para um lote de $K$ imagens como variáveis Gaussianas independentes e identicamente distribuídas (i.i.d.). Essa suposição de independência limita a capacidade de controlar a relação entre amostras em uma galeria.

Estudos recentes indicam que o ruído inicial influencia significativamente a qualidade da saída, o layout e a posição dos objetos. No entanto, os métodos atuais no momento da inferência (por exemplo, otimização de ruído ou seleção de sementes) tratam cada vetor de ruído como um objeto separado a ser otimizado ou classificado independentemente. Isso deixa uma lacuna fundamental: A estrutura de dependência entre os ruídos iniciais pode ser explicitamente projetada antes de qualquer otimização por amostra ocorrer? O artigo argumenta que a suposição padrão de independência é meramente uma escolha dentro de uma classe mais ampla de designs conjuntos de ruído válidos.

Metodologia

O Framework de Acoplamento

Os autores propõem um framework baseado em acoplamento, um conceito da teoria da probabilidade onde uma distribuição conjunta é construída sobre um conjunto de variáveis aleatórias de modo que suas distribuições marginais permaneçam fixas. No contexto de modelos de difusão:

• Um lote de ruídos iniciais $(Z_1, \dots, Z_K)$ é construído de modo que cada $Z_i$ permaneça marginalmente Gaussiana padrão ($Z_i \sim \mathcal{N}(0, I_d)$).
• A estrutura de dependência através do lote é explicitamente projetada pelo usuário.
• Crucialmente, como as marginais não são alteradas, o modelo de difusão pré-treinado recebe exatamente a mesma distribuição de entrada de amostra única que o habitual. Nenhuma alteração no modelo, prompt, amostrador ou regras de orientação é necessária.

Construções Chave de Acoplamento

O artigo estuda várias acoplamentos específicos dentro deste framework:

1. Acoplamento Idêntico: $Z_1 = Z_2 = \dots = Z_K$. Usado para preservar conteúdo entre amostras.
2. Acoplamento Independente: Amostragem i.i.d. padrão ($\rho = 0$).
3. Acoplamento Antitético: Para $K=2$, $(Z_1, Z_2) = (Z, -Z)$.
4. Acoplamento Repulsivo: Uma construção novel para $K$ arbitrário que induz correlação negativa entre todos os pares. O Algoritmo 1 gera estes centralizando ruídos base independentes e escalando-os:
   $$Z_i = \sqrt{\frac{K}{K-1}} (U_i - \bar{U})$$
   onde $\bar{U}$ é a média do lote. Isso resulta em uma covariância par a par de $\text{Cov}(Z_i, Z_j) = -\frac{1}{K-1}I_d$ para $i \neq j$.

Propriedades Teóricas

• Optimalidade Minimax: O acoplamento repulsivo é provado ser o design conjunto "mais espalhado" em um sentido minimax. Ele minimiza a correlação par a par máxima entre todos os acoplamentos Gaussianos válidos, alcançando o limite inferior teórico de $-1/(K-1)$.
• Preservação Marginal: A Proposição 3.2 estabelece que mudar o acoplamento não pode alterar o valor esperado de qualquer métrica de imagem única (por exemplo, alinhamento médio ao prompt ou qualidade). Afeta apenas métricas dependentes de múltiplas amostras conjuntamente (por exemplo, diversidade, distância par a par).
• Parametrização: O Teorema 3.3 fornece uma parametrização matricial para acoplamentos Gaussianos ($Z = AU$), permitindo o aprendizado de estruturas de dependência personalizadas via otimização amortizada.

Três Modos de Aplicação

1. Plug-in Direto: Substituir o ruído independente por ruído acoplado (especificamente repulsivo) no início da amostragem. Isso incorre em custo computacional zero além da transformação linear inicial.
2. Inicialização Estruturada: Usar o ruído acoplado como ponto de partida para otimização de ruído no momento do teste (por exemplo, Otimização de Ruído Contrastivo). O otimizador começa a partir de uma distribuição estruturada em vez de ruído i.i.d. aleatório.
3. Otimização Amortizada: Aprender uma matriz de acoplamento $A$ para maximizar uma recompensa no nível da distribuição (por exemplo, agrupamento específico de brilho). Uma vez aprendida, esta matriz pode ser reutilizada para novos prompts sem otimização adicional.

Resultados Chave

Geração Diversa de Texto para Imagem

Experimentos foram conduzidos no Stable Diffusion 1.5 (SD1.5), SDXL e SD3 usando 2.000 prompts.

• Melhoria na Diversidade: O acoplamento repulsivo melhorou significativamente as métricas de diversidade (distância L2, Similaridade Média Par a Par, pontuação Vendi) comparado à amostragem independente. Por exemplo, no SD3, a distância L2 aumentou de 0,1417 para 0,1667.
• Preservação da Qualidade: O alinhamento ao prompt (pontuação CLIP) e a qualidade perceptiva (PickScore) permaneceram quase inalterados, confirmando que os ganhos de diversidade não ocorrem à custa da fidelidade.
• Eficiência de Custo: O acoplamento repulsivo igualou ou superou as bases recentes de otimização no momento do teste (como Otimização de Ruído Contrastivo, CNO) nas métricas de diversidade sem a sobrecarga computacional de loops de otimização.
• Complementaridade: Combinar o acoplamento repulsivo com CNO produziu os melhores resultados, sugerindo que os dois métodos são complementares.

Geração de Fundo com Objeto Fixo

O método foi aplicado à geração de fundos diversos enquanto preserva um objeto de primeiro plano específico (por exemplo, uma cama em um quarto).

• Abordagem: O ruído do primeiro plano foi acoplado identicamente (e otimizado para fidelidade), enquanto o ruído do fundo foi acoplado repulsivamente para encorajar variação.
• Desempenho: Comparado a bases especializadas de inpainting e SDEdit, o método proposto alcançou maior diversidade de fundo e melhor suavidade de fronteira (menor Boundary-TV) e naturalidade global (menor BRISQUE), com apenas uma troca moderada no erro de preservação do primeiro plano.

Aprendizado Amortizado

O artigo demonstrou que a otimização amortizada pode aprender matrizes de acoplamento para objetivos estruturais específicos (por exemplo, dividir uma galeria em clusters brilhantes e escuros). As matrizes aprendidas generalizaram entre diferentes famílias de modelos (SD1.5, SDXL, SD3) e recuperaram a estrutura repulsiva analítica quando o objetivo era diversidade genérica.

Significado e Afirmações

O artigo afirma que o acoplamento de ruído inicial é uma camada de controle geral e flexível para geração por difusão que reformula o problema da seleção de sementes individuais para o design da distribuição conjunta de uma galeria.

• Framework Geral: Unifica métodos existentes (como amostragem antitética) como casos especiais e introduz novas construções (acoplamento repulsivo) que são teoricamente ótimas para diversidade.
• Controle de Custo Zero: A contribuição primária é um método para melhorar a diversidade da galeria e suportar tarefas de geração estruturada sem modificar o modelo pré-treinado ou adicionar custos de remoção de ruído/otimização.
• Escopo Moderado: Os autores reconhecem limitações, observando que a abordagem é primariamente um método de controle em nível de lote em vez de uma ferramenta para melhorar a qualidade de imagem única. Eles também notam que os acoplamentos aprendidos atualmente são limitados a matrizes de baixa dimensão e objetivos relativamente simples, e a utilidade para outras modalidades (vídeo, áudio, 3D) permanece uma questão em aberto.

Em resumo, o artigo estabelece que a estrutura de dependência do ruído inicial é uma variável de controle poderosa e subutilizada que pode ser projetada para aumentar a diversidade e habilitar tarefas de geração estruturada de forma eficiente.