Resumo Técnico: Divide-and-Denoise

Declaração do Problema

A proliferação de modelos de difusão pré-treinados oferece oportunidades significativas para composição, permitindo que usuários combinem a expertise de múltiplos modelos especializados (por exemplo, um modelo treinado em cães e outro em gatos) para gerar dados complexos que nenhum modelo individual poderia produzir sozinho. No entanto, a combinação ingênua desses modelos apresenta dois desafios primários:

1. Dominância: Um modelo pode sobrepujar os outros, levando à negligência de conceitos específicos.
2. Desacordo: Os modelos podem entrar em conflito, resultando em saídas incoerentes, objetos sobrepostos ou atributos desalinhados (por exemplo, um "cão" e um "gato" fundindo-se em uma única massa incoerente).

Abordagens existentes, como a definição de distribuições compostas via densidades de produto ou partições espaciais definidas pelo usuário (ex: MultiDiffusion), frequentemente falham em preservar as características distintas de cada modelo quando ocorrem conflitos. Partições definidas pelo usuário são trabalhosas, muitas vezes inviáveis para domínios complexos (como estruturas de proteínas) e não se adaptam às forças e fraquezas específicas dos modelos em diferentes estágios da geração.

Metodologia: Divide-and-Denoise

Os autores propõem o Divide-and-Denoise, um framework de teoria dos jogos que coordena múltiplos modelos de difusão pré-treinados durante o processo de amostragem. O método opera através de dois processos acoplados que evoluem em conjunto em cada passo de tempo $t$:

1. O Processo de Divisão (Alocação Justa)

Em vez de partições fixas, o método infere uma "divisão de trabalho" ótima online. A imagem latente é tratada como um conjunto de $m$ características (bens) a serem alocadas entre $n$ modelos (jogadores).

• Utilidades: Cada modelo $i$ recebe uma utilidade $u_{ij}(x, t)$ para cada característica $j$ do latente $x$. O artigo define dois tipos de utilidades:
  • Baseada em score: Derivada da magnitude da diferença de score entre a orientação condicional e a incondicional (aplicável a qualquer modelo de difusão condicional).
  • Baseada em atenção: Derivada de mapas de atenção cruzada (específica para modelos com condicionamento por atenção cruzada).
• Jogo de Divisão Justa: Em cada etapa, o método resolve um jogo de divisão justa para determinar uma matriz de alocação $Q$. O objetivo é maximizar a utilidade total esperada (eficiência) sujeita a restrições de justiça (ex: proporcionalidade, ausência de inveja).
• Otimização: A alocação $Q_t$ é atualizada resolvendo um problema de otimização restrita, regularizado pela divergência de Kullback-Leibler (KL) em relação à alocação do passo de tempo anterior para garantir suavidade temporal. A solução é derivada via um problema dual, resultando em uma alocação decomponível onde cada característica é atribuída a um peso fracionário para cada modelo.

2. O Processo de Denoising Composto

Uma vez determinada a alocação $Q_t$, o método constrói um kernel de denoising composto $p^c_t$ que se alinha com essa divisão.

• Alinhamento: A atualização composta é formulada para manter o passo de denoising para as características alocadas ao modelo $i$ próximo à proposta do modelo $i$, enquanto maximiza a utilidade total.
• Regra de Atualização: Sob suposições simplificadoras (distribuições fatorizadas e utilidade linear), a média composta ótima $\mu^c_t$ é derivada como uma soma ponderada das médias individuais dos modelos mais um termo de orientação:
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  Aqui, $\odot$ denota o produto elemento a elemento, e o segundo termo atua como uma atualização de orientação baseada no gradiente da utilidade total.
• Jogador Fictício: Para lidar com regiões de baixa utilidade onde os modelos podem entrar em conflito ou carecer de preferência, um "jogador fictício" é introduzido com uma utilidade uniforme. A proposta deste jogador é a média de todos os modelos, incentivando a colaboração em regiões ambíguas sem impor restrições de justiça sobre ele.

Principais Contribuições

1. Algoritmo de Coordenação em Tempo de Inferência: Um método para coordenar múltiplos modelos de difusão pré-treinados com expertises distintas sem exigir pesos compartilhados, arquiteturas ou dados de treinamento.
2. Processos Acoplados: A integração de um processo de divisão dinâmica (resolvendo um jogo de divisão justa) com um processo de denoising composto (alinhando modelos às suas regiões atribuídas).
3. Formulações de Utilidade: Definições gerais para utilidades de modelos aplicáveis a qualquer modelo de difusão condicional (baseada em score) e uma instanciação específica para modelos de atenção cruzada (baseada em atenção).
4. Validação Empírica: Demonstração de que uma equipe de modelos de conceito único, coordenada via este método, supera técnicas de composição existentes e até modelos de múltiplos conceitos em benchmarks padrão.

Resultados Experimentais

O método foi avaliado na geração de imagens condicionais usando modelos Stable Diffusion 2.0 e Diffusion Transformer (DiT).

• Benchmarks: A avaliação foi conduzida no benchmark GenEval (focando em presença de objetos e vinculação de atributos), CLIP-Score, VQAScore e ImageReward.
• Desempenho:
  • Geração de Objetos: No cenário "Conceitos como Objetos" (ex: gerar uma imagem com uma bolsa de mão e uma bola de esporte), o Divide-and-Denoise superou significativamente os baselines como Averaging, Composable Diffusion e MultiDiffusion. Para geração de 3 objetos, alcançou 59,5% na métrica GenEval "%images" em comparação com 14,75% para Multi-Concept Diffusion e 14,00% para MultiDiffusion.
  • Vinculação de Atributos: Ao gerar objetos com cores específicas (ex: "cavalo laranja"), o método vinculou com sucesso os atributos aos objetos corretos, superando baselines que frequentemente sofriam de vazamento de atributos ou objetos ausentes.
  • Resolução de Conflitos: Em cenários com conceitos conflitantes (ex: "deserto" vs. "montanha nevada"), o método produziu layouts espaciais diversos e imagens de maior qualidade do que os baselines, evitando a fusão de conceitos incompatíveis.
  • Justiça: A inclusão de restrições de justiça (proporcionalidade) melhorou ainda mais as métricas, particularmente conforme o número de modelos aumentava, impedindo que um único modelo dominasse a geração.

Significância e Alegações

O artigo afirma que o Divide-and-Denoise fornece uma receita geral para modelagem generativa controlável e reutilizável. Sua significância reside em:

• Resolução de Conflitos: Resolve efetivamente conflitos entre modelos sem exigir intervenção manual ou partições de verdade fundamental (ground-truth).
• Agnosticismo de Modelo: A formulação não está presa a arquiteturas de modelos ou mecanismos de condicionamento específicos, funcionando tanto com modelos de difusão latente (Stable Diffusion) quanto com modelos baseados em transformer (DiT).
• Interação Cooperativa: Destaca que a interação cooperativa entre modelos pré-treinados, mediada pela justiça da teoria dos jogos, pode produzir resultados superiores ao treinamento de um único modelo de grande escala de múltiplos conceitos.
• Escalabilidade: O método escala para múltiplos modelos (testado até 4) e domínios, com potenciais extensões para geração de texto-para-grafo, texto-para-áudio e áudio-para-imagem.

Os autores observam que, embora o método introduza um custo computacional adicional (principalmente na etapa de divisão), otimizações de tempo de execução (como restringir as etapas de divisão e orientação aos primeiros passos de tempo) podem reduzir significativamente os custos mantendo os ganhos de desempenho.