Resumo Técnico: Quando Dois Scores São Melhores que Um? Investigando Ensembles de Modelos de Difusão

Definição do Problema

Embora o ensembling seja uma técnica bem estabelecida no aprendizado supervisionado para melhorar a robustez e a precisão do modelo através da agregação de múltiplos preditores, sua aplicação a modelos de difusão incondicionais permanece amplamente inexplorada. As estratégias padrão para melhorar modelos de difusão geralmente envolvem o aumento da profundidade do modelo ou da duração do treinamento, o que acarreta custos computacionais significativos. Os autores investigam se o ensembling de múltiplos modelos de difusão — especificamente pela agregação de suas funções de score estimadas — proporciona benefícios tangíveis para a modelagem generativa, particularmente em termos de qualidade perceptual de amostras.

Metodologia

O estudo emprega um framework de ensemble "democrático" onde $K$ modelos treinados independentemente contribuem igualmente para o processo de agregação. A pesquisa abrange tanto abordagens baseadas em deep learning (redes neurais) quanto abordagens não profundas (árvores de decisão).

1. Construção do Ensemble

• Deep Ensembles (DE): Os autores treinam $K$ U-Nets (ou arquiteturas ADM) independentemente no mesmo conjunto de dados usando diferentes sementes aleatórias. Eles também exploram o Monte Carlo (MC) Dropout como uma alternativa mais leve ao treinamento de redes separadas.
• Ensembles de Árvores de Decisão: Para dados tabulares, eles utilizam Random Forests, treinando árvores distintas em vários níveis de ruído para aproximar a função de score.

2. Estratégias de Agregação

O cerne da investigação reside em como combinar os $K$ preditores de score $\{s^{(k)}_\theta(x, t)\}_{k=1}^K$ em cada passo de tempo $t$ durante o processo de difusão reversa. O artigo avalia diversas regras de agregação:

• Média Aritmética: A abordagem padrão, calculando a média dos scores coordenada a coordenada.
• Média Geométrica e Mediana: Alternativas de agregação coordenada a coordenada.
• Característica Dominante (Dominant Feature): Selecionando o componente com o maior valor absoluto entre todos os especialistas para cada coordenada.
• Mistura de Especialistas (Mixture of Experts - MoE): Selecionando aleatoriamente um único modelo especialista antes da execução da amostragem.
• Amostragem Alternada: Selecionando aleatoriamente um especialista diferente em cada nível de ruído $t_n$.
• Soma de Scores: Somando os scores (interpretados como um produto de especialistas não normalizado).

3. Análise Teórica

Os autores fornecem insights teóricos sobre a relação entre a agregação de scores e a composição de densidade. Eles analisam se a média de scores corresponde à amostragem de uma distribuição "Produto de Especialistas" (PoE). Eles provam que a difusão (adição de ruído) e a composição de densidade (PoE) não comutam, o que significa que a média de scores em passos intermediários não corresponde estritamente à amostragem da média geométrica das distribuições de dados iniciais.

4. Configuração Experimental

Os experimentos foram conduzidos em:

• Datasets de Imagem: CIFAR-10 (32x32) e FFHQ (256x256).
• Datasets Tabulares: Iris, Airfoil Self-Noise e Wine Quality.
• Métricas: Distância de Fréchet Inception (FID), Distância de Inception de Kernel (KID), perda de Denoising Diffusion Score Matching (LDDSM) e distância de Wasserstein (para dados tabulares).

Principais Resultados

1. Melhoria Limitada na Qualidade Perceptual

Contrariamente ao sucesso do ensembling no aprendizado supervisionado, os autores descobrem que o ensembling de modelos de difusão falha em melhorar consistentemente as métricas de qualidade perceptual (FID, KID).

• No CIFAR-10 e FFHQ, a média aritmética dos scores geralmente produz uma melhoria marginal ou nula em relação à média dos modelos individuais e nunca supera o melhor modelo individual.
• Em alguns casos (ex: CIFAR-10 com configurações específicas), o ensembling teve um desempenho pior do que o modelo individual mais fraco.
• Isso ocorre em várias estratégias de agregação (Média Geométrica, Mediana, Característica Dominante), com exceção do Mixture of Experts (MoE) em contextos específicos.

2. Melhoria no Objetivo de Treinamento

Embora as métricas perceptuais estagnem, a perda LDDSM diminui consistentemente conforme o tamanho do ensemble $K$ aumenta. Isso se alinha às expectativas teóricas baseadas na desigualdade de Jensen, onde a média de estimadores reduz a variância no objetivo de score matching. No entanto, essa redução na perda de treinamento não se traduz em melhor qualidade de amostra.

3. Casos de Sucesso Específicos

• Mistura de Especialistas (MoE): No FFHQ, o MoE superou até mesmo o melhor modelo individual. Isso sugere que aproveitar a variabilidade entre modelos ao amostrar de um único especialista por execução pode ser benéfico, embora não constitua um verdadeiro "ensemble" no sentido de combinar previsões para uma única amostra.
• Dados Tabulares (Característica Dominante): Para Random Forests em dados tabulares, a estratégia de agregação Dominant Feature superou significativamente a média aritmética e outros métodos. Os autores atribuem isso a uma subestimação sistemática da magnitude do ruído por meio da média simples, que a estratégia Dominant corrige.

4. O Desconecte entre Perda e Qualidade

O estudo destaca um desconecte fundamental: a perda de score matching (o que o modelo otimiza) e as métricas de qualidade perceptual (como o modelo é avaliado) evoluem de formas diferentes. A perturbação da função de score levou a variações caóticas no FID que não puderam ser previstas por mudanças na perda, reforçando que alta verossimilhança ou baixo erro de score-matching não garantem alta qualidade perceptual.

Significância e Alegações

A principal contribuição do artigo é uma investigação empírica e teórica rigorosa demonstrando que as técnicas padrão de ensembling não proporcionam os mesmos benefícios para modelos de difusão que proporcionam para modelos supervisionados.

• Ganhos Modestos: Os autores alegam que o ensembling produz apenas melhorias marginais, se houver, na qualidade da amostra, apesar das reduções consistentes no objetivo de treinamento.
• Insight Teórico: Eles esclarecem que a média de scores passo a passo não equivale à amostragem de uma distribuição de Produto de Especialistas devido à não-comutatividade da difusão e da composição de densidade.
• Análise de Custo-Benefício: Dado o aumento substancial nos custos de treinamento e amostragem, o ensembling padrão oferece retornos limitados para modelos de difusão incondicionais.
• Exceções: O artigo identifica nichos específicos onde o ensembling ajuda: (1) quando os modelos são suficientemente complementares (MoE), e (2) ao usar regras de agregação específicas para dados tabulares (Dominant Feature) para corrigir o viés.

Os autores concluem que, embora o ensembling melhore a estimativa de score, o hiato entre o score matching e a qualidade perceptual impede que essas melhorias se manifestem em imagens geradas melhores, sugerindo que o progresso futuro exige estratégias além da simples agregação de scores.