Resumo Técnico: Alinhamento Contrastivo Condicional–Incondicional para Modelos de Difusão de Cauda Longa

Declaração do Problema

Os dados de treinamento para síntese de imagens condicionada a classes frequentemente exibem uma distribuição de cauda longa, caracterizada por uma escassez de imagens para classes da "cauda" em comparação com as classes do "topo" (head). Esse desequilíbrio faz com que os modelos de difusão sofram de colapso de modo (mode collapse) e redução de diversidade ao gerar imagens para essas classes sub-representadas. Métodos existentes, incluindo modelos de difusão probabilística de denoising padrão (DDPM) e modelos de difusão baseados em score (SBDM), frequentemente falham em gerar imagens de alta fidelidade e diversidade para essas classes sub-representadas sem comprometer a qualidade da geração das classes do topo. Embora o aprendizado contrastivo tenha se mostrado eficaz para o reconhecimento de cauda longa e geração baseada em GANs, sua aplicação a modelos de difusão para geração com desequilíbrio de classes exige uma adaptação inovadora para abordar a mecânica específica do processo de denoising.

Metodologia: Alinhamento Contrastivo Condicional–Incondicional (CCUA)

Os autores propõem o CCUA, um framework composto por duas funções de perda sinérgicas projetadas para melhorar a diversidade e a fidelidade das imagens de classes de cauda, mantendo a qualidade das classes do topo. O método é compatível tanto com arquiteturas baseadas em U-Net quanto com Diffusion Transformers (DiT/SiT).

1. Perda Contrastiva Não Supervisionada (UCL) para Geração Incondicional

Para abordar o colapso de modo, os autores introduzem uma perda contrastiva não supervisionada aplicada a latentes de geração incondicional.

• Mecanismo: A rede de estimativa de ruído é dividida em um codificador de latente $e(\cdot)$ e um decodificador $d(\cdot)$. O codificador mapeia imagens ruidosas $x_t$ para latentes de baixa dimensão $h$.
• Formulação da Perda: A perda utiliza uma formulação do tipo InfoNCE com apenas amostras negativas. Dentro de um mini-batch, cada imagem serve como uma âncora, e todas as outras imagens no batch servem como amostras negativas. Não são criados pares positivos via aumento de dados; a âncora é tratada como seu próprio vetor positivo.
• Objetivo: Isso cria uma "força repulsiva" no espaço latente, maximizando a distância entre imagens sintéticas, independentemente de sua classe. Isso força o modelo a diversificar os latentes incondicionais, evitando que eles colapsem para um vetor constante ou sofram overfitting para amostras de treinamento limitadas.
• Justificativa Teórica: Aplicar diretamente a perda contrastiva a latentes condicionais pode levar a uma solução trivial onde o modelo maximiza a diversidade inter-classe (separando classes) enquanto ignora a diversidade intra-classe. Ao aplicar a perda a latentes incondicionais, o modelo é forçado a diversificar todas as amostras, o que é então destilado para a geração condicional através da segunda perda.

2. Perda de Alinhamento (AL) para Alinhamento Condicional–Incondicional

O segundo componente alinha a geração condicional com a geração incondicional diversificada.

• Mecanismo: A perda minimiza a divergência KL entre a distribuição condicional $p_\theta(x_{t-1}|x_t, c)$ e a distribuição incondicional $p_\theta(x_{t-1}|x_t)$. Na prática, isso é simplificado para uma perda MSE entre o ruído estimado $\epsilon_\theta(x_t, t, c)$ e $\epsilon_\theta(x_t, t, \emptyset)$.
• Ponderação Temporal (Time-Weighting): Crucialmente, este alinhamento é ponderado mais fortemente em grandes passos de tempo (os passos iniciais do processo reverso).
• Motivação: Os autores observam que, durante os passos iniciais de denoising, os componentes de baixa frequência das imagens de diferentes classes (e entre a geração condicional e incondicional) são altamente similares. Ao alinhar esses passos iniciais, o modelo facilita o compartilhamento de conhecimento das classes do topo (dados abundantes) para as classes de cauda (dados escassos). Isso permite que as classes de cauda se beneficiem da rica diversidade aprendida pelas classes do topo durante os estágios iniciais da geração.

3. Sinergia

O framework combina a perda DDPM padrão com a proposta perda CCUA:
$$\mathcal{L}_{total} = \mathcal{L}_{ddpm} + \alpha \cdot \mathcal{L}_{ucl} + \gamma \cdot \mathcal{L}_{al}$$
A sinergia reside no fato de que a UCL diversifica o espaço latente incondicional, e a AL alinha o espaço latente condicional a este espaço incondicional diversificado. Essa diversificação indireta dos latentes condicionais é empiricamente demonstrada como sendo mais eficaz do que aplicar diretamente a perda contrastiva aos latentes condicionais.

Principais Contribuições

1. Framework CCUA: Um novo método para modelos de difusão com desequilíbrio de classes que combina aprendizado contrastivo não supervisionado em latentes incondicionais com uma perda de alinhamento condicional-incondicional.
2. Estratégia de Alinhamento: A proposta de alinhar a geração condicional e incondicional especificamente em grandes passos de tempo (passos iniciais de denoising) para alavancar a similaridade dos componentes de baixa frequência e permitir a transferência de conhecimento das classes do topo para as de cauda.
3. Regularização Contrastiva Não Supervisionada: O uso de uma perda contrastiva não supervisionada com apenas amostras negativas em latentes incondicionais para maximizar a diversidade intra-classe e inter-classe sem exigir rótulos de classe para os pares contrastivos.
4. Agnosticismo de Arquitetura: O método é demonstrado como eficaz tanto em arquiteturas baseadas em U-Net quanto em Diffusion Transformers (SiT).

Resultados Experimentais

O método foi avaliado nos datasets ImageNet-LT (256×256), TinyImageNet-LT (64×64), Places-LT (64×64) e CIFAR-LT.

• Desempenho Quantitativo:
  • No ImageNet-LT, o CCUA supera significativamente os baselines, incluindo SiT, CBDM, REPA e Dispersive Loss.
  • Em 900k passos de treinamento, o CCUA alcançou um FID de 15.1 (vs. 19.9 para SiT) e um FIDtail de 22.5 (vs. 33.9 para SiT), representando uma melhoria de ~11.4 pontos na fidelidade da classe de cauda.
  • O método também melhorou as métricas de Recall (diversidade) e Precision (fidelidade) de forma geral.
  • No TinyImageNet-LT, o CCUA alcançou o melhor FID (12.0) e FIDtail (20.8), superando DDPM, CBDM e OCLT.
• Resultados Qualitativos: As visualizações mostram que o CCUA gera imagens com maior diversidade e fidelidade para classes de cauda (ex: 'red wine', 'espresso', 'window shade') em comparação com o SiT padrão, que frequentemente produz imagens repetitivas ou de baixa qualidade para essas classes.
• Estudos de Ablação:
  • A combinação de ambas as perdas é necessária; usar apenas uma resulta em resultados subótimos.
  • Aplicar a perda de alinhamento em grandes passos de tempo (ponderação linear) é superior à ponderação constante ou quadrática.
  • Usar representações latentes do bloco N/4-ésimo do transformer geralmente oferece o melhor equilíbrio entre FID geral e FID espacial/Recall.

Significância e Alegações

O artigo afirma que o CCUA aborda efetivamente o problema de geração de cauda longa ao adaptar princípios de GANs de cauda longa (especificamente o treinamento incondicional em resoluções menores/estágios iniciais) para o paradigma de difusão. Ao desacoplar a tarefa de diversificação (tratada pelo aprendizado contrastivo incondicional) da tarefa de condicionamento (tratada pelo alinhamento), o método evita as armadilhas da regularização contrastiva condicional direta.

Os autores enfatizam que sua abordagem:

• Melhora a geração de classes de cauda sem degradar a qualidade das classes do topo.
• É fácil de implementar dentro dos pipelines DDPM e SBDM existentes.
• Supera trabalhos concorrentes como Dispersive Loss e DiffROP, particularmente em cenários de desequilíbrio de classe extremo (ex: ImageNet-LT com um fator de desequilíbrio de 0.001).
• Fornece uma justificativa teórica e empírica de por que alinhar a geração condicional e incondicional nos passos iniciais do processo reverso é benéfico para o compartilhamento de conhecimento em cenários de cauda longa.