Resumo Técnico: Modelos de Difusão Condicionados a Representações para Geração Guiada de Dados de Treinamento

Declaração do Problema

A disponibilidade de dados permanece um gargalo crítico no aprendizado profundo, onde conjuntos de dados em grande escala são frequentemente caros de coletar, curar e anotar. Isso limita a escalabilidade do aprendizado supervisionado. Embora os modelos generativos, particularmente os modelos de difusão, ofereçam uma solução potencial para a geração de dados sintéticos, as abordagens existentes enfrentam desafios significativos nos cenários mais exigentes:

1. Sem orientação externa: Apenas o conjunto de dados de destino está disponível, impedindo o uso de modelos pré-treinados de texto para imagem que dependem de prompts de texto.
2. Treinamento exclusivamente sintético: O modelo a jusante é treinado apenas com dados gerados, sem acesso a imagens reais.
3. Sem anotações adicionais: Não há prompts de texto ou rótulos extras disponíveis para guiar a geração além dos rótulos de classe.

Neste cenário, o modelo generativo deve capturar a diversidade completa da distribuição de dados reais sem o benefício de orientação semântica externa, uma tarefa onde a geração convencional condicionada a classes frequentemente luta com a qualidade das amostras e a cobertura de modos.

Metodologia

Os autores propõem um pipeline que utiliza Modelos de Difusão Condicionados a Representações (RCDMs) para gerar dados de treinamento sintéticos. A metodologia consiste em duas etapas principais:

1. Geração de Dados Sintéticos (RCDM)

O processo de geração envolve o treinamento de um Modelo de Difusão Latente (LDM) condicionado a representações visuais de alto nível, em vez de rótulos de classe ou prompts de texto.

• Seleção do Codificador: Imagens de entrada são projetadas em um espaço de representação de dimensão inferior usando codificadores de visão pré-treinados. O estudo avalia três codificadores específicos:
  • DINOv2 (ViT-B/14): Produz incorporações de token CLS de 768 dimensões.
  • DINOv3 (ViT-B/16): Produz incorporações de token CLS de 768 dimensões.
  • CLIP (ViT-B/32): Produz incorporações de 512 dimensões (referidas como unCLIP).
• Treinamento: O LDM é treinado no conjunto de dados ImageNet-100 (130 mil imagens, 100 classes, resolução 256×256) por 125 épocas com um tamanho de lote de 16.
• Amostragem: Imagens são geradas usando um Modelo Probabilístico de Difusão com Remoção de Ruído (DDPM) com 100 etapas de inferência. Para garantir diversidade além do tamanho do conjunto de dados original, sementes aleatórias distintas são usadas para a inicialização do ruído latente, mantendo a consistência semântica através da condicionamento por representação.

2. Avaliação

A qualidade dos dados sintéticos é avaliada treinando um classificador ResNet-50 exclusivamente nos conjuntos de dados gerados.

• Comparação com Linha de Base: O desempenho é comparado contra um classificador treinado no conjunto de dados real ImageNet-100 e contra uma linha de base de LDM condicionado a classes (Cond-LDM).
• Aumento de Dados: Imagens sintéticas também são usadas para aumentar dados reais, comparadas contra técnicas clássicas de aumento de dados (AutoAug, RandAug, MixUp, ME-ADA).
• Filtragem: Uma estratégia de filtragem de amostras é testada, onde imagens geradas são mapeadas de volta ao espaço de representação, e amostras extremas (25% mais próximas e 25% mais distantes dos centróides de classe) são removidas para reter amostras "intermediárias".

Principais Contribuições

O artigo apresenta as seguintes contribuições:

• Avaliação de RCDMs para Treinamento: Os autores avaliam o desempenho de classificação de modelos treinados em conjuntos de dados sintéticos gerados por RCDMs, investigando o impacto do tamanho do conjunto de dados e da representação de condicionamento específica (DINOv2, DINOv3, CLIP).
• Escalonamento de Dados Sintéticos: O estudo demonstra que, ao escalar o tamanho do conjunto de dados sintético, os RCDMs podem superar o desempenho de modelos treinados apenas com dados reais.
• Aumento e Filtragem de Dados: O artigo mostra que imagens geradas por RCDM são eficazes para aumento de dados, superando técnicas clássicas, e que o espaço de representação de condicionamento permite estratégias simples e eficazes de filtragem de amostras.

Resultados

Os experimentos foram conduzidos no ImageNet-100, um conjunto de dados desafiador devido à sua diversidade e tamanho limitado.

1. Escalonamento de Conjuntos de Dados Sintéticos

• Desempenho vs. Dados Reais: Quando o tamanho do conjunto de dados sintético foi escalado para quatro vezes o tamanho do conjunto de dados real, os classificadores treinados em dados gerados por RCDM superaram a linha de base treinada em dados reais.
  • Condicionado a DINOv2: Alcançou 79,26% de precisão Top-1 (vs. 77,26% da linha de base real).
  • Condicionado a DINOv3: Alcançou 78,8% de precisão Top-1.
  • Condicionado a CLIP: Alcançou 76,3% de precisão Top-1 na escala 4x, mostrando uma tendência competitiva.
• Comparação com Condicionamento a Classes: A linha de base condicionada a classes (Cond-LDM) alcançou um máximo de 68,5% de precisão Top-1, desempenhando significativamente pior que as abordagens RCDM. Isso destaca a necessidade de condicionamento semântico rico via codificadores de visão pré-treinados para capturar a estrutura subjacente da distribuição de dados.

2. Filtragem do Espaço de Representação

A filtragem de dados sintéticos removendo as 25% representações mais próximas e as 25% mais distantes dos centróides de classe resultou em ligeiras melhorias sobre dados sintéticos não filtrados (por exemplo, DINOv3 filtrado alcançou 71,10% vs. 70,02% não filtrado na escala 1x), embora uma lacuna em relação à linha de base de dados reais permanecesse.

3. Aumento de Dados

Quando usados para aumentar dados reais (aumentando o tamanho do conjunto de dados para 2x ou 3x):

• RCDM + Dados Reais: Adicionar dados sintéticos gerados com representações DINOv2 (tamanho total 3x) alcançou 82,22% de precisão Top-1.
• Comparação: Isso superou todos os métodos clássicos de aumento de dados testados, incluindo MixUp (81,58%), AutoAug (81,28%) e ME-ADA (80,14%).
• Cond-LDM: O aumento com dados sintéticos condicionados a classes (80,68%) teve desempenho pior que o aumento baseado em RCDM.

Significado e Alegações

Os autores afirmam que os Modelos de Difusão Condicionados a Representações fornecem uma abordagem promissora para aumentar, complementar ou potencialmente substituir conjuntos de dados do mundo real em tarefas de aprendizado visual em grande escala.

• Superando Dados Reais: A capacidade de superar um classificador treinado em imagens reais ao escalar um conjunto de dados puramente sintético é apresentada como "evidência notável" do potencial do aprendizado profundo generativo na síntese de dados de treinamento.
• Superando Limitações: Diferentemente de modelos de texto para imagem que exigem prompts, os RCDMs utilizam representações visuais auto-supervisionadas para guiar a geração, reduzindo efetivamente a lacuna de domínio entre dados reais e sintéticos.
• Direções Futuras: O artigo sugere que trabalhos futuros poderiam focar em melhorar a amostragem via espaço de representação (por exemplo, interpolação, mineração de exemplos difíceis), refinar mecanismos de remoção de outliers e verificar o desempenho em diferentes conjuntos de dados e cenários de disponibilidade de dados.

O trabalho posiciona os RCDMs não apenas como uma ferramenta de aumento de dados, mas como um motor viável para gerar dados de treinamento de alto valor em cenários onde dados reais são escassos, restritos (por exemplo, preocupações de privacidade em imagens médicas) ou insuficientes para escalonamento.