Resumo Técnico: Curadoria Pós-Geração de Imagens Sintéticas via Divisão Homogênea-Heterogênea

1. Definição do Problema

Modelos generativos (GMs) recentes oferecem uma solução escalável para a escassez de dados ao produzir imagens sintéticas de alta qualidade. No entanto, simplesmente aumentar o volume de dados sintéticos não garante a melhoria do desempenho em tarefas de jusante (downstream) devido a três desafios primários:

1. Ruído: Conjuntos de dados sintéticos frequentemente contêm amostras de baixa fidelidade ou rotuladas incorretamente.
2. Viés: Geradores tendem a representar excessivamente os modos canônicos de uma classe, enquanto sub-representam a variação intra-classe, levando a vieses inerentes em modelos de jusante.
3. Eficiência: Escalar os dados para mitigar esses problemas acarreta um overhead computacional significativo e tempos de treinamento mais longos.

Abordagens existentes para melhorar a utilidade de dados sintéticos tipicamente envolvem intervenções no lado do gerador, como o ajuste fino (fine-tuning) de geradores ou o uso de estratégias leves, como engenharia de prompt e orientação em tempo de inferência. Esses métodos são frequentemente específicos para o gerador, exigem grande especialização no domínio ou acarretam custos computacionais substanciais de retreinamento.

Este artigo aborda uma questão complementar: Dado um conjunto fixo de imagens geradas, a utilidade de jusante pode ser melhorada puramente pela seleção de um subconjunto informativo? Os autores argumentam que a seleção eficaz deve combater o viés estrutural dos geradores modernos, equilibrando fidelidade semântica com diversidade representacional.

2. Metodologia

O framework proposto é um pipeline de curadoria pós-geração agnóstico ao gerador que não requer o retreinamento do modelo generativo. Ele consiste em duas etapas principais:

A. Divisão Homogênea-Heterogênea (HO-HE) de Dados Reais

Em vez de tratar o conjunto de dados de referência real como uma distribuição monolítica, o método particiona cada classe real em dois subconjuntos distintos baseados em um grafo de 1-vizinho mais próximo (1-NN) direcionado no espaço de características:

• Conjunto Homogêneo (HO): Contém amostras "canônicas" que servem como representantes locais para outras amostras da classe. Formalmente, $I_{HO}$ é o conjunto de nós com grau de entrada positivo no grafo 1-NN. Estas amostras exibem alta similaridade intra-classe e representam a semântica central.
• Conjunto Heterogêneo (HE): Contém amostras com grau de entrada zero no grafo 1-NN. Estas representam variações não redundantes e instâncias menos típicas que não são necessárias como vizinhos próximos para outros exemplos.

Insight Chave: Geradores tendem a produzir excessivamente amostras que se assemelham ao conjunto HO, negligenciando o conjunto HE. Além disso, os discriminadores costumam ter mais dificuldade com amostras HE, indicando que elas contêm variações mais difíceis e diversas.

B. Pontuação de Fidelidade-Diversidade Condicionada à Partição

Uma vez dividido o dado real, as imagens sintéticas são pontuadas e selecionadas com base em um mecanismo de critério duplo que referencia as partições HO e HE separadamente:

1. Pontuação de Fidelidade ($S^p_{fid}$): Mede o alinhamento semântico entre uma amostra sintética e a partição real $p$ (onde $p \in \{HO, HE\}$) usando a similaridade de cosseno entre vetores de características.
2. Pontuação de Diversidade ($S^p_{div}$): Incentiva o desvio de padrões canônicos.
   • Para a partição HO, a âncora de referência é o centroide da classe.
   • Para a partição HE, a âncora é o vizinho mais próximo correspondente no conjunto HO.
   • A pontuação de diversidade é calculada como a similaridade de cosseno negativa entre o vetor da instância real para sua âncora e o vetor da instância real para a amostra sintética. Isso recompensa amostras sintéticas que divergem da direção canônica dominante.

Pontuação Total: A pontuação de seleção final é uma soma ponderada:
$$S^p = \alpha \cdot S^p_{div} + (1 - \alpha) \cdot S^p_{fid}$$
Onde $\alpha$ é um hiperparâmetro que controla o equilíbrio entre diversidade e fidelidade. O método seleciona as top-$k$ amostras de cada partição para formar o pool curado final.

3. Principais Contribuições

1. Particionamento HO-HE: Uma partição de cobertura de vizinho mais próximo dos dados reais com uma garantia de minimalidade (Proposição 1), fornecendo uma definição explícita de amostras canônicas versus não redundantes sem exigir suposições de eixos globais (ao contrário do k-means).
2. Estratégia de Seleção Baseada em Princípios: Um framework pós-geração que quantifica e equilibra conjuntamente fidelidade e diversidade. É agnóstico ao gerador, exigindo apenas um pool de dados sintéticos e evitando o retreinamento ou ajuste fino custoso de geradores.
3. Validação Abrangente: Experimentos extensos em benchmarks de classificação e segmentação (CIFAR-10, ImageNet, SVHN, Tiny-ImageNet) e múltiplas arquiteturas (ResNet, ViT, EfficientNet) e geradores (EDM, EDM2, StyleGAN).

4. Resultados Experimentais

O método foi avaliado sob duas configurações: seleção geral de um pool fixo e seleção "plug-in" após intervenções no lado do gerador.

• Desempenho In-Domain: O método superou consistentemente as linhas de base de estado da arte (incluindo Random Selection, CLIP-Align, RealScore e SBSim).
  • No SVHN, o método igualou as linhas de base de dados reais com ~100k amostras sintéticas, enquanto as linhas de base exigiram >200k.
  • No CIFAR-10, alcançou 95% de acurácia com 300k amostras, enquanto as linhas de base exigiram ~500k.
  • No ImageNet-1K, alcançou a melhor acurácia Top-1 em ambos os cenários de treinamento do zero (from scratch) e ajuste fino (fine-tuning) usando ViT-B/16 e ResNet-50.
• Robustez Out-of-Distribution (OOD): Modelos treinados em dados curados mostraram robustez superior em vários benchmarks OOD (ex: ImageNet-C, ImageNet-Sketch, CIFAR-10-Warehouse) comparados a modelos treinados em dados sintéticos não curados ou selecionados aleatoriamente.
• Eficácia Plug-in: Quando aplicado como um passo de pós-processamento após intervenções de gerador específicas para a tarefa (ex: intervenção em tempo de inferência ou JoDiffusion ajustado), o método de curadoria proporcionou ganhos adicionais.
  • Para classificação no ImageNet-100, alcançou acurácia comparável ou superior com 40–50% menos amostras sintéticas em comparação com a linha de base de apenas intervenção.
  • Para segmentação no VOCaug, melhorou o mIoU sobre a linha de base do gerador ajustado.
• Análise de Trade-off: O $\alpha$ ideal (peso de diversidade) muda conforme a qualidade do gerador e o volume de dados. À medida que a fidelidade do gerador aumenta (ex: EDM2) e os orçamentos de treinamento crescem, a estratégia ideal desloca-se para priorizar a diversidade ($\alpha \to 1$), pois amostras canônicas de alta fidelidade trazem retornos decrescentes.

5. Significância e Alegações

O artigo postula que a seleção pós-geração não é um substituto para melhores geradores, mas um mecanismo complementar para melhorar a utilidade de dados sintéticos.

• Endereçamento do Viés do Gerador: O estudo destaca que os geradores modernos possuem um viés estrutural em direção aos modos canônicos (HO). O particionamento HO-HE proposto aborda isso explicitamente, garantindo que o conjunto de dados curado inclua variações não redundantes (HE) que os geradores naturalmente produzem em menor escala.
• Eficiência: O método oferece uma alternativa prática e escalável às intervenções em tempo de geração. O overhead computacional do processo de curadoria (extração de características e pontuação) é insignificante comparado às economias em tempo de treinamento de jusante e no volume de dados necessário para atingir desempenho equivalente.
• Generalização: O framework é eficaz através de diferentes modelos generativos, extratores de características (SigLIP, DINOv3, ViT) e tarefas de jusante (classificação, segmentação), sugerindo que equilibrar fidelidade e diversidade é um princípio fundamental para aproveitar dados sintéticos de forma eficaz.