Resumo Técnico: Em Direção a uma Destilação de Conjunto de Dados Consistente e Eficiente via Seleção Impulsionada por Difusão

Declaração do Problema

A destilação de conjuntos de dados visa sintetizar um conjunto de dados compacto que permita o treinamento de modelos profundos para alcançar um desempenho comparável ao do conjunto de dados original completo, reduzindo assim os custos de memória e computação. No entanto, os métodos de otimização existentes (por exemplo, correspondência de gradiente) enfrentam um vasto espaço de otimização ao nível de pixels, limitando sua viabilidade a conjuntos de dados de pequena escala como CIFAR-10/100. Abordagens recentes que utilizam modelos de difusão pré-treinados para gerar imagens sintéticas diretamente sofrem de limitações significativas:

1. Desvios de Distribuição: Métodos que realizam o ajuste fino (fine-tuning) de modelos de difusão (seja o próprio modelo ou protótipos de imagem no espaço latente) frequentemente lutam contra o descasamento distributivo entre os dados de pré-treinamento (ex: LAION, ImageNet-1K) e o conjunto de dados alvo, levando a saídas irrelevantes à classe ou ruidosas.
2. Ineficiência e Rigidez: Os métodos baseados em difusão atuais geralmente exigem o ajuste fino do modelo para conjuntos de dados específicos ou múltiplas etapas de destilação ao lidar com diferentes combinações de classes ou razões de compressão (configurações de IPC), dificultando a escalabilidade prática.

Metodologia

Os autores propõem o DDDS (Diffusion-Driven Dataset Selection), um framework que diverge das abordagens generativas ao utilizar modelos de difusão pré-treinados para a seleção de patches em vez da geração de imagens. O método opera em um processo de etapa única sem a necessidade de ajuste fino do modelo de difusão ou treinamento de um classificador substituto (proxy).

Estágio I: Seleção de Características Relevantes à Classe Ótima

Em vez de gerar novas imagens, o método identifica as regiões mais informativas dentro das imagens reais originais.

• Predição de Ruído Diferencial: Para cada imagem de entrada $z$ e um rótulo de classe alvo $c$, o modelo Stable Diffusion (SD) pré-treinado prevê mapas de ruído sob duas condições: com o prompt de texto da classe $c$ (ex: "Uma imagem de um golden retriever") e sem o rótulo (orientação livre de classificador, $\phi$).
• Pontuação de Representatividade: A diferença entre essas duas predições de ruído, $M(z|c) = \mathbb{E}_{\epsilon, t}[N_t(z, \epsilon, c) - N_t(z, \epsilon, \phi)]$, quantifica a informação relevante à classe. Uma perda diferencial maior indica que a região é crucial para distinguir a classe.
• Extração de Patches: O mapa de ruído é sobreamostrado (upsampled) para a resolução original da imagem. A imagem é dividida em patches, e uma pontuação $R(p|c)$ é computada para cada patch somando os valores de ruído diferencial. Os patches com as pontuações mais altas são selecionados como candidatos.

Estágio II: Agregação de Elementos Visuais

Para mitigar a aleatoriedade e garantir a diversidade entre os patches selecionados, uma estratégia de seleção baseada em agrupamento (clustering) é aplicada.

• Extração de Características: Os patches selecionados são processados para extrair representações DIFT (Diffusion Feature). Isso envolve adicionar ruído em um passo de tempo específico ao latente do patch e passá-lo através do U-Net com condicionamento de texto para obter ativações de camadas intermediárias.
• Agrupamento e Classificação: O agrupamento K-means é realizado nas características DIFT. A seleção segue uma regra de classificação dupla:
  1. Intra-cluster: Os patches são classificados pela sua distância ao centroide do cluster (favorecendo amostras centrais e representativas).
  2. Inter-cluster: Os clusters são classificados pelo valor de mediana da pontuação de representatividade ($R(p|c)$) de seus membros.
• Seleção Final: Os clusters com as classificações mais altas (ex: top 10) são priorizados para garantir tanto representatividade quanto diversidade. Se o número de Imagens Por Classe (IPC) for baixo, múltiplos patches são concatenados para formar uma única imagem sintética.

Principais Contribuições

1. Paradigma Ortogonal: O artigo introduz um framework de destilação de conjunto de dados que utiliza modelos de difusão pré-treinados para localização (seleção) em vez de geração. Esta abordagem aborda diretamente as discrepâncias distributivas entre o prior de difusão e o conjunto de dados alvo.
2. Processo de Etapa Única Eficiente: O método elimina a necessidade de ajuste fino do modelo, treinamento de modelo substituto ou destilação repetitiva entre diferentes configurações (combinações de classes ou IPCs). Ele alcança um processo de destilação de passagem única totalmente irrestrito.
3. Desempenho de Estado da Arte: Experimentos extensivos demonstram que o método proposto supera consistentemente os métodos existentes de treinamento livre (training-free) e de otimização em vários conjuntos de dados (CIFAR, subconjuntos do ImageNet, ImageNet-1K) e arquiteturas de modelo (ResNet, ViT, EfficientNet).

Resultados Experimentais

• Conjuntos de Dados de Alta Resolução: No ImageNet-1K e seus subconjuntos (ImageNette, ImageWoof, ImageNet-100), o DDDS alcança melhorias significativas sobre os baselines como SRe2L, RDED, Minimax e D4M. Por exemplo, no ImageNette com IPC=100, ele atinge 92,0% de acurácia comparado aos 91,0% do próximo melhor método (MGD3).
• Conjuntos de Dados de Baixa Resolução: No CIFAR-10/100 e TinyImageNet, o método iguala ou excede o desempenho de métodos de correspondência de informação (ex: DSA, IDM) e outros métodos baseados em difusão.
• Generalização de Arquitetura Cruzada: Os conjuntos de dados destilados performam de forma robusta através de diversas arquiteturas professor-aluno, incluindo CNNs e Vision Transformers (ViTs).
• Eficiência: O processo de etapa única resulta em um custo de tempo constante, independentemente do número de combinações de classes ou configurações de IPC, ofereção um aumento substancial de velocidade (ex: aceleração de 4x ao usar um subconjunto de 300 imagens reais para extração de patches) em comparação com métodos que exigem destilação repetida.

Significância e Alegações

Os autores alegam que este trabalho fornece uma nova perspectiva sobre o uso de modelos de difusão para destilação de conjuntos de dados. Ao mudar de geração para seleção, o método restaura efetivamente a distribuição original dos dados sem os vieses introduzidos pelos priors generativos. O framework é destacado como uma solução para os desafios de escalabilidade e consistência na destilação de conjuntos de dados em larga escala, oferecendo uma alternativa prática, sem necessidade de treinamento e altamente eficiente às técnicas atuais de estado da arte. O código fonte é disponibilizado para facilitar pesquisas futuras.