Learnability-Guided Diffusion for Dataset Distillation

1. O Problema: Redundância na Destilação de Conjuntos de Dados

A destilação de conjuntos de dados (Dataset Distillation) visa sintetizar um pequeno conjunto de dados sintéticos ($D_S$) que, quando usado para treinar modelos, atinja desempenho comparável ao treinamento no conjunto de dados original massivo ($D_T$).

Apesar dos avanços recentes que utilizam modelos de difusão para gerar esses dados sintéticos, o artigo identifica um problema fundamental: redundância de sinais de treinamento.

• Causa: Métodos existentes (como Influence-Guided Diffusion ou MGD3) otimizam a diversidade visual ou a correspondência de trajetórias de treinamento médias. Isso faz com que todas as amostras sintéticas converjam para perfis de gradiente semelhantes.
• Consequência: Diferentes subconjuntos do conjunto de dados destilado contêm informações sobrepostas. O artigo demonstra empiricamente que, ao dividir um conjunto destilado em partes disjuntas, cada parte captura 80–90% do sinal de treinamento das outras.
• Falha: O modelo não recebe um currículo progressivo (do fácil ao difícil), mas sim múltiplas amostras que ensinam a mesma informação, desperdiçando o orçamento de dados (IPC - Images Per Class).

2. Metodologia: Destilação Guiada pela Aprendibilidade (LGD)

Os autores propõem uma nova abordagem chamada Learnability-Guided Diffusion (LGD). Em vez de gerar todo o conjunto de dados de uma vez, o método constrói o conjunto sintético de forma incremental, stage-by-stage, adaptando-se ao estado de aprendizado do modelo atual.

2.1. Formulação Incremental

O conjunto de dados final $D$ é particionado em $K$ incrementos disjuntos ($I_1, I_2, ..., I_K$).

• O processo começa com um pequeno conjunto inicial (ex: 10 imagens por classe).
• Um modelo é treinado até a convergência neste conjunto.
• O próximo incremento é gerado com base no estado atual do modelo ($\theta_{i-1}$), visando preencher as lacunas de aprendizado que o modelo atual ainda não dominou, mas que são aprendíveis.

2.2. Critério de Aprendibilidade (Learnability Score)

Para guiar a geração, define-se uma pontuação de aprendibilidade $S(x, y)$ para uma amostra candidata:
$$S(x, y) = \mathcal{L}(\theta_{i-1}, x, y) - \omega \cdot \mathcal{L}(\theta^*, x, y)$$
Onde:

• $\mathcal{L}(\theta_{i-1}, x, y)$: Perda do modelo atual (alvo). Uma perda alta indica que o modelo atual ainda não aprendeu bem essa amostra.
• $\mathcal{L}(\theta^*, x, y)$: Perda de um modelo de referência ($\theta^*$) treinado no conjunto completo. Uma perda baixa aqui garante que a amostra é semanticamente válida e aprendível.
• $\omega$: Peso de regularização.

O objetivo é gerar amostras que sejam difíceis para o modelo atual (alto ganho de aprendizado) mas fáceis para o modelo de referência (validade semântica).

2.3. Difusão Guiada pela Aprendibilidade

O processo de amostragem do modelo de difusão é modificado para incorporar esse critério:

1. Guia de Aprendibilidade: O gradiente da pontuação de aprendibilidade é adicionado à previsão de ruído do modelo de difusão, empurrando a geração para a "região aprendível" (entre o que o modelo atual já sabe e o que o modelo de referência domina).
2. Guia de Desvio (Deviation Guidance): Para garantir diversidade dentro do mesmo incremento, aplica-se uma repulsão contra amostras já geradas no buffer de memória, evitando redundância intra-classe.
3. Seleção de Amostras: Para cada posição no incremento, são gerados $\kappa$ candidatos. Apenas o candidato com a maior pontuação de aprendibilidade é selecionado e adicionado ao conjunto.

3. Contribuições Principais

1. Framework Incremental Guiado pela Aprendibilidade: Uma nova formulação que constrói conjuntos de dados sintéticos etapa por etapa, condicionando a geração ao estado atual do modelo para criar um currículo adaptativo.
2. Mecanismo de Síntese (LGD): Introdução da difusão guiada pela aprendibilidade, que equilibra a utilidade para o modelo atual com a validade sob um modelo de referência, gerando amostras complementares em vez de redundantes.
3. Análise de Redundância: O framework incremental permite quantificar a sobreposição de informações. Os autores revelam que métodos existentes têm 80–90% de redundância, enquanto o LGD reduz isso significativamente.
4. Desempenho de Estado da Arte (SOTA): Alcançou os melhores resultados em benchmarks grandes e complexos, provando que a abordagem escalável funciona em alta resolução.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados ImageNet-1K, ImageNette e ImageWoof.

• Redução de Redundância: O método LGD reduziu a redundância em 39,1% em comparação com métodos baseados em difusão padrão (como DiT). A análise de validação cruzada entre incrementos mostrou que, enquanto modelos treinados em um incremento de DiT atingiam 94,7% de acurácia em outros incrementos (indicando redundância), o LGD manteve acurácias muito menores (média de 57,65%), provando que os incrementos trazem informações novas e complementares.
• Acurácia Final (SOTA):
  • ImageNet-1K (50 IPC): 60,1% (comparável ao SOTA de 60,2% do MGD3, mas com uma abordagem incremental).
  • ImageNette (100 IPC): 87,2%.
  • ImageWoof (100 IPC): 72,9%.
• Dinâmica de Treinamento: O método mostrou "picos de perda" (loss spikes) maiores ao adicionar novos incrementos, indicando que os dados adicionados são mais desafiadores e informativos, ao contrário dos métodos existentes que mostram ganhos marginais decrescentes.
• Generalização: O conjunto de dados destilado demonstrou forte generalização entre diferentes arquiteturas de rede (ex: treinado em ResNet, avaliado em ConvNet).

5. Significado e Impacto

O trabalho é significativo porque muda o paradigma da destilação de dados de uma otimização estática e global para um processo dinâmico e adaptativo.

• Eficiência de Amostra: Ao eliminar a redundância, o método maximiza o valor de cada imagem sintética gerada, permitindo treinar modelos robustos com menos dados.
• Fundamento para Aprendizado Curricular: Estabelece uma base para métodos que exploram a dinâmica de aprendizado em estágios, reconhecendo que modelos precisam de diferentes tipos de dados (características grosseiras vs. detalhes finos) em diferentes fases do treinamento.
• Escalabilidade: Demonstra que a destilação de dados pode ser escalada para conjuntos de dados grandes e complexos (como ImageNet) sem sacrificar a qualidade, superando limitações de métodos anteriores que dependiam de otimização pixel a pixel ou trajetórias médias.

Em resumo, o LGD propõe que a melhor maneira de destilar dados não é tentar capturar a média de todo o conjunto de dados de uma vez, mas sim iterativamente ensinar ao modelo o que ele ainda não sabe, criando um conjunto de dados sintético que funciona como um currículo de aprendizado ideal.