IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation

Título: IMS3: Quebrando a Agregação Distribucional na Destilação de Conjuntos de Dados Baseada em Difusão

1. O Problema

A Destilação de Conjuntos de Dados (Dataset Distillation) visa sintetizar um conjunto de dados compacto e artificial que possa replicar a eficácia de treinamento de um conjunto de dados real massivo. Embora os métodos baseados em Modelos de Difusão tenham mostrado grande promessa ao gerar amostras estruturalmente consistentes e diversas, eles enfrentam um problema fundamental de desalinhamento de objetivos:

• Viés de Alta Densidade: Modelos de difusão são otimizados para maximizar a verossimilhança generativa, o que faz com que eles tendam a concentrar as amostras geradas nas regiões de alta densidade do manifold de dados (onde a maioria das amostras reais reside).
• Agregação Distribucional: Para a destilação de dados, o objetivo é discriminativo. Um conjunto de dados eficaz precisa capturar amostras críticas próximas às fronteiras de decisão (decision boundaries), que frequentemente residem em regiões de baixa densidade.
• Consequência: Os métodos atuais sofrem de "agregação distribucional", onde os dados sintéticos se aglomeram excessivamente nas áreas centrais das classes, negligenciando as regiões de fronteira essenciais para a generalização e robustez do classificador. Isso resulta em uma cobertura insuficiente do espaço de características e uma separabilidade interclasse reduzida.

2. Metodologia (ImS3)

Os autores propõem o ImS3, um framework de dois estágios que combina ajuste fino (fine-tuning) e amostragem seletiva para mitigar a agregação distribucional e melhorar a diversidade discriminativa.

A. Inversion-Matching (IM) - Ajuste Fino

Esta estratégia visa expandir a cobertura do modelo de difusão para regiões de baixa densidade.

• Insight: O processo de inversão de difusão (reconstruir o ruído original a partir de uma imagem real) é inerentemente instável. Devido a erros de aproximação acumulados, as trajetórias de inversão tendem a desviar das regiões de alta densidade e migrar para áreas de baixa densidade do manifold.
• Mecanismo: O IM utiliza essa instabilidade como um recurso. Durante o ajuste fino do modelo de difusão pré-treinado, o método alinha o latente de ruído gerado ($z_t$) com seu correspondente de inversão ($z_t^{inv}$) no mesmo passo de tempo $t$.
• Função de Perda:
  • Perda de Correspondência de Inversão ($\mathcal{L}_{IM}$): Maximiza a similaridade cosseno entre o latente gerado e o latente invertido. Isso força o modelo a aprender a gerar amostras que cobrem as regiões de baixa densidade exploradas pela inversão.
  • Perda de Difusão Padrão ($\mathcal{L}_{Diff}$): Mantida para garantir a fidelidade da imagem e evitar um desvio excessivo da distribuição real.
• Eficiência: Utiliza Parameter-Efficient Fine-Tuning (PEFT) via Difffit, atualizando apenas adaptadores leves, o que reduz o custo computacional.

B. Selective Subgroup Sampling (S3) - Amostragem

Esta estratégia visa melhorar a separabilidade entre classes durante a fase de geração, sem custo adicional de treinamento.

• Problema: A amostragem padrão gera dados para cada classe independentemente, ignorando relações interclasse.
• Mecanismo: Para cada classe, o método gera múltiplos subgrupos candidatos de amostras sintéticas.
• Critérios de Seleção: O algoritmo seleciona o subgrupo ideal baseado em dois critérios complementares:
  1. Representatividade: O centróide do subgrupo sintético deve estar próximo ao centróide das amostras reais da mesma classe.
  2. Distinção: O centróide do subgrupo sintético deve estar o mais distante possível dos centróides de outras classes.
• Otimização: Um processo de busca gulosa seleciona a combinação de subgrupos que minimiza uma função objetivo que equilibra proximidade intraclasse e separação interclasse.

3. Contribuições Principais

1. Identificação e Solução da Agregação Distribucional: Os autores diagnosticam que o viés de alta densidade dos modelos de difusão prejudica a destilação e propõem uma solução direta baseada na instabilidade da inversão.
2. Inversion-Matching (IM): Uma nova estratégia de ajuste fino que alinha trajetórias de denoising com trajetórias de inversão para forçar a cobertura de regiões de baixa densidade, aumentando a diversidade das amostras.
3. Selective Subgroup Sampling (S3): Uma estratégia de amostragem training-free que introduz consciência de classe no processo de geração, garantindo que as amostras sintéticas sejam tanto representativas quanto bem separadas das outras classes.
4. Desempenho SOTA: O método alcança o estado da arte (SOTA) em múltiplos benchmarks, superando abordagens baseadas em otimização e outras baseadas em difusão.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados de alta resolução, incluindo ImageWoof (10 raças de cães, alta similaridade interclasse), ImageNette (10 objetos naturais) e ImageIDC.

• ImageWoof: O ImS3 superou consistentemente os métodos concorrentes (como Minimax, D4M, DDVLCP).
  • No cenário de baixo orçamento (IPC = 10, ou seja, 10 imagens por classe), o ImS3 alcançou 41.8% de acurácia com ResNetAP-10, superando o Minimax (35.7%) e o DDVLCP (39.5%).
  • As melhorias foram particularmente notáveis em regimes de baixa densidade de dados, onde a cobertura de fronteiras de decisão é crítica.
• ImageNette e ImageIDC: O método manteve a superioridade em todos os níveis de IPC (10, 20, 50), alcançando 84.2% de acurácia no ImageNette (IPC=50).
• Visualização (t-SNE): As visualizações mostram que, enquanto métodos anteriores (como Minimax) produzem aglomerados densos e sobrepostos, o ImS3 gera distribuições mais uniformes, com clusters intraclasse mais compactos e separação interclasse mais clara.
• Análise de Robustez: O método demonstrou ser robusto a variações nos hiperparâmetros ($\alpha$, $\beta$, $\lambda_{IM}$) e funcionou bem em diferentes arquiteturas de estudantes (ResNet, ViT, EfficientNet) e resoluções (256x256 e 512x512).

5. Significância e Impacto

O trabalho ImS3 representa um avanço significativo na área de destilação de dados ao resolver uma limitação fundamental dos modelos generativos modernos: o viés de densidade.

• Mudança de Paradigma: Em vez de tratar a instabilidade da inversão como um defeito a ser corrigido, o trabalho a utiliza como um mecanismo guia para explorar o espaço de dados.
• Eficiência: Ao combinar ajuste fino eficiente (PEFT) com uma estratégia de amostragem sem treinamento, o método oferece uma solução escalável para grandes conjuntos de dados.
• Aplicabilidade: A capacidade de gerar conjuntos de dados sintéticos que cobrem melhor as fronteiras de decisão torna o ImS3 uma ferramenta poderosa para reduzir custos computacionais em treinamento de modelos de deep learning, especialmente em cenários onde a generalização e a robustez são críticas.

Em resumo, o ImS3 demonstra que alinhar a geração com a discriminação, através do controle da cobertura distribucional e da seleção inteligente de subgrupos, é a chave para a destilação de dados eficaz baseada em difusão.