Resumo Técnico: Repensando a Destilação de Conjuntos de Dados para Classificação

Declaração do Problema

A Destilação de Conjunto de Dados (DD - Dataset Distillation) visa sintetizar conjuntos de treinamento compactos e sintéticos que preservem o desempenho de generalização de modelos treinados em grandes conjuntos de dados originais. Apesar de sua promessa na aprendizagem de máquina centrada em dados, o campo enfrenta dois desafios críticos:

1. Protocolos de Avaliação Inconsistentes: Os métodos de DD são frequentemente avaliados usando pipelines variados (por exemplo, Minimização de Risco Empírico padrão versus supervisão de rótulos suaves de professor único/múltiplo). Isso torna difícil isolar se os ganhos de desempenho decorrem da qualidade dos dados destilados ou de escolhas específicas de design de avaliação.
2. Superioridade Não Comprovada sobre Coresets: Muitos métodos de DD afirmam superar a Seleção de Coresets (CS — Coreset Selection), que seleciona subconjuntos de dados reais, baseando-se na suposição de que restringir os dados condensados a amostras reais limita a expressividade. No entanto, essas afirmações carecem de uma comparação sistemática contra baselines de CS fortes, particularmente em conjuntos de dados de larga escala e sob protocolos padronizados.

Além disso, muitas abordagens de DD dependem de modelos generativos pré-treinados treinados no conjunto de dados completo, o que limita sua escalabilidade e aplicabilidade em domínios onde tais modelos não estão disponíveis.

Metodologia

Os autores conduzem um estudo de benchmarking sistemático e de larga escala para desmembrar a eficácia intrínseca da DD das artefatos de avaliação e para comparar rigorosamente a DD contra a CS.

Design Experimental

• Datasets: Os experimentos são realizados no ImageNet-1K (1.000 classes), ImageNet-100 (100 classes) e ImageNette (10 classes).
• Métodos Comparados:
  • Métodos de DD (7 SOTA): O estudo cobre três categorias:
    • Baseados em Treinamento Generativo: VLCP, D3HR, Minimax (requerem ajuste fino de modelos generativos).
    • Sem Treinamento Generativo (Training-free): DiT-Distillation, MGD, ManifoldGD (usam modelos generativos pré-treinados com amostragem guiada).
    • Não Generativos/Desacoplados: FADRM+ (otimiza amostras via correspondência de resíduo de dados).
  • Métodos de CS (3 Estratégias):
    • Amostragem Aleatória: Um baseline simples por classe.
    • AUM (Margem Acumulada): Pontua amostras com base na dinâmica de treinamento (margem) de um modelo treinado no conjunto de dados completo.
    • CS Guiada por Conceitos: Usa gargalos de conceitos baseados em LLM para estimar a importância da amostra sem o treinamento do conjunto de dados completo.
• Protocolos de Avaliação: Para testar a sensibilidade à supervisão, três protocolos são usados:
  1. Rótulo Rígido (Hard Label): Modelos treinados diretamente nos conjuntos condensados com os rótulos originais (sem professor).
  2. Rótulo Suave de Professor Único (RDED): Usa um professor pré-treinado para gerar rótulos suaves para destilação de conhecimento.
  3. Rótulo Suave de Multi-Professor (EDC): Usa múltiplos professores e supervisão híbrida (rótulos suaves + rígidos).
• Métricas: Além da acurácia, o estudo avalia a Representatividade (cobertura da distribuição original), Diversidade (redundância dentro do conjunto condensado) e Custo de Construção (tempo e recursos computacionais).

Principais Contribuições

1. Benchmarking Sistemático: O artigo fornece a primeira comparação abrangente de sete métodos SOTA de DD contra três estratégias de CS sob conjuntos de dados e protocolos de avaliação uniformes.
2. Análise de Sensibilidade de Protocolo: Demonstra que o desempenho da DD está altamente emaranhado com o pipeline de avaliação, não havendo um único método de DD que supere consistentemente os outros em todos os protocolos e datasets.
3. Reavaliação de DD vs. CS: O estudo desafia a narrativa de que a DD supera inerentemente a CS, mostrando que os métodos de CS frequentemente igualam ou excedem o desempenho da DD, particularmente em conjuntos de dados de larga escala.
4. Avaliação de Qualidade Multidimensional: Os autores introduzem um framework de avaliação mais amplo incluindo representatividade, diversidade e custo de construção, revelando que os métodos de CS frequentemente proporcionam melhor cobertura distributiva e eficiência.

Resultados

Desempenho de Acurácia

• Datasets de Larga Escala (ImageNet-1K/100): Sob o protocolo de Rótulo Rígido, os métodos de CS (especificamente AUM e Conceitos) consistentemente igualam ou superam significativamente os métodos SOTA de DD. Por exemplo, no ImageNet-1K com 10 IPC (Imagens Por Classe), o AUM supera o melhor método de DD em 3,3% (ResNet-18) e 4,8% (ResNet-50).
• Protocolos de Rótulo Suave: Mesmo quando utilizando rótulos suaves de professor único ou multi-professor (onde a DD tipicamente ganha vantagem), os métodos de CS permanecem altamente competitivos, muitas vezes igualando ou superando o desempenho da DD.
• Datasets de Pequena Escala (ImageNette): Os métodos de DD performam bem no ImageNette, às vezes superando a CS. No entanto, os autores observam que o "melhor" método de DD varia conforme o protocolo, destacando a instabilidade dos rankings de DD em comparação com a robustez da CS.
• Baselines Aleatórios: Vários métodos de DD falham em superar simples subconjuntos aleatórios de dados reais, particularmente sob avaliação de rótulo rígido.

Eficiência e Qualidade

• Custo de Construção: Os métodos de CS exibem complexidade de tempo constante em relação ao IPC (Imagens Por Classe), enquanto os métodos de DD (especialmente os generativos) escalam linearmente com o IPC. Métodos de DD baseados em treinamento incorrem em custos substanciais devido ao treinamento/ajuste fino do modelo generativo.
• Representatividade e Diversidade: Os métodos de CS (particularmente o AUM) alcançam um trade-off superior, ocupando a região de alta representatividade e alta diversidade do espaço métrico. Os métodos de DD tendem a se concentrar em modos visuais mais estreitos, resultando em menor diversidade e maior redundância.
• Qualidade Visual: A análise qualitativa mostra que os subconjuntos de CS (AUM) capturam diversas poses, pontos de vista e fundos. Em contraste, os conjuntos de DD frequentemente exibem vistas canônicas repetidas, artefatos e texturas não naturais.

Significância e Alegações

O artigo argumenta que o sucesso atual da Destilação de Conjunto de Dados requer reavaliação. Os autores alegam que:

1. CS é um Baseline Necessário: A pesquisa futura em DD deve incluir fortes baselines de CS (como o AUM) para evitar a interpretação errônea de ganhos específicos de avaliação como eficiência intrínseca de dados.
2. Avaliação Padronizada é Crítica: O campo deve adotar protocolos padronizados, incluindo avaliação de rótulo rígido, para avaliar justamente a utilidade real dos dados destilados.
3. Eficiência Prática: Para aprendizagem centrada em dados de larga escala, a Seleção de Coresets permanece uma alternativa mais eficiente computacionalmente, escalável e robusta aos métodos atuais de DD, oferecendo acurácia comparável ou superior com custos de construção significativamente menores e melhor cobertura distributiva.

Os autores concluem que, embora a DD mostre promessa em datasets pequenos e separáveis, suas vantagens práticas diminuem em benchmarks de larga escala, onde a CS fornece uma solução mais eficiente e confiável.