Technische Samenvatting: Het heroverwegen van Dataset Distillatie voor Classificatie

Probleemstelling

Dataset Distillatie (DD) streeft naar het synthetiseren van compacte, synthetische trainingssets die de generalisatieprestaties van modellen getraind op grootschalige originele datasets behouden. Ondanks de belofte ervan voor data-centrische machine learning, staat het vakgebied voor twee kritieke uitdagingen:

1. Inconsistente Evaluatieprotocollen: DD-methoden worden vaak geëvalueerd met variërende pipelines (bijv. standaard Empirical Risk Minimization versus single/multi-teacher soft-label supervisie). Dit maakt het moeilijk om te isoleren of prestatiewinsten voortkomen uit de kwaliteit van de gedestilleerde data of uit specifieke keuzes in het evaluatieontwerp.
2. Ongegrondde Superieuriteit ten opzichte van Coresets: Veel DD-methoden beweren beter te presteren dan Coreset Selectie (CS)—die subsets van echte data selecteert—gebaseerd op de aanname dat het beperken van gecondenseerde data tot echte samples de expressiviteit beperkt. Deze claims missen echter vaak een systematische vergelijking met sterke CS-baselines, met name op grootschalige datasets en onder gestandaardiseerde protocollen.

Bovendien vertrouwen veel DD-benaderingen op vooraf getrainde generatieve modellen die getraind zijn op de volledige dataset, wat hun schaalbaarheid en toepasbaarheid in domeinen waar dergelijke modellen niet beschikbaar zijn, beperkt.

Methodologie

De auteurs voeren een grootschalige, systematische benchmarkingstudie uit om de intrinsieke effectiviteit van DD te ontwarren van evaluatie-artefacten en om DD rigoureus te vergelijken met CS.

Experimenteel Ontwerp

• Datasets: Experimenten worden uitgevoerd op ImageNet-1K (1.000 klassen), ImageNet-100 (100 klassen) en ImageNette (10 klassen).
• Vergelijking van Methoden:
  • DD Methoden (7 SOTA): De studie behandelt drie categorieën:
    • Generative Training-based: VLCP, D3HR, Minimax (vereisen het fine-tunen van generatieve modellen).
    • Generative Training-free: DiT-Distillation, MGD, ManifoldGD (gebruiken vooraf getrainde generatieve modellen met guided sampling).
    • Non-Generative/Decoupled: FADRM+ (optimaliseert samples via data residual matching).
  • CS Methoden (3 Strategieën):
    • Random Sampling: Een eenvoudige klasse-per-klasse baseline.
    • AUM (Accumulated Margin): Scoort samples op basis van de trainingsdynamiek (marge) van een model dat getraind is op de volledige dataset.
    • Concept-guided CS: Gebruikt LLM-gebaseerde concept bottlenecks om de belangrijkheid van samples te schatten zonder volledige dataset-training.
• Evaluatieprotocollen: Om de gevoeligheid voor supervisie te testen, worden drie protocollen gebruikt:
  1. Hard Label: Modellen getraind direct op gecondenseerde sets met originele labels (geen teacher).
  2. Single-Teacher Soft Label (RDED): Gebruikt één vooraf getrainde teacher om soft labels te genereren voor kennisdistillatie.
  3. Multi-Teacher Soft Label (EDC): Gebruikt meerdere teachers en hybride supervisie (soft + hard labels).
• Metrieken: Naast nauwkeurigheid evalueert de studie Representativiteit (dekking van de originele distributie), Diversiteit (redundantie binnen de gecondenseerde set) en Constructiekosten (tijd en computationele middelen).

Belangrijkste Bijdragen

1. Systematische Benchmarking: Het artikel biedt de eerste uitgebreide vergelijking van zeven SOTA DD-methoden tegenover drie CS-strategieën onder uniforme datasets en evaluatieprotocollen.
2. Protocol Gevoeligheidsanalyse: Het toont aan dat DD-prestaties sterk verstrengeld zijn met de evaluatiepipeline, waarbij geen enkele DD-methode consistent beter presteert dan anderen over alle protocollen en datasets heen.
3. Herwaardering van DD versus CS: De studie daagt het narratief uit dat DD inherent beter presteert dan CS, door aan te tonen dat CS-methoden vaak de DD-prestaties evenaren of overtreffen, met name op grootschalige datasets.
4. Multi-dimensionale Kwaliteitsbeoordeling: De auteurs introduceren een breder evaluatiekader inclusief representativiteit, diversiteit en constructiekosten, wat onthult dat CS-methoden vaak betere distributionele dekking en efficiëntie bieden.

Resultaten

Nauwkeurigheid Prestaties

• Grootschalige Datasets (ImageNet-1K/100): Onder het Hard Label protocol evenaren of overtreffen CS-methoden (specifiek AUM en Concepts) de SOTA DD-methoden consequent. Bijvoorbeeld, op ImageNet-1K met 10 IPC (Images Per Class), presteert AUM 3,3% (ResNet-18) en 4,8% (ResNet-50) beter dan de beste DD-methode.
• Soft Label Protocollen: Zelfs wanneer gebruik wordt gemaakt van single of multi-teacher soft labels (waar DD doorgaans een voordeel heeft), blijven CS-methoden zeer competitief en evenaren of overtreffen ze vaak de DD-prestaties.
• Kleine Datasets (ImageNette): DD-methoden presteren goed op ImageNette en overtreffen soms CS. De auteurs merken echter op dat de "beste" DD-methode varieert per protocol, wat de instabiliteit van DD-rangschikkingen benadrukt in vergelijking met de robuustheid van CS.
• Random Baselines: Verschillende DD-methoden slagen er niet in om eenvoudige random subsets van echte data te overtreffen, met name onder hard-label evaluatie.

Efficiëntie en Kwaliteit

• Constructiekosten: CS-methoden vertonen een constante tijdscomplexiteit relatief aan de IPC (Images Per Class), terwijl DD-methoden (vooral generatieve) lineair schalen met de IPC. Training-gebaseerde DD-methoden brengen aanzienlijke kosten met zich mee door de training/fine-tuning van generatieve modellen.
• Representativiteit en Diversiteit: CS-methoden (met name AUM) bereiken een superieure afweging en bezetten de regio van hoge representativiteit en hoge diversiteit in de metriekruimte. DD-methoden hebben de neiging zich te concentreren op smallere visuele modi, wat resulteert in lagere diversiteit en hogere redundantie.
• Visuele Kwaliteit: Kwalitatieve analyse laat zien dat CS-subsets (AUM) diverse poses, standpunten en achtergronden vastleggen. In tegen plaats vertonen DD-sets vaak herhaalde canonieke views, artefacten en onnatuurlijke texturen.

Betekenis en Claims

Het artikel betoogt dat het huidige succes van Dataset Distillatie een herwaardering vereist. De auteurs stellen dat:

1. CS een Noodzakelijke Baseline is: Toekomstig DD-onderzoek moet sterke CS-baselines (zoals AUM) bevatten om te voorkomen dat evaluatie-specifieke winsten worden geïnterpreteerd als intrinsieke data-efficiëntie.
2. Gestandaardiseerde Evaluatie Cruciaal is: Het vakgebied moet gestandaardiseerde protocollen adopteren, inclusief hard-label evaluatie, om de werkelijke bruikbaarheid van gedestilleerde data eerlijk te beoordelen.
3. Praktische Efficiëntie: Voor grootschalige data-centrische leerprocessen blijft Coreset Selectie een computationeel efficiëntere, schaalbaardere en robuustere alternatief voor huidige DD-methoden, waarbij het vergelijkbare of superieure nauwkeurigheid biedt met aanzienlijk lagere constructiekosten en betere distributionele dekking.

De auteurs concluderen dat hoewel DD veelbelovend is voor kleine, scheidbare datasets, de praktische voordelen afnemen op grootschalige benchmarks waar CS een efficiëntere en betrouwbaardere oplossing biedt.