Learnability-Guided Diffusion for Dataset Distillation

1. Het Probleem: Redundantie in Dataset Distillatie

Dataset distillatie (DD) heeft als doel een klein synthetisch dataset ($D_S$) te creëren dat dezelfde prestaties levert als een groot origineel dataset ($D_T$), waardoor trainingskosten en -tijd drastisch worden verlaagd.

De huidige staat-van-de-kunst (SOTA) methoden, die vaak gebruikmaken van diffusiemodellen, lijden echter onder een fundamenteel probleem: redundantie.

• Oorzaak: Bestaande methoden optimaliseren voor visuele diversiteit of proberen de gemiddelde trainingsdynamiek van het volledige dataset na te bootsen. Hierdoor genereren ze samples die overlappende informatie bevatten in plaats van complementaire kennis.
• Gevolg: Empirisch onderzoek toont aan dat disjuncte subsets van deze gedistilleerde datasets 80-90% overlappende trainingsignalen bevatten. Dit betekent dat een model dat op één subset is getraind, al bijna alles heeft geleerd wat in andere subsets zit, wat leidt tot inefficiëntie.
• Beperking: Het optimaliseren voor een gemiddelde trainingsbaan resulteert in samples met "middelmatige" gradiënten die op geen enkel specifiek stadium van het trainingsproces optimaal zijn (ze zijn noch goed voor het leren van ruwe kenmerken, noch voor fijne details).

2. Methodologie: Learnability-Guided Diffusion (LGD)

De auteurs stellen een nieuw raamwerk voor: Learnability-Driven Dataset Distillation. In plaats van alle samples tegelijk te genereren, wordt het dataset stapsgewijs (incrementeel) opgebouwd, waarbij elke nieuwe stap is afgestemd op de huidige kennis van het model.

Kernconcepten:

1. Incrementele Opbouw:
   Het gedistilleerde dataset wordt opgedeeld in $K$ disjuncte incrementen ($I_1, I_2, ..., I_k$).

   • Het proces start met een klein "zaadje" dataset (bijv. 10 images per klasse).
   • Een model wordt getraind op de cumulatieve dataset.
   • Vervolgens worden nieuwe samples gegenereerd die specifiek gericht zijn op de "leergaten" van het huidige model.

2. Learnability Score (Leerbaarheidsscore):
   Voor een kandidaat-sample $(x, y)$ wordt een score berekend die de mate van leerbaarheid kwantificeert:
   $$S(x, y) = \mathcal{L}(\theta_{current}, x, y) - \omega \cdot \mathcal{L}(\theta_{ref}, x, y)$$

   • $\theta_{current}$: Het model dat momenteel wordt getraind op het gedistilleerde dataset.
   • $\theta_{ref}$: Een referentiemodel dat is getraind op het volledige originele dataset (fungeert als waarheid/validatie).
   • $\mathcal{L}$: De voorspellingsfout (bijv. cross-entropy).
   • Interpretatie: Een hoge score betekent dat het huidige model moeite heeft met het sample (hoge fout), maar dat het referentiemodel het wel begrijpt (lage fout). Dit identificeert samples die informatief zijn voor het huidige model, maar semantisch geldig blijven.

3. Learnability-Guided Diffusion (LGD):
   De diffusiegeneratie wordt gestuurd door de gradient van deze learnability score:
   $$\tilde{\epsilon}_\phi(x_t, t, y) = \epsilon_\phi(x_t, t, y) + \lambda \cdot \rho_t \cdot \nabla_{x_t} S(x_t, y)$$

   • Dit duwt de generatie naar gebieden in de data-distributie waar het model nog moet leren, maar waar het referentiemodel aangeeft dat de data correct is.
   • Er wordt ook deviation guidance toegepast om te voorkomen dat de gegenereerde samples te veel lijken op reeds gegenereerde samples (bevordering van intra-klassen diversiteit).

4. Selectie en Curriculum:
   Voor elke positie in het dataset worden $\kappa$ kandidaat-samples gegenereerd. Alleen de sample met de hoogste learnability score wordt geselecteerd en toegevoegd aan het dataset. Dit creëert een automatisch curriculum:

   • Vroege incrementen bevatten "gemakkelijke" samples die basiskenmerken leren.
   • Latere incrementen bevatten "moeilijkere" samples die fijne details en complexe patronen aanvullen.

3. Belangrijkste Bijdragen

• Incrementeel Raamwerk: Een nieuwe formulering van dataset distillatie die stap-voor-stap synthetiseert, gebaseerd op de evoluerende leerbaarheid van het model, in plaats van een statische optimalisatie.
• LGD (Learnability-Guided Diffusion): Een nieuwe generatiemethode die de diffusieprocessen conditioneert op de modeltoestand om complementaire, niet-redundante samples te produceren.
• Redundantie-analyse: De auteurs tonen aan dat bestaande methoden 80-90% redundantie hebben, terwijl hun methode deze met 39,1% verlaagt.
• State-of-the-Art Resultaten: Prestaties die de huidige SOTA-methoden overtreffen op grote datasets.

4. Resultaten

De methode is getest op ImageNette, ImageWoof en ImageNet-1K.

• Prestaties:
  • ImageNet-1K (50 IPC): 60,1% nauwkeurigheid (vergelijkbaar met SOTA MGD3 van 60,2%, maar significant beter dan de basis DiT van 52,9%).
  • ImageNette (100 IPC): 87,2% nauwkeurigheid.
  • ImageWoof (100 IPC): 72,9% nauwkeurigheid.
• Redundantie-vermindering: De cross-increment validatie toont aan dat modellen getraind op eerdere incrementen veel minder goed presteren op latere incrementen bij LGD (lage kruisnauwkeurigheid), wat bewijst dat elke nieuwe stap echt nieuwe informatie toevoegt. Bij DiT was deze kruisnauwkeurigheid extreem hoog (redundantie).
• Trainingsdynamiek: Bij incrementele training vertoont LGD grotere "loss spikes" bij het toevoegen van nieuwe data, wat aangeeft dat de nieuwe data moeilijker en informatiever is, maar het model convergeren sneller naar een hogere eindnauwkeurigheid dan baselines.
• Kwaliteit: Visuele analyse toont aan dat LGD een bredere verspreiding van moeilijkheidsgraden bereikt (van makkelijk tot moeilijk) binnen de geldige data-distributie, terwijl andere methoden vaak vastlopen in "gemakkelijke" of "out-of-distribution" samples.

5. Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in hoe we naar dataset distillatie kijken:

1. Van Statistisch naar Adaptief: Het verplaatst de focus van het matchen van een statische gemiddelde trainingsbaan naar het dynamisch aanpassen van de data aan de leerbehoeften van het model.
2. Efficiëntie: Door redundantie te elimineren, worden de beperkte resources (beperkt aantal images per klasse) optimaal benut.
3. Curriculum Learning: Het introduceert een principieel curriculum voor synthetische data, waarbij het model eerst basisconcepten leert en vervolgens wordt uitgedaagd met complexere patronen, wat de trainingsstabiliteit en eindprestaties verbetert.
4. Schaalbaarheid: De methode bewijst dat dataset distillatie effectief kan worden geschaald naar complexe, grote datasets zoals ImageNet-1K, wat een lange tijd een uitdaging was.

Samenvattend biedt Learnability-Guided Diffusion een robuuste oplossing voor het probleem van redundantie in synthetische datasets, waardoor modellen efficiënter en effectiever kunnen worden getraind met minder data.