💻 computer science

Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection

Dit artikel stelt een nieuw datasetdistillatieframework voor dat gebruikmaakt van vooraf getrainde diffusiemodellen om onderscheidende beeldpatches te selecteren op basis van voorspelde ruisverlies en intra-klasse clustering, wat een gestroomlijnd eenstaps-proces mogelijk maakt dat bestaande generatiegebaseerde methoden op grootschalige datasets overtreft.

Oorspronkelijke auteurs: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die een nieuwe leerling probeert te leren hoe hij een enorm, complex banket moet bereiden (zoals een volledige ImageNet-dataset met duizenden gerechten). Normaal gesproken zou je de leerling elk gerecht, elk ingrediënt en elke stap moeten laten zien. Dat duurt eeuwen, vereist een enorme keuken (geheugen) en verbruikt veel gas (rekenkracht).

Dataset Distillatie is het idee om een klein "spiekbriefje" of een "mini-menu" te maken dat zo perfect is, dat de leerling het hele banket kan leren door slechts deze paar voorbeelden te bestuderen.

Het probleem met vorige "Spiekbriefjes"

In het verleden probeerden wetenschappers deze mini-menu's op twee manieren te maken:

Pixel-per-pixel Optimalisatie: Proberen elke individuele pixel van een paar afbeeldingen wiskundig aan te passen om ze perfect te maken. Dit is als het proberen te beeldhouwen van een meesterwerk uit klei met de hand; het is ongelooflijk traag en werkt alleen voor kleine, eenvoudige gerechten (zoals CIFAR-10). Wanneer je een groot banket probeert te maken (ImageNet), ontploft de keuken door de complexiteit.
AI-generatie: Een krachtige AI (een Diffusiemodel) gebruiken om vanuit het niets nieuwe afbeeldingen te verzinnen die lijken op de echte gerechten. Het probleem hier is dat de AI getraind is op een ander menu (het internet) dan degene die je aan het onderwijzen bent. De AI kan een "Golden Retriever" verzinnen die eruitziet als een pluizige wolk of een "Haai" die lijkt op een vis met vleugels. Dit creëert een distributieverschuiving—het nepvoedsel smaakt niet precies zoals het echte eten.

De Nieuwe Oplossing: "Diffusie-gestuurde Selectie"

De auteurs van dit paper stellen een slimme nieuwe manier voor om het spiekbriefje te maken. In plaats van de AI te vragen om nieuw voedsel te creëren, vragen ze de AI om als een criticus te fungen om de beste delen van het echte voedsel dat al in de keuken staat te vinden.

Zo werkt hun methode, met behulp van een eenvoudige analogie:

Stap 1: De "Blinde Proeverij" (Fase I)

Stel je hebt een grote foto van een echte Golden Retriever. Je wilt weten: "Welk deel van deze foto is het meest kenmerkend voor een Golden Retriever?"

Je neemt een vooraf getrainde AI (Stable Diffusion) en vraagt het om de ruis (de statische ruis) te raden die nodig is om een leeg scherm in een "Golden Retriever" te veranderen.
Daarna vraag je het om de ruis te raden die nodig is om een leeg scherm in slechts "een hond" te veranderen (zonder het specifieke ras).
De Magie: Door deze twee gokken met elkaar te vergelijken, markeert de AI de specifieke pixels die de hond specifiek een Golden Retriever laten lijken. Het is alsof de AI met een laserpointer naar de hangende oren en de gouden vacht van de hond wijst en zegt: "Dit is het belangrijke deel!"
Ze snijden deze "met de laser aangewezen" fragmenten uit de echte afbeeldingen. Ze maken geen nieuwe afbeeldingen; ze knippen alleen de beste stukjes uit de echte exemplaren.

Stap 2: Het "Groepsfeestje" (Fase II)

Nu heb je duizenden van deze "beste stukjes". Sommige zijn oren, andere staarten, weer andere neuzen.

Als je ze gewoon in een zak gooit, is het chaos.
Dus gebruikt de auteur een clusteringtechniek (zoals sokken sorteren op kleur en patroon) om vergelijkbare fragmenten bij elkaar te groeperen.
Ze kiezen het meest representatieve "exemplaar" uit elke groep om ervoor te zorgen dat het uiteindelijke mini-menu een goede variëteit heeft (diversiteit), maar nog steeds de essentie van elke klasse vangt.

Waarom dit een Game-Changer is

Het paper beweert drie overwinningen te hebben behaald:

Geen "Nepvoedsel" meer: Omdat ze stukjes uit echte afbeeldingen knippen in plaats van nepbeelden te genereren, komt de datadistributie perfect overeen met het origineel. Er zijn geen "hallucinaties" of vreemde artefacten.
Eén-staps Proces: Oude methoden moesten vaak het hele proces opnieuw draaien elke keer dat je het aantal afbeeldingen of de typen klassen wilde veranderen. Deze nieuwe methode is als een "één-klik"-knop. Je voert het één keer uit en je krijgt een dataset die werkt voor vele verschillende instellingen.
Snelheid en Schaal: Het werkt op enorme datasets (zoals ImageNet-1K) en complexe modellen (zoals ResNet-101) waar eerdere methoden faalden of te lang duurden.

Het Resultaat

In hun experimenten versloeg deze "knippen-en-plakken"-methode, geleid door het vermogen van de AI om kenmerken te herkennen, consequent de state-of-the-art methoden. Het produceerde kleinere datasets die modellen net zo goed (of zelfs beter) trainden als de enorme originele datasets, zonder de zware rekenkosten van het proberen te optimaliseren van pixels of het genereren van nieuwe afbeeldingen vanaf nul.

Kortom: In plaats van een AI te vragen om een nieuwe afbeelding van een hond te schilderen, vraagt deze methode de AI om naar de meest hond-achtige delen van een echte foto te wijzen, deze eruit te knippen en ze te arrangeren in een perfect, compact studieboekje.

Technische Samenvatting: Naar consistente en efficiënte dataset-distillatie via diffusie-gestuurde selectie

Probleemstelling

Dataset-distillatie beoogt synthetische compacte datasets te creëren die modellen tijdens het trainen in staat stellen om prestaties te behalen die vergelijkbaar zijn met die van de volledige originele dataset, waardoor geheugen- en rekenkosten worden verminderd. Bestaande optimalisatiemethoden (bijv. gradient matching) kampen echter met een enorme pixel-niveau optimalisatieruimte, wat hun haalbaarheid beperkt tot kleinschalige datasets zoals CIFAR-10/100. Recente benaderingen maken gebruik van getrainde diffusiemodellen om direct synthetische afbeeldingen te genereren, maar lijden onder significante beperkingen:

Distributieverschuivingen: Methoden die diffusiemodellen finetunen (ofwel het model zelf, ofwel beeldprototypes in de latente ruimte) hebben vaak moeite met de distributionele mismatch tussen de pre-training data (bijv. LAION, ImageNet-1K) en de doeldataset, wat leidt tot klasse-irrelevante of ruizige outputs.
Inefficiëntie en Starheid: Huidige diffusie-gebaseerde methoden vereisen vaak model-finetuning voor specifieke datasets of meerdere distillatiestappen bij het afhandelen van variërende klassecombinaties of compressieratio's (IPC-instellingen), wat de praktische schaalbaarheid belemmert.

Methodologie

De auteurs stellen DDDS (Diffusion-Driven Dataset Selection) voor, een framework dat afwijkt van generatieve benaderingen door getrainde diffusiemodellen te gebruiken voor patch-selectie in plaats van beeldgeneratie. De methode werkt via een eenstaps-proces zonder het diffusiemodel te finetunen of een proxy-classificator te trainen.

Fase I: Optimale klasse-relevante feature selectie

In plaats van nieuwe afbeeldingen te genereren, identificeert de methode de meest informatieve regio'ën binnen de originele echte afbeeldingen.

Differentieel Ruisvoorspelling: Voor elke input-afbeelding $z$ en een doelklasse-label $c$ voorspelt het getrainde Stable Diffusion (SD) model ruismaps onder twee condities: met de klasse tekst-prompt $c$ (bijv. "An image of golden retriever") en zonder het label (classifier-free guidance, $\phi$ ).
Representativiteitsscore: Het verschil tussen deze twee ruisvoorspellingen, $M(z|c) = \mathbb{E}_{\epsilon, t}[N_t(z, \epsilon, c) - N_t(z, \epsilon, \phi)]$ , kwantificeert de klasse-relevante informatie. Een hogere differentiële loss geeft aan dat de regio cruciaal is voor het onderscheiden van de klasse.
Patch Extractie: De ruismap wordt opgeschaald naar de oorspronkelijke beeldresolutie. De afbeelding wordt verdeeld in patches, en een score $R(p|c)$ wordt berekend voor elke patch door de differentiële ruiswaarden op te tellen. De patches met de hoogste scores worden als kandidaten geselecteerd.

Fase II: Visuele Elementen Aggregatie

Om willekeur te verminderen en diversiteit tussen geselecteerde patches te waarborgen, wordt een clustering-gebaseerde selectiestrategie toegepast.

Feature Extractie: De geselecteerde patches worden verwerkt om DIFT (Diffusion Feature) representaties te extraheren. Dit houdt in dat er ruis wordt toegevoegd aan een specifiek tijdstap van de patch-latente en deze door de U-Net met tekst-conditionering wordt gestuurd om tussenliggende laag-activaties te verkrijgen.
Clustering en Ranking: K-means clustering wordt uitgevoerd op de DIFT-features. De selectie volgt een dubbele ranking-regel:
1. Intra-cluster: Patches worden gerangschikt op basis van hun afstand tot het cluster-centrum (gericht op centrale, representatieve samples).
2. Inter-cluster: Clusters worden gerangschikt op basis van de mediane representativiteitsscore ( $R(p|c)$ ) van hun leden.
Finale Selectie: De top-gerankte clusters (bijv. top 10) krijgen prioriteit om zowel representativiteit als diversiteit te waarborgen. Als de Images Per Class (IPC) laag is, worden meerdere patches samengevoegd om een enkele synthetische afbeelding te vormen.

Belangrijkste Bijdragen

Orthogonaal Paradigma: Het artikel introduceert een dataset-distillatie framework dat getrainde diffusiemodellen gebruikt voor lokalisatie (selectie) in plaats van generatie. Deze benadering adresseert direct de distributionele discrepanties tussen de diffusie-prior en de doeldataset.
Efficiënt Eenstaps-proces: De methode elimineert de noodzaak voor model-finetuning, proxy-model training, of repetitieve distillatie over verschillende settings (klassecombinaties of IPC's). Het bereikt een volledig onbeperkt, single-pass distillatieproces.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat de voorgestelde methode bestaande training-vrije en optimalisatie-gebaseerde methoden consistent overtreft op diverse datasets (CIFAR, ImageNet-subsets, ImageNet-1K) en modelarchitecturen (ResNet, ViT, EfficientNet).

Experimentele Resultaten

Hoog-resolutie Datasets: Op ImageNet-1K en de sub-datasets (ImageNette, ImageWoof, ImageNet-100) behaalt DDDS significante verbeteringen ten opzien van baselines zoals SRe2L, RDED, Minimax en D4M. Bijvoorbeeld, op ImageNette met IPC=100 bereikt het 92.0% nauwkeurigheid vergeleken met 91.0% voor de op één na beste methode (MGD3).
Laag-resolutie Datasets: Op CIFAR-10/100 en TinyImageNet evenaart of overtreft de methode de prestaties van informatie-matching methoden (bijv. DSA, IDM) en andere diffusie-gebaseerde benaderingen.
Cross-Architectuur Generalisatie: De gedistilleerde datasets presteren robuust over diverse teacher-student architecturen, inclus[ieff] CNN's en Vision Transformers (ViTs).
Efficiëntie: Het eenstaps-proces resulteert in een constante tijdskost, ongeacht het aantal klassecombinaties of IPC-instellingen, wat een aanzienlijke versnelling biedt (bijv. een 4x versnelling wanneer een subset van 300 echte afbeeldingen wordt gebruikt voor patch-extractie) vergeleken met methoden die herhaalde distillatie vereisen.

Betekenis en Claims

De auteurs beweren dat dit werk een nieuw perspectief biedt op het gebruik van diffusiemodellen voor dataset-distillatie. Door de focus te verschuiven van generatie naar selectie, herstelt de methode effectief de originele datadistributie zonder de biases die door generatieve priors worden geïntroduceerd. Het framework wordt gepresenteerd als een oplossing voor de schaalbaarheids- en consistentieproblemen in grootschalige dataset-distillatie, en biedt een praktisch, training-vrij en zeer efficiënt alternatief voor de huidige state-of-the-art technieken. De broncode is beschikbaar gesteld om verdere research te faciliteren.