💻 computer science

Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection

Dieses Paper schlägt ein neuartiges Dataset-Distillation-Framework vor, das vortrainierte Diffusionsmodelle nutzt, um distinktive Bildpatches basierend auf vorhergesagtem Rauschverlust und Intra-Klassen-Clustering auszuwählen, was einen effizienten Ein-Schritt-Prozess ermöglicht, der bestehende generationsbasierte Methoden bei großskaligen Datensätzen übertrifft.

Ursprüngliche Autoren: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht, einem neuen Lehrling beizubringen, wie man ein riesiges, komplexes Bankett zubereitet (wie etwa einen vollständigen ImageNet-Datensatz mit tausenden von Gerichten). Normalerweise müssten Sie dem Lehrling jedes einzelne Gericht, jede Zutat und jeden Schritt zeigen. Das dauert ewig, erfordert eine riesige Küche (Speicherplatz) und verbrennt viel Gas (Rechenleistung).

Dataset Distillation ist die Idee, eine winzige „Spickzettel“ oder ein „Mini-Menü“ zu erstellen, das so perfekt ist, dass der Lehrling das gesamte Bankett lernen kann, indem er nur diese wenigen Beispiele studiert.

Das Problem mit früheren „Spickzetteln“

In der Vergangenheit versuchten Wissenschaftler, diese Mini-Menüs auf zwei Arten zu erstellen:

Pixel-für-Pixel-Optimierung: Der Versuch, mathematisch jeden einzelnen Pixel einiger weniger Bilder so zu verändern, dass sie perfekt sind. Das ist, als würde man versuchen, ein Meisterwerk mit den Händen aus Ton zu formen; es ist unglaublich langsam und funktioniert nur bei kleinen, einfachen Gerichten (wie CIFAR-10). Wenn man versucht, ein riesiges Bankett (ImageNet) zu bewältigen, explodiert die Küche vor Komplexität.
KI-Generierung: Eine leistungsstarke KI (ein Diffusionsmodell) zu nutzen, um aus dem Nichts neue Bilder zu erfinden, die wie die echten Gerichte aussehen. Das Problem hierbei ist, dass die KI auf einem anderen Menü (dem Internet) trainiert wurde als das, das Sie gerade lehren. Sie könnte einen „Golden Retriever“ erfinden, der wie eine flauschige Wolke aussieht, oder einen „Hai“, der wie ein Fisch mit Flügeln aussieht. Dies erzeugt einen Distribution Shift – das gefälschte Essen schmeckt nicht ganz wie das echte.

Die neue Lösung: „Diffusion-Driven Selection“

Die Autoren dieses Papers schlagen einen cleveren neuen Weg vor, um den Spickzettel zu erstellen. Anstatt die KI zu bitten, neues Essen zu erschaffen, bitten sie die KI, als Kritiker zu fungieren, um die besten Teile des echten Essens zu finden, das bereits in der Küche vorhanden ist.

So funktioniert ihre Methode, unter Verwendung einer einfachen Analogie:

Schritt 1: Der „Blinde Geschmackstest“ (Stufe I)

Stellen Sie sich vor, Sie haben ein riesiges Foto eines echten Golden Retrievers. Sie wollen wissen: „Welcher Teil dieses Fotos ist am meisten wie ein Golden Retriever?“

Sie nehmen eine vortrainierte KI (Stable Diffusion) und fragen sie, welches Rauschen (das statische Bildrauschen) nötig ist, um einen leeren Bildschirm in einen „Golden Retriever“ zu verwandeln.
Dann fragen Sie sie nach dem Rauschen, das nötig ist, um einen leeren Bildschirm in einfach nur „einen Hund“ (ohne die spezifische Rasse) zu verwandeln.
Die Magie: Durch den Vergleich dieser beiden Vermutungen hebt die KI die spezifischen Pixel hervor, die den Hund speziell wie einen Golden Retriever aussehen lassen. Es ist, als würde die KI einen Laserpointer auf die Schlappohren und das goldene Fell des Hundes richten und sagen: „Das ist der wichtige Teil!“
Sie schneiden diese „mit dem Laser markierten“ Ausschnitte aus den echten Bildern aus. Sie erstellen keine neuen Bilder, sondern schneiden nur die besten Stücke aus den echten heraus.

Schritt 2: Die „Gruppierungsparty“ (Stufe II)

Nun haben Sie tausende dieser „besten Stücke“. Einige sind Ohren, andere Schwänze, manche Nasen.

Wenn Sie sie einfach in einen Beutel werfen, herrscht Chaos.
Deshalb nutzen die Autoren eine Clustering-Technik (wie das Sortieren von Socken nach Farbe und Muster), um ähnliche Ausschnitte zusammenzugruppieren.
Sie wählen das repräsentativste „Söckchen“ aus jeder Gruppe aus, um sicherzustellen, dass Ihr finales Mini-Menü eine gute Vielfalt (Diversität) aufweist, aber dennoch die Essenz jeder Klasse einfängt.

Warum dies ein „Game-Changer“ ist

Das Paper behauptet drei große Siege:

Kein „gefälschtes Essen“ mehr: Da sie Stücke aus echten Bildern ausschneiden, anstatt neue Bilder zu generieren, stimmt die Datenverteilung perfekt mit dem Original überein. Es gibt keine „Halluzinationen“ oder seltsamen Artefakte.
Ein-Schritt-Prozess: Frühere Methoden mussten oft den gesamten Prozess neu durchlaufen, wenn man die Anzahl der Bilder oder die Arten der Klassen ändern wollte. Diese neue Methode ist wie ein „Ein-Klick“-Button. Man führt sie einmal aus und erhält einen Datensatz, der für viele verschiedene Einstellungen funktioniert.
Geschwindigkeit und Skalierbarkeit: Sie funktioniert auf massiven Datensätzen (wie ImageNet-1K) und komplexen Modellen (wie ResNet-101), bei denen frühere Methoden versagt hätten oder zu lange gedauert hätten.

Das Ergebnis

In ihren Experimenten hat diese „Ausschneide-und-Einfüge“-Methode, die durch die Fähigkeit der KI geleitet wird, Merkmale zu erkennen, die State-of-the-Art-Methoden konsistent geschlagen. Sie produzierte kleinere Datensätze, die Modelle genauso gut (oder sogar besser) trainierten wie die massiven Originaldatensätze, ohne die hohe Rechenlast, die beim Versuch der Pixel-Optimierung oder der Generierung neuer Bilder von Grund auf entsteht.

Kurz gesagt: Anstatt eine KI zu bitten, ein neues Bild eines Hundes zu malen, fragt diese Methode die KI, auf die hundetypischsten Teile eines echten Fotos zu zeigen, schneidet diese aus und arrangiert sie zu einem perfekten, kompakten Lernführer.

Technisches Resümee: Hin zu konsistenter und effizienter Datensatz-Destillation mittels Diffusionsgesteuerter Selektion

Problemstellung

Die Datensatz-Destillation (Dataset Distillation) zielt darauf ab, einen kompakten Datensatz zu synthetisieren, der es ermöglicht, tiefe Modelle zu trainieren, um eine Leistung zu erzielen, die mit der des ursprünglichen vollständigen Datensatzes vergleichbar ist, wodurch Speicher- und Rechenkosten reduziert werden. Bestehende optimierungsbasierte Methoden (z. B. Gradient Matching) stehen jedoch vor einem gewaltigen Pixel-Ebene-Optimierungsraum, was ihre Machbarkeit auf kleine Datensätze wie CIFAR-10/100 beschränkt. Während jüngere Ansätze vortrainierte Diffusionsmodelle nutzen, um synthetische Bilder direkt zu generieren, leiden sie unter erheblichen Einschränkungen:

Verteilungsverschiebungen (Distribution Shifts): Methoden, die Diffusionsmodelle feinabstimmen (entweder das Modell selbst oder Bildprototypen im latenten Raum), kämpfen oft mit der Verteilungsmismatch zwischen den Prä-Training-Daten (z. B. LAION, ImageNet-1K) und dem Zieldatensatz, was zu klassenirrelevanten oder verrauschten Ausgaben führt.
Ineffizienz und Starrheit: Aktuelle diffusionsbasierte Methoden erfordern oft ein Fine-Tuning des Modells für spezifische Datensätze oder mehrere Destillationsschritte beim Umgang mit variierenden Klassenkombinationen oder Kompressionsverhältnissen (IPC-Einstellungen), was die praktische Skalierbarkeit behindert.

Methodik

Die Autoren schlagen DDDS (Diffusion-Driven Dataset Selection) vor, ein Framework, das sich von generativen Ansätzen durch die Nutzung vortrainierter Diffusionsmodelle für die Patch-Selektion statt für die Bildgenerierung unterscheidet. Die Methode arbeitet in einem einstufigen Prozess, ohne das Diffusionsmodell feinabzustimmen oder einen Proxy-Klassifikator zu trainieren.

Stufe I: Optimale klassenrelevante Merkmalsselektion

Anstatt neue Bilder zu generieren, identifiziert die Methode die informativsten Regionen innerhalb der ursprünglichen realen Bilder.

Differentielle Rauschvorhersage: Für jedes Eingabebild $z$ und ein Zielklassenlabel $c$ sagt das vortrainierte Stable Diffusion (SD) Modell Rauschkarten unter zwei Bedingungen voraus: mit dem Klassen-Textprompt $c$ (z. B. „An image of golden retriever“) und ohne das Label (Classifier-Free Guidance, $\phi$ ).
Repräsentativitäts-Scoring: Die Differenz zwischen diesen beiden Rauschvorhersagen, $M(z|c) = \mathbb{E}_{\epsilon, t}[N_t(z, \epsilon, c) - N_t(z, \epsilon, \phi)]$ , quantifiziert die klassenrelevante Information. Ein höherer differentieller Verlust deutet darauf hin, dass die Region entscheidend für die Unterscheidung der Klasse ist.
Patch-Extraktion: Die Rauschkarte wird auf die ursprüngliche Bildauflösung hochskaliert. Das Bild wird in Patches unterteilt, und ein Score $R(p|c)$ wird für jeden Patch berechnet, indem die Werte der differentiellen Rauschvorhersage summiert werden. Die Patches mit den höchsten Scores werden als Kandidaten ausgewählt.

Stufe II: Aggregation visueller Elemente

Um Zufälligkeit zu mildern und Diversität unter den ausgewählten Patches zu gewährleisten, wird eine clusteringbasierte Selektionsstrategie angewendet.

Merkmalsextraktion: Die ausgewählten Patches werden verarbeitet, um DIFT (Diffusion Feature)-Repräsentationen zu extrahieren. Dies beinhaltet das Hinzufügen von Rauschen bei einem bestimmten Zeitschritt zum Patch-Latent und das Durchlaufen des U-Nets mit Textkonditionierung, um Aktivierungen der Zwischenschichten zu erhalten.
Clustering und Ranking: K-Means-Clustering wird auf die DIFT-Merkmale angewendet. Die Selektion folgt einer dualen Ranking-Regel:
1. Intra-Cluster: Patches werden nach ihrem Abstand zum Cluster-Zentroiden gerankt (bevorzugt zentrale, repräsentative Samples).
2. Inter-Cluster: Cluster werden nach dem Median-Repräsentativitäts-Score ( $R(p|c)$ ) ihrer Mitglieder gerankt.
Finale Selektion: Die am höchsten gerankten Cluster (z. B. die Top 10) werden priorisiert, um sowohl Repräsentativität als auch Diversität sicherzustellen. Wenn die Anzahl der Bilder pro Klasse (IPC) niedrig ist, werden mehrere Patches zu einem einzigen synthetischen Bild zusammengefügt.

Zentrale Beiträge

Orthogonales Paradigma: Die Arbeit führt ein Datensatz-Destillations-Framework ein, das vortrainierte Diffusionsmodelle für die Lokalisierung (Selektion) statt für die Generierung nutzt. Dieser Ansatz adressiert direkt die Verteilungsdiskrepanzen zwischen dem Diffusions-Prior und dem Zieldatensatz.
Effizienter einstufiger Prozess: Die Methode eliminiert die Notwendigkeit von Modell-Fine-Tuning, Proxy-Modell-Training oder repetitiver Destillation über verschiedene Einstellungen (Klassenkombinationen oder IPCs) hinweg. Sie erreicht einen vollständig uneingeschränkten, einstufigen Destillationsprozess.
State-of-the-Art Performance: Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode bestehende trainingsfreie und optimierungsbasierte Methoden über verschiedene Datensätze (CIFAR, ImageNet-Subsets, ImageNet-1K) und Modellarchitekturen (ResNet, ViT, EfficientNet) hinweg konsistent übertrifft.

Experimentelle Ergebnisse

Hochauflösende Datensätze: Auf ImageNet-1K und seinen Subsets (ImageNette, ImageWoof, ImageNet-100) erzielt DDDS signifikante Verbesserungen gegenüber Baselines wie SRe2L, RDED, Minimax und D4M. Beispielsweise erreicht es auf ImageNette mit IPC=100 eine Genauigkeit von 92,0 % im Vergleich zu 91,0 % der nächstbesten Methode (MGD3).
Niedrigauflösende Datensätze: Auf CIFAR-10/100 und TinyImageNet erreicht die Methode die Leistung von Informations-Matching-Methoden (z. B. DSA, IDM) und anderen diffusionsbasierten Ansätzen oder übertrifft diese.
Cross-Architecture Generalization: Die destillierten Datensätze funktionieren robust über diverse Teacher-Student-Architekturen hinweg, einschließlich CNNs und Vision Transformern (ViTs).
Effizienz: Der einstufige Prozess führt zu konstanten Zeitkosten, unabhängig von der Anzahl der Klassenkombinationen oder IPC-Einstellungen, was eine erhebliche Beschleunigung bietet (z. B. 4-fache Beschleunigung bei Verwendung eines Subsets von 300 realen Bildern für die Patch-Extraktion) im Vergleich zu Methoden, die wiederholte Destillation erfordern.

Bedeutung und Ansprüche

Die Autoren behaupten, dass diese Arbeit eine frische Perspektive auf die Nutzung von Diffusionsmodellen für die Datensatz-Destillation bietet. Durch die Verschiebung von der Generierung zur Selektion stellt die Methode die ursprüngliche Datenverteilung effektiv wieder her, ohne die durch generative Priors eingeführten Biases. Das Framework wird als Lösung für die Skalierbarkeits- und Konsistenzherausforderungen der groß angelegten Datensatz-Destillation hervorgehoben und bietet eine praktische, trainingsfreie und hocheffiziente Alternative zu aktuellen State-of-the-Art-Techniken. Der Quellcode wird zur Verfügung gestellt, um die weitere Forschung zu erleichtern.