💻 computer science

Geometry-Aware Dataset Condensation for Diffusion Model Training

Dit artikel stelt Geometry-Aware Dataset Condensation (GADC) voor, een methode die de selectie van echte subsets herformuleert als een geometrie-bewust distributie-alignementprobleem met behulp van eenzijdig gedeeltelijk optimaal transport en semantische regularisatie om compacte datasets te construeren die de geometrische structuur en de distributieve getrouwheid behouden die vereist zijn voor effectieve training van diffusiemodellen.

Oorspronkelijke auteurs: Xiao Cui, Yulei Qin, Mo Zhu, Wengang Zhou, Hongsheng Li, Houqiang Li

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiao Cui, Yulei Qin, Mo Zhu, Wengang Zhou, Hongsheng Li, Houqiang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok (een Diffusiemodel) wilt leren hoe hij een perfect maaltijd bereidt. Traditioneel zou je hem een enorme bibliotheek van miljoenen recepten en ingrediënten geven (de Volledige Dataset). Hoewel dit werkt, duurt het een eeuwigheid om alles door te lezen, kost het een fortuin aan opslag en is er een enorme keuken nodig om dit allemaal te verwerken.

Dataset Condensatie is het idee om een kleine, perfecte "spiekbrief" te maken van slechts een paar dozijn recepten die de chef alles leert wat hij moet weten, zonder de overdaad.

Eerdere pogingen om deze spiekbrieven te maken, hadden echter twee grote problemen:

Synthetische Spiekbriefen: Sommigen probeerden vanuit het niets nieuwe recepten te verzinnen. Het resultaat? De recepten zagen er vreemd uit en smaakten nep, wat de chef in verwarring braste.
Slechte Selectie: Anderen probeerden simpelweg de "beste" bestaande recepten te kiezen. Maar ze kozen ze op basis van een enkele, eenvoudige score (zoals "hoe moeilijk is dit recept?"). Hierdoor misten ze het grote plaatje, waardoor belangrijke variaties werden weggelaten en er een bevooroordeeld menu ontstond.

Dit paper stelt een nieuwe manier voor om die spiekbrief te bouwen, genaamd Geometry-Aware Dataset Condensation. Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleen: De "Eendimensionale" Fout

Stel je voor dat de volledige dataset een gigantische, complexe stad is met wijken, parken en wolkenkrabbers (de Dataverdeling).

Oude Methode (D2C): Deze methode probeerde de beste huizen te kiezen door ze op een enkele rechte lijn te rangschikken op basis van "moeilijkheidsgraad". Het is alsof je de beste huizen in een 3D-stad probeert te kiezen door alleen naar hun hoogte te kijken. Je kiest misschien een hoge, lege wolkenkrabber en mist daardoor een gezellig, essentieel huisje. Je verliest de vorm van de stad.
Het Doel: We moeten een kleine groep huizen kiezen die de volledige vorm van de stad perfect vertegenwoordigt, waarbij de parken, de straten en de wijken intact blijven.

2. De Oplossing: "One-Sided Partial Transport"

De auteurs gebruiken een wiskundig hulpmiddel genaamd Optimal Transport, wat lijkt op een logistiek bedrijf dat probeert goederen te verplaatsen van een magazijn (de Volledige Dataset) naar een nieuw, kleiner magazijn (de Gecondenseerde Subset).

De Oude Manier (Balanced Transport): De oude regels zeiden: "Je moet elk korreltje zand uit het grote magazijn naar het kleine magazijn verplaatsen, waarbij het gewicht perfect overeenkomt."
- De Fout: Omdat het kleine magazijn piepklein is, dwingt dit het logistieke bedrijf om zwaar, nutteloos zand van de randen van de stad (gebieden met een lage dichtheid) aan te slepen om aan de gewichtscota te voldoen. Dit vervormt de kaart.
De Nieuwe Manier (One-Sided Partial Transport): De auteurs zeggen: "We hoeven alleen de belangrijke lading te verplaatsen. We hoeven niet het zand uit de lege, dunbevolkte buitenwijken te verplaatsen."
- Het Voordeel: Dit stelt het kleine magazijn in staat om zich volledig te concenttenreren op de "kern" van de stad — de drukke straten en populaire wijken. Het zorgt ervoor dat de kleine subset de ware geometrie (de vorm en structuur) van de oorspronkelijke data vastlegt, zonder dat deze wordt omlaag getrokken door ruis.

3. Het Veiligheidsnet: "Statistische Regularisatie"

Alleen het verplaatsen van de lading is niet genoeg; we moeten er ook voor zorgen dat het nieuwe magazijn nog steeds aanvoelt als de originele stad. De auteurs voegen twee "veiligheidsnetten" toe:

Gemiddelde-Variantie Check: Ze zorgen ervoor dat de gemiddelde "hoogte" en de "spreiding" van de gebouwen in het kleine magazijn overeenkomen met de grote stad. Als de grote stad een mix van hoge en lage gebouwen heeft, moet de kleine eenzelfde mix hebben.
Betrouwbaarheidscheck: Ze zorgen ervoor dat de geselecteerde huizen duidelijk herkenbaar zijn. Als een huis een wazige bende is die zowel een schuur als een garage zou kunnen zijn, wijzen ze het af. Dit zorgt ervoor dat de "chef" niet in verwarring raakt door ambigue voorbeelden.

4. De Strategie: "Greedy Construction + Swap Refinement"

Hoe kies je die specifieke huizen? Je kunt niet elke mogelijke combinatie controleren (er zijn er te veel!). Daarom gebruiken ze een tweestapsstrategie:

Greedy Building: Begin met een leeg terrein en voeg één huis per keer toe, waarbij je altijd degene kiest die de kaart op dat moment het meest verbetert. Het is als het bouwen van een puzzel stukje voor stukje.
De Swap: Zodod de puzzel is gebouwd, zoeken ze naar fouten. "Hé, dit huis in de hoek werkt niet; laten we het vervangen door dat huis daarbuiten." Ze blijven wisselen tot de kaart zo perfect mogelijk is.

De Resultaten

Wanneer ze deze methode testten op ImageNet (een enorme database van 1,4 miljoen afbeeldingen) om AI-beeldgeneratoren te trainen:

Betere Kwaliteit: De AI genereerde afbeeldingen die veel scherper en diverser waren (lagere "FID"-scores) vergeleken met eerdere methoden.
Efficiëntie: Ze konden de AI trainen met slechts 0,8% van de originele data (10.000 afbeeldingen in plaats van 1,4 miljoen) en behaalden nog steeds betere resultaten dan met willekeurige fragmenten van de volledige data.
Snelheid: Het proces van het selecteren van deze 10.000 afbeeldingen was veel sneller dan bij eerdere methoden.

Samenvattend:
Dit paper leert ons dat om een krachtige AI te trainen op een kleine dataset, je niet alleen de "moeilijkste" of "makkelijkste" voorbeelden moet kiezen. In plaats daarvan moet je wiskundig gezien een kleine groep afbeeldingen selecteren die de vorm, structuur en diversiteit van de oorspronkelijke enorme dataset perfect behoudt, waarbij de lege, ruisige randen worden genegeerd. Het is als het cureren van een tentoonstelling in een museum die de ziel van een hele kunsthistorische collectie vangt in slechts één kamer.

Technische Samenvatting: Geometrie-bewuste Dataset Condensatie voor Diffusiemodel Training

1. Probleemstelling

Dataset condensatie beoogt compacte datasets te construeren uit echte data via synthese of selectie om de opslag- en computationele kosten die gepaard gaan met het trainen van deep learning-modellen te verminderen. Hoewel bestaande condensatiemethoden succes hebben getoond bij discriminatieve taken (bijv. classificatie), zijn ze minder geschikt voor het trainen van diffusiemodellen.

Beperkingen van Synthese: Methoden die synthetische data genereren via continue pixeloptimalisatie produceren vaak samples met een lage getrouwheid (fidelity). Diffusiemodellen zijn zeer gevoelig voor ruis en structurele verstoringen, waardoor deze synthetische samples ongeschikt zijn voor authentieke modellering.
Beperkingen van Selectie: Bestaande methoden voor het selecteren van echte subsets vertrouwen doorgaans op vaste criteria of heuristische rangschikkingen (bijv. D2C rangschikt afbeeldingen op basis van diffusie-moeilijkheid langs een eendimensionale as). Deze benaderingen falen in het behoud van de complexe distributieve geometrie die vereist is voor diffusie-likelihood doelen. Ze missen vaak een fundamenteel optimalisatiedoel dat is afgestemd op diffusietraining, wat leidt tot subsets die slecht zijn uitgelijnd met de volledige datadistributie en die er niet in slagen de noodzakelijke manifold-structuur te vangen.

De kernuitdaging is het selecteren van een compacte, echte subset die de geometrische structuur en de distributieve getrouwheid van de volledige dataset behoudt, specifiek geoptimaliseerd voor de likelihood-gebaseerde trainingsdoelen van diffusiemodellen.

2. Methodologie

De auteurs stellen Geometry-Aware Dataset Condensation (GADC) voor, wat de selectie van echte subsets herformuleert als een geometrie-bewust distributie-uitlijningsprobleem. Het framework bestaat uit drie hoofdonderdelen:

A. One-Sided Partial Optimal Transport (POT)
Om de capaciteitsmismatch tussen een kleine subset en de volledige dataset aan te pakken, gebruiken de auteurs one-sided partial optimal transport.

Concept: In tegenstelling tot gebalanceerde OT, die volledige massa-uitlijning afdwingt, staat one-sided POT toe dat de bronmassa (geselecteerde subset) volledig wordt getransporteerd terwijl de doelmassa (volledige dataset) wordt versoepeld onder een capaciteitsrestrictie.
Mechanisme: Dit maakt het mogelijk om niet-overeenkomende massa in gebieden met een lage dichtheid aan de periferie te laten, waardoor de transportconcentratie verschuift naar de hoog-densiteit, geometrisch stabiele, dominante regio's van de data-manifold.
Implementatie: Het probleem wordt efficiënt opgelost met behulp van een "dummy-source" herformulering en entropische regularisatie, geoptimaliseerd via Sinkhorn-iteraties. Dit maakt flexibele massatoewijzing mogelijk waarbij de subset zich richt op representatieve regio's terwijl de noodzakelijke dekking behouden blijft.

B. Statistische en Semantische Regularisatie
Om de geometrische uitlijning aan te vullen en de distributieve getrouwheid te waarborgen, worden twee lichtgewicht regularisatietermen geïntroduceerd:

Mean-Variance Regularization ( $L_{sta}$ ): Stemt de eerste- en tweede-orde statistieken (gemiddelde en variantie) van de feature-representaties tussen de geselecteerde subset en de volledige dataset af om de globale distributieve getrouwheid te bewaren.
Confidence Regularization ( $L_{conf}$ ): Zorgt voor semantische consistentie door het selecteren van samples met lage voorspelde klasse-waarschijnlijkheden te bestraffen. Dit voorkomt de inclusie van onbetrouwbare geometrische ankers die de uitlijning in gevaar kunnen brengen.

C. Two-Stage Discrete Optimization Strategie
Omdat de selectie van een subset van vaste grootte een combinatorisch probleem is, stellen de auteurs een efficiënte twee-fasen solver voor:

Fase I (Greedy Geometry-Guided Selection): Een incrementeel constructieproces dat samples selecteert om het samengestelde objectief (POT loss + regularisaties) te minimaliseren, wat zorgt voor brede manifold-dekking.
Fase II (Swap-Based Refinement): Een verfijningsfase die paarwijze wissels (swaps) uitvoert tussen geselecteerde en niet-geselecteerde samples om vroege myope keuzes te corrigeren, wat de globale geometrische uitlijning en consistentie verder optimaliseert.

3. Belangrijkste Bijdragen

Probleemherformulering: Het paper herformuleert dataset condensatie voor diffusiemodellen als een distributie-uitlijningsprobleem, weg van heuristische rangschikking of scalaire selectie. Het introduceert een one-sided POT objectief met statistische regularisatie om representatieve echte subsets te selecteren.
Optimalisatieframework: Het stelt een twee-fasen discrete optimalisatiestructuur voor (greedy constructie gevolgd door swap-gebaseerde verfijning) die het uitlijningsprobleem efficiënt oplost, waarbij de beperkingen van vaste criteria of rangschikkingsgebaseerde sampling worden vermeden.
Empirische Prestaties: Uitgebreide experimenten tonen aan dat de methode superieure getrouwheid en distributieve dekking bereikt vergeleken met eerdere benaderingen over verschillende diffusievarianten (DiT, SiT), subsetgroottes, beeldresoluties en trainingsrondes.

4. Experimentele Resultaten

De methode werd geëvalueerd op ImageNet-1K met DiT-L/2 en SiT-L/2 architecturen met databudgets variërend van 0,8% (10K afbeeldingen) tot 8% (100K afbeeldingen).

Prestatie-metrieken: De voorgestelde methode behaalde consequent de laagste Fréchet Inception Distance (FID) en de hoogste Inception Score (IS), Precision en Recall vergeleken met baselines inclusief Random Sampling, K-Center, Herding, CCS, DQ en D2C.
- Voorbeeld: Op ImageNet 256×256 met een 10K databudget (0,8%) behaalde de methode een FID van 3,43, waarmee het D2C (4,20) en Random (35,86) versloeg.
- Voorbeeld: Bij een resolutie van 512×512 met een 10K budget behaalde de methode een FID van 6,17, aanzienlijk beter dan D2C (14,8).
Robuustheid: De verbeteringen bleven standhouden over verschillende diffusievarianten (DiT en SiT), verschillende evaluatieprotocollen (10K vs. 50K gegenereerde samples) en uitgebreide trainingsiteraties (tot 300K).
Efficiëntie: Het selectieproces is computationeel efficiënt. Op een enkele GPU duurde het de methode 5,5 uur om een 10K subset uit ImageNet te selecteren, vergeleken met 41,9 uur voor D2C en 30,4 uur voor DQ.

Ablatie-studies:

Het verwijderen van de POT loss ( $L_{OT}$ ) verslechterde de FID en verminderde de precision/recall, wat de noodzaak van geometrische uitlijning bevestigt.
Het vervangen van one-sided POT door balanced OT verslechterde de prestaties, wat het voordeel valideert van het toestaan van niet-overeenkomende massa in perifere regio's.
Het verwijderen van de statistische ( $L_{sta}$ ) of confidence ( $L_{conf}$ ) regularisatie leidde tot respectievelijk een slechtere FID of IS, wat het belang van globale statistieken en semantische helderheid benadrukt.

5. Betekenis en Claims

Het paper claimt dat door dataset condensatie te behandelen als een geometrie-bewust distributie-uitlijningsprobleem, het erin slaagt de kloof te overbruggen tussen data selectie en de specifieke vereisten van diffusiemodel training.

Data-efficiëntie: De methode maakt hoogwaardige generatieve modellering op gecondenseerde datasets mogelijk, wat de opslag- en computationele kosten die gepaard gaan met het trainen van diffusiemodellen aanzienlijk vermindert.
Getrouwheid: In tegen tegenstelling tot synthetische generatiemethoden, behoudt deze benadering de hoog-getrouwe structuur van echte samples terwijl het ervoor zorgt dat de subset uitgelijnd is met de geometrie van de volledige datadistributie.
Praktische bruikbaarheid: De voorgestelde twee-fasen optimalisatiestrategie is schaalbaar en computationeel efficiënt, wat het een praktische oplossing maakt voor omgevingen met beperkte middelen.

De auteurs concluderen dat hun methode een betrouwbaar datasubstraat biedt voor diffusie-stijl generatieve training, en daarmee een complementair, data-centrisch pad biedt om efficiëntie te verbeteren naast model-zijde optimalisaties.