Technische Samenvatting: Representatie-Geconditioneerde Diffusiemodellen voor Geleide Generatie van Trainingsdata

Probleemstelling

De beschikbaarheid van data blijft een kritieke bottleneck in deep learning, waarbij grote datasets vaak duur zijn om te verzamelen, te cureren en te annoteren. Dit beperkt de schaalbaarheid van supervised learning. Hoewel generatieve modellen, met name diffusiemodellen, een potentiële oplossing bieden voor synthetische data-generatie, staan bestaande benaderingen voor aanzienlijke uitdagingen in de meest veeleisende scenario's:

1. Geen externe begeleiding: Alleen de doeldataset is beschikbaar, wat het gebruik van voorgeprogrammeerde tekst-naar-beeldmodellen die afhankelijk zijn van tekstprompts, verhindert.
2. Exclusief synthetische training: Het downstream-model wordt uitsluitend getraind op gegenereerde data zonder toegang tot echte afbeeldingen.
3. Geen extra annotaties: Er zijn geen tekstprompts of extra labels beschikbaar om de generatie te sturen, behalve klasselabels.

In dit scenario moet het generatieve model de volledige diversiteit van de echte data-verdeling vastleggen zonder het voordeel van externe semantische begeleiding; een taak waarbij conventionele op klasse geconditioneerde generatie vaak worstelt met samplekwaliteit en mode-coverage.

Methodologie

De auteurs stellen een pijplijn voor die gebruikmaakt van Representatie-Geconditioneerde Diffusiemodellen (RCDM's) om synthetische trainingsdata te genereren. De methodologie bestaat uit twee hoofdfasen:

1. Synthetische Data-generatie (RCDM)

Het generatieproces omvat het trainen van een Latent Diffusion Model (LDM) dat is geconditioneerd op hoogwaardige visuele representaties in plaats van klasselabels of tekstprompts.

• Encoder-selectie: Invoerafbeeldingen worden geprojecteerd naar een lager-dimensionale representatieruimte met behulp van voorgeprogrammeerde visuele encoders. De studie evalueert drie specifieke encoders:
  • DINOv2 (ViT-B/14): Produceert 768-dimensionale CLS-token-embeddings.
  • DINOv3 (ViT-B/16): Produceert 768-dimensionale CLS-token-embeddings.
  • CLIP (ViT-B/32): Produceert 512-dimensionale embeddings (aangeduid als unCLIP).
• Training: Het LDM wordt getraind op de ImageNet-100-dataset (130k afbeeldingen, 100 klassen, resolutie 256×256) gedurende 125 epochs met een batchgrootte van 16.
• Sampling: Afbeeldingen worden gegenereerd met een Denoising Diffusion Probabilistic Model (DDPM) met 100 inferentiestappen. Om diversiteit te waarborgen die verder gaat dan de oorspronkelijke datasetgrootte, worden verschillende willekeurige zaden gebruikt voor de initialisatie van de latente ruis, terwijl semantische consistentie wordt behouden via representatie-conditionering.

2. Evaluatie

De kwaliteit van de synthetische data wordt beoordeeld door een ResNet-50-classificator uitsluitend te trainen op de gegenereerde datasets.

• Basisvergelijking: De prestaties worden vergeleken met een classificator die is getraind op de echte ImageNet-100-dataset en met een op klasse geconditioneerde LDM (Cond-LDM) als baseline.
• Augmentatie: Synthetische afbeeldingen worden ook gebruikt om echte data te augmenteren, vergeleken met klassieke augmentatietechnieken (AutoAug, RandAug, MixUp, ME-ADA).
• Filtering: Een strategie voor het filteren van samples wordt getest waarbij gegenereerde afbeeldingen worden teruggekaart naar de representatieruimte, en extreme samples (de 25% dichtstbij en de 25% verst verwijderd van de klassencentroïden) worden verwijderd om "middelste" samples te behouden.

Belangrijkste Bijdragen

Het artikel presenteert de volgende bijdragen:

• Evaluatie van RCDM's voor Training: De auteurs evalueren de classificatieprestaties van modellen die zijn getraind op synthetische datasets gegenereerd door RCDM's, en onderzoeken de impact van de datasetgrootte en de specifieke conditionerende representatie (DINOv2, DINOv3, CLIP).
• Schaalvergroting van Synthetische Data: De studie toont aan dat door de grootte van de synthetische dataset te vergroten, RCDM's de prestaties van modellen die uitsluitend op echte data zijn getraind, kunnen overtreffen.
• Augmentatie en Filtering: Het artikel toont aan dat door RCDM gegenereerde afbeeldingen effectief zijn voor data-augmentatie en dat ze klassieke technieken overtreffen, en dat de conditionerende representatieruimte eenvoudige en effectieve strategieën voor het filteren van samples mogelijk maakt.

Resultaten

Experimenten zijn uitgevoerd op ImageNet-100, een uitdagende dataset vanwege de diversiteit en de beperkte omvang.

1. Schaalvergroting van Synthetische Datasets

• Prestaties versus Echte Data: Wanneer de grootte van de synthetische dataset werd vergroot tot vier keer de grootte van de echte dataset, presteerden classificatoren die waren getraind op door RCDM gegenereerde data beter dan de baseline die was getraind op echte data.
  • DINOv2-geconditioneerd: Bereikte 79,26% Top-1-accuraatheid (tegenover 77,26% voor de echte baseline).
  • DINOv3-geconditioneerd: Bereikte 78,8% Top-1-accuraatheid.
  • CLIP-geconditioneerd: Bereikte 76,3% Top-1-accuraatheid bij een schaal van 4x, wat een concurrerend trend aangeeft.
• Vergelijking met Op Klasse Geconditioneerd: De op klasse geconditioneerde baseline (Cond-LDM) bereikte een maximum van 68,5% Top-1-accuraatheid, wat significant onder de RCDM-benaderingen blijft. Dit onderstreept de noodzaak van rijke semantische conditionering via voorgeprogrammeerde visuele encoders om de onderliggende structuur van de data-verdeling vast te leggen.

2. Filtering van Representatieruimte

Het filteren van synthetische data door het verwijderen van de 25% dichtstbijzijnde en de 25% verst verwijderde representaties van klassencentroïden resulteerde in lichte verbeteringen ten opzichte van ongefilterde synthetische data (bijvoorbeeld bereikte DINOv3 gefilterd 71,10% tegenover 70,02% ongefilterd bij een schaal van 1x), hoewel er nog steeds een gat bleef ten opzichte van de baseline op echte data.

3. Data-augmentatie

Wanneer gebruikt om echte data te augmenteren (vergroting van de datasetgrootte naar 2x of 3x):

• RCDM + Echte Data: Het toevoegen van synthetische data gegenereerd met DINOv2-representaties (totale grootte 3x) bereikte 82,22% Top-1-accuraatheid.
• Vergelijking: Dit presteerde beter dan alle geteste klassieke augmentatiemethoden, waaronder MixUp (81,58%), AutoAug (81,28%) en ME-ADA (80,14%).
• Cond-LDM: Augmentatie met op klasse geconditioneerde synthetische data (80,68%) presteerde slechter dan RCDM-gebaseerde augmentatie.

Betekenis en Claims

De auteurs beweren dat Representatie-Geconditioneerde Diffusiemodellen een veelbelovende aanpak bieden voor het augmenteren, aanvullen of potentieel vervangen van datasets uit de echte wereld in visuele leertaken op grote schaal.

• Overtreffen van Echte Data: Het vermogen om een classificator die is getraind op echte afbeeldingen te overtreffen door een puur synthetische dataset te schalen, wordt gepresenteerd als "opmerkelijk bewijs" voor het potentieel van generatief deep learning in de synthese van trainingsdata.
• Overwinnen van Beperkingen: In tegenstelling tot tekst-naar-beeldmodellen die prompts vereisen, maken RCDM's gebruik van zelftoezicht visuele representaties om de generatie te sturen, waardoor de domeinkloof tussen echte en synthetische data effectief wordt verkleind.
• Toekomstige Richtingen: Het artikel suggereert dat toekomstig werk zich kan richten op het verbeteren van sampling via de representatieruimte (bijvoorbeeld interpolatie, mining van harde voorbeelden), het verfijnen van mechanismen voor het verwijderen van uitbijters, en het verifiëren van prestaties over verschillende datasets en scenario's voor data-beschikbaarheid.

Het werk positioneert RCDM's niet alleen als een hulpmiddel voor data-augmentatie, maar als een levensvatbare motor voor het genereren van hoogwaardige trainingsdata in scenario's waar echte data schaars is, beperkt (bijvoorbeeld privacyzorgen bij medische beeldvorming) of onvoldoende voor schaalvergroting.