Towards Controllable Image Generation through Representation-Conditioned Diffusion Models

Technische Samenvatting: Naar Controleerbare Afbeeldingsgeneratie via Representatie-Geconditioneerde Diffusiemodellen

Probleemstelling
Hoewel diffusiemodellen de synthese en bewerking van hoogwaardige afbeeldingen hebben revolutionair veranderd, blijft het controleren van deze modellen om specifieke outputs te produceren een aanzienlijke uitdaging. In tegenstelling tot Generative Adversarial Networks (GAN's), die goed gestructureerde en ontkoppelde latente ruimtes bieden die precieze, fijnkorrelige modificaties faciliteren, ontbreekt het diffusiemodellen aan een even effectieve latente ruimte voor directe controle. Bestaande conditioneringsmethoden, zoals tekstprompts of semantische kaarten, vertrouwen vaak op uitgebreid geannoteerde datasets of complexe prompt-engineering, wat de precisie en aanpasbaarheid aan ongestructureerde data kan beperken. Bovendien is, hoewel representatie-geconditioneerde diffusiemodellen zijn onderzocht om de kwaliteit van onvoorwaardelijke generatie te verbeteren, hun potentieel om een controleerbare latente ruimte te bieden, niet grondig getest.

Methodologie
De auteurs stellen een Representatie-Geconditioneerd Diffusiemodel (RCDM) voor dat gebruikmaakt van een vooraf getraind zelftoezichtend model om het generatieproces te sturen. De architectuur bestaat uit twee hoofdcomponenten (geïllustreerd in Figuur 1):

1. Representatie-extractie: Een vooraf getrainde zelftoezichtende encoder (specifiek DINO) beeldt invoerafbeeldingen af op een verdeling van representaties in een lagere dimensie.
2. Conditionele generatie: Een ruisverminderende U-Net (gebaseerd op het Latent Diffusion Model, LDM) wordt getraind om een ruisverdeling af te beelden op de afbeeldingsverdeling, geconditioneerd op de representaties die door de encoder zijn geëxtraheerd.

De trainingspijplijn omvat twee fasen: eerst het afbeelden van afbeeldingen naar de representatieruimte met behulp van de SSL-encoder; tweede het trainen van het diffusiemodel om ruis te verminderen terwijl het geconditioneerd is op deze representaties. De auteurs passen methoden uit eerdere werken toe (met gebruik van MoCo v3 en MAGE), maar passen deze toe binnen het LDM-raamwerk dat geconditioneerd is op DINO-representaties. Experimenten werden uitgevoerd op de LSUN Churches- en Celeb-A-datasets.

Belangrijkste Bijdragen en Experimenten
Het artikel presenteert initiële experimenten om de effectiviteit van de representatieruimte voor controleerbare generatie te valideren, met focus op drie kernkwaliteiten:

• Robuustheid tegen verstoring: De auteurs testten de stabiliteit van het model door representatievectoren te verstoren met Gaussische ruis ($\hat{C} = C + \lambda\epsilon$). Resultaten geven aan dat, terwijl Diffusion Inversion bij hogere ruisniveaus ($\lambda > 0.4$) aanzienlijke kwaliteitsdegradatie ondergaat, het RCDM de beeldkwaliteit en consistentie behoudt terwijl het de inhoud aanpast.
• Interpolatie-gladheid: Lineaire interpolatie tussen twee representatievectoren ($\hat{C} = \alpha C_1 + (1-\alpha)C_2$) werd uitgevoerd. Het RCDM toonde semantisch gladdere overgangen tussen referentieafbeeldingen in vergelijking met Diffusion Inversion (die in het midden ononderscheidbaar werd) en Stable Diffusion (die plotselinge overgangen vertoonde).
• Semantische richtingontdekking:
  • Supervised: Door het berekenen van de gemiddelde representatie van specifieke attributen (bijvoorbeeld blond haar in Celeb-A) en het toevoegen daarvan aan een referentievector, slaagde het model erin om kenmerken te modificeren. De auteurs merkten echter op dat datasetcorrelaties (bijvoorbeeld kaalheid die correleert met mannelijk geslacht) onbedoelde attributenveranderingen kunnen beïnvloeden.
  • Unsupervised: Met behulp van Principal Component Analysis (PCA) op de representatieruimte identificeerden de auteurs richtingen die overeenkomen met semantische variaties zoals voorhoofdsgrootte, haarlengte en achtergrondkleur. Hoewel deze richtingen niet hetzelfde niveau van ontkoppeling bereikten als GAN's, toonden ze de haalbaarheid van unsupervised richtingontdekking aan.

Resultaten en Beweringen
Het artikel beweert dat representatie-geconditioneerde diffusiemodellen veelbelovende eigenschappen vertonen in hun conditioneringsruimte, specifiek gladheid en een graad van ontkoppeling. De experimenten suggereren dat het gebruik van representaties van een vooraf getraind zelftoezichtend model niet alleen de kwaliteit van onvoorwaardelijke afbeeldingsgeneratie verbetert, maar ook een latente ruimte creëert die geschikt is voor gecontroleerde generatie.

Betekenis
De auteurs positioneren dit werk als een voorlopige verkenning van een veelbelovende richting voor generatieve modellering. Zij betogen dat representatie-conditionering een overtuigende aanpak biedt om zowel de kwaliteit als de controleerbaarheid van diffusiemodellen te verbeteren, zonder de zware afhankelijkheid van geannoteerde datasets die nodig is voor tekstgebaseerde conditionering. Het artikel concludeert dat toekomstig werk zich kan richten op het aanpassen van representaties om de ontkoppeling verder te verbeteren en het toepassen van deze bevindingen op afbeeldingsbewerking en datavermeerdering in onvoorwaardelijke diffusiemodellen.