High Quality Image Generation using Improved Generative Adversarial Networks and Optimized Stable Diffusion Models

In het digitale tijdperk hebben computers geleerd te zien en te creëren, waarbij ze veel verder zijn gegaan dan eenvoudige berekeningen naar het domein van artistieke synthese. De kern van deze capaciteit ligt bij systemen die ontworpen zijn om afbeeldingen vanaf nul te genereren, waarbij ze de manier nabootsen waarop een mens een scène zou kunnen schilderen of fotograferen die hij nog nooit echt heeft gezien. Jarenlang vertrouwde de leidende methode voor deze taak op een concept dat bekend staat als een Generative Adversarial Network. Stel je twee kunstenaars voor die in hetzelfde atelier werken: de een probeert een overtuigende vervalsing te maken, terwijl de ander optreedt als een strenge criticus die probeert de vervalsing te ontdekken. Ze spelen een voortdurend spel waarbij de vervalser beter wordt in het verbergen van zijn trucs, en de criticus scherper wordt in het vinden ervan. Na verloop van tijd dwingt deze competitie de vervalser om afbeeldingen zo realistisch te produceren dat zelfs de deskundige criticus niet meer kan onderscheiden of ze echt of nep zijn. Dit proces is echter berucht moeilijk te beheren; de kunstenaars raken vaak in een sleur waarbij ze steeds dezelfde paar afbeeldingen herhalen, of het spel stort simpelweg in voordat er iets nuttigs is gecreëerd.

Onlangs is er een andere aanpak naar voren gekomen, een die niet vertrouwt op een competitief spel, maar in plaats daarvan op een proces van geleidelijke verfijning. Denk hierbij aan het beginnen met een canvas bedekt met statische ruis, zoals de sneeuw op een oude televisie, en langzaam de ruis weg te poetsen om een helder beeld eronder te onthullen. Deze methode, bekend als een diffusiemodel, heeft een opmerkelijk vermogen getoond om hoogwaardige afbeeldingen te creëren die stabiel en divers zijn. Een specifieke versie van deze technologie, genaamd Stable Diffusion, heeft de aandacht getrokken door haar kracht om schriftelijke beschrijvingen om te zetten in visuele scènes. Onderzoekers vroegen zich al lang af hoe deze twee verschillende methoden — het competitieve spel en de geleidelijke verfijning — zich verhouden wanneer ze tot het uiterste worden gedreven, en of het combineren van hun sterke punten de hardnekkige problemen zou kunnen oplossen die de beeldgeneratie jarenlang hebben tegengehouden.

Een team van onderzoekers van hogescholen in Mumbai, India, zette zich af om deze vraag te verkennen door beide systemen zij aan zij te bouwen en te testen. Hun werk richtte zich op een specifieke uitdaging: het creëren van hoogwaardige afbeeldingen wanneer de beschikbare data beperkt is, een situatie die vaak voorkomt in velden zoals forensische wetenschap of medische beeldvorming waar echte voorbeelden schaars zijn. Ze trainden hun systemen op drie verschillende collecties foto's: een set van 3.000 hoogwaardige portretten van menselijke gezichten, een grotere collectie van 6.000 algemene afbeeldingen van het internet, en een kleine groep van 100 beroemdhedenfoto's. Het doel was om te zien welk systeem de meest levensechte resultaten kon produceren en of ze nieuwe afbeeldingen van een specifiek persoon, zoals een acteur, konden genereren op basis van slechts een handvol voorbeelden.

De resultaten van hun experimenten onthulden een duidelijk onderscheid tussen de twee technologieën. Het traditionele competitieve systeem, het Generative Adversarial Network, was in staat om herkenbare gezichten te leren en te produceren na training, maar het worstelde met consistentie. Wanneer de onderzoekers het testten op de grote collectie internetafbeeldingen, identificeerde het systeem echte afbeeldingen versus zijn eigen creaties ongeveer 91 procent van de tijd, en op de portretcollectie bereikte het een nauwkeurigheid van 81 procent. Hoewel deze cijfers laten zien dat het systeem leerde, misten de geproduceerde afbeeldingen vaak de fijne details en natuurlijke variatie die in het echte leven te vinden zijn. De onderzoekers observeerden dat het systeem soms er niet in slaagde de volledige reikwijdte van mogelijkheden in de data te vangen, wat leidde tot afbeeldingen die enigszins repetitief of minder scherp aanvoelden.

In contrast hiermee toonde het systeem gebaseerd op het proces van geleidelijke verfijning, het Stable Diffusion-model, een superieur vermogen om realistische en diverse afbeeldingen te creëren. Wanneer de onderzoekers dit model fijn afstelden om specifieke onderwerpen te begrijpen, was de verbetering opvallend. Wanneer ze het model bijvoorbeeld trainden op afbeeldingen van de acteur Brad Pitt, kopieerde het model niet alleen de foto's die het had gezien; het fijn afgestelde model extrapoleerde effectief het eerdere uiterlijk van de acteur, ook al waren er geen jeugdfoto's opgenomen in de trainingsdata. Dit vermogen om een onderwerp op een andere levensfase te verbeelden, suggereert dat het model een overtuigende afbeelding van hem als kind zou kunnen genereren. De onderzoekers maten dit succes met een scoresysteem dat controleert hoe goed de afbeelding overeenkomt met de verstrekte beschrijving; het geoptimaliseerde model behaalde een score van 31,98 op de internet-afbeeldingsdataset, een cijfer dat duidde op een hoog niveau van visuele coherentie en detail.

De studie onderzocht ook hoe deze systemen beter konden werken door hun interne instellingen aan te passen, vergelijkbaar met het afstemmen van de knoppen op een radio om het duidelijkste signaal te vinden. Ze ontdekten dat de grootte van de groep afbeeldingen die de computer tegelijkertijd verwerkt, de kwaliteit van de output aanzienlijk beïnvloedde. Door verschillende groepsgroottes te testen, ontdekten ze dat het verwerken van vijf afbeeldingen tegelijkertijd de beste resultaten opleverde voor hun specifieke opstelling. Bovendien vergeleken ze verschillende versies van de verfijningstechnologie en ontdekten ze dat het beste model voor het maken van portretten niet noodzakelijkerwijs hetzelfde was als het model dat het beste werkte voor algemene scènes. Dit benadrukt dat er niet één perfect instrument is voor elke taak; de keuze van het systeem moet worden afgestemd op het specifieke type afbeeldingen dat wordt gemaakt.

Uiteindelijk concludeerden de onderzoekers dat hoewel de competitieve methode zijn plaats heeft, de aanpak van geleidelijke verfijning een betrouwbaarder pad biedt voor het genereren van hoogwaardige afbeeldingen, vooral wanneer het doel is om realistische variaties van een onderwerp te creëren vanuit een kleine hoeveelheid data. De verfijnde modellen produceerden afbeeldingen met minder fouten, zoals wazige randen of vreemde vervormingen, en behielden een consistentie in licht en kleur die het andere systeem moeite had om te evenaren. Dit werk suggereert dat voor toepassingen die hoge getrouwheid vereisen, zoals het creëren van visueel bewijs voor juridische zaken, het verbeteren van medische scans of het genereren van kunst, de nieuwere verfijningsgebaseerde technologie het krachtigere instrument is. De onderzoekers merkten op dat hun bevindingen diverse velden kunnen helpen, van landbouw tot forensische wetenschap, door een manier te bieden om realistische visuele data te genereren waar die voorheen niet bestonden. De studie is een praktische demonstratie dat we door deze moderne systemen te optimaliseren, dichter bij machines komen die niet alleen afbeeldingen creëren, maar geloofwaardige realiteiten.