SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

Stel je voor dat je een virtuele wereld wilt bouwen voor een videogame of een virtual reality-ervaring. Je wilt een personage of een object vanuit elke hoek kunnen laten zien, niet alleen van voren. Lange tijd waren computers als platte schilders; ze konden een foto van een gezicht nemen en er een cartoon van maken, maar ze begrepen niet echt dat een gezicht diepte heeft, een neus die uitsteekt, of oren aan de zijkant. Als je de foto opzij zou draaien, zou de computer de afbeelding gewoon uitrekken, waardoor het gezicht eruit zou zien als een gesmolten pannenkoek. Om dit op te lossen, werken wetenschappers aan "3D-bewuste" generatie. Dit is de kunst van het leren aan computers dat objecten bestaan in een driedimensionale ruimte, met volume en structuur, zodat ze nieuwe aanzichten kunnen creëren die er echt uitzien en consistent blijven. De hulpmiddelen die ze gebruiken zijn als digitale klei (NeRFs, die 3D-vormen bouwen van licht en schaduwen) en digitale kunstenaars (GANs, die realistische texturen op die vormen schilderen). De grote vraag is: hoe maken we dit proces sneller, nauwkeuriger en in staat om verschillende soorten objecten te verwerken zonder een enorme bibliotheek aan foto's nodig te hebben voor elk ding dat we willen creëren?

Hier komt een nieuwe studie genaamd "SemPix3D" kijken. De onderzoekers, Souvik Bandyopadhyay en Tamal Pal, stellen een slim "hybride" aanpak voor die twee verschillende technologieën combineert om het probleem van het genereren van 3D-beelden vanuit slechts enkele aanwijzingen op te lossen. Denk aan hun methode als een assemblageband met twee stappen. Eerst gebruiken ze een systeem genaamd een Neural Radiance Field (NeRF) om als een "skeletbouwer" te fungeren. Dit deel van het systeem geeft niet om kleuren of huidtinten; in plaats daarvan leert het de pure vorm en structuur van een object, zoals een mannequin. Het neemt een paar foto's en ontdekt waar de randen zijn, waar de neus zit en hoe diep de ogen liggen, waardoor het een kaart van de 3D-vorm van het object maakt.

Zodra dit "skelet" is gebouwd, komt het tweede deel van de machine in actie: een Generative Adversarial Network (GAN). Als de NeRF het skelet is, dan is de GAN de make-up artist en kostuumontwerper. Het neemt de vormkaart die in de eerste stap is gemaakt en schildert een realistische, hoogwaardige kleurenafbeelding op deze. De magie hier is dat de GAN "conditioneel" is, wat betekent dat hij alleen schildert wat bij de gegeven vorm past. Dit stelt het systeem in staat om een fotorealistisch beeld van een gezicht of een stoel vanuit een nieuwe hoek te genereren, zelfs als het die specifieke hoek nog nooit heeft gezien. De onderzoekers testten dit op twee zeer verschillende dingen: synthetische 3D-vormen (zoals door de computer gegenereerde stoelen en auto's) en menselijke gezichten van een grote dataset genaamd CelebMaskHQ.

De resultaten suggereren dat dit tweestaps-team beter werkt dan eerdere methoden die probeerden alles tegelijk te doen. In hun simulaties liet het SemPix3D-model verbeteringen zien in hoe divers de gegenereerde beelden waren en hoe dicht ze bij echte foto's lagen. Specifiek, op de synthetische vorm-dataset, zagen ze een verbetering van 15% in een kwaliteitsscore genaamd FID en een verbetering van 5% in een andere score genaamd KID vergeleken met een methode genaamd Pix2Pix3D. Toen ze het testten op menselijke gezichten, presteerde het model ongeveer 10% beter in termen van diversiteit en liet het een verbetering van 2% zien in KID vergeleken met bestaande modellen. De auteurs vonden dat door de taak van "het begrijpen van de vorm" te scheiden van de taak van "het schilderen van de kleur", ze meer consistente en nauwkeurige 3D-weergaven konden creëren met minder trainingscycli. Ze merkten ook op dat deze aanpak de noodzaak vermindert voor enorme hoeveelheden gegevens voor elk afzonderlijk object, aangezien het "skelet"-gedeelte de algemene vorm van een categorie leert (zoals "alle menselijke gezichten") en de "schilder" alleen de specifieke details toevoegt. Hoewel het artikel niet beweert dat dit een opgelost probleem is voor de hele wetenschap, geven de simulaties aan dat deze hybride strategie een veelbelovende stap is naar het maken van virtual reality- en augmented reality-ervaringen die er veel echter en meeslepender uitzien.