SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

Stellen Sie sich vor, Sie möchten eine virtuelle Welt für ein Videospiel oder ein Virtual-Reality-Erlebnis erschaffen. Sie wollen einen Charakter oder ein Objekt aus jedem beliebigen Winkel zeigen können, nicht nur von vorne. Lange Zeit waren Computer wie flache Maler; sie konnten ein Foto eines Gesichts aufnehmen und es in einen Cartoon verwandeln, aber sie verstanden wirklich nicht, dass das Gesicht eine Tiefe hat, eine Nase, die hervorsteht, oder Ohren an der Seite. Wenn man versuchte, das Bild seitlich zu drehen, würde der Computer das Bild einfach dehnen, was das Gesicht wie einen geschmolzenen Pfannkuchen aussehen ließe. Um dies zu beheben, arbeiten Wissenschaftler an der „3D-bewussten“ Generierung. Dies ist die Kunst, Computern beizubringen, dass Objekte im dreidimensionalen Raum existieren, mit Volumen und Struktur, damit sie neue Ansichten erstellen können, die realistisch aussehen und konsistent bleiben. Die Werkzeuge, die sie verwenden, sind wie digitaler Ton (NeRFs, die 3D-Formen aus Licht und Schatten aufbauen) und digitale Künstler (GANs, die realistische Texturen auf diese Formen malen). Die große Frage ist: Wie machen wir diesen Prozess schneller, genauer und in der Lage, verschiedene Arten von Objekten zu handhaben, ohne für jedes einzelne Ding eine riesige Bibliothek von Fotos zu benötigen?

Hier kommt eine neue Studie namens „SemPix3D“ ins Spiel. Die Forscher Souvik Bandyopadhyay und Tamal Pal schlagen einen cleveren „Hybrid“-Ansatz vor, der zwei verschiedene Technologien kombiniert, um das Problem der Erzeugung von 3D-Bildern aus nur wenigen Hinweisen zu lösen. Denken Sie an ihre Methode als eine Art zweistufiges Fließband. Zuerst nutzen sie ein System namens Neural Radiance Field (NeRF), das als „Skelett-Builder“ fungiert. Dieser Teil des Systems kümmert sich nicht um Farben oder Hauttöne; stattdessen lernt er die reine Form und Struktur eines Objekts, wie eine Schaufenikpuppe. Er nimmt ein paar Bilder und findet heraus, wo die Kanten sind, wo die Nase ist und wie tief die Augen liegen, wodurch er eine Karte der 3D-Form eines Objekts erstellt.

Sobald dieses „Skelett“ gebaut ist, setzt der zweite Teil der Maschine ein: ein Generative Adversarial Network (GAN). Wenn das NeRF das Skelett ist, dann ist das GAN der Make-up-Artist und Kostümbildner. Es nimmt die durch den ersten Schritt erstellte Formkarte und malt ein realistisches, hochwertiges Farbbild darauf. Die Magie hierbei ist, dass das GAN „konditioniert“ ist, was bedeutet, dass es nur das malt, was zur gegebenen Form passt. Dies ermöglicht es dem System, ein fotorealistisches Bild eines Gesichts oder eines Stuhls aus einem neuen Winkel zu generieren, selbst wenn es diesen spezifischen Winkel noch nie gesehen hat. Die Forscher testeten dies an zwei sehr unterschiedlichen Dingen: synthetischen 3D-Formen (wie computergenerierten Stühlen und Autos) und menschlichen Gesichtern aus einem großen Datensatz namens CelebMaskHQ.

Die Ergebnisse legen nahe, dass dieses zweistufige Team besser funktioniert als bisherige Methoden, die versuchten, alles gleichzeitig zu erledigen. In ihren Simulationen zeigte das SemPix3D-Modell Verbesserungen darin, wie vielfältig die generierten Bilder waren und wie nah sie an echten Fotos lagen. Speziell beim Datensatz für synthetische Formen sahen sie eine Verbesserung von 15 % bei einem Qualitätswert namens FID und eine Verbesserung von 5 % bei einem anderen Wert namens KID im Vergleich zu einer Methode namens Pix2Pix3D. Als sie es an menschlichen Gesichtern testeten, schnitt das Modell um etwa 10 % besser in Bezug auf die Diversität ab und zeigte eine Verbesserung von 2 % beim KID im Vergleich zu bestehenden Modellen. Die Autoren fanden heraus, dass durch die Trennung der Aufgabe des „Verstehens der Form“ von der Aufgabe des „Malens der Farbe“ sie konsistentere und genauere 3D-Ansichten mit weniger Trainingszyklen erstellen konnten. Sie merkten auch an, dass dieser Ansatz die Notwendigkeit für massive Mengen an Daten für jedes einzelne Objekt reduziert, da der „Skelett“-Teil die allgemeine Form einer Kategorie (wie „alle menschlichen Gesichter“) lernt und der „Maler“ nur die spezifischen Details hinzufügt. Obwohl das Paper nicht behauptet, dass dies ein für die gesamte Wissenschaft gelöstes Problem ist, deuten die Simulationen darauf hin, dass diese Hybridstrategie ein vielversprechender Schritt ist, um Virtual-Reality- und Augmented-Reality-Erlebnisse viel realistischer und immersiver zu gestalten.