SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

कल्पना कीजिए कि आप किसी वीडियो गेम या वर्चुअल रियलिटी अनुभव के लिए एक आभासी दुनिया बनाने की कोशिश कर रहे हैं। आप किसी पात्र या वस्तु को किसी भी कोण से दिखाना चाहते हैं, न कि केवल सामने से। लंबे समय तक, कंप्यूटर सपाट चित्रकारों की तरह थे; वे किसी चेहरे की तस्वीर ले सकते थे और उसे कार्टून में बदल सकते थे, लेकिन वे वास्तव में यह नहीं समझते थे कि उस चेहरे में गहराई है, एक नाक जो बाहर निकली हुई है, या किनारे पर कान हैं। यदि आप तस्वीर को तिरछा करने की कोशिश करते, तो कंप्यूटर बस उस छवि को खींच देता, जिससे चेहरा एक पिघले हुए पैनकेक जैसा दिखने लगता। इसे ठीक करने के लिए, वैज्ञानिक "3D-अवेयर" जनरेशन (3D-सचेत पीढ़ी) पर काम कर रहे हैं। यह कंप्यूटर को यह समझने में सिखाने की कला है कि वस्तुएं तीन-आयामी स्थान, आयतन और संरचना के साथ अस्तित्व में हैं, ताकि वे नए दृश्य बना सकें जो वास्तविक दिखें और सुसंगत रहें। वे जिन उपकरणों का उपयोग करते हैं वे डिजिटल मिट्टी (NeRFs, जो प्रकाश और छाया से 3D आकृतियाँ बनाते हैं) और डिजिटल कलाकार (GANs, जो उन आकृतियों पर यथार्थवादी बनावट पेंट करते हैं) की तरह हैं। बड़ा सवाल यह है कि हम इस प्रक्रिया को कैसे तेज़, अधिक सटीक और विभिन्न प्रकार की वस्तुओं को संभालने में सक्षम बना सकते हैं, जिसके लिए हमें हर एक चीज़ के लिए तस्वीरों के विशाल पुस्तकालय की आवश्यकता न हो?

यहीं पर "SemPix3D" नामक एक नया अध्ययन आता है। शोधकर्ता, सौविक बंद्योपाध्याय और तामल पाल, एक चतुर "हाइब्रिड" दृष्टिकोण प्रस्तावित करते हैं जो केवल कुछ संकेतों से 3D चित्र उत्पन्न करने की समस्या को हल करने के लिए दो अलग-अलग तकनीकों को जोड़ता है। उनकी विधि को एक दो-चरणीय असेंबली लाइन के रूप में सोचें। पहले, वे एक सिस्टम का उपयोग करते हैं जिसे न्यूरल रेडिएंस फील्ड (NeRF) कहा जाता है, जो एक "कंकाल निर्माता" (skeleton builder) के रूप में कार्य करता है। इस सिस्टम का हिस्सा रंगों या त्वचा के रंग की परवाह नहीं करता है; इसके बजाय, यह वस्तु के शुद्ध आकार और संरचना को सीखता है, जैसे कि एक पुतला। यह कुछ तस्वीरें लेता है और पता लगाता है कि किनारे कहाँ हैं, नाक कहाँ है, और आँखें कितनी गहरी हैं, जिससे वह वस्तु के 3D रूप का एक मानचित्र बनाता है।

एक बार जब यह "कंकाल" बन जाता है, तो मशीन का दूसरा हिस्सा सक्रिय हो जाता है: एक जेनेरेटिव एडवरसेरियल नेटवर्क (GAN)। यदि NeRF एक कंकाल है, तो GAN एक मेकअप आर्टिस्ट और कॉस्ट्यूम डिज़ाइनर है। यह पहले चरण द्वारा बनाए गए आकार के मानचित्र को लेता है और उस पर एक यथार्थवादी, उच्च-गुणवत्ता वाली रंगीन छवि पेंट करता है। जादू यह है कि GAN "कंडीशनल" (सशर्त) है, जिसका अर्थ है कि यह केवल उसी चीज़ को पेंट करता है जो उसे दिए गए आकार में फिट बैठती है। यह सिस्टम को एक नए कोण से चेहरे या कुर्सी की फोटोरियलिस्टिक (तस्वीर जैसा दिखने वाला) छवि उत्पन्न करने की अनुमति देता, भले ही उसने पहले कभी वह विशिष्ट कोण न देखा हो। शोधकर्ताओं ने इसका परीक्षण दो बहुत ही अलग चीजों पर किया: सिंथेटिक 3D आकार (जैसे कंप्यूटर-जनित कुर्सियाँ और कारें) और CelebMaskHQ नामक एक बड़े डेटासेट से मानव चेहरे।

परिणाम बताते हैं कि यह दो-चरणीय टीम उन पिछले तरीकों की तुलना में बेहतर काम करती है जो एक साथ सब कुछ करने की कोशिश करते थे। अपने सिमुलेशन में, SemPix3D मॉडल ने उत्पन्न छवियों की विविधता और वास्तविक तस्वीरों के प्रति उनकी निकटता के मामले में सुधार दिखाया। विशेष रूप से, सिंथेटिक आकार वाले डेटासेट पर, उन्होंने Pix2Pix3D नामक पद्धति की तुलना में गुणवत्ता स्कोर (जिसे FID कहा जाता है) में 15% सुधार और एक अन्य स्कोर (KID) में 5% सुधार देखा। जब उन्होंने मानव चेहरों पर इसका परीक्षण किया, तो मॉडल ने मौजूदा मॉडलों की तुलना में विविधता के मामले में लगभग 10% बेहतर प्रदर्शन किया और KID में 2% का सुधार दिखाया। लेखकों ने पाया कि "आकार को समझने" के काम को "रंग पेंट करने" के काम से अलग करके, वे कम प्रशिक्षण चक्रों के साथ अधिक सुसंगत और सटीक 3D दृश्य बना सकते हैं। उन्होंने यह भी नोट किया कि यह दृष्टिकोण प्रत्येक वस्तु के लिए भारी मात्रा में डेटा की आवश्यकता को कम करता है, क्योंकि "कंकाल" वाला हिस्सा एक श्रेणी (जैसे "सभी मानव चेहरे") के सामान्य आकार को सीखता है और "पेंटर" केवल विशिष्ट विवरण जोड़ता है। हालांकि यह पेपर यह दावा नहीं करता है कि यह विज्ञान के लिए सभी समस्याओं का समाधान है, लेकिन इसके सिमुलेशन संकेत देते हैं कि यह हाइब्रिड रणनीति वर्चुअल रियलिटी और ऑगमेंटेड रियलिटी अनुभवों को बहुत अधिक वास्तविक और इमर्सिव बनाने की दिशा में एक आशाजनक कदम है।