कल्पना कीजिए कि आप एक खिलौना कार का एक आदर्श, 3D मॉडल बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक सपाट तस्वीर है। यह कंप्यूटर विजन वैज्ञानिकों का दैनिक संघर्ष है: एक एकल 2D चित्र को 3D वस्तु में बदलना। ऐसा करने के लिए, कंप्यूटर अक्सर एक अनुमान लगाने वाला खेल खेलते हैं। वे कल्पना करने की कोशिश करते हैं कि कार पीछे, बगल और ऊपर से कैसी दिखती है, जिससे "नकली" तस्वीरों का एक पूरा सेट तैयार होता है। फिर, वे इन तस्वीरों को एक ठोस 3D आकार में जोड़ने के लिए न्यूरल रेडिएंस फील्ड (या NeRF) नामक एक विशेष डिजिटल टूल का उपयोग करते हैं। NeRF को एक सुपर-स्मार्ट कलाकार के रूप में समझें जो 2D रेखाचित्रों के संग्रह के आधार पर एक 3D मूर्ति बना सकता है। समस्या यह है कि जब कंप्यूटर अन्य कोणों का अनुमान लगाता है, तो वह अक्सर गलतियाँ करता है। कार का पिछला हिस्सा सामने के हिस्से से थोड़ा अलग हो सकता है, या पहिए गलत जगह पर हो सकते हैं। जब कलाकार इन बेमेल रेखाचित्रों को जोड़ने की कोशिश करता है, तो अंतिम मूर्ति धुंधली, डगमगाती हुई या विकृत हो जाती है।

यहीं पर इस शोध पत्र के शोधकर्ता एक चतुर नए तरीके के साथ आते हैं। उन्होंने महसूस किया कि कंप्यूटर को यह मानने के लिए मजबूर करने के बजाय कि सभी नकली तस्वीरें एकदम सही हैं, उन्हें कंप्यूटर को गलतियों की उम्मीद करना और उन्हें तुरंत ठीक करना सिखाना चाहिए। उन्होंने एक ऐसी प्रणाली बनाई जो विशेषज्ञों की एक टीम की तरह काम करती है। जबकि एक मुख्य संपादक कार के सामान्य आकार को संभालता है, "व्यू-एडेप्टिव" (दृश्य-अनुकूल) संपादकों का एक समूह तैयार रहता है, जिसमें से प्रत्येक को एक विशिष्ट कोण सौंपा गया है। यदि "पीछे के दृश्य" वाले संपादक को कोई गड़बड़ी दिखती है, तो वे कार के बाकी हिस्सों को खराब किए बिना केवल उस हिस्से को ठीक करते हैं। वे "सेल्फ-अटेंशन" तंत्र का भी उपयोग करते हैं, जो एक स्मार्ट मैनेजर की तरह है जो सभी संपादकों की बात सुनता है, शोर मचाने वालों को अनदेखा करता है, और उनके सबसे अच्छे विचारों को एक एकल, पूर्ण 3D मॉडल में मिला देता है। परिणाम एक विधि है जो बहुत अधिक स्पष्ट, सटीक 3D आकार बनाती है, यहाँ तक कि तब भी जब कंप्यूटर के शुरुआती अनुमान थोड़े अस्त-व्यस्त हों, और यह इसे बिना उस भारी, धीमी कंप्यूटिंग शक्ति के करता है जिसकी आमतौर पर इन त्रुटियों को ठीक करने के लिए आवश्यकता होती है।

समस्या: "ग्लिच वाला" फोटो बूथ

कल्पना कीजिए कि आप एक फोटो बूथ में जाते हैं जो वादा करता है कि वह आपकी एक तस्वीर लेगा और फिर तुरंत आपका एक 3D होलोग्राम बना देगा। आप अंदर कदम रखते हैं, एक फोटो खींचते हैं, और मशीन बाएं, दाएं, सामने और पीछे से आपकी नई तस्वीरें बनाना शुरू कर देती है। लेकिन यहाँ एक पेंच है: क्योंकि मशीन अनुमान लगा रही है कि आप उन कोणों से कैसे दिखते हैं जिन्हें उसने नहीं देखा है, नई तस्वीरें एकदम सही नहीं हैं। बाईं तस्वीर में आपका कान थोड़ा बड़ा दिख सकता है, जबकि दाईं तस्वीर में वह बहुत छोटा दिख सकता है। बैकग्राउंड बदल सकता है।

जब आप इन ग्लिच वाली तस्वीरों से 3D मॉडल बनाने की कोशिश करते हैं, तो परिणाम एक गड़बड़ बन जाता है। यह ताश के पत्तों का घर बनाने जैसा है जहाँ आधे पत्ते ही मुड़े हुए हैं; पूरी संरचना एक धुंधले ढेर में बदल जाती है। पारंपरिक कंप्यूटर विज़न विधियाँ इन बेमेल तस्वीरों को सहमत होने के लिए मजबूर करने की कोशिश करती हैं, लेकिन वे अक्सर सभी शानदार विवरणों को भी चिकना कर देती हैं, जिससे एक विस्तृत खिलौना कार या मूर्ति के बजाय एक आकारहीन, डगमगाता हुआ ढेर रह जाता है।

समाधान: विशेषज्ञों की एक टीम

इस शोध पत्र के लेखकों, यू-चे का जुन, जेयून को, और जीवू कांग ने इस गड़बड़ को संभालने का एक नया तरीका प्रस्तावित किया। एक विशाल मस्तिष्क का उपयोग करने के बजाय जो एक साथ सभी कोणों को समझने की कोशिश करता है, उन्होंने एक "शेयर्ड बैकबोन" (साझा रीढ़) और "व्यू-एडेप्टिव रेंडरर्स" (दृश्य-अनुकूल रेंडरर) वाली प्रणाली बनाई।

शेयर्ड बैकबोन को मुख्य वास्तुकार के रूप में समझें जो जानता है कि कार कैसे बनाई जाती है। वह बुनियादी ढांचा बनाता है जो हर कोण के लिए समान होता है। फिर, विशेष संपादकों (व्यू-एडेप्टिव रेंडरर्स) की एक टीम की कल्पना करें। प्रत्येक संपादक को एक विशिष्ट कोण सौंपा गया है।

• "फ्रंट व्यू एडिटर" सामने की तस्वीर को देखता है। यदि पहिए थोड़े अजीब दिखते हैं, तो यह संपादक केवल पहियों को ठीक करता है।
• "साइड व्यू एडिटर" बगल की तस्वीर को देखता है। यदि दरवाजे का हैंडल गलत जगह पर है, तो वह केवल उसे ठीक करता है।

महत्वपूर्ण रूप से, ये संपादक आपस में नहीं लड़ते हैं। वे सभी मुख्य वास्तुकार के ब्लूप्रिंट को साझा करते हैं, इसलिए वे गलती से कार के आकार या बनावट को नहीं बदलते हैं। वे केवल अपने स्वयं के कोण के विशिष्ट छोटे दोषों को ठीक करते हैं। इसका अर्थ है कि यह प्रणाली अपने ग्लिच वाले इनपुट फोटो को बिना भ्रमित हुए संभाल सकती है।

गोंद: सेल्फ-अटेंशन मैनेजर

एक बार जब सभी संपादक अपना काम कर लेते हैं, तो प्रणाली को उनके सुधारों को एक अंतिम 3D मॉडल में मिलाने की आवश्यकता होती है। यहीं पर सेल्फ-अटेंशन फ्यूजन मॉड्यूल आता है। कल्पना कीजिए कि एक प्रोजेक्ट मैनेजर कमरे के बीच में बैठा है। वह सभी संपादकों के काम को देखता है। यदि "टॉप व्यू एडिटर" उस समस्या के बारे में चिल्ला रहा है जो मौजूद ही नहीं है, तो मैनेजर उन्हें अनदेखा कर देता है। यदि "साइड व्यू एडिटर" के पास एक बहुत अच्छा सुधार है, तो मैनेजर उसे हाइलाइट करता है।

यह मैनेजर प्रत्येक दृश्य के महत्व को निर्धारित करने के लिए "सेल्फ-अटेंशन" नामक एक गणितीय उपकरण का उपयोग करता है। यह सुनिश्चित करता है कि अंतिम 3D मॉडल सुसंगत और सुचारू हो, जो शोर को फ़िल्टर करते हुए हर कोण के सर्वोत्तम हिस्सों को मिलाता है। शोध पत्र दिखाता है कि यह मैनेजर अपने काम में इतना कुशल है कि यह बहुत कम इनपुट दृश्यों वाली स्थितियों को भी संभाल सकता है।

उन्होंने क्या पाया: गति और स्पष्टता

शोधकर्ताओं ने 50 3D वस्तुओं (गूगल स्कैन्ड ऑब्जेक्ट्स डेटासेट से) के एक डेटासेट का उपयोग करके पुराने तरीकों के मुकाबले अपनी नई प्रणाली का परीक्षण किया। उन्होंने PSNR (रंग कितने करीब हैं), SSIM (संरचनाएं कितनी समान हैं), और चैम्फर डिस्टेंस (वास्तविक चीज़ के कितने करीब है) जैसे मानक स्कोर का उपयोग करके 3D मॉडल की सटीकता को मापा।

परिणाम प्रभावशाली थे। जब उन्होंने एक मानक 3D पुनर्निर्माण टूल जिसे NeuS कहा जाता है, पर अपनी नई "व्यू-एडेप्टिव" प्रणाली का उपयोग किया, तो गुणवत्ता में उल्लेखनीय वृद्धि हुई:

• PSNR स्कोर 19.76 से बढ़कर 22.74 हो गया।
• SSIM स्कोर 0.790 से सुधरकर 0.833 हो गया।
• चैम्फर डिस्टेंस (जहाँ कम होना बेहतर है) 0.0168 से गिरकर 0.0122 हो गया।
• IoU (इंटरसेक्शन ओवर यूनियन, जहाँ अधिक होना बेहतर है) 0.6268 से बढ़कर 0.7015 हो गया।

सरल शब्दों में, 3D मॉडल बहुत अधिक स्पष्ट दिखे, उनमें धुंधले धब्बे कम थे, और वे वास्तविक वस्तुओं के बहुत करीब थे।

"सीक्रेट सॉस": भारी मेहनत की आवश्यकता नहीं

सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि यह विधि कितनी कुशल है। आमतौर पर, इन प्रकार के ग्लिच को ठीक करने के लिए, कंप्यूटरों को "स्कोर डिस्टिलेशन सैंपलिंग" (SDS) नामक एक भारी, धीमी तकनीक का उपयोग करने की आवश्यकता होती है। यह अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा है; यह काम करता है, लेकिन इसमें बहुत समय और ऊर्जा लगती है।

लेखकों ने पाया कि उनकी व्यू-एडेप्टिव प्रणाली इतनी अच्छी थी कि उसे इन ग्लिच को खुद ठीक करने के लिए भारी हथौड़े की बहुत कम आवश्यकता पड़ी।

• जब उन्होंने केवल मानक रेंडरिंग लॉस (बुनियादी गणित जो यह जांचता है कि तस्वीर सही दिख रही है या नहीं) का उपयोग किया, तो उनके सिस्टम को प्रशिक्षित करने में केवल 7 मिनट लगे और इसने 0.0122 का चैम्फर डिस्टेंस प्राप्त किया।
• जब उन्होंने भारी SDS लॉस जोड़ा, तो प्रशिक्षण का समय बढ़कर 54 मिनट हो गया, और सटीकता केवल थोड़ी सी (0.0109 तक) ही बढ़ी।

यह सुझाव देता है कि कई वास्तविक दुनिया के अनुप्रयोगों के लिए, आपको धीमी, महंगी विधियों की आवश्यकता नहीं है। "व्यू-एडेप्टिव" दृष्टिकोण आपको बहुत कम समय में लगभग उतना ही उच्च-गुणवत्ता वाला परिणाम देता है।

यह क्यों मायने रखता है

यह शोध पत्र बताता है कि हमें पूर्ण 3D मॉडल प्राप्त करने के लिए पूर्ण इनपुट की आवश्यकता नहीं है। यह स्वीकार करके कि कंप्यूटर-जनित तस्वीरें हमेशा छोटी गलतियों के साथ होंगी, और एक ऐसी प्रणाली बनाकर जो इन गलतियों को पहचान सके और उन्हें व्यक्तिगत रूप से ठीक कर सके, हम बहुत बेहतर 3D सामग्री बना सकते हैं।

शोधकर्ताओं ने अपने विचार का विभिन्न इनपुट दृश्यों (4, 8, 12, और 16) के साथ परीक्षण किया। उन्होंने पाया कि उनकी विधि विशेष रूप से कम दृश्यों (जैसे केवल 4) के मामले में शक्तिशाली थी। इन कठिन स्थितियों में, पुराने तरीके बहुत धुंधले परिणाम देते थे, लेकिन नई प्रणाली स्पष्ट बनी रही। यह एक बड़ी बात है क्योंकि वास्तविक दुनिया में, हमारे पास अक्सर केवल कुछ ही फोटो होते हैं।

लेखकों ने यह भी उल्लेख किया कि उनका तरीका विभिन्न प्रकार के "फोटो जनरेटर" (जैसे Zero-1-to-3 और Wonder3D) के साथ अच्छी तरह काम करता है, जो बताता है कि यह एक लचीला उपकरण है जिसे विभिन्न मौजूदा प्रणालियों में जोड़ा जा सकता है। हालांकि वे स्वीकार करते हैं कि उनकी विधि अभी भी संघर्ष करती है यदि इनपुट तस्वीरें बहुत अधिक शोर वाली हैं या बैकग्राउंड बहुत अव्यवस्थित है, फिर भी परिणाम एक स्पष्ट रास्ता दिखाते हैं: एक एकल स्नैपशॉट को विस्तृत 3D दुनिया में बदलने का एक तेज़, स्मार्ट तरीका।