Mixed Neural Rendering: Interactive Mixed Reality Capture and Curation for Neural 3D Reconstruction
यह शोध पत्र मिक्स्ड न्यूरल रेंडरिंग (MiNeR) को प्रस्तुत करता है, जो होलोलेंस 2 का उपयोग करने वाला एक संवादात्मक मिक्स्ड रियलिटी पाइपलाइन है जो पारंपरिक अधिग्रहण सीमाओं को दूर करने और सुदृढ़, ऑब्जेक्ट-केंद्रित न्यूरल 3D पुनर्निर्माण को सक्षम करने के लिए रियल-टाइम कैप्चर, इन-सीटू निरीक्षण और प्रॉम्प्टेबल सेगमेंटेशन को एकीकृत करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने पसंदीदा खिलौने की एक कैमरा के जरिए एकदम सटीक, फोटो-रियलिस्टिक 3D कॉपी बनाने की कोशिश कर रहे हैं। आमतौर पर, आपको बहुत सारी तस्वीरें लेनी होंगी, उन्हें एक सुपरकंप्यूटर को भेजना होगा, और घंटों इंतज़ार करना होगा कि वह यह पता लगा सके कि हर शॉट के लिए आप कहाँ खड़े थे। अगर आपने कोई जगह छोड़ दी या कोई तस्वीर धुंधली ली, तो कंप्यूटर क्रैश हो सकता है, और आपको यह तब तक पता नहीं चलेगा जब तक कि बहुत देर न हो जाए। यह केक बनाने जैसा है और केवल यह महसूस करना कि आप अंडे डालना भूल गए जब केक पहले से ही ओवन में जा चुका है।
यहाँ आता है MiNeR (मिक्स्ड न्यूरल रेंडरिंग), एक नया सिस्टम जिसे शोधकर्ताओं की एक टीम ने इस "बेकिंग आपदा" वाली समस्या को ठीक करने के लिए बनाया है। उन्होंने एक ऐसा वर्कफ़्लो बनाया है जो आपको फोटो लेते समय ही उन्हें कैप्चर करने, जांचने और ठीक करने की अनुमति देता है, जिसका उपयोग HoloLens 2 नामक एक विशेष हेडसेट के माध्यम से किया जाता है।
"जादुई चश्मे" वाला वर्कफ़्लो
HoloLens 2 को केवल एक कैमरे के रूप में नहीं, बल्कि जादुई चश्मे के रूप में सोचें जो दुनिया को 3D में देखते हैं। जब आप इन्हें पहनते हैं और फोटो लेते हैं, तो चश्मे को तुरंत पता चल जाता है कि आप कहाँ खड़े हैं और किस दिशा में देख रहे हैं।
पुराने तरीके में, आप फोटो लेते थे, घर जाते थे, और उम्मीद करते थे कि कंप्यूटर कोणों (angles) का पता लगा लेगा। Mi-NeR के साथ, जैसे-जैसे आप अपने ऑब्जेक्ट के चारों ओर घूमते हैं, आप अपनी दृष्टि में छोटे तैरते हुए "घोस्ट कैमरा" (ghost cameras) देखते हैं जो दिखाते हैं कि आपने कहाँ-कहाँ तस्वीरें ली हैं।
- समस्या: यदि आप देखते हैं कि जहाँ आपने फोटो नहीं ली है वहाँ एक खाली जगह है, या वहाँ कोई धुंधली फोटो तैर रही है, तो आप उसे वहीं तुरंत डिलीट कर सकते हैं।
- समाधान: आप उस खाली जगह पर जा सकते हैं और तुरंत एक नई तस्वीर खींच सकते हैं। आप वास्तविक समय में अपना खुद का डेटासेट क्यूरेट कर रहे हैं, कंप्यूटर के काम शुरू करने से पहले ही एक मानव संपादक के रूप में कार्य कर रहे हैं।
तीन बड़े प्रयोग
शोधकर्ताओं ने केवल यह सिस्टम बनाया ही नहीं; उन्होंने इसे नौ अलग-अलग वास्तविक दुनिया की वस्तुओं (जैसे पानी की बोतल, बैकपैक और पंखा) के साथ एक कठोर "टेस्ट टेस्ट" से गुजारा। उन्होंने यह देखने के लिए तीन अलग-अलग वेरिएबल्स का परीक्षण किया कि सबसे अच्छा 3D कॉपी बनाने के लिए क्या चाहिए:
- "जीपीएस" (पोज़ सोर्स): क्या उन्होंने हेडसेट की इन-बिल्ट ट्रैकिंग (Direct) का उपयोग किया, या कोणों का पता लगाने के लिए COLMAP नामक एक शक्तिशाली ऑफलाइन कंप्यूटर प्रोग्राम (SfM) का उपयोग किया?
- "मास्क" (सेगमेंटेशन): क्या उन्होंने बैकग्राउंड को हटाने और केवल ऑब्जेक्ट पर ध्यान केंद्रित करने के लिए एक AI टूल (SAM 2) का उपयोग किया, या उन्होंने बैकग्राउंड की अव्यवस्था को रहने दिया?
- "इंजन" (रेंडरर): क्या उन्होंने पुराने "NeRF" तरीके का उपयोग किया या 3D मॉडल बनाने के लिए नए "3D Gaussian Splatting" (3DGS) तरीके का उपयोग किया?
उन्होंने क्या पाया (स्कोरबोर्ड)
परिणाम स्पष्ट थे, लेकिन कुछ महत्वपूर्ण चेतावनियों के साथ।
1. "गोल्ड स्टैंडर्ड" (सर्वश्रेष्ठ गुणवत्ता)
जब सब कुछ पूरी तरह से सही होता है, तो सबसे अच्छे परिणाम तीन चीजों के संयोजन से आते हैं:
- कोणों के लिए COL_MAP कंप्यूटर प्रोग्राम का उपयोग करना।
- बैकग्राउंड को मास्क करने के लिए SAM 2 AI का उपयोग करना।
- 3D Gaussian Splatting (3DGS) इंजन का उपयोग करना।
इस कॉम्बो ने उच्चतम गुणवत्ता वाली छवियां बनाईं, जिसने 31.78 का PSNR, 0.964 का SSIM, और 0.050 का LPIPS स्कोर किया। (सोचिए कि PSNR एक "स्पष्टता स्कोर" है जहाँ उच्च स्कोर बेहतर होता है; 31.78 बहुत शार्प है)।
2. "प्लान बी" (विश्वसनीयता)
यहाँ एक मोड़ है: "गोल्ड स्टैंडर्ड" (COLMAP) नाजुक है। उनके परीक्षणों में, यह 9 में से 4 वस्तुओं पर काम करने में विफल रहा (केवल 55% सीक्वेंस ही सफल हुए)। यह एक हाई-एंड स्पोर्ट्स कार की तरह है जो सड़क थोड़ी ऊबड़-खाबड़ होने पर खराब हो जाती है।
हालाँकि, "डायरेक्ट" विधि (हेडसेट की अपनी ट्रैकिंग का उपयोग करना) कभी विफल नहीं हुई। इसने 9 में से 9 वस्तुओं पर काम किया (100% सफलता)।
- समझौता (Trade-off): डायरेक्ट विधि ने अकेले (बिना मास्किंग के) कम गुणवत्ता वाली छवियां बनाईं (PSNR लगभग 13.27 से 13.36), गोल्ड स्टैंडर्ड की तुलना में। लेकिन, यह कभी क्रैश नहीं हुई। लेखक इसे एक महत्वपूर्ण "फालबैक" विकल्प के रूप में देखते हैं: यदि फैंसी कंप्यूटर काम नहीं कर पाता है, तो हेडसेट की अपनी ट्रैकिंग प्रक्रिया को जीवित रखती है।
3. "मास्क" की शक्ति
चाहे वे किसी भी विधि का उपयोग करें, AI मास्क के साथ बैकग्राउंड को काटने से बहुत बड़ा अंतर पड़ा।
- 3DGS इंजन के लिए, मास्किंग ने COLMAP का उपयोग करते समय गुणवत्ता स्कोर में +12.37 अंक और डायरेक्ट हेडसेट पोज़ का उपयोग करते समय +10.04 अंक का सुधार किया।
- मूल रूप से, कंप्यूटर को यह बताना कि "मेसी रूम को अनदेखा करें, केवल कुर्सी पर ध्यान दें" उसे बैकग्राउंड की अव्यवस्था से भ्रमित होने से रोकता है।
4. इंजनों का विजेता
नया 3D Gaussian Splatting (3DGS) तरीका लगभग हर टेस्ट में पुराने NeRF तरीके को लगातार हरा गया। यह तेज़ था, "डायरेक्ट" पोज़ को बेहतर तरीके से संभालता था, और अधिक शार्प परिणाम देता था।
निष्कर्ष
यह पेपर सुझाव देता है कि MiनेR साधारण तस्वीरों से 3D मॉडल बनाने के लिए एक गेम-चेंजर है क्योंकि यह मानव को प्रक्रिया में शामिल करता है। यह वादा नहीं करता कि हेडसेट की ट्रैकिंग एकदम परफेक्ट है (यह स्वीकार करता है कि हेडसेट के कोण, सुपर-कंप्यूटर की तुलना में "ड्रिफ्ट" या कम सटीक हो सकते हैं)। इसके बजाय, यह एक सुरक्षा जाल प्रदान करता है: यदि कंप्यूटर काम करता है तो आप उच्चतम संभव गुणवत्ता प्राप्त कर सकते हैं, लेकिन आप हमेशा हेडसेट की अपनी ट्रैकिंग और AI मास्किंग का उपयोग करके एक उपयोगी परिणाम प्राप्त कर सकते हैं।
यह कोई जादू की छड़ी नहीं है जो हर समस्या को तुरंत हल कर देती है; लेखक स्वीकार करते हैं कि उनका परीक्षण छोटा था (केवल एक कमरे में नौ वस्तुएं) और उन्होंने स्केल से सटीक ज्यामितीय सटीकता को नहीं मापा। लेकिन फिलहाल, यह सुझाव देता है कि मानव क्यूरेशन को AI मास्किंग और सही 3D इंजन के साथ मिलाना एक अव्यवस्थित कमरे को एक साफ, पुन: उपयोग योग्य 3D एसेट में बदलने का सबसे विश्वसनीय तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।