दो-आयामी (2D) तस्वीरों के संग्रह से वास्तविक दुनिया का त्रि-आयामी (3D) मॉडल बनाना कंप्यूटर विज़न की एक मौलिक चुनौती है। दशकों से, वैज्ञानिक इसे हल करने के लिए दो मुख्य दृष्टिकोणों पर भरोसा करते रहे हैं। पहला, जिसे मल्टी-व्यू स्टीरियो (multi-view stereo) के रूप में जाना जाता है, मानव मस्तिष्क की तरह काम करता है: यह एक ही वस्तु को विभिन्न कोणों से देखता है, मिलान वाले बिंदुओं को ढूंढता है, और सतह का प्रतिनिधित्व करने वाले बिंदुओं के एक सघन बादल (dense cloud) को बनाने के लिए उनकी दूरी की गणना करता है। दूसरा, 3D गॉसियन स्प्लैटिंग (3D Gaussian Splatting) नामक एक नया तरीका, दृश्य को एक ठोस वस्तु के रूप में नहीं, बल्कि अंतरिक्ष में तैरते हुए छोटे, रंगीन, पारभासी दीर्घवृत्तों (ellipses) के झुंड के रूप में दर्शाता है। जब एक कैमरा इस झुंड को देखता है, तो ये दीर्घवृत्त मिलकर एक स्पष्ट, यथार्थवादी छवि बनाते हैं। हालांकि यह नई विधि अविश्वसनीय रूप से तेज़ है और शानदार दृश्य परिणाम देती है, लेकिन वास्तविक 3D आकृतियाँ बनाने के मामले में इसमें एक महत्वपूर्ण दोष है। उन क्षेत्रों में जहाँ कैमरे के पास देखने के लिए कम कोण होते हैं, या जहाँ वस्तुएं दूसरों के पीछे छिपी होती हैं, ये तैरते हुए दीर्घवृत्त बिखर सकते हैं या अस्थिर, भूतिया संरचनाएं बना सकते हैं जो फोटो में तो अच्छे दिखते हैं लेकिन एक वास्तविक, ठोस सतह का प्रतिनिधित्व नहीं करते हैं।

वुहान विश्वविद्यालय और हांग्जो डियानज़ी विश्वविद्यालय के शोधकर्ताओं ने इस समस्या को ठीक करने के लिए CoMVS-GS नामक एक नया ढांचा विकसित किया है। उनका लक्ष्य तैरते हुए दीर्घवृत्तों की गति और दृश्य गुणवत्ता को पारंपरिक बिंदु-आधारित विधि की ज्यामितीय विश्वसनीयता के साथ जोड़ना था। इन दोनों तकनीकों को अलग-अलग उपकरणों के रूप में मानने के बजाय, उन्होंने उन्हें एक एकल प्रक्रिया में बुन दिया। परिणाम एक ऐसा सिस्टम है जो छोटे ऑब्जेक्ट्स और बड़े बाहरी वातावरण, दोनों के सटीक, ठोस 3D मेश (mesh) का पुनर्निर्माण कर सकता है, यहाँ तक कि कठिन प्रकाश व्यवस्था या जब दृश्य के कुछ हिस्से छिपे हों, तब भी। टीम ने पाया कि पुरानी, धीमी विधि की शक्तियों का उपयोग करके नई, तेज़ विधि को निर्देशित करने से, वे तैरते हुए आर्टिफैक्ट्स (artifacts) को खत्म कर सकते थे और ऐसी सतहें बना सकते थे जो दृश्य रूप से सम्मोहक और ज्यामितीय रूप से सटीक दोनों हों।

प्रक्रिया मुख्य अनुकूलन (optimization) शुरू होने से पहले एक महत्वपूर्ण चरण के साथ शुरू होती है। पारंपरिक तरीके अक्सर बिंदुओं के एक विरल सेट (sparse set) से शुरू होते हैं, जिससे बड़े अंतराल रह जाते हैं जिन्हें कंप्यूटर को भरने के लिए अनुमान लगाना पड़ता है। शोधकर्ताओं ने इसके बजाय अपने मॉडल को आरंभ करने के लिए एक मानक मल्टी-व्यू स्टीरियो एल्गोरिदम द्वारा उत्पन्न बिंदुओं के एक सघन बादल (dense cloud) का उपयोग किया। उन्होंने इन बिंदुओं को लिया और तैरते हुए दीर्घवृत्तों को बिल्कुल पहले क्षण से ही स्थानीय सतह के ओरिएंटेशन और मोटाई के अनुरूप आकार दिया। कल्पना कीजिए कि आप पहले हवा में कुछ ईंटें बिखेरकर और इस उम्मीद में एक दीवार बनाने की कोशिश कर रहे हैं कि वे एक सीधी रेखा में जम जाएंगी; यह नई विधि ईंटों को ठीक वहीं रखती है जहाँ उनकी आवश्यकता है, दीवार की सतह के साथ संरेखित करते हुए, इससे पहले कि निर्माण शुरू हो। इसने सिस्टम को एक मजबूत ज्यामितीय शुरुआत दी, जिससे शुरुआती प्रशिक्षण चरणों में दीर्घवृत्तों को अस्थिर संरचनाएं बनाने से रोका जा सका।

एक बार मॉडल को आरंभ करने के बाद, शोधकर्ताओं ने दोनों तकनीकों के बीच एक निरंतर फीडबैक लूप पेश किया। सिस्टम एक डेप्थ मैप (depth map) रेंडर करेगा, जो अनिवार्य रूप से एक चित्र है जो दिखाता है कि दृश्य के प्रत्येक बिंदु से दूरी कितनी है, और उस छवि का उपयोग मल्टी-व्यू स्टीरियो एल्गोरिदम को परिष्कृत करने के लिए करेगा। बदले में, परिष्कृत मल्टी-व्यू स्टीरियो एल्गोरिदम एक अधिक सटीक डेप्थ मैप तैयार करेगा, जिसका उपयोग तैरते हुए दीर्घवृत्तों को सुधारने के लिए किया जाएगा। इस पारस्परिक पर्यवेक्षण (mutual supervision) का अर्थ था कि सिस्टम लगातार अपने काम की जांच कर रहा था। यदि दीर्घवृत्त ऐसी जगह भटक जाते जहाँ उन्हें नहीं होना चाहिए था, तो मल्टी-व्यू स्टीरियो डेटा उन्हें वापस खींच लेता। यदि मल्टी-व्यू स्टीरियो डेटा बनावट (texture) की कमी के कारण अनिश्चित था, तो दीर्घवृत्तों का सघन बादल एक स्थिर मार्गदर्शक प्रदान करता था। इस आपसी शोधन (refinement) ने मॉडल को उन अंतरालों को भरने और सतहों को चिकना करने की अनुमति दी जिनसे पिछली विधियाँ संघर्ष करती थीं।

अंतिम चरण में इन परिष्कृत दीर्घवृत्तों को एक ठोस मेश (mesh) में बदलना शामिल था, जो एक 3D वस्तु का प्रतिनिधित्व करने के लिए उपयोग किया जाने वाला वायरफ्रेम स्किन है। कई मौजूदा विधियां पूरे 3D स्थान को छोटे क्यूब्स (cubes) के ग्रिड में विभाजित करके और प्रत्येक क्यूब के भीतर सतह की गणना करके इसे करने का प्रयास करती हैं। यह दृष्टिकोण क्यूब्स के आकार के प्रति संवेदनशील है; यदि क्यूब बहुत बड़े हैं, तो सूक्ष्म विवरण खो जाते हैं, लेकिन यदि वे बहुत छोटे हैं, तो कंप्यूटर मेमोरी की कमी महसूस करता है, विशेष रूप से बड़े बाहरी दृश्यों में। शोधकर्ताओं ने एक अलग तकनीक का उपयोग करके इस जाल से बचने के लिए 'डेलाने मेशिंग' (Delaunay graph-cut meshing) का उपयोग किया। एक कठोर ग्रिड पर निर्भर रहने के बजाय, यह विधि सतह के बिंदुओं को सीधे जोड़ती है और यह निर्धारित करने के लिए कैमरे की दृष्टि रेखा (line of sight) का उपयोग करती है कि स्थान का कौन सा हिस्सा वस्तु के अंदर है और कौन सा बाहर। इसने उन्हें ग्रिड-आधारित दृष्टिकोण से जुड़े मेमोरी बोझ या विवरण की हानि के बिना एक स्वच्छ, पूर्ण सतह बनाने की अनुमति दी।

टीम ने कई डेटासेट्स पर अपने तरीके का परीक्षण किया, जिसमें ऑब्जेक्ट-लेवल पुनर्निर्माण के लिए मानक DTU बेंचमार्क और GauU-Scene V2 और Matrixity सिटी डेटासेट्स से बड़े पैमाने पर बाहरी दृश्यों के नए उपसमुच्चय (subsets) शामिल थे। DTU बेंचमार्क पर, उनकी विधि ने एक औसत त्रुटि दर हासिल की जो मौजूदा सर्वोत्तम तकनीकों के प्रतिस्पर्धी थी, और अक्सर पुनर्गठित ज्यामिति की सटीकता में उनसे बेहतर प्रदर्शन किया। बाहरी दृश्यों में, अंतर और भी स्पष्ट था। जहाँ अन्य विधियों ने पानी या इमारतों के अग्रभाग (facades) जैसे क्षेत्रों में तैरते हुए टुकड़ों या बड़े छेदों के साथ मॉडल बनाए, वहीं CoMVS-GS ने स्वच्छ, निरंतर सतहें बनाईं। शोधकर्ताओं ने नोट किया कि उनके तरीके ने काफी कम चेहरे (faces) वाले मेश बनाए—DTU बेंचमार्क पर औसतन लगभग 8.76 मिलियन चेहरे, जबकि कुछ प्रतिस्पर्धियों के लिए यह 50 मिलियन से अधिक थे—जबकि उच्च ज्यामितीय सटीकता बनाए रखी। यह संक्षिप्तता यह सुझाव देती है कि मॉडल ने अंतराल भरने के लिए अनावश्यक जटिलता जोड़े बिना दृश्य के वास्तविक आकार को अधिक कुशलता से कैप्चर किया।

अध्ययन में यह देखने के लिए परीक्षण भी शामिल थे कि उनके सिस्टम के कौन से भाग सबसे महत्वपूर्ण थे। जब उन्होंने सघन बिंदु क्लाउड (dense point cloud) के आरंभिकरण को हटाया, तो मॉडल सपाट सतहों, विशेष रूप से तीखे कोणों से देखे जाने वाले भवन अग्रभागों पर अभिसरण (converge) करने में संघर्ष करता है। जब उन्होंने पारस्परिक पर्यवेक्षण लूप को हटाया, तो ज्यामितीय सटीकता गिर गई और सतहें कम चिकनी हो गईं। अंत में, जब उन्होंने अपनी नई मेशिंग तकनीक को वापस पारंपरिक ग्रिड-आधारित विधि से बदला, तो परिणामी मॉडल में छेद और अपूर्ण क्षेत्र दिखाई दिए, जिससे पुष्टि हुई कि उनका ग्राफ-कट दृष्टिकोण बड़े बाहरी दृश्यों को संभालने के लिए आवश्यक था। शोधकर्ताओं ने निष्कर्ष निकाला कि मल्टी-व्यू स्टीरियो को न केवल एक अंतिम चरण के रूप में, बल्कि आरंभिकरण, निरंतर पर्यवेक्षण और सतह निष्कर्षण के स्रोत के रूप में एकीकृत करके, वे एक ऐसा स्तर की ज्यामितीय स्थिरता प्राप्त कर सके जो कोई भी विधि अकेले नहीं पा सकती थी।

हालांकि यह विधि एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करती है, लेखक स्वीकार करते हैं कि यह अत्यधिक परावर्तक (reflective) या पारदर्शी सतहों के साथ अभी भी चुनौतियों का सामना करती है, जहाँ विभिन्न कैमरा दृश्यों के बीच मिलान वाले बिंदु खोजना कठिन होता है। इसके अतिरिक्त, डेप्थ मैप को समय-समय पर परिष्कृत करने की प्रक्रिया में कुछ कम्प्यूटेशनल लागत जुड़ जाती है, जो बहुत उच्च-रिज़ॉल्यूशन वाले दृश्यों के लिए एक कारक हो सकता है। हालाँकि, परिणाम दर्शाते हैं कि पारंपरिक फोटोग्रामेट्री की ज्यामितीय कठोरता को आधुनिक न्यूरल रेंडरिंग की दक्षता के साथ जोड़ना अधिक मजबूत और सटीक 3D पुनर्निर्माण के लिए एक व्यवहार्य मार्ग है। यह कार्य सुझाव देता है कि 3D मॉडलिंग का भविष्य शायद विभिन्न तकनीकों के बीच चयन करने में नहीं, बल्कि उन्हें एक साथ काम करने के तरीके खोजने में है, ताकि एक-दूसरे की कमजोरियों को दूर करने के लिए एक-दूसरे की ताकत का लाभ उठाया जा सके।