From Geometric Initialization to Gaussian Refinement: A Depth-Prior-Guided Framework for Monocular Endoscopic 3D Gaussian Reconstruction

मानव शरीर के भीतर, एक सर्जन का दृश्य अक्सर एंडोस्कोप के संकीचे, बदलते हुए टनल (सुरंग) तक ही सीमित होता है। सुरक्षित रूप से नेविगेट करने और नाजुक कार्य करने के लिए, डॉक्टर कंप्यूटर-सहायता प्राप्त प्रणालियों पर भरोसा करते हैं जो एकल कैमरा फीड से सर्जिकल स्थल का त्रि-आयामी (3D) मानचित्र बना सकती हैं। यह एक कठिन चुनौती है क्योंकि शरीर के भीतर का वातावरण कोई स्थिर, अच्छी रोशनी वाला कमरा नहीं है। यह कोमल, गीले ऊतकों का एक परिदृश्य है जो हर सांस और धड़कन के साथ हिलता, खिंचता और अपना आकार बदलता है। सतहें अक्सर फिसलन भरी और परावर्तक होती हैं, जिनमें कंप्यूटर के पकड़ बनाने के लिए बहुत कम विशिष्ट पैटर्न होते हैं। जब कैमरे की रोशनी किसी गीली सतह से टकराती है, तो यह चमकीले, अंधा कर देने वाले धब्बे पैदा करती है जो मानक विजन एल्गोरिदम को भ्रमित कर देते हैं। वर्षों से, शोधकर्ताओं ने वीडियो फ्रेम से विशेषताओं (features) के एक फ्रेम से दूसरे फ्रेम में जाने के तरीके को ट्रैक करने वाली तकनीकों का उपयोग करके इन 3D मानचित्रों को बनाने की कोशिश की है, लेकिन सर्जरी के अराजक वातावरण में, ये विशेषताएं अक्सर गायब हो जाती हैं या धुंधली हो जाती हैं, जिससे कंप्यूटर के पास दृश्य की एक खंडित और अपूर्ण समझ रह जाती है।

हाल ही में, 3D गॉसियन स्प्लेटिंग (3D Gaussian Splatting) नामक एक नया दृष्टिकोण इन मानचित्रों को बनाने के लिए एक शक्तिशाली उपकरण के रूप में उभरा है। एक दृश्य की कल्पना एक ठोस मेश या निरंतर क्लाउड के रूप में नहीं, बल्कि अंतरिक्ष में तैरते लाखों छोटे, धुंधले, रंगीन दीर्घवृत्तों (ellipsoids) के संग्रह के रूप में करें। इनमें से प्रत्येक छोटा आकार रंग और गहराई के बारे में जानकारी रखता है, और जब कंप्यूटर उन्हें एक विशिष्ट कोण से देखता है, तो वे एक स्पष्ट, यथार्थवादी छवि बनाने के लिए आपस में मिल जाते हैं। यह विधि पुरानी तकनीकों की तुलना में अविश्वसनीय रूप से तेज़ और कुशल है, लेकिन इसमें एक गंभीर कमजोरी है: इसे एक बहुत अच्छे शुरुआती बिंदु की आवश्यकता होती है। यदि कंप्यूटर इन तैरते हुए आकारों के बिखरे हुए, विरल या गलत सेट के साथ शुरुआत करता है, तो अंतिम 3D मानचित्र विकृत, धुंधला या बड़े हिस्सों के गायब होने वाला होगा। सर्जरी के संदर्भ में, एक खराब शुरुआती बिंदु का अर्थ है कि कंप्यूटर किसी महत्वपूर्ण अंग की दूरी का गलत अनुमान लगा सकता है, जो उस प्रणाली पर भरोसा करने वाले सर्जन के लिए एक खतरनाक त्रुटि है।

शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नया ढांचा विकसित किया है, जिसे विशेष रूप से मोनोक्यूलर एंडोस्कोपिक सर्जरी की जटिल परिस्थितियों के लिए डिज़ाइन किया गया है। उनका काम उन दो मुख्य चरणों को संबोधित करता है जहाँ त्रुटियां आमतौर पर होती हैं: 3D मानचित्र का प्रारंभिक निर्माण और उसके बाद उस मानचित्र को सटीक बनाने के लिए उसका पॉलिशिंग (परिष्करण)। ऊतक की गहराई का अनुमान लगाने के लिए जानकारी के एकल स्रोत पर भरोसा करने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया है जो एक साथ कई "विशेषज्ञ" डेप्थ एस्टिमेटर्स (गहराई मापने वाले मॉडल) की बात सुनता है। ये अलग-अलग कंप्यूटर मॉडल हैं, जिनमें से प्रत्येक को यह अनुमान लगाने के लिए प्रशिक्षित किया गया है कि वस्तुएं कितनी दूर हैं, लेकिन प्रत्येक की अपनी ताकत और कमजोरियां हैं। एक मॉडल किनारों (edges) को देखने में अच्छा हो सकता है, जबकि दूसरा चिकनी सतहों को समझने में बेहतर हो सकता है। शोधकर्ताओं ने पाया कि जब वे केवल एक मॉडल के सबसे अच्छे अनुमान को चुनते थे, तो परिणाम अक्सर पक्षपाती या असंगत होता था। इसे ठीक करने के लिए, उन्होंने एक सहयोगात्मक प्रणाली बनाई जो इन विभिन्न विशेषज्ञों के अनुमानों को संरेखित करती है, वह साझा आधार ढूंढती है जहाँ उनके अनुमान सहमत होते हैं, और फिर उन्हें एक एकल, मजबूत मार्गदर्शक में मिला देती है। यह मिला हुआ मार्गदर्शक एक विश्वसनीय ब्लूप्रिंट के रूप में कार्य करता है, जिससे कंप्यूटर को बाद में अंतराल भरने के लिए संघर्ष करने के बजाय, शुरुआत से ही लाखों छोटे 3D आकारों को सघनता से और सटीकता से रखने की अनुमति मिलती है।

हालाँकि, एक अच्छे शुरुआती ब्लूप्रिंट के साथ भी, मानचित्र में त्रुटियां आ सकती हैं जब कंप्यूटर छवि को परिष्कृत करने का प्रयास करता है। शरीर के भीतर के ऊतकों में सूक्ष्म विवरण होते हैं—सूक्ष्म उभार, छोटी रक्त वाहिकाएं, और विभिन्न प्रकार के अंगों के बीच तीक्ष्ण सीमाएं—जो परिष्करण प्रक्रिया के दौरान आसानी से सुचारू या लुप्त हो सकते हैं। इन नाजुक संरचनाओं को संरक्षित करने के लिए, शोधकर्ताओं ने काम की जांच करने का एक नया तरीका पेश किया है। केवल अंतिम छवि को देखकर यह जांचने के बजाय कि रंग मेल खाते हैं या नहीं, वे छवि को एक साथ तीन अलग-अलग लेंसों के माध्यम से देखते हैं। वे समग्र आकार और रंग की जांच करते हैं, लेकिन वे छवि का विश्लेषण इस तरह से भी करते हैं जो सूक्ष्म बनावट (textures) और तीक्ष्ण किनारों को उजागर करता है, और एक अन्य तरीका जो विशेष रूप से सीमाओं की दिशा और शक्ति पर ध्यान केंद्रित करता है। इन तीन अलग-अलग जांचों को एक साथ लागू करके, सिस्टम को बारीक विवरणों को तीक्ष्ण रखने और किनारों को स्पष्ट बनाए रखने के लिए मजबूर किया जाता है, जिससे छवि के धुंधले होने या अपनी संरचनात्मक अखंडता खोने की संभावना नहीं रहती। यह बहु-स्तरीय दृष्टिकोण सुनिश्चित करता है कि अंतिम 3D पुनर्निर्माण केवल एक मोटा अनुमान नहीं है, बल्कि सर्जिकल दृश्य का एक उच्च-सटीकता वाला प्रतिनिधित्व है।

टीम ने वास्तविक सर्जिकल वीडियो फुटेज वाले दो वास्तविक-विश्व डेटासेट्स पर अपने तरीके का परीक्षण किया। परिणामों ने पिछले तरीकों की तुलना में स्पष्ट सुधार दिखाया। एक डेटासेट पर, उनके सिस्टम ने काफी स्पष्ट और सटीक छवियां बनाईं, जिसमें इमेज क्वालिटी का पैमाना मौजूदा सर्वोत्तम तकनीक की तुलना में लगभग 8 प्रतिशत सुधरा। दूसरे डेटासेट पर, सुधार और भी अधिक स्पष्ट था, जिसमें गुणवत्ता में 4 प्रतिशत से अधिक की वृद्धि हुई। इससे भी महत्वपूर्ण बात यह है कि छवियां मानव आंख के लिए अधिक स्वाभाविक दिखीं, जिनमें कम ध्यान भटकाने वाले आर्टिफैक्ट्स और सूक्ष्म शारीरिक विवरणों का बेहतर संरक्षण था। सिस्टम ने यह परिणाम केवल कुछ मिनटों के प्रोसेसिंग समय में प्राप्त किया, जिससे यह क्लिनिकल सेटिंग में उपयोगी होने के लिए पर्याप्त तेज़ बन गया, जबकि इसने कंप्यूटर मेमोरी की एक प्रबंधनीय मात्रा का उपयोग किया। शोधकर्ताओं ने प्रदर्शित किया कि एक स्मार्ट, सहयोगात्मक दृष्टिकोण को शुरुआती 3D मानचित्र बनाने और उसे परिष्कृत करने के लिए एक कठोर, बहु-आयामी पद्धति के साथ जोड़कर, वे कमजोर बनावट और ऊतक विरूपण (tissue deformation) की विशिष्ट चुनौतियों पर काबू पा सकते हैं, जो लंबे समय से एंडोस्कोपिक पुनर्निर्माण को परेशान कर रही हैं। यह कार्य सुझाव देता है कि सर्जिकल नेविगेशन का भविष्य शायद एक एकल पूर्ण एल्गोरिदम खोजने पर कम, और एक एकल, विश्वसनीय सत्य बनाने के लिए कई अपूर्ण एल्गोरिदम को संचालित करने पर अधिक निर्भर करेगा।