तकनीकी सारांश: SAGO – वर्चुअल ड्रोन्स को लॉन्च करके ऑनलाइन सेगमेंट 3D गासियंस (Gaussians)

1. समस्या विवरण

3D गासियन स्प्लेटिंग (3DGS) दृश्यों का इंटरैक्टिव सेगमेंटेशन मौजूदा विधियों के कम्प्यूटेशनल ओवरहेड के कारण बाधित है। वर्तमान अत्याधुनिक दृष्टिकोणों (state-of-the-art approaches) में आमतौर पर इंटरैक्टिव सेगमेंटेशन शुरू होने से पहले एक समय लेने वाला "सेटअप चरण" (दहाई सेकंड से मिनटों तक) की आवश्यकता होती है। इस सेटअप में मल्टी-व्यू मास्क तैयारी, मास्क लिफ्टिंग, फीचर डिस्टिलेशन और प्रति-दृश्य कंट्रास्टिव लर्निंग शामिल है। ये आवश्यकताएं ऑनलाइन अनुप्रयोगों के लिए एक महत्वपूर्ण बाधा उत्पन्न करती हैं, जो कच्चे 3DGS दृश्यों के वास्तविक समय (real-time) के हेरफेर और संपादन को रोकती हैं। यह कार्य जिस मुख्य चुनौती का समाधान करता है वह है सेटअप चरण को पूरी तरह से समाप्त करना, जबकि ऑफलाइन विधियों के समान सेगमेंटेशन गुणवत्ता बनाए रखना और एक सेकंड से कम की इंटरैक्शन लेटेंसी (latency) प्राप्त करना।

2. कार्यप्रणाली: SAGO

लेखक SAGO (Segment Any Gaussians Online) का प्रस्ताव करते हैं, जो एक सेटअप-मुक्त फ्रेमवर्क है जो 3D सेगमेंटेशन को एक ऑनलाइन नेक्स्ट-बेस्ट-व्यू (NBV) प्लानिंग कार्य के रूप में पुनर्गठित करता है। यह विधि दृश्य को गतिशील रूप से एक्सप्लोर करने के लिए "वर्चुअल ड्रोन" की अवधारणा पेश करती है।

मुख्य अवधारणा: वर्चुअल ड्रोन और NBV प्लानिंग

मौजूदा फीचर्स या स्थिर देखने वाले दृश्यों (static training views) पर निर्भर रहने के बजाय, SAGO सेगमेंटेशन प्रक्रिया को एक मार्कोव निर्णय प्रक्रिया (Markov decision process) के रूपas मानता है।

• वर्चुअल ड्रोन: उपयोगकर्ता के प्रारंभिक इंटरैक्शन व्यू से शुरू होकर, सिस्टम वर्चुअल ड्रोन लॉन्च करता है जो लक्षित ऑब्जेक्ट के कवरेज को अधिकतम करने के लिए अपने अगले देखने वाले स्थान (NBV) की योजना बनाने के लिए पुनरावृत्ति (iteratively) करते हैं।
• दोहरी प्रक्षेपवक्र (Dual Trajectories): दो वर्चुअल ड्रोन इंटरैक्शन व्यूपॉइंट से एक साथ लॉन्च किए जाते हैं, जो क्लॉकवाइज (clockwise) और काउंटर-क्लॉकवाइज (counter-clockwise) दिशाओं में दृश्य का अन्वेषण करते हैं (प्रत्येक में 180-डिग्री या के यॉ (yaw) रेंज को कवर करते हुए)।
• स्टेट रिप्रेजेंटेशन (State Representation): प्रत्येक चरण में सिस्टम स्टेट $S_t$ को एक चार-टुपल (four-tuple) द्वारा परिभाषित किया गया है:
  1. $\mathcal{A}^{(t)}$: फोरग्राउंड गासियंस का वर्तमान सेट।
  2. $\mathbf{v}_t$: वर्चुअल ड्रोन का पोज़ (लक्ष्य केंद्र $c_t$, त्रिज्या $r_t$, या (yaw) $\phi_t$, पिच (pitch) $\theta_t$)।
  3. $\mathcal{M}_t$: विभिन्न दृश्यों में ऑब्जेक्ट को ट्रैक करने के लिए सेगमेंट एनीथिंग मॉडल (SAM) के लिए एक मेमोरी बैंक।
  4. $\tau_t$: एक कवरेज इंडिकेटर।

तकनीकी पाइपलाइन

1. स्टेट इनिशियलाइजेशन (State Initialization):

   • प्रक्रिया एक प्रारंभिक 2D दृश्य पर उपयोगकर्ता प्रॉम्प्ट (क्लिक, बॉक्स, या टेक्स्ट) के साथ शुरू होती है।
   • मास्क-शेप्ड फ्रस्टम फ़िल्टरिंग (MFF): प्रारंभिक 2D मास्क का उपयोग 3D गासियन सेट को फ़िल्टर करने के लिए किया जाता है। लेखक सेंटर-बेस्ड MFF का उपयोग करते हैं, जहाँ एक गासियन को बैकग्राउंड के रूप में वर्गीकृत किया जाता है यदि उसका 3D केंद्र 2D मास्क कंटूर के बाहर प्रोजेक्ट होता है। यह तुरंत सर्च स्पेस को कम कर देता है।
   • लक्षित केंद्र $c_t$ को प्रारंभिक मास्क के अंदर प्रोजेक्ट किए गए गासियंस की 3D स्थितियों के आधार पर इनिशियलाइज़ किया जाता है।

2. ऑनलाइन NBV प्लानिंग:

   • सिस्टम अगले दृश्य के लिए इष्टतम या (yaw) ($\phi$) और पिच ($\theta$) कोणों को निर्धारित करने के लिए एक एक्सप्लोरेशन-इवैल्यूएशन (EE) रणनीति का उपयोग करता है।
   • या (yaw) वृद्धि ($\Delta\phi$) के लिए सर्च स्पेस $\{90^\circ, 60^\circ, 30^\circ\}$ है, और पिच ($\theta$) के लिए $\{0^\circ, 30^\circ, 60^\circ\}$ है।
   • NBV को उन बैकग्राउंड गासियंस की संख्या को अधिकतम करने के लिए चुना जाता है जिन्हें फ़िल्टर किया जा सकता है ($|\Delta\mathcal{A}'|$), जबकि यह सुनिश्चित किया जाता है कि नया सेगमेंटेशन मास्क प्रारंभिक मास्क के साथ निरंतरता (mIoU $\geq \sigma$ द्वारा मापा गया) बनाए रखे ताकि कैस्केडिंग त्रुटियों को रोका जा सके।
   • यदि एक बड़ा या (yaw) उछाल (जैसे, $90^\circ$) लक्ष्य को ट्रैक करने में विफल रहता है, तो सिस्टम छोटे उछालों ($60^\circ$, फिर $30^\circ$) पर वापस आ जाता है।

3. स्टेट अपडेट:

   • वर्चुअल ड्रोन चयनित NBV की ओर नेविगेट करता है, एक नया दृश्य रेंडर करता है।
   • SAM (Segment Anything Model) ट्रैकिंग के लिए मेमोरी बैंक $\mathcal{M}_t$ का उपयोग करते हुए इस नए दृश्य के लिए एक सेगमेंटेशन मास्क जेनरेट करता है।
   • फोरग्राउंड सेट $\mathcal{A}^{(t+1)}$ और बैकग्राउंड सेट $\mathcal{B}^{(t+1)}$ को अपडेट करने के लिए नए दृश्य पर फिर से MFF लागू किया जाता है।
   • यह प्रक्रिया तब तक दोहराई जाती है जब तक कि लक्षित ऑब्जेक्ट का पूर्ण कवरेज प्राप्त नहीं हो जाता।

3. प्रमुख योगदान

• सेटअप-फ्री फ्रेमवर्क: SAGO मौजूदा ऑप्टिमाइज़ेशन-आधारित विधियों द्वारा आवश्यक प्रति-दृश्य सेटअप चरण को पूरी तरह से समाप्त कर देता है, जिससे कच्चे 3DGS दृश्यों पर इंटरैक्टिव सेगमेंटेशन संभव हो पाता है।
• वर्चुअल ड्रोन प्रतिमान (Paradigm): यह पेपर एक सिद्धांतबद्ध फॉर्मूलेशन पेश करता है जो 3D ऑनलाइन सेगमेंटेशन को वर्चुअल ड्रोन्स के लिए एक NBV प्लानिंग समस्या के रूप में पुनर्गठित करता है, जो ऑक्लूजन (occlusions) को हल करने और सीमाओं को परिष्कृत करने के लिए एक्टिव विज़न सिद्धांतों का लाभ उठाता है।
• दक्षता और गुणवत्ता: यह विधि पिछले सेटअप-फ्री फ्रेमवर्क की तुलना में अनुमान समय (inference time) में 50$\times$ की गति वृद्धि प्राप्त करती है (लेटेंसी को 40–60 सेकंड से घटाकर 0.4–0.9 सेकंड करना) जबकि अत्याधुनिक ऑफलाइन विधियों के समान या उनसे बेहतर सेगमेंटेशन गुणवत्ता प्रदान करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने SPIn-NeRF, NVOS, 3D-OVS, LERF-Mask और अन्य सहित कई डेटासेट्स पर SAGO का मूल्यांकन किया।

• मात्रात्मक प्रदर्शन (Quantitative Performance):
  • NVOS: 92.7% mIoU और 98.7% mAcc प्राप्त किया, जो ऑफलाइन (जैसे, SAGA) और ऑनलाइन (जैसे, iSegMan, GaussianCut) दोनों बेसलाइन से बेहतर है।
  • SPIn-NeRF: 92.5% mIoU और 99.3% mAcc प्राप्त किया, जो सभी तुलना की गई विधियों में mIoU में दूसरे और mAcc में पहले स्थान पर रहा।
  • 3D-OVS: 96.2% का औसत mIoU प्राप्त किया, जो पिछले सर्वश्रेष्ठ (SAGA) से 0.2% अधिक है।
  • LERF-Mask: 91.0% का औसत mIoU प्राप्त किया, जो ClickGaussian से 1.9% बेहतर है।
• लेटेंसी: प्रति इंटरैक्शन औसत सेगमेंटेशन लेटेंसी लगभग 500 ms (0.4–0.9s) है, जो वास्तविक समय की बातचीत को सक्षम बनाती है।
• एब्लेशन अध्ययन (Ablation Studies):
  • NBV रणनीति को हटाने (केवल मूल दृश्य दृश्यों पर निर्भर रहना) से प्रदर्शन में भारी गिरावट आई, विशेष रूप से ऑक्लूडेड दृश्यों में (जैसे, LERF-Mask पर mIoU में 54.3% की गिरावट), जो सक्रिय दृश्य अन्वेषण की आवश्यकता को प्रमाणित करता है।
  • पाया गया कि सेंटर-बेस्ड MFF, स्प्लेट-बेस्ड MFF की तुलना में थोड़ा अधिक कुशल और प्रभावी है।

5. महत्व और दावे

यह पेपर दावा करता है कि SAGO प्री-कंप्यूटेशन की बाधा को हटाकर 3DGS इंटरैक्शन में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। वर्चुअल ड्रोन और NBV प्लानिंग का लाभ उठाकर, यह विधि सक्षम बनाती है:

• प्रत्यक्ष एसेट निष्कर्षण (Direct Asset Extraction): उपयोगकर्ता एक सेकंड से कम समय में कच्चे दृश्यों से साफ 3D एसेट्स निकाल सकते हैं।
• ऑनलाइन एडिटिंग: निकाले गए एसेट्स को 3DGS दृश्य के भीतर तुरंत संचालित (स्थानांतरित, हटाया, कॉपी, पेस्ट) किया जा सकता है।
• व्यापक प्रयोज्यता: यह विधि विविध प्रॉम्प्ट्स (क्लिक, बॉक्स, टेक्स्ट) का समर्थन करती है और बिना किसी दृश्य-विशिष्ट ट्यूनिंग के विभिन्न डेटासेट्स पर सामान्यीकृत होती है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि सेंटर-बेस्ड MFF के परिणामस्वरूप टेढ़े-मेढ़े किनारे (jagged boundaries) हो सकते हैं (हालांकि इसे बाद के ट्रिमिंग तरीकों द्वारा संबोधित किया जा सकता है) और यह विधि स्टेट इनिशियलाइजेशन के लिए एक उच्च-गुणवत्ता वाले प्रारंभिक दृश्य पर निर्भर करती है। भविष्य के कार्य के रूप में इष्टतम प्रारंभिक दृश्यों को खोजने के लिए सक्रिय रणनीतियों का पता लगाने का सुझाव दिया गया है।