तकनीकी सारांश: HarmoGS: संघर्ष-जागरूक ग्रेडिएंट सामंजस्य के माध्यम से अनियंत्रित वातावरण में सुदृढ़ 3D गॉसियन स्प्लेटिंग

1. समस्या विवरण

अनियंत्रित "इन-द-वाइल्ड" (in-the-wild) इमेज संग्रहों से विश्वसनीय 3D प्रतिनिधित्व का पुनर्निर्माण करना कंप्यूटर विज़न में एक महत्वपूर्ण चुनौती बनी हुई है। जबकि हालिया प्रगति जैसे कि 3D गॉसियन स्प्लेटिंग (3DGS) ने रीयल-टाइम, उच्च-गुणवत्ता वाला रेंडरिंग प्राप्त किया है, वे आमतौर पर सुसंगत प्रकाश व्यवस्था और स्थिर दृश्य सामग्री का अनुमान लगाते हैं। वास्तविक दुनिया के परिदृश्यों में, प्रशिक्षण चित्र अक्सर क्षणिक व्यालकों (transient distractors) (जैसे, चलते हुए पैदल यात्री, वाहन) और विभिन्न दृश्यों के बीच प्रकाश-प्रेरित उपस्थिति विसंगतियों द्वारा दूषित होते हैं।

मौजूदा विधियाँ अविश्वसनीय पर्यवेक्षण को दबाने के लिए मुख्य रूप से इमेज-लेवल मास्किंग पर निर्भर करती हैं। हालाँकि, लेखक इस दृष्टिकोण में दो महत्वपूर्ण सीमाओं की पहचान करते हैं:

1. अवशिष्ट अवरोध (Residual Occlusions): मास्क अक्सर जटिल या अर्थपूर्ण रूप से अस्पष्ट क्षणिक वस्तुओं को पूरी तरह से बाहर करने में विफल रहते हैं, जिससे अवशिष्ट शोर (residual noise) रह जाता है।
2. प्रकाश संबंधी संघर्ष (Illumination Conflicts): मास्क दृश्य-निर्भर प्रकाश विसंगतियों को हल नहीं कर सकते।

ये अनसुलझी समस्याएं क्रॉस-व्यू ग्रेडिएंट संघर्षों (cross-view gradient conflicts) की ओर ले जाती हैं। असंगत दृश्यों का उपयोग करके एक साझा गॉसियन प्रतिनिधित्व को अनुकूलित (optimize) करते समय, प्रेरित ग्रेडिएंट विपरीत दिशाओं में संकेत दे सकते हैं (एक अधिक कोण/obtuse angle बनाते हैं)। यह अनुकूलन प्रक्रिया को अस्थिर कर देता है, जिससे दृश्यमान पुनर्निर्माण आर्टिफैक्ट्स और तैरते हुए प्रिमिटिव्स (floating primitives) उत्पन्न होते हैं।

2. कार्यप्रणाली

लेखक HarmoGS का प्रस्ताव करते हैं, जो एक संघर्ष-जागरूक 3DGS फ्रेमवर्क है जो एक दोहरे-दृश्य प्रशिक्षण रणनीति और तीन मुख्य घटकों के माध्यम से इन मुद्दों को संबोधित करता है:

A. सिमेंटिक निरंतरता-निर्देशित मास्किंग (Semantic Consistency-Guided Masking)

ग्रेडिएंट निर्माण से पहले पर्यवेक्षण की विश्वसनीयता में सुधार करने के लिए, यह विधि एक अनुकूली मास्किंग रणनीति पेश करती है जो पूर्ववर्ती मास्क को परिष्कृत करती है:

• प्रायर मास्क (Prior Mask): संभावित क्षणिक क्षेत्रों की पहचान करने के लिए एक पूर्व-प्रशिक्षित SAM (सेगमेंट एनीथिंग मॉडल) का उपयोग करके एक बाइनरी मास्क ($M_{bin}$) बनाया जाता है।
• सीखी गई निरंतरता स्कोर (Learned Consistency Score): एक हल्का प्रेडिक्टर ($f_\psi$), जो फ्रोजन DINOv2 बैकबोन द्वारा निर्देशित है, प्रशिक्षण के दौरान पिक्सेल-वार निरंतरता स्कोर ($S_i$) सीखता है। यह स्कोर रेंडर किए गए और ग्राउंड-ट्रुथ छवियों के बीच फोटोमेट्रिक अवशेषों और सिमेंटिक विसंगतियों दोनों से प्राप्त होता है।
• अनुकूली परिशोधन (Adaptive Refinement): अंतिम मास्क ($M_i$) बाइनरी प्रायर और सीखी गई निरंतरता स्कोर को जोड़ता है। यह अविश्वसनीय क्षेत्रों (क्षणिक व्यालकों) को अनुकूल रूप से दबाता है और प्रारंभिक बाइनरी मास्क की त्रुटियों को ठीक करता है, यह सुनिश्चित करता है कि केवल विश्वसनीय छवि साक्ष्य ही लॉस (loss) गणना में योगदान दें।

B. संघर्ष-जागरूक ग्रेडिएंट सामंजस्य (Conflict-Aware Gradient Harmonization)

यह पहचानते हुए कि केवल मास्किंग सभी अनुकूलन संघर्षों को समाप्त नहीं कर सकती, फ्रेमवर्क एक दोहरे-दृश्य प्रशिक्षण दृष्टिकोण का उपयोग करता है। प्रत्येक इटरेशन में, दो दृश्य नमूने के रूप में लिए जाते हैं, और उनके विशिष्ट ग्रेडिएंट ($g_1, g_2$) की गणना की जाती है।

• संघर्ष का पता लगाना (Conflict Detection): जब दो ग्रेडिएंटों का डॉट उत्पाद नकारात्मक होता है ($g_1^\top g_2 < 0$), तो एक संघर्ष की पहचान की जाती है, जो एक अधिक कोण ($\theta > \pi/2$) को दर्शाता है।
• ऑर्थोगोनल रोटेशन (Orthogonal Rotation): संघर्ष को हल करने के लिए, विधि दोनों ग्रेडिएंटों को उनके द्वारा स्पैन किए गए सबस्पेस ($V = \text{span}(g_1, g_2)$) के भीतर तब तक घुमाती है जब तक कि वे ऑर्थोगोनल न हो जाएं ($\tilde{g}_1^\top \tilde{g}_2 = 0$)।
  • कुल कोणीय सुधार ($\theta - \pi/2$) को आवंटन पैरामीटर $\rho$ का उपयोग करके दोनों ग्रेडिएंटों के बीच वितरित किया जाता है।
  • रोटेशन मूल ग्रेडिएंट्स के परिमाण (magnitudes) को सुरक्षित रखता है जबकि नकारात्मक दिशात्मक हस्तक्षेप को समाप्त करता है।
• रैखिक संयोजन (Linear Combination): सामंजस्यपूर्ण ग्रेडिएंटों को जोड़ा जाता है और विश्लेषणात्मक रूप से प्राप्त गुणांकों का उपयोग करके मूल ग्रेडिएंटों के रैखिक संयोजन ($\tilde{g} = \tau_1 g_1 + \tau_2 g_2$) के रूप में व्यक्त किया जाता है।
• ज्यामितीय क्षीणन (Geometric Attenuation): ज्यामितीय गुणों (स्थिति, रोटेशन, स्केल) के लिए, यदि संघर्षों का पता चलता है तो एक अतिरिक्त क्षीणन कारक लागू किया जाता है ताकि आर्टिफैक्ट्स को और अधिक दबाया जा सके।

C. संघर्ष-जागरूक डेंसिफिकेशन और प्रूनिंग (Conflict-Aware Densification and Pruning)

फ्रेमवर्क मानक 3DGS संरचनात्मक अपडेट को क्रॉस-व्यू संघर्षों के प्रति जागरूक बनाने के लिए विस्तारित करता है:

• डेंसिफिकेशन (Densification): एकल-दृश्य सांख्यिकी पर भरोसा करने के बजाय, विधि सामंजस्य चरण में प्राप्त संघर्ष-जागरूक गुणांकों द्वारा मॉड्युलेट किए गए दोनों नमूने गए दृश्यों से व्यू-स्पेस ग्रेडिएंट को एकत्रित करती है। यह अधिक विश्वसनीय, संघर्ष-सामंजस्यपूर्ण संकेतों का उपयोग करके गॉसियन विकास को निर्देशित करता है।
• प्रूनिंग (Pruning): विधि प्रति-गॉसियन क्रॉस-व्यू संघर्षों को समय के साथ ट्रैक करती है। यदि कोई गॉसियन लगातार उच्च संघर्ष स्कोर प्रदर्शित करता है (जो निरंतर अस्थिरता या फ्लोटिंग आर्टिफैक्ट्स का संकेत देता है), तो उसकी ओपेसिटी (opacity) को समय-समय पर कम किया जाता है। यह मानक प्रूनिंग प्रक्रिया को इन अस्थिर प्रिमिटिव्स को स्वाभाविक रूप से हटाने की अनुमति देता है।

3. प्रमुख योगदान

1. संघर्ष-जागरूक ग्रेडिएंट सामंजस्य फ्रेमवर्क: एक नवीन दोहरा-दृश्य प्रशिक्षण रणनीति जो क्रॉस-व्यू ग्रेडिएंट संघर्षों को उनके ऑर्थोगोनल कॉन्फ़िगरेशन में घुमाकर स्पष्ट रूप से सुलझाती है। यह क्षणिक व्यालकों और प्रकाश विसंगतियों के कारण होने वाले असंगत अपडेट को कम करता है।
2. सिमेंटिक निरंतरता-निर्देशित मास्किंग: एक अनुकूली मास्किंग तंत्र जो बाइनरी प्रायर मास्क को परिष्कृत करने के लिए पिक्सेल-वार निरंतरता स्कोर सीखता है, जिससे ग्रेडिएंट निर्माण से पहले अविश्वसनीय पर्यवेक्षण को प्रभावी ढंग से दबाया जा सके।
3. संघर्ष-जागरूक संरचनात्मक अपडेट: डेंसिफिकेशन और प्रूनिंग रणनीतियों का परिचय जो गॉसियन विकास को स्थिर करने और लगातार संघर्ष करने वाले प्रिमिटिव्स को हटाने के लिए संघर्ष-जागरूक संकेतों का उपयोग करते हैं।
4. स्टेट-ऑफ-द-आर्ट प्रदर्शन: व्यापक प्रयोगों से पता चलता है कि यह विधि मानक इन-द-वाइल्ड बेंचमार्क पर मौजूदा NeRF और 3DGS बेसलाइनों की तुलना में बेहतर रेंडरिंग गुणवत्ता और पुनर्निर्माण निष्ठा प्राप्त करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने PhotoTourism, NeRF On-the-go, और RobustNeRF जैसे तीन व्यापक रूप से उपयोग किए जाने वाले इन-द-वाइल्ड बेंचमार्क पर HarmoGS का मूल्यांकन किया।

• मात्रात्मक प्रदर्शन (Quantitative Performance): विधि ने सभी मेट्रिक्स (PSNR, SSIM, LPIPS) में स्टेट-ऑफ-द-आर्ट बेसलाइनों (जिसमें RobustNeRF, WildGaussian, SpotLessSplats, और AsymGS शामिल हैं) को लगातार पछाड़ दिया। उदाहरण के लिए, NeRF On-the-go डेटासेट पर, HarmoGS ने उच्च-अवरोध वाले दृश्यों में 24.67 का PSNR प्राप्त किया, जो पिछले सर्वश्रेष्ठ (AsymGS) से काफी आगे है।
• गुणात्मक परिणाम (Qualitative Results): दृश्य तुलनाओं ने दिखाया कि HarmoGS ने फ्लोटिंग आर्टिफैक्ट्स को प्रभावी ढंग से दबाया और अधिक निष्ठावान दृश्य विवरणों के साथ स्वच्छ रेंडरिंग बनाई, विशेष रूप से जटिल क्षणिक अवरोधों और प्रकाश विविधताओं वाले दृश्यों में।
• एब्लेशन अध्ययन (Ablation Studies):
  • दोहरा-दृश्य सेटिंग या ग्रेडिएंट सामंजस्य घटक को हटाने से PSNR और SSIM में उल्लेखनीय गिरावट आई, जो संघर्ष समाधान की आवश्यकता की पुष्टि करता है।
  • सीखी गई निरंतरता स्कोर ($S_i$) और बाइनरी प्रायर मास्क ($M_{bin}$) का संयोजन अकेले किसी भी घटक का उपयोग करने की तुलना में बेहतर परिणाम देता है, जो उनकी पूरक प्रकृति को प्रदर्शित करता है।
  • संघर्ष-जागरूक डेंसिफिकेशन और प्रूनिंग ने उच्च गुणवत्ता बनाए रखते हुए अधिक सघन (compact) गॉसियन प्रतिनिधित्व (कम बिंदु) का परिणाम दिया, जो अस्थिर प्रिमिटिव्स को हटाने का संकेत देता है।

5. महत्व और दावे

लेखक दावा करते हैं कि HarmoGS अनुकूलन अस्थिरता के मूल कारण: क्रॉस-व्यू ग्रेडिएंट संघर्षों को संबोधित करके अनियंत्रित वातावरण में 3D पुनर्निर्माण के लिए एक मजबूत समाधान प्रदान करता है।

• मास्किंग से परे: यह कार्य रेखांकित करता है कि इन-द-वाइल्ड 3DGS के लिए इमेज-स्पेस मास्किंग अपर्याप्त है। ग्रेडिएंट स्तर पर कार्य करके, विधि उन संघर्षों को हल करती है जो मास्किंग के बाद भी बने रहते हैं, जिससे अधिक स्थिर अनुकूलन होता है।
• दोहरा-दृश्य अनुकूलन: लेखक तर्क देते हैं कि दो दृश्यों को संयुक्त रूप से विचार में लेने से संघर्षों का स्पष्ट पता लगाना और समाधान करना संभव होता है, जो मानक एकल-दृश्य अनुकूलन पाइपलाइनों में अनुपस्थित क्षमता है।
• सामान्यीकरण (Generalizability): इस विधि को एक सामान्य फ्रेमवर्क के रूप में प्रस्तुत किया गया है जो मौजूदा 3DGS कार्यान्वयन (Mip-Splatting पर आधारित) के साथ संगत है, जो जटिल दृश्य-विशिष्ट ह्यूरिस्टिक्स की आवश्यकता के बिना क्षणिक व्यालकों और प्रकाश परिवर्तनों के विरुद्ध मजबूती को महत्वपूर्ण रूप से बढ़ाता है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण चुनौतीपूर्ण वास्तविक दुनिया के परिदृश्यों में उच्च-निष्ठा वाले नवीन दृश्य संश्लेषण (novel view synthesis) को सक्षम बनाता है, जिससे अनियंत्रित इमेज संग्रह के लिए 3D गॉसियन स्प्लेटिंग की प्रयोज्यता बढ़ती है।