💻 computer science

SSA-3DGS: Unsupervised Removal of Screen-Space Artifacts for 3D Gaussian Splatting

यह शोध पत्र SSA-3DGS का प्रस्ताव करता है, जो एक अनसुपरवाइज्ड (unsupervised) फ्रेमवर्क है जो बिना किसी मैनुअल सुपरविजन के 3D गॉसियन स्प्लेटिंग पुनर्निर्माणों से स्टैटिक स्क्रीन-स्पेस आर्टिफैक्ट्स को प्रभावी ढंग से अलग करने और हटाने के लिए एक 3D सीन और एक सीखने योग्य (learnable) 2D ओवरले को संयुक्त रूप से अनुकूलित करता है।

मूल लेखक: Kristof Overdulve, Lode Jorissen, Nick Michiels

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kristof Overdulve, Lode Jorissen, Nick Michiels

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अलग-अलग कोणों से ली गई तस्वीरों के एक ढेर का उपयोग करके एक कमरे का एक आदर्श, 3D डिजिटल मॉडल बनाने की कोशिश कर रहे हैं। 3D Gaussian Splatting (3DGS) नामक तकनीक यही करती है। यह एक सुपर-स्मार्ट पहेली सुलझाने वाले की तरह है जो आपकी सभी तस्वीरों को देखता है और यह पता लगाता है कि 3D स्पेस में हर वस्तु वास्तव में कहाँ स्थित है।

हालाँकि, इस पहेली सुलझाने वाले की एक बड़ी कमजोरी है: यह मान लेता है कि हर फोटो पूरी तरह से साफ है।

समस्या: "अटक गए" धब्बे (The "Stuck" Stains)

वास्तविक दुनिया में, आपकी तस्वीरों में अक्सर "स्क्रीन-स्पेस आर्टिफैक्ट्स" (screen-space artifacts) होते हैं। ये वे चीजें हैं जो आपके कैमरा लेंस या स्क्रीन पर चिपकी हुई हैं और जिनका कमरे से कोई लेना-देना नहीं है।

उदाहरण: लेंस पर कीचड़ का एक धब्बा, सेंसर के एक हिस्से को गलती से ढकता हुआ अंगूठा, वीडियो में वॉटरमार्क, या डैशकैम वीडियो में दिखाई देने वाला कार का डैशबोर्ड।

उपमा: कल्पना कीजिए कि आप एक पेड़ की 3D मूर्ति बनाने की कोशिश कर रहे हैं, लेकिन आपकी हर फोटो में कैमरा लेंस पर ग्रीस का एक धब्बा है। क्योंकि वह ग्रीस फोटो में बिल्कुल उसी जगह पर रहता है (भले ही आप पेड़ के चारों ओर घूम रहे हों), कंप्यूटर भ्रमित हो जाता है। वह सोचता है, "ओह, यह ग्रीस पेड़ का एक हिस्सा है!"

इसलिए, एक साफ पेड़ बनाने के बजाय, कंप्यूटर पेड़ के ठीक सामने तैरते हुए ग्रीस के एक अजीब से उड़ते हुए धब्बे (floating blob) के साथ एक पेड़ बनाता है। पेपर में, वे इन धब्बों को "फ्लोटर्स" (floaters) कहते हैं। परिणाम एक बिखरा हुआ, कम गुणवत्ता वाला 3D मॉडल होता है।

समाधान: SSA-3DGS

लेखकों ने SSA-3DGS नामक एक नया तरीका बनाया है। इसे एक "स्मार्ट जासूस" के रूप में सोचें जो 3D बिल्डर के साथ मिलकर काम करता है।

केवल पेड़ बनाने के बजाय, SSA-3DGS दो काम एक साथ करता है:

यह एक साफ 3D पेड़ बनाता है।
यह सीखता है कि "ग्रीस" कैसा दिखता है।

यह कैसे काम करता है (रचनात्मक उपमा):
कल्पना कीजिए कि आप एक दाग वाली खिड़की को देख रहे हैं।

पुराना तरीका: आप कांच को रगड़कर साफ करने की कोशिश करते हैं, लेकिन आपको यह एहसास नहीं होता कि दाग कांच के बाहर है। आप कांच को इतना रगड़ते हैं कि वह विकृत हो जाता है, या आप सोचते हैं कि दाग बाहर के दृश्य का हिस्सा है।
SSA-3DGS का तरीका: आप महसूस करते हैं कि यहाँ दो परतें हैं। एक खिड़की (3D दृश्य) है और एक दाग (2D आर्टिफैक्ट) है।
- जैसे ही आप पेड़ के चारों ओर घूमते हैं, पेड़ आपके दृश्य के सापेक्ष हिलता है।
- लेकिन लेंस पर लगा दाग आपके दृश्य में बिल्कुल उसी स्थान पर स्थिर रहता है।
- SSA-3DGS इस गति के अंतर (जिसे मोशन पैरलैक्स/motion parallax कहा जाता है) का उपयोग यह पता लगाने के लिए करता है: "आह! पेड़ हिल रहा है, लेकिन वह धब्बा नहीं। इसलिए, वह स्थान लेंस पर एक दाग है, पेड़ का हिस्सा नहीं।"

सिस्टम एक "घोस्ट लेयर" (एक सीखने योग्य 2D ओवरले) बनाता है जो दाग को कैप्चर करता है। फिर यह एक शानदार 3D पेड़ बनाने के लिए तस्वीरों से उस घोस्ट लेयर को घटा देता है।

"जादुई" नियम (रेगुलराइजेशन/Regularization)

यह सुनिश्चित करने के लिए कि कंप्यूटर आलसी न हो जाए और काम छिपाने के लिए पूरे पेड़ को ही "दाग" के रूप में पेंट न कर दे, लेखकों ने दो सरल नियम जोड़े हैं:

"स्पार्स होने का" नियम (The "Be Sparse" Rule): सिस्टम को बताया जाता है, "किसी भी स्थान को दाग के रूप में तभी चिह्नित करें जब आपको बहुत आवश्यकता हो। अधिकांश छवि वास्तविक पेड़ है।" यह सिस्टम को वास्तविक विवरणों को गलती से मिटाने से रोकता है।
"स्मूथ होने का" नियम (The "Be Smooth" Rule): सिस्टम को बताया जाता है, "दाग आमतौर पर ठोस धब्बों (जैसे कीचड़ का निशान या लोगो) की तरह दिखते हैं, न कि रैंडम स्टैटिक नॉइज़ की तरह।" यह सिस्टम को रैंडम पिक्सेल ग्लिच को दाग के रूप में समझाने से रोकता है।

परिणाम

टीम ने इसका परीक्षण किया:

नकली गंदगी: उन्होंने साफ तस्वीरों में वॉटरमार्क, कीचड़ के छींटे और डैशबोर्ड ओवरले डिजिटल रूप से जोड़े।
असली गंदगी: उन्होंने वास्तव में कैमरे के लेंस पर कीचड़ फैलाया और एक दृश्य को फिल्माया, फिर उसी दृश्य को साफ लेंस के साथ दोबारा फिल्माया यह देखने के लिए कि वे कितनी अच्छी तरह काम करते हैं।

परिणाम:

पुराना 3DGS: मॉडल में तैरते हुए धब्बे और कम गुणवत्ता (लगभग 21.5 dB PSNR) पैदा हुई।
SSA-3DGS: इसने साफ, उच्च-गुणवत्ता वाले मॉडल (लगभग 29.5 dB PSNR) बनाए।
बोनस: सिस्टम ने केवल गंदगी को हटाया ही नहीं; इसने वास्तव में गंदगी को एक अलग 2D इमेज के रूप में रिकवर (recover) भी किया। आप कीचड़ या वॉटरमार्क को पूरी तरह से अलग देखते हैं, ठीक वैसे ही जैसे खिड़की से स्टिकर को छीलना।

सारांश

संक्षेप में, SSA-3DGS एक ऐसा टूल है जो 3D बिल्डर को यह सिखाता है कि "लेंस पर लगी गंदगी" को कैसे अनदेखा किया जाए। यह समझकर कि गंदगी स्क्रीन पर स्थिर रहती है जबकि दुनिया चलती है, यह दोनों को अलग कर सकता है, जिससे आपको एक साफ 3D दुनिया और गंदगी की एक अलग छवि मिलती है, और वह भी बिना किसी इंसान द्वारा मैन्युअल रूप से गंदगी की ओर इशारा किए।

तकनीकी सारांश: SSA-3DGS

समस्या विवरण (Problem Statement)

नोवल व्यू सिंथेसिस (NVS) विधियाँ, विशेष रूप से 3D गॉसियन स्प्लेटिंग (3DGS), इस धारणा पर निर्भर करती हैं कि इनपुट चित्र स्वच्छ और मल्टी-व्यू सुसंगत (multi-view consistent) हैं। हालाँकि, वास्तविक दुनिया के कैप्चर में अक्सर स्क्रीन-स्पेस आर्टिफ़ेक्ट्स (screen-space artifacts) होते हैं: जो 3D दुनिया के बजाय 2D इमेज प्लेन से जुड़े स्थिर अवरोध (occlusions) होते हैं। सामान्य उदाहरणों में शामिल हैं भौतिक सेंसर दोष, पर्यावरणीय बाधाएं (बारिश, लेंस एनक्लोजर पर कीचड़), कैप्चर बाधाएं (उंगलियां, डैशबोर्ड), और डिजिटल ओवरले (वॉटरमार्क, UI तत्व)।

चूंकि ये आर्टिफ़ेक्ट्स कैमरा सेंसर के सापेक्ष स्थिर होते हैं, इसलिए जैसे-जैसे कैमरा दृश्य (scene) में घूमता है, वे दुनिया की ज्यामिति (geometry) के सापेक्ष "चलते" हुए प्रतीत होते हैं। मानक 3D पुनर्निर्माण एल्गोरिदम, जो मल्टी-व्यू सुसंगतता मानकर चलते हैं, इन आर्टिफ़ेक्ट्स को खारिज करने में विफल रहते हैं। इसके बजाय, वे उन्हें त्रुटिपूर्ण तरीके से 3D ज्यामिति में "फ्लोटर्स" (कैमरा के पास स्थित 3D गॉसियन्स) या व्यू-डिपेंडेंट प्रभावों के रूप में दर्ज कर देते हैं, जिससे नोवल-व्यू रेंडर की शुद्धता गंभीर रूप से कम हो जाती है। मौजूदा मजबूती विधियाँ (जैसे, NeRF-W, RobustNeRF, DeSplat) मुख्य रूप से वर्ल्ड-स्पेस ट्रांजिएंट्स या चलती वस्तुओं को लक्षित करती हैं और स्क्रीन-स्पेस शोर को सीन की ज्यामिति से अलग करने में संघर्ष करती हैं। इसके अलावा, सिंगल-इमेज रेस्टोरेशन तकनीकें 3D संरचनात्मक ज्ञान की कमी के कारण, प्री-प्रोसेसिंग स्टेप के रूप में लागू होने पर टेम्पोरल फ्लिकरिंग और ज्यामितीय विसंगतियां पैदा करती हैं।

कार्यप्रणाली (Methodology): SSA-3DGS

लेखक SSA-3DGS का प्रस्ताव करते हैं, जो एक अनसुपरवाइज्ड फ्रेमवर्क है जो स्क्रीन-स्पेस आर्टिफ़ेक्ट्स को अंतर्निहित ज्यामिति से अलग करने के लिए एक 3D सीन रिप्रेजेंटेशन और एक सीखने योग्य (learnable) 2D ओवरले को संयुक्त रूप से अनुकूलित करता है।

मुख्य सूत्र (Core Formulation)

यह विधि एक सीखने योग्य 2D ओवरले को पेश करके मानक 3DGS पाइपलाइन का विस्तार करती है जो सभी ट्रेनिंग व्यूज के लिए साझा है। अंतिम प्रेडिक्टेड पिक्सेल कलर $\hat{C}(u)$ को क्लीन 3D सीन रेंडर $\hat{C}_{3D}(u)$ और आर्टिफ़ेक्ट ओवरले के बीच एक अल्फा-ब्लेंड के रूप में मॉडल किया जाता है:
$\hat{C}(u) = A(u) \cdot W(u) + (1 - A(u)) \cdot \hat{C}_{3D}(u)$
जहाँ:

$W \in \mathbb{R}^{H \times W \times 3}$ एक सीखने योग्य आर्टिफ़ेक्ट कलर मैप है।
$A \in \mathbb{R}^{H \times W \times 1}$ एक सीखने योग्य आर्टिफ़ेक्ट अल्फा मैट है।
$W$ और $A$ दोनों पिक्सेल कोऑर्डिनेट्स में परिभाषित हैं और सभी कैमरा पोजीशंस के लिए स्थिर रहते हैं, जबकि 3D गॉसियन्स प्रत्येक व्यू के अनुसार अलग तरह से प्रोजेक्ट होते हैं।

अनुकूलन और रेगुलराइजेशन (Optimization and Regularization)

यह अपघटन (decomposition) अनियंत्रित (under-constrained) है; बिना रेगुलराइजेशन के, मॉडल ऐसे समाधानों में गिर सकता है जहाँ 3D सीन को एक समान ओवरले द्वारा अत्यधिक ब्राइट या डिम कर दिया जाता है, या जहाँ वैध सीन विवरण ओवरले में समाहित हो जाते हैं। इसे रोकने के लिए, लेखक एक कंपोजिट लॉस फंक्शन पेश करते हैं:
$\mathcal{L} = \mathcal{L}_{rgb} + \lambda_{sparse}\mathcal{L}_{sparse} + \lambda_{tv}\mathcal{L}_{TV}$

फोटोमेट्रिक लॉस ( $\mathcal{L}_{rgb}$ ): कंपोजिटेड प्रेडिक्शन और ग्राउंड ट्रुथ के बीच मानक L1 और SSIM लॉस।
स्पार्सिटी रेगुलराइजेशन ( $\mathcal{L}_{sparse}$ ): यह अल्फा मैट $A$ को जहाँ भी संभव हो शून्य होने के लिए प्रोत्साहित करता है। यह अनुकूलन को पहले 3D ज्यामिति के माध्यम से पिक्सेल को समझाने के लिए प्रेरित करता है, और ओवरले का उपयोग केवल तभी करता है जब आवश्यक हो। यह "एक्सपोज़र कोलैप्स" जैसे डिजेनरेट समाधान को भी रोकता है।
टोटल वेरिएशन लॉस ( $\mathcal{L}_{TV}$ ): यह ओवरले को पीसवाइज-स्मूथ क्षेत्रों से युक्त होने के लिए प्रोत्साहित करता है। यह हाई-फ्रीक्वेंसी शोर के अवशोषण को रोकता है और स्थानिक सुसंगतता (spatial coherence) को लागू करता है, जो कई वास्तविक आर्टिफ़ेक्ट्स (जैसे, वॉटरमार्क, कीचड़ के छींटे) की प्रकृति को दर्शाता है।

इनिशियलाइजेशन (Initialization)

ओवरले को स्थिरांकों (constants) के साथ इनिशियलाइज़ करने के बजाय, यह विधि ट्रेनिंग सेट से प्रति-पिक्सेल सांख्यिकी का उपयोग करके $W$ और $A$ को सीड करती है। वे पिक्सेल जिनकी तीव्रता विभिन्न व्यूज में स्थिर रहती है (संभावित आर्टिफ़ेक्ट्स), वे लगभग अपारदर्शी (opaque) से शुरू होते हैं, जबकि वे पिक्सेल जिनमें उच्च मल्टी-व्यू भिन्नता होती है (संभावित सीन कंटेंट), वे लगभग पारदर्शी (transparent) से शुरू होते हैं।

मुख्य योगदान (Key Contributions)

अनसुपरवाइज्ड डिसेंटैंगलमेंट (Unsupervised Disentanglement): दूषित मल्टी-व्यू रिकॉर्डिंग्स से क्लीन 3DGS सीन को रिकवर करने और स्क्रीन-स्पेस आर्टिफ़ेक्ट को एक साथ सेगमेंट करने की एक विधि, बिना किसी ग्राउंड-ट्रुथ मास्क या मैनुअल सुपरविजन के।
रेगुलराइजेशन स्कीम: स्पार्सिटी और टोटल-वेरिएशन बाधाओं का एक अभिनव संयोजन जो अनुकूलन को 3D ज्यामितीय स्पष्टीकरणों की ओर झुकाता है, यह सुनिश्चित करता है कि आर्टिफ़ेक्ट लेयर केवल वास्तविक स्क्रीन-स्पेस शोर को ही कैप्चर करे।
रियल-वर्ल्ड डेटासेट: सिंथेटिक कंपोजिट से परे इस विधि को बेंचमार्क करने के लिए वास्तविक आर्टिफ़ेक्ट्स (लेंस हाउसिंग पर कीचड़, रिग ऑक्लूजन) वाले स्वयं के कैप्चर किए गए रियल-वर्ल्ड डेटासेट का परिचय।

परिणाम (Results)

लेखकों ने Mip-NeRF 360 डेटासेट (सिंथेटिक आर्टिफ़ेक्ट्स के साथ) और अपने स्वयं के कैप्चर किए गए रियल-वर्ल्ड डेटासेट पर SSA-3DGS का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (Quantitative Performance): सिंथेटिक बेंचमार्क पर, SSA-3DGS ने उन्हीं दूषित इनपुट्स पर प्रशिक्षित वैनिला 3DGS की तुलना में रिकंस्ट्रक्शन फिडेलिटी में 9 dB PSNR तक सुधार किया। इसने लगातार बेसलाइन 3DGS और स्टेट-ऑफ-द-आर्ट डिस्ट्रैक्टर-रोबस्ट मेथड, DeSplat को पीछे छोड़ दिया।
- MCMC डेंसिफिकेशन के साथ, SSA-3DGS ने दूषित इनपुट्स पर 28.43 dB का औसत PSNR प्राप्त किया, जो क्लीन डेटा पर प्रशिक्षित 3DGS (29.57 dB) के प्रदर्शन के करीब है।
- रियल-वर्ल्ड "Mud" सीन पर, इस विधि ने सबसे मजबूत बेसलाइन (DeSplat) की तुलना में PSNR में 3.0 dB का सुधार किया।
गुणात्मक प्रदर्शन (Qualitative Performance): विजुअल परिणाम दर्शाते हैं कि SSA-3DGS सफलतापूर्वक आर्टिफ़ेक्ट्स (वॉटरमार्क, डैशबोर्ड, कीचड़, UI तत्व) को हटा देता है और क्लीन ज्योमेट्री को रिकवर करता है, जबकि बेसलाइन अक्सर इन आर्टिफ़ेक्ट्स को सीन में सेमी-ट्रांसपेरेंट फ्लोटर्स के रूप में दर्ज कर लेते हैं। यह विधि आर्टिफ़ेक्ट को एक अलग ओवरले के रूप में भी सफलतापूर्वक रिकंस्ट्रक्ट करती है।
एब्लेशन (Ablation): अध्ययन पुष्टि करता है कि स्पारर्सिटी और टोटल-वेरिएशन दोनों रेगुलराइजेशन आवश्यक हैं। इन्हें हटाने से PSNR में ~1.0 dB की गिरावट आई और FLIP स्कोर खराब हो गया, जिससे मॉडल आर्टिफ़ेक्ट को सीन से ठीक से अलग करने में विफल रहा।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SSA-3DGS अनकन्स्ट्रेंड, "इन-द-वाइल्ड" कैप्चर से विश्वसनीय 3D पुनर्निर्माण की दिशा में एक व्यवहार्य मार्ग प्रदान करता है क्योंकि यह स्पष्ट रूप से कैप्चर की खामियों को मॉडल करता है। प्री-प्रोसेसिंग स्टेप के रूप में लागू की जाने वाली जेनेरिक 2D डिनोइज़िंग के विपरीत, जो मल्टी-व्यू सुसंगतता को तोड़ देती है, SSA-3DGS सीधे 3D ऑप्टिमाइजेशन लूप में सेपरेशन लॉजिक को एकीकृत करके ज्यामितीय सुसंगतता को बनाए रखता है।

लेखक नोट करते हैं कि यह विधि मल्टी-व्यू कंसेंसस (consensus) पर निर्भर करती है; इसलिए, पर्याप्त घने कैप्चर की आवश्यकता है। वे उन आर्टिफ़ेक्ट्स के संबंध में एक सीमा को स्वीकार करते हैं जो केवल लगभग स्थिर हैं (जैसे, व्यू-डिपेंडेंट रिफ्लेक्शन वाले ऑक्लूडर्स), जिन्हें उनके स्टैटिक-ओवरले मॉडल द्वारा केवल आंशिक रूप से कैप्चर किया जाता है, हालांकि विधि अभी भी इन परिदृश्यों में बेहतर प्रदर्शन करती है और गरिमापूर्ण तरीके से काम करती है। यह कार्य सुझाव देता है कि सेंसर-प्लेन बाधाओं को स्पष्ट रूप से मॉडल करना वास्तविक दुनिया के अनुप्रयोगों के लिए रोबस्ट NVS के लिए एक महत्वपूर्ण कदम है।