💻 computer science

ConFi-GS Confidence-Guided High-Frequency Injection for 3D Gaussian Splatting Super-Resolution

यह शोधपत्र ConFi-GS का प्रस्ताव करता है, जो एक विश्वसनीयता-जागरूक फ्रीक्वेंसी मॉडलिंग फ्रेमवर्क है जो उन क्षेत्रों के बीच अंतर करके 3D गॉसियन स्प्लेटिंग सुपर-रिज़ॉल्यूशन को बढ़ाता है जिन्हें विवरण की आवश्यकता है और जिनमें विश्वसनीय उच्च-आवृत्ति सामग्री है, जिससे एक एकीकृत अनुकूलन योजना को निर्देशित किया जाता है ताकि दृश्य-असंगत आर्टिफैक्ट्स को दबाते हुए सुसंगत, उच्च-निष्ठा वाले टेक्सचरों को इंजेक्ट किया जा सके।

मूल लेखक: Jiaxiang Li, Zongtan Zhou, Zhen Tan, Yadong Liu, Dewen Hu

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiaxiang Li, Zongtan Zhou, Zhen Tan, Yadong Liu, Dewen Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शहर का विस्तृत 3D मॉडल फिर से बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल कुछ धुंधली, कम रिज़ॉल्यूशन वाली तस्वीरें हैं। यदि आप अनुमान लगाने की कोशिश करते हैं कि गायब विवरण कैसे दिखते होंगे, तो आप अनजाने में ऐसी चीजें बना सकते हैं जो वहां हैं ही नहीं—जैसे कि एक दीवार पर नकली खिड़की बनाना जो वास्तव में ठोस है, या एक पेड़ को एक फोटो में स्पष्ट दिखाना लेकिन दूसरी फोटो में धुंधला कर देना। यह वही समस्या है जिसे "ConFi-GS" नामक पेपर 3D Gaussian Splatting (तस्वीरों से 3D दृश्य बनाने की एक विधि) नामक तकनीक के लिए हल करने का प्रयास करता है।

यहाँ उनके समाधान का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

मुख्य समस्या: "भूख" बनाम "विश्वास" (Hunger vs. Trust)

जब आप एक धुंधले 3D मॉडल को ठीक करने की कोशिश करते हैं, तो आप दो अलग-अलग सवालों का सामना करते हैं:

मॉडल विवरण के लिए कहाँ भूखा है? (किन हिस्सों में विवरण की कमी है और उन्हें मदद की जरूरत है?)
क्या हम उन नए विवरणों पर भरोसा कर सकते हैं जिन्हें हम जोड़ने जा रहे हैं? (क्या वह "उच्च-रिज़ॉल्यूशन" संदर्भ जिसे हम देख रहे हैं, वास्तव में सटीक है, या वह केवल एक कल्पना/भ्रम है?)

मौजूदा तरीके अक्सर बस यह कहते हैं, "यह क्षेत्र धुंधला दिख रहा है, इसलिए चलिए तुरंत वहां उच्च-गुणवत्ता वाले विवरण चिपका देते हैं।" समस्या यह है कि कभी-कभी "उच्च-गुणवत्ता" वाले विवरण किसी एक फोटो से आते हैं जिसमें अजीब खामियां या विसंगतियां होती हैं। यदि आप उन्हें वहां डाल देते हैं, तो आपका 3D मॉडल एक दृश्य से तो स्पष्ट दिखेगा, लेकिन दूसरे कोण से देखने पर वह टूटा हुआ या असंगत दिखाई देगा।

समाधान: एक स्मार्ट "डिटेल इंजेक्शन" सिस्टम

लेखक ConFi-GS नामक एक सिस्टम का प्रस्ताव देते हैं जो एक बहुत ही सख्त, स्मार्ट संपादक (editor) की तरह काम करता है। विवरणों को अंधाधुंध चिपकाने के बजाय, यह तय करने के लिए कि 3D मॉडल में क्या जोड़ा जाए, तीन-चरणीय फ़िल्टर का उपयोग करता है।

1. "हंगर मैप" (ज्यामिति-निर्देशित मांग - Geometry-Guided Demand)

सबसे पहले, सिस्टम 3D मॉडल को देखता है और पूछता है: "हमें वास्तव में जानकारी कहाँ कम मिल रही है?"

उदाहरण: कल्पना कीजिए कि एक निर्माण दल (construction crew) एक इमारत को देख रहा है। वे ब्लूप्रिंट की जांच करते हैं और देखते हैं कि उत्तर की दीवार को कई कोणों से फोटो खींचा गया है, इसलिए वे जानते हैं कि वह वास्तव में कैसी दिखती है। हालांकि, दक्षिण की दीवार को केवल दूरी से देखा गया है और वह धुंधली दिख रही है। सिस्टम उस हिस्से को "हंगर ज़ोन" (Hunger Zone) के रूप में चिह्नित करता है—एक ऐसी जगह जिसे वास्तव में अधिक विवरण की आवश्यकता है।

2. "ट्रस्ट फ़िल्टर" (आवृत्ति-जागरूक विश्वसनीयता - Frequency-Aware Reliability)

इसके बाद, भले ही कोई स्थान "भूखा" हो, सिस्टम यह जांचता है कि जो नए विवरण वह जोड़ने जा रहा है वे भरोसेमंद हैं या नहीं। यह उच्च-रिज़ॉल्यूशन संदर्भ छवियों को देखता है और तीन प्रश्न पूछता है:

क्या यह संरचनात्मक रूप से तर्कसंगत है? (क्या विवरण वास्तविक किनारों, जैसे दरवाजे के फ्रेम के साथ संरेखित है, या यह केवल रैंडम शोर है?)
क्या यह वास्तव में गायब है? (क्या वर्तमान 3D मॉडल में वास्तव में यह विशिष्ट उच्च-आवृत्ति पैटर्न (high-frequency pattern) मौजूद नहीं है, या यह पहले से ही वहां है?)
क्या यह सुसंगत है? (यदि हम इस विवरण को थोड़े अलग कोण से देखते हैं, तो क्या यह अभी भी वैसा ही दिखता है, या यह बदल जाता है और मुड़ जाता है?)
उदाहरण: कल्पना कीजिए कि एक जासूस अपराध सुलझाने की कोशिश कर रहा है। सिर्फ इसलिए कि एक गवाह (उच्च-रिज़ॉल्यूशन फोटो) ने लाल कार देखी थी, इसका मतलब यह नहीं है कि उसे तुरंत लिख लिया जाए। जासूस जांच करता है: क्या गवाह विश्वसनीय है? क्या कहानी अन्य सबूतों से मेल खाती है? क्या लाल कार समयरेखा के साथ सुसंगत है? यदि गवाह संदिग्ध है या कहानी मेल नहीं खाती, तो जासूस उस विवरण को अनदेखा कर देता है।

3. "इंजेक्शन मैप" (अंतिम निर्णय - The Final Decision)

सिस्टम "हंगर मैप" और "ट्रस्ट फ़िल्टर" को मिलाकर एक अंतिम डिटेल इंजेक्शन मैप बनाता है।

नियम: हम किसी स्थान पर उच्च-गुणवत्ता वाले विवरण तभी जोड़ते हैं जब दोनों शर्तें पूरी हों: वह स्थान विवरण के लिए भूखा है और नया विवरण प्रमाणित रूप से विश्वसनीय है।
परिणाम: यह 3D मॉडल में नकली बनावट (textures) पैदा होने या अलग-अलग कोणों से देखने पर असंगत दिखने से रोकता है।

यह सिस्टम कैसे सीखता है (प्रशिक्षण प्रक्रिया)

एक बार जब सिस्टम जान लेता है कि विवरण कहाँ जोड़ने हैं, तो यह उन्हें वास्तव में वहां डालने के लिए एक स्मार्ट प्रशिक्षण रणनीति का उपयोग करता है:

कोर्स-टू-फाइन लर्निंग (Coarse-to-Fine Learning): पहले दिन ही हर छोटे विवरण को सीखने की कोशिश करने के बजाय, सिस्टम बड़े आकार और रंगों (कोर्स चीजों) को सीखने से शुरू होता है। एक बार जब संरचना स्थिर हो जाती है, तभी यह सूक्ष्म, तीखे विवरण (हाई-फ्रीक्वेंसी चीजों) को जोड़ना शुरू करता है।
- उदाहरण: एक पोर्ट्रेट पेंट करने के बारे में सोचें। आप पहले रूपरेखा (outline) खींचते हैं और बुनियादी रंग भरते हैं। आप चेहरे के आकार के परफेक्ट होने तक व्यक्तिगत पलकों को पेंट करने की कोशिश नहीं करते। यदि आप बहुत जल्दी पलकें पेंट करने की कोशिश करते हैं, तो आप पूरा चेहरा बिगाड़ सकते हैं।
स्मार्ट एक्सपेंशन (Smart Expansion): यदि सिस्टम को एक विश्वसनीय विवरण मिलता है जिसे वर्तमान 3D मॉडल पकड़ने के लिए बहुत "कोर्स" है, तो यह विशेष रूप से उस क्षेत्र में अधिक "बिल्डिंग ब्लॉक्स" (Gaussians) जोड़ता है।
- उदाहरण: यदि आप एक ऊबड़-खाबड़ सड़क का वर्णन करने की कोशिश कर रहे हैं, और आपका वर्तमान वर्णन बहुत चिकना है, तो आप इसे और अधिक चिकना नहीं करते हैं। आप उन उभारों के बारे में अधिक विशिष्ट नोट्स जोड़ते हैं, लेकिन केवल वहीं जहाँ वे उभार वास्तव में मौजूद हैं और सत्यापित हैं।

परिणाम

इस "विश्वसनीयता-जागरूक" (Reliability-Aware) दृष्टिकोण का उपयोग करके, पेपर दिखाता है कि वे धुंधली, कम-रिज़ॉल्यूशन वाली तस्वीरों को तीखे, उच्च-गुणवत्ता वाले 3D मॉडल में बदल सकते हैं। महत्वपूर्ण रूप से, ये मॉडल हर कोण से स्पष्ट दिखते हैं और इनमें वे अजीब, झिलमिलाते आर्टिफैक्ट्स नहीं होते हैं जो तब होते हैं जब आप विवरणों को ऐसे मॉडल में जबरदस्ती डालने की कोशिश करते हैं जो उनके लिए तैयार नहीं है।

संक्षेप में: उन्होंने एक ऐसा सिस्टम बनाया है जो जानता है कि लापता विवरणों के लिए कहाँ देखना है और यह सत्यापित करने के लिए कि वे विवरण वास्तविक हैं या नहीं, यह भी जानता है कि उन्हें कैसे जांचना है, जिससे यह सुनिश्चित होता है कि अंतिम 3D दुनिया दोनों रूप से स्पष्ट और स्थिर है।

तकनीकी सारांश: ConFi-GS: 3D Gaussian Splatting सुपर-रिज़ॉल्यूशन के लिए कॉन्फिडेंस-गाइडेड हाई-फ्रीक्वेंसी इंजेक्शन

समस्या विवरण
लो-रिज़ॉल्यूशन मल्टी-व्यू इमेजेस से उच्च-गुणवत्ता वाले 3D दृश्यों का पुनर्निर्माण करना, 3D Gaussian Splatting (3DGS) में अपर्याप्त हाई-फ्रीक्वेंसी अवलोकनों के कारण बाधित होता है, जिससे धुंधली बनावट (textures), कमजोर सीमाएँ और दृश्य-असंगत विवरण उत्पन्न होते हैं। जबकि मौजूदा दृष्टिकोण इसे यूनिफॉर्म रूप से सुपर-रिज़ॉल्यूशन मार्गदर्शन लागू करके या ज्यामितीय सैंपलिंग के आधार पर स्थानीय संवर्धन (localization) के माध्यम से संबोधित करने का प्रयास करते हैं, वे इस दो महत्वपूर्ण प्रश्नों के बीच अंतर करने में विफल रहते हैं: अतिरिक्त विवरण की आवश्यकता कहाँ है, और क्या संगत संभावित हाई-फ्रीक्वेंसी सामग्री इतनी विश्वसनीय है कि उसे मल्टी-व्यू सुसंगत 3D प्रतिनिधित्व में आत्मसात किया जा सके। विश्वसनीयता मूल्यांकन के बिना सीधे सुपर-रिज़ॉल्यूशन विवरणों को लागू करने से दृश्य-विशिष्ट आर्टिफैक्ट्स, संरचनात्मक रूप से unsupported तीक्ष्णता, और मतिभ्रम वाली बनावट (hallucinated textures) आ सकती है जो 3D प्रतिनिधित्व की निरंतरता को खराब कर देती है।

कार्यप्रणाली (Methodology)
लेखक ConFi-GS का प्रस्ताव करते हैं, जो एक विश्वसनीयता-जागरूक फ्रीक्वेंसी मॉडलिंग फ्रेमवर्क है जो लो-रिज़ॉल्यूशन 3DGS पुनर्निर्माण को चयनात्मक विवरण इंजेक्शन (selective detail injection) की समस्या के रूप में पुनर्गठित करता है। यह फ्रेमवर्क चार समन्वित घटकों के माध्यम से कार्य करता है:

ज्यामिति-निर्देशित विवरण मांग अनुमान (Geometry-Guided Detail Demand Estimation):
विधि पहले लो-रिज़ॉल्यूशन इनपुट पर एक बेस 3DGS मॉडल को प्री-ट्रेन करती है ताकि एक "डिटेल-डिमांड प्रायर" का अनुमान लगाया जा सके। यह प्रत्येक Gaussian primitive के क्रॉस-व्यू सैंपलिंग अनुपात का विश्लेषण करती है। यदि एक Gaussian को सभी दृश्यों में समान, अपर्याप्त स्केल पर सैंपल किया जाता है (लो सैंपलिंग रेश्यो), तो इसे कम-विस्तृत (under-detailed) के रूप में चिह्नित किया जाता है। यह एक दृश्य-विशिष्ट डिटेल-डिमांड मैप ( $D_t$ ) उत्पन्न करता है जो उन क्षेत्रों को उजागर करता है जिनमें रिकवरेबल विवरण की कमी होने की संभावना है, जो कि संभावित विवरणों की विश्वसनीयता से स्वतंत्र है।
फ्रीक्वेंसी-जागरूक विश्वसनीयता मूल्यांकन (Frequency-Aware Reliability Assessment):
यह निर्धारित करने के लिए कि क्या एक सुपर-रिज़ॉल्व्ड रेफरेंस से प्राप्त संभावित हाई-फ्रीक्वेंसी विवरण भरोसेमंद हैं, फ्रेमवर्क तीन संकेतों के आधार पर एक विश्वसनीयता मैप ( $C^t_{rel}$ ) की गणना करता है:

संरचनात्मक समर्थन (Structural Support - $E_t$ ): यह सुनिश्चित करने के लिए सुपर-रिज़ॉल्व्ड रेफरेंस में स्थानीय किनारों (edges) के साथ संरेखण को मापता है कि विवरण संरचनात्मक रूप से unsupported न हों।
अनसुलझा साक्ष्य (Unresolved Evidence - $G_t$ ): यह एक फूरियर-डोमेन हाई-पास ऑपरेटर का उपयोग करके वर्तमान रेंडरिंग और सुपर-रिज़ॉल्व्ड रेफरेंस के बीच हाई-फ्रीक्वेंसी विसंगति को मात्रात्मक रूप से मापता है, जिससे उस स्पेक्ट्रल कंटेंट की पहचान होती है जो गायब है लेकिन संभावित रूप से रिकवरेबल है।
क्रॉस-व्यू निरंतरता (Cross-View Consistency - $X_t$ ): यह उन विवरणों को दंडित करता है जो पड़ोसी दृश्यों में रीप्रोजेक्ट किए जाने पर अस्थिर होते हैं, जिससे दृश्य-विशिष्ट आर्टिफैक्ट्स को फ़िल्टर किया जाता है।
अंतिम डिटेल-इंजेक्शन मैप ( $M_t$ ), डिमांड मैप और रिलायबिलिटी मैप का एलिमेंट-वाइज प्रोडक्ट है, जो यह सुनिश्चित करता है कि पर्यवेक्षण (supervision) केवल वहीं लागू हो जहाँ विवरण दोनों रूप से आवश्यक और विश्वसनीय हों।

चयनात्मक प्रगतिशील फ्रीक्वेंसी रेगुलेराइजेशन (Selective Progressive Frequency Regularization):
पूर्ण-बैंड फ्रीक्वेंसी मैचिंग को तुरंत लागू करने के बजाय, विधि एक कोर्स-टू-फाइन शेड्यूल का उपयोग करती है। यह पैच-लेवल एम्प्लीट्यूड-स्पेक्ट्रम लॉस ( $L_{amp}$ ) और फेज-स्पेक्ट्रम लॉस ( $L_{ph}$ ) को केवल उन्हीं क्षेत्रों पर लागू करती है जिनका $M_t$ में उच्च वेट है। एम्प्लीट्यूड लॉस को मोटे स्वरूप (coarse appearance) को स्थिर करने के लिए जल्दी पेश किया जाता है, जबकि अधिक संवेदनशील फेज लॉस को बाद में सक्रिय किया जाता है जब ज्यामिति स्थिर हो जाती है। यह मॉडल को शुरुआती अनुकूलन (optimization) के दौरान अस्थिर छद्म-हाई-फ्रीक्वेंसी सिग्नल्स को फिट करने से रोकता है।
विश्वसनीयता-जागरूक Gaussian डेंसिफिकेशन (Reliability-Aware Gaussian Densification):
यह सुनिश्चित करने के लिए कि प्रतिनिधित्व के पास विश्वसनीय विवरणों को अवशोषित करने की क्षमता है, लेखक एक संयुक्त स्कोर ( $S_i$ ) द्वारा निर्देशित डेंसिफिकेशन रणनीति पेश करते हैं जो ज्यामितीय मांग ( $U_i$ ), विश्वसनीयता-भारित स्पेक्ट्रल रेसिडुअल ( $F_i$ ), और स्थानीय संरचनात्मक जटिलता ( $H_i$ ) को जोड़ता है। यह विभाजन (splitting) और क्लोनिंग को विशेष रूप से उन क्षेत्रों में निर्देशित करता है जहाँ अनसुलझे, विश्वसनीय विवरण मौजूद हैं, बजाय इसके कि केवल जेनेरिक इमेज-स्पेस ग्रेडिएंट्स पर निर्भर रहा जाए।

प्रमुख योगदान

विश्वसनीयता-जागरूक समस्या निरूपण: पेपर स्पष्ट रूप से "डिटेल डिमांड" को "डिटेल रिलायबिलिटी" से अलग करता है, जो लो-रिज़ॉल्यूशन 3D पुनर्निर्माण में मौलिक अस्पष्टता को संबोधित करता है जहाँ लुप्त विवरण यह गारंटी नहीं देते कि सुपर-रिज़ॉल्व्ड उम्मीदवार भरोसेमंद हैं।
दो-चरणीय अनुमान: यह एक ज्यामिति-निर्देशित डिमांड एस्टिमेटर के बाद एक फ्रीक्वेंसी-जागरूक विश्वसनीयता मूल्यांकन पेश करता है जो एक सटीक डिटेल-इंजेक्शन मैप बनाने के लिए स्ट्रक्चरल सपोर्ट, स्पेक्ट्रल रेजोल्यूशन और क्रॉस-व्यू स्टेबिलिटी का मूल्यांकन करता है।
एकीकृत अनुकूलन योजना: फ्रेमवर्क चयनात्मक प्रगतिशील फ्रीक्वेंसी रेगुलेराइजेशन और विश्वसनीयता-जागरूक Gaussian डेंसिफिकेशन को एकीकृत करता है, जिससे विश्वसनीय हाई-फ्रीक्वेंसी विवरणों का क्रमिक और संरचनात्मक आंतरिककरण (internalization) संभव होता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन Tanks & Temples, Deep Blending, और Mip-NeRF 360 जैसे मानक बेंचमार्क पर 2× और 4× सुपर-रिज़ॉल्यूशन सेटिंग्स के तहत किया गया।

मात्रात्मक प्रदर्शन: ConFi-GS ने मानक 3DGS (LR), Mip-Splatting, SRGS (यूनिफॉर्म SR), और SplatSuRe (ज्यामिति-निर्देशित SR) जैसे बेसलाइन्स की तुलना में कई मेट्रिक्स (PSNR, SSIM, LPIPS, FID, CMMD, DreamSim) में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। उदाहरण के लिए, Tanks & Temples (4×) पर, इसने 24.08 का PSNR और 0.270 का LPIPS प्राप्त किया, जो SplatSuRe (23.84 PSNR, 0.273 LPIPS) से बेहतर है।
गुणात्मक सुधार: विजुअल तुलनाओं ने पतली सीमाओं और टेक्सचर्ड क्षेत्रों के आसपास शार्प पुनर्निर्माण प्रदर्शित किया, जबकि अन्य विधियों द्वारा उत्पन्न हाई-फ्रीक्वेंसी आर्टिफैक्ट्स और दृश्य-असंगत विवरणों को प्रभावी ढंग से दबाया।
एब्लेशन अध्ययन (Ablation Studies): किसी भी घटक (रिलायबिलिटी असेसमेंट, प्रोग्रेसिव रेगुलेराइजेशन, या रिलायबिलिटी-अवेयर डेंसिफिकेशन) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो प्रत्येक मॉड्यूल की पूरक आवश्यकता की पुष्टि करता है। विशेष रूप से, रिलायबिलिटी असेसमेंट को हटाने से दृश्य-असंगत विवरणों का अवशोषण हुआ, जबकि प्रोग्रेसिव शेड्यूलिंग को हटाने से शुरुआती अनुकूलन अस्थिर हो गया।

महत्व और दावे
पेपर दावा करता है कि ConFi-GS लो-रिज़ॉल्यूशन 3DGS एन्हांसमेंट के प्रतिमान को "डायरेक्ट डिटेल एम्प्लीफिकेशन" से "रिलायबिलिटी-अवेयर डिटेल इंटरनलाइजेशन" में बदल देता है। 3D प्रतिनिधित्व में विश्वसनीय हाई-फ्रीक्वेंसी सिग्नल्स को आत्मसात करने से पहले उन्हें स्पष्ट रूप से फ़िल्टर करके, यह विधि हाई-फिडेलिटी टेक्सचर रिकवरी और मल्टी-व्यू स्ट्रक्चरल कंसिस्टेंसी के बीच संतुलन प्राप्त करती है। लेखक जोर देते हैं कि उनका दृष्टिकोण केवल सुपर-रिज़ॉल्व्ड इमेज टेक्सचर्स की नकल नहीं करता है, बल्कि भरोसेमंद विवरणों को एक स्थिर 3D दृश्य प्रतिनिधित्व में प्रगतिशील रूप से एकीकृत करता है। बाहरी SR गुणवत्ता और अतिरिक्त प्रशिक्षण समय जैसी सीमाओं को स्वीकार करते हुए, यह कार्य साक्ष्य-आधारित (evidence-aware) विवरण एकीकरण के लिए एक ढांचा स्थापित करता है जो 3D पुनर्निर्माण में डिटेल डिमांड बनाम रिलायबिलिटी की मुख्य अस्पष्टता को संबोधित करता है।