🤖 AI

GuidNoise: Single-Pair Guided Diffusion for Generalized Noise Synthesis

GuidNoise एक सिंगल-पेयर गाइडेड डिफ्यूजन फ्रेमवर्क का प्रस्ताव करता है जो केवल एक सिंगल नॉइजी-क्लीन पेयर को गाइडेंस के रूप में उपयोग करके सामान्यीकृत, उच्च-गुणवत्ता वाली नॉइजी छवियों को संश्लेषित करता है, जिससे कैमरा मेटाडेटा की आवश्यकता समाप्त हो जाती है और डेटा-दुर्लभ परिदृश्यों में इमेज डिनोइजिंग प्रदर्शन को बेहतर बनाने के लिए प्रभावी आत्म-संवर्धन (self-augmentation) सक्षम होता है।

मूल लेखक: Changjin Kim, HyeokJun Lee, YoungJoon Yoo

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Changjin Kim, HyeokJun Lee, YoungJoon Yoo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (AI) को एक गंदी खिड़की साफ करना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, छात्र को "गंदी खिड़कियों" और "साफ खिड़कियों" के उदाहरणों को अगल-बगल देखने की आवश्यकता है ताकि वह सीख सके कि गंदगी कैसी दिखती है और उसे कैसे हटाया जाता है।

वास्तविक दुनिया में, इन सटीक गंदी और साफ फोटो के जोड़ों को प्राप्त करना अविश्वसनीय रूप से कठिन और महंगा है। आपको एक फोटो लेनी होगी, फिर जादुई रूप से उसे पूरी तरह से साफ करना होगा, और फिर ठीक उसी फोटो को दोबारा लेना होगा जिसमें गंदगी हो।

पुराना तरीका: "रेसिपी बुक" की समस्या
पिछले तरीकों ने इसे "जेनेरेटिव मॉडल्स" (AI जो नई छवियां बनाता है) का उपयोग करके हल करने की कोशिश की। हालाँकि, ये मॉडल ऐसे शेफ की तरह थे जिन्हें एक विशाल, विशिष्ट रेसिपी बुक की आवश्यकता थी।

उन्हें मेटाडेटा (जैसे कि सटीक कैमरा मॉडल, ISO सेटिंग और शटर स्पीड जानना) की आवश्यकता थी ताकि वे शोर (noise) को "पकाने" के लिए जान सकें।
उन्हें एक ही कैमरे से ली गई सैकड़ों गंदी/साफ फोटो के जोड़ों की आवश्यकता थी ताकि वे शोर के विशिष्ट "स्वाद" को सीख सकें।
यदि आप कैनन (Canon) कैमरे के लिए प्रशिक्षित मॉडल का उपयोग सोनी (Sony) कैमरे की फोटो को साफ करने के लिए करते, तो यह अक्सर विफल हो जाता क्योंकि "शोर की रेसिपी" बहुत अधिक विशिष्ट थी।

नया तरीका: GuidNoise (द "वन-शॉट" शेफ)
यह पेपर GuidNoise पेश करता है, जो एक नए तरीके के रूप में कार्य करता है जो एक मास्टर शेफ की तरह है जिसे नया खाना पकाने का स्टाइल सीखने के लिए केवल एक एकल उदाहरण की आवश्यकता होती है।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "गाइडेंस" पेयर (एकल नमूना)

रेसिपियों के पुस्तकालय के बजाय, GuidNoise केवल एक जोड़ी छवियों की मांग करता है: एक साफ फोटो और एक शोर वाली फोटो, जो उस वातावरण से ली गई हो जिसका आप अनुकरण (mimic) करना चाहते हैं।

उपमा: कल्पना करें कि आप एक दीवार को एक विशिष्ट सूर्यास्त की तरह दिखने के लिए पेंट करना चाहते हैं। हजारों सूर्यास्त का अध्ययन करने के बजाय, आप बस उस सूर्यास्त की एक फोटो पकड़ लेते हैं। GuidNoise उस एक फोटो को देखता है, उस शोर की "बनावट" (grain, रंग परिवर्तन) को समझता है, और उसे पूरी तरह से कॉपी करना सीख जाता है।

2. "डिफ्यूजन" प्रक्रिया (मूर्तिकार)

इसका मुख्य इंजन एक डिफ्यूजन मॉडल है। इसे एक मूर्तिकार के रूप में सोचें जो एक संगमरमर के ब्लॉक (एक साफ छवि) से शुरू करता है और धीरे-धीरे उसमें से चीजें तराशता है, या इसके विपरीत, धूल के ढेर (शोर) से शुरू करता है और धीरे-धीरे मूर्ति को प्रकट करता है।

GuidNoise इस मूर्तिकार का उपयोग आपकी सिंगल गाइडेंस फोटो से सीखा गया शोर आपकी एक साफ छवि में "जोड़ने" के लिए करता है। यह केवल रैंडम स्टैटिक (static) नहीं जोड़ता; यह वह विशिष्ट प्रकार का स्टैटिक जोड़ता है जो आपकी गाइडेंस फोटो में पाया गया है।

3. सीक्रेट सॉस: GAFM (द "ट्यूनिंग नॉब")

पेपर Guidance-Aware Affine Feature Modification (GAFM) नामक एक तकनीक पेश करता है।

उपमा: कल्पना करें कि AI के पास रेडियो के डायल (dials) का एक सेट है। जब यह आपकी गाइडेंस फोटो देखता है, तो GAFM एक मास्टर ट्यूनर की तरह काम करता है जो उन डायलों को तुरंत समायोजित करता है। यह AI को बताता है, "हे, यह शोर दानेदार और नीला-सा है," और यह उस विशिष्ट बनावट से मेल खाने के लिए AI की आंतरिक सेटिंग्स को बदल देता है। यह AI को केवल एक उदाहरण को देखकर किसी भी कैमरे या लाइटिंग कंडीशन के अनुकूल होने की अनुमति देता है।

4. "रिफाइन लॉस" (द आर्ट क्रिटिक)

पेपर में एक विशेष "रिफाइन लॉस" (Refine Loss) भी जोड़ा गया है।

उपमा: मानक AI प्रशिक्षण एक ऐसे छात्र की तरह है जो केवल सामान्य आकार को सही करने की कोशिश करता है। रिफाइन लॉस एक सख्त कला समीक्षक (art critic) की तरह है जो हिस्टोग्राम (रंगों और चमक का वितरण) को देखता है। यह कहता है, "आपने आकार तो सही बनाया है, लेकिन दाने (grain) सही ढंग से वितरित नहीं हैं। अपनी गाइडेंस फोटो को फिर से देखें; शोर छाया (shadows) में अधिक भारी है।" यह AI को मजबूर करता है कि वह नकली शोर को सांख्यिकीय रूप से वास्तविक शोर के समान बनाए।

यह क्यों महत्वपूर्ण है (परिणाम)

लेखकों ने केवल GuidNoise द्वारा बनाई गई नकली शोर वाली छवियों का उपयोग करके एक "क्लीनर" (डिनोइज़िंग AI) को प्रशिक्षित करके इसका परीक्षण किया।

"सेल्फ-अगमेंटेशन" का तरीका: उन्होंने थोड़े से वास्तविक डेटा को लिया, GuidNoise का उपयोग करके हजारों नई नकली गंदी/साफ जोड़ियाँ बनाईं, और उन्हें क्लीनर को प्रशिक्षित करने के लिए उपयोग किया।
परिणाम: इस "सेल्फ-अगमेंटेड" डेटा पर प्रशिक्षित एक छोटा AI मॉडल, केवल वास्तविक डेटा पर प्रशिक्षित बहुत बड़े मॉडल की तुलना में बेहतर प्रदर्शन करता है।
सामान्यीकरण (Generalization): भले ही GuidNoise को स्मार्टफोन फोटोज़ पर प्रशिक्षित किया गया था, यह केवल उन कैमरों (जैसे PolyU और Nam डेटासेट) से DSLR कैमरों का शोर सफलतापूर्वक नकल कर सका, केवल एक सिंगल गाइडेंस पेयर का उपयोग करके। इसे कैमरे के ब्रांड या सेटिंग्स को जानने की आवश्यकता नहीं थी; इसे केवल दृश्य उदाहरण की आवश्यकता थी।

सारांश में

GuidNoise एक ऐसा टूल है जो आपको एक AI को उस शोर का एक उदाहरण देखकर जटिल कैमरा शोर को समझने और पुन: उत्पन्न करने के लिए सिखाने की अनुमति देता है। यह महंगे मेटाडेटा और विशाल डेटासेट की आवश्यकता को समाप्त करता है, जिससे AI को "उदाहरण से सीखने" की अनुमति मिलती है और ऐसी यथार्थवादी प्रशिक्षण डेटा उत्पन्न होती है जो इमेज-क्लीनिंग सॉफ्टवेयर को बहुत स्मार्ट बनाती है, भले ही डेटा कम हो।

तकनीकी सारांश: GuidNoise

समस्या विवरण

इमेज डिनोइज़िंग (image denoising) कंप्यूटर विज़न में एक मौलिक कार्य है, फिर भी प्रभावी डीप लर्निंग मॉडल को प्रशिक्षित करने के लिए बड़े पैमाने पर, उच्च गुणवत्ता वाले युग्मित शोरयुक्त-स्वच्छ (paired noisy-clean) इमेज डेटासेट की आवश्यकता होती है। वास्तविक दुनिया का ऐसा डेटा प्राप्त करना महंगा और कठिन है क्योंकि इसके लिए एक ही दृश्य को समान स्थितियों में दोनों शोरयुक्त और स्वच्छ सेंसरों के साथ कैप्चर करना आवश्यक होता है, जिसमें अक्सर जटिल शोर पैटर्न को सटीक रूप से मॉडल करने के लिए विशिष्ट कैमरा मेटाडेटा (जैसे, ISO, शटर स्पीड) की आवश्यकता होती है।

जबकि हाल के जनरेटिव मॉडल्स (GANs, Normalizing Flows, और Diffusion models) ने वास्तविक दिखने वाला शोर (noise) संश्लेषित करने के लिए कई प्रयास किए हैं ताकि डेटा की कमी को दूर किया जा सके, मौजूदा विधियों में महत्वपूर्ण सीमाएँ हैं:

मेटाडेटा पर निर्भरता: कई दृष्टिकोण विशिष्ट कैमरा सिस्टम की नकल करने के लिए विशिष्ट कैमरा मेटाडेटा की आवश्यकता रखते हैं।
डेटा पेयर की आवश्यकताएं: अन्य विधियाँ व्यापक लक्ष्य-विशिष्ट शोरयुक्त-स्वच्छ इमेज पेयर्स पर निर्भर करती हैं, जो विभिन्न उपकरणों, ISO सेटिंग्स या दृश्य विविधताओं में सामान्यीकरण (generalize) करने की उनकी क्षमता को सीमित करती है।
सामान्यीकरण की विफलता: विशिष्ट वातावरण पर प्रशिक्षित मॉडल बिना पुन: प्रशिक्षण या विस्तृत कॉन्फ़िगरेशन के विविध, अनदेखे स्थितियों में अनुकूलित होने में संघर्ष करते हैं।

कार्यप्रणाली (Methodology)

लेखक GuidNoise का प्रस्ताव करते हैं, जो सामान्यीकृत शोर संश्लेषण (generalized noise synthesis) के लिए डिज़ाइन किया गया एक सिंगल-पेयर गाइडेड डिफ्यूजन मॉडल है। मुख्य धारणा यह है कि किसी लक्षित डोमेन से एक एकल शोरयुक्त-स्वच्छ इमेज पेयर ("गाइडेंस") किसी भी स्वच्छ इमेज के लिए वास्तविक शोर के संश्लेषण को निर्देशित करने के लिए पर्याप्त है, जिसके लिए कैमरा मेटाडेटा या उस विशिष्ट लक्ष्य के लिए व्यापक युग्मित प्रशिक्षण डेटा की आवश्यकता नहीं होती है।

आर्किटेक्चर और प्रशिक्षण

GuidNoise एक डैनोइज़िंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल (DDPM) ढांचे के भीतर एक कंडीशनल U-Net आर्किटेक्चर पर आधारित है, जो स्थिरता के लिए v-prediction का उपयोग करता है। यह विधि दो प्रमुख नवाचार पेश करती है:

कैस्केड डिकोडिंग आर्किटेक्चर (Cascade Decoding Architecture):
मॉडल इनपुट शोरयुक्त इमेज ( $x_t$ ), स्वच्छ इमेज ( $c$ ), और गाइडेंस पेयर ( $x_r, c_r$ ) से फीचर्स निकालने के लिए एक समानांतर एनकोडर $E$ का उपयोग करता है। डोमेन-विशिष्ट शोर जानकारी को डिकोडर में इंजेक्ट करने के लिए एक गाइडेंस-अवेयर एफाइन फीचर मॉडिफिकेशन (GAFM) मॉड्यूल पेश किया गया है।

गाइडेंस पेयर को एनकोड किया जाता है और एक नॉइज़-अवेयर गाइडेंस मॉड्यूल $\tau$ द्वारा प्रोसेस किया जाता है ताकि एक गाइडेंस एम्बेडिंग $h$ उत्पन्न की जा सके।
यह एम्बेडिंग $h$ , टाइम एम्बेडिंग $t$ के साथ मिलकर, मल्टी-लेयर पर्सेप्ट्रॉन (MLP) द्वारा उत्पन्न एफाइन पैरामीटर्स ( $\alpha_i, \beta_i$ ) के माध्यम से डिकोडर के रेसिड्यूल ब्लॉक्स को मॉड्युलेट करती है।
यह तंत्र मॉडल को गाइडेंस पेयर से सूक्ष्म शोर वितरण (fine-grained noise distributions) को कैप्चर करने और बिना कच्चे फीचर्स को सीधे कॉपी किए उन्हें जनरेशन प्रक्रिया में लागू करने की अनुमति देता है, जिससे सामान्यीकरण बढ़ता है।

नॉइज़-अवेयर रिफाइन लॉस (Noise-Aware Refine Loss):
मानक डिफ्यूजन लॉस (L2) उन हाई-फ्रीक्वेंसी कंपोनेंट्स को दबा देते हैं जहाँ शोर की जानकारी निहित होती है। इसे संबोधित करने के लिए, लेखक एक रिफाइन लॉस ( $L_{refine}$ ) पेश करते हैं जिसे बैकवर्ड डिफ्यूजन प्रक्रिया के अंतिम चरणों के दौरान लागू किया जाता है।

यह लॉस एक डिफरेंशिएबल हिस्टोग्राम और कुलबैक-लीब्लर डायवर्जेंस (KLD) का उपयोग करता है ताकि संश्लेषित शोरयुक्त इमेज के वितरण को ग्राउंड ट्रुथ गाइडेंस नॉइज़ के साथ संरेखित (align) किया जा सके।
कुल लॉस फंक्शन मानक डिफ्यूजन लॉस और रिफाइन लॉस को जोड़ता है: $L = L_{Diffusion} + \lambda L_{Refine}$ ।

इन्फरेंस (Inference)

इन्फरेंस के दौरान, मॉडल एक स्वच्छ इमेज $c$ और लक्षित डोमेन से एक सिंगल गाइडेंस पेयर $(x_r, c_r)$ लेता है। यह एक शोरयुक्त इमेज $\hat{x}$ को संश्लेषित करता है जो $x_r$ के शोर वितरण की नकल करती है। महत्वपूर्ण रूप से, इस प्रक्रिया के दौरान जनरेशन चरण में लक्षित स्वच्छ इमेज के पास संगत वास्तविक शोरयुक्त पेयर की आवश्यकता नहीं होती है, और न ही इसके लिए कैमरा मेटाडेटा की आवश्यकता होती है।

प्रमुख योगदान

Guid-Noise फ्रेमवर्क: एक सिंगल-पेयर गाइडेड डिफ्यूजन मॉडल जो केवल एक गाइडेंस पेयर का उपयोग करके वास्तविक शोरयुक्त इमेज उत्पन्न करता है, जिससे कैमरा मेटाडेटा या बड़े पैमाने पर लक्ष्य-विशिष्ट युग्मित डेटासेट की आवश्यकता समाप्त हो जाती है।
गाइडेंस-अवेयर एफाइन फीचर मॉडिफिकेशन (GAFM): एक नवीन तंत्र जो एफाइन मॉड्यूलेशन के माध्यम से डिफ्यूजन प्रक्रिया में एक गाइडेंस पेयर से सूक्ष्म शोर वितरण को एम्बेड करता है, जिससे प्रभावी डोमेन अनुकूलन सक्षम होता है।
नॉइज़-अवेयर रिफाइन लॉस: एक लॉस फंक्शन जो हिस्टोग्राम मैचिंग के माध्यम से संश्लेषित शोर वितरण को ग्राउंड ट्रुथ के साथ संरेखित करके हाई-फ्रीक्वेंसी नॉइज़ विवरणों को संरक्षित करने के लिए डिज़ाइन किया गया है, जिससे उत्पन्न शोर की वास्तविकता में सुधार होता है।
सेल्फ-ऑग्मेंटेशन क्षमता: इन्फरेंस के समय कृत्रिम शोरयुक्त-स्वच्छ पेयर्स को कुशलतापूर्वक उत्पन्न करने की क्षमता, जिससे ट्रेनिंग डेटा के ऑग्मेंटेशन को बेहतर बनाया जा सके, विशेष रूप से सीमित डेटा या लाइटवेट मॉडल्स के मामलों में।

प्रयोगात्मक परिणाम

लेखकों ने SIDD-Validation, SIDD+, PolyU, और Nam डेटासेट्स पर C2N, Flow-sRGB, NeCA, और NAFlow सहित स्टेट-ऑफ-द-आर्ट विधियों के विरुद्ध GuidNoise का मूल्यांकन किया।

नॉइज़ समानता (Noise Similarity): GuidNoise ने बेहतर समानता मेट्रिक्स प्राप्त किए। SIDD-Validation डेटासेट पर, इसने सबसे कम KLD (0.014) और AKLD (0.113) स्कोर प्राप्त किया, जो NAFlow और NeCA-W से बेहतर है।
सामान्यीकरण (Generalization): मॉडल ने मुख्य रूप से स्मार्टफोन-आधारित SIDD पर प्रशिक्षित होने के बावजूद विभिन्न कैमरा प्रकारों (DSLR बनाम स्मार्टफोन) और डेटासेट्स (PolyU, Nam) में मजबूत सामान्यीकरण प्रदर्शित किया। इसने बिना विशिष्ट प्रशिक्षण के अनदेखे उपकरणों के लिए शोर वितरण को सफलतापूर्वक संश्लेषित किया।
डिनोइज़िंग प्रदर्शन: जब इनका उपयोग डिनोइज़िंग नेटवर्क (DnCNN और NAFNet) को प्रशिक्षित करने के लिए किया गया, तो GuidNoise-जेनरेटेड डेटा ने वास्तविक शोरयुक्त छवियों के साथ प्रशिक्षण के लगभग समान प्रदर्शन दिया। SIDD-Benchmark पर, Guidness-प्रशिक्षित NAFNet ने 37.48 का PSNR प्राप्त किया, जबकि वास्तविक डेटा के लिए यह 37.60 था।
सेल्फ-ऑग्मेंटेशन: प्रयोगों से पता चला कि सेल्फ-ऑग्मेंटेशन (वास्तविक और सिंथेटिक डेटा का मिश्रण) प्रदर्शन को काफी बढ़ाता है, विशेष रूप से छोटे मॉडल्स और सीमित डेटासेट्स के लिए। एक सेल्फ-ऑगमेंटेड NAFNet-Small, जो केवल 1/16 वास्तविक डेटा पर प्रशिक्षित था, ने फुल रियल डेटा पर प्रशिक्षित NAFNet-Medium से बेहतर प्रदर्शन किया।

महत्व

पेपर का दावा है कि GuidNoise मौजूदा जनरेटिव नॉइज़ सिंथेसिस विधियों की पूर्व-आवश्यकताओं को कम करके इमेज डिनोइज़िंग में डेटा अधिग्रहण की महत्वपूर्ण बाधा को दूर करता है। मेटाडेटा या व्यापक युग्मित डेटासेट्स के बजाय एक सिंगल गाइडेंस पेयर पर निर्भर होकर, यह विधि विविध वास्तविक दुनिया के परिदृश्यों में शोर संश्लेषण को सामान्य करने के लिए एक लचीला और मजबूत समाधान प्रदान करती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण न केवल सिंथेटिक शोर की गुणवत्ता में सुधार करता है, बल्कि डेटा ऑग्मेंटेशन की व्यावहारिक रणनीतियों को भी सक्षम बनाता है जो संसाधन-बाधित वातावरणों में डिनोइज़िंग प्रदर्शन को बढ़ाते हैं।