🤖 AI

Perception-based Image Denoising via Generative Compression

यह शोध पत्र इमेज डिनोइजिंग (image denoising) के लिए एक जनरेटिव कंप्रेशन फ्रेमवर्क प्रस्तावित करता है जो यथार्थवादी बनावट की रिकवरी (texture recovery) प्राप्त करने के लिए एंट्रॉपी-कोडेड लेटेंट रिप्रेजेंटेशन्स (entropy-coded latent representations) और परसेप्चुअल-ड्रिवन डिकोडर्स (कंडीशनल WGANs या डिफ्यूजन मॉडल्स के माध्यम से) का लाभ उठाता है, साथ ही पुनर्निर्माण त्रुटि (reconstruction error) और डिकोडिंग प्रोबेबिलिटी पर सैद्धांतिक गारंटी भी प्रदान करता है।

मूल लेखक: Nam Nguyen, Thinh Nguyen, Bella Bose

प्रकाशित 2026-05-19

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Nam Nguyen, Thinh Nguyen, Bella Bose

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जंगल की एक सुंदर, उच्च-रिज़ॉल्यूशन वाली तस्वीर है, लेकिन किसी ने उस पर स्टैटिक-भरे बर्फ की एक बाल्टी फेंक दी है। आपका लक्ष्य उस फोटो को साफ करना है।

पुराना तरीका: "धुंधला सुधार" (The Blurry Fix)
लंबे समय तक, कंप्यूटरों ने इस फोटो को ठीक करने के लिए केवल बर्फ का औसत निकालने (averaging out) की कोशिश की। इसे ऐसे समझें जैसे किसी ऊबड़-खाबड़ सड़क को ठीक करने के लिए एक विशाल, भारी रोलर चलाने की कोशिश की जा रही हो। उभार (शोर/noise) तो खत्म हो जाते हैं, लेकिन पेड़ की छाल की बनावट या पत्तियों जैसे दिलचस्प विवरण भी गायब हो जाते हैं। परिणाम एक साफ लेकिन "अत्यधिक-स्मूथ" (over-smoothed) तस्वीर होती है जो असली फोटो के बजाय एक प्लास्टिक पेंटिंग जैसी दिखती है। यह वही है जिसे पेपर "डिस्टॉर्शन-ड्रिवन" (distortion-driven) विधियाँ कहता है।

नया विचार: "स्मार्ट पुनर्कल्पना" (The Smart Re-imagining)
यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है जिसे परसेप्शन-बेस्ड डिनोइजिंग (Perception-Based Denoising) कहा जाता है। चीजों को केवल स्मूथ करने के बजाय, कंप्यूटर यह समझने की कोशिश करता है कि वास्तविक दुनिया की छवियों के आधार पर साफ फोटो कैसी दिखनी चाहिए।

लेखक एक चतुर तकनीक का उपयोग करते हैं जिसे जेनेरेटिव कम्प्रेशन (Generative Compression) कहा जाता है। यहाँ इसका सादृश्य (analogy) दिया गया है:

कम्प्रेशन (सारांश): कल्पना कीजिए कि आपके पास एक अस्त-व्यस्त, शोर वाला कमरा है। कमरे के हर एक कण को साफ करने के बजाय, आप कमरे की संरचना (बिस्तर कहाँ है, खिड़की कहाँ है) का एक त्वरित, संकुचित मानसिक स्नैपशॉट लेते हैं। आप शोर (noise) वाले अव्यवस्थित विवरणों को हटा देते हैं और केवल आवश्यक "ब्लूप्रिंट" को रखते हैं। पेपर में, यह एक एनकोडर (Encoder) द्वारा किया जाता है जो शोर वाली छवि को एक संक्षिप्त, कुशल कोड (एक लेटेंट रिप्रेजेंटेशन) में बदल देता है।
रिकंस्ट्रक्शन (कलाकार): अब, आप यह ब्लूप्रिंट एक अत्यधिक कुशल कलाकार (डिकोडर - Decoder) को देते हैं। कलाकार केवल ब्लूप्रिंट की नकल नहीं करता है; वह इस ज्ञान का उपयोग करता है कि वास्तविक कमरे कैसे दिखते हैं ताकि वे छूटे हुए विवरणों को भर सकें। वे जानते हैं कि खिड़कियों में आमतौर पर कांच होता है और बिस्तरों में चादरें होती हैं। वे उन बारीक बनावटों को "हैलुसिनेट" (अच्छे अर्थ में) करते हैं जिन्हें शोर ने नष्ट कर दिया था, जिससे छवि फिर से वास्तविक दिखने लगती है।

दो अलग-अलग कलाकार
पेपर इस काम को करने के लिए दो विशिष्ट "कलाकार" (विधियाँ) पेश करता है:

WGAN कलाकार (द एडवरसेरियल क्रिटिक): यह विधि "दो खिलाड़ियों के खेल" का उपयोग करती है। एक खिलाड़ी (जेनरेटर) ब्लूप्रिंट से एक साफ छवि बनाने की कोशिश करता है। दूसरा खिलाड़ी (डिस्क्रिमिनेटर) एक सख्त कला समीक्षक की तरह कार्य करता है, जो यह पहचानने की कोशिश करता है कि छवि नकली है या असली। वे यह खेल बार-बार खेलते हैं जब तक कि जेनरेटर इतना अच्छा न हो जाए कि समीक्षक अंतर न कर सके। यह सुनिश्चित करता है कि अंतिम छवि अविश्वसनीय रूप से यथार्थवादी दिखे, न कि केवल गणितीय रूप से सही।
डिफ्यूजन कलाकार (द स्टेप-बाय-स्टेप स्कल्प्टर): यह विधि एक मूर्तिकार की तरह है जो शोर वाली मिट्टी के एक ब्लॉक से शुरू करता है और ब्लूप्रिंट के मार्गदर्शन में धीरे-धीरे, चरण-दर-चरण शोर को हटाता है। यह शुद्ध अराजकता से शुरू होता है और धीरे-धीरे एक स्पष्ट छवि में परिष्कृत होता है, यह सुनिश्चित करते हुए कि हर छोटा विवरण समग्र संरचना के साथ पूरी तरह फिट बैठता है।

सुरक्षा जाल (गणित)
लेखकों ने न केवल इन उपकरणों का निर्माण किया है; उन्होंने यह भी साबित किया है कि उनकी विधि काम करती है, इसके लिए उन्होंने एक नियम पुस्तिका (गणितीय प्रमाण) भी लिखी है। उन्होंने सिद्ध किया कि यदि शोर बहुत अधिक पागलपन भरा नहीं है, तो उनका "ब्लूप्रिंट और कलाकार" सिस्टम हमेशा मूल के करीब परिणाम देगा, और उन्होंने यह भी गणना की कि गलती करने की कितनी संभावना है।

परिणाम
जब उन्होंने वास्तविक तस्वीरों (जैसे प्रकृति के दृश्य) और यहाँ तक कि कठिन वैज्ञानिक तस्वीरों (जैसे कोशिकाओं के सूक्ष्मदर्शी चित्र) पर इनका परीक्षण किया, तो परिणाम प्रभावशाली थे:

पुरानी विधियों ने छवियों को चिकना और धुंधला बना दिया।
उनकी विधियों ने छवियों को तेज और बनावट से भरपूर रखा, जिससे वे बहुत अधिक वैसा दिखता है जैसा कि एक मानव आँख उम्मीद करती है।

संक्षेप में, शोर को केवल "साफ" करने के बजाय, यह पेपर कंप्यूटर को छवि को पुनर्गठित (reconstruct) करना सिखाता है, जिससे वह वास्तविक विवरणों के साथ छूटे हुए हिस्सों को भर देता है, जिसके परिणामस्वरूप तस्वीरें अधिक प्राकृतिक और जीवंत दिखाई देती हैं।

तकनीकी सारांश: जनरेटिव कंप्रेशन के माध्यम से धारणा-आधारित इमेज डिनोइजिंग (Perception-Based Image Denoising)

1. समस्या विवरण (Problem Statement)

इमेज डिनोइजिंग का लक्ष्य संरचनात्मक विवरणों और धारणात्मक यथार्थता (perceptual realism) को संरक्षित करते हुए शोर (noise) को हटाना है। हालांकि, पिक्सेल-वार विरूपण मेट्रिक्स (जैसे कि मीन स्क्वेर्ड एरर या PSNR) के लिए अनुकूलित पारंपरिक विधियां अक्सर अत्यधिक स्मूथ पुनर्निर्माण (over-smoothed reconstructions) उत्पन्न करती हैं, विशेष रूप से तीव्र शोर या वितरण बदलाव (distribution shifts) के तहत। ऐसा इसलिए होता है क्योंकि केवल विरूपण (distortion) को कम करना धारणात्मक गुणवत्ता के लिए पर्याप्त नहीं है; रेट-डिस्टॉर्शन-परसेप्शन (RDP) ट्रेड-ऑफ यह औपचारिक रूपकर बताता है कि धारणात्मक बाधाओं पर विचार किए बिना विरूपण को कम करने से सूक्ष्म बनावट (fine textures) और प्राकृतिक छवि सांख्यिकी का नुकसान होता है।

मौजूदा धारणात्मक बहाली (perceptcial restoration) विधियां, जैसे कि कंडिशनल वासरस्टीन GANs (WGANs), अस्थिर प्रशिक्षण और अपर्याप्त प्राकृतिक छवि विविधता से ग्रस्त हो सकती हैं। इसके विपरीत, डिफ्यूजन मॉडल स्थिर प्रशिक्षण और मजबूत मोड कवरेज प्रदान करते हैं, लेकिन उन्हें शोर बनाम प्राकृतिक संकेतों की संरचित प्रकृति को प्रभावी ढंग से संभालने के लिए कंप्रेशन सिद्धांतों के साथ एकीकरण की आवश्यकता होती है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एक जनरेटिव कंप्रेशन फ्रेमवर्क प्रस्तावित करता है जहाँ एंट्रॉपी-कोडेड लेटेंट रिप्रजेंटेशन से छवियों के पुनर्निर्माण के माध्यम से डिनोइजिंग प्राप्त की जाती है। मुख्य आधार यह है कि प्राकृतिक संकेत निम्न जटिलता (low complexity) प्रदर्शित करते हैं, जबकि शोर असंरचित होता है। शोर की शक्ति के अनुरूप डिस्टॉर्शन स्तर पर एक कंप्रेसर को संचालित करके, उच्च-जटिलता वाले शोर को दबा दिया जाता है जबकि संरचित सामग्री को संरक्षित किया जाता है।

लेखक इस फ्रेमवर्क के दो पूरक इंस्टेंशिएशन पेश करते हैं:

2.1. कंडिशनल WGAN-आधारित कंप्रेशन डिनोइज़र (CGanDeCompress)

यह दृष्टिकोण सीखे गए लॉस लॉस (lossy compression) को कंडिशनल एडवरसेरियल ट्रेनिंग के साथ एकीकृत करता है।

आर्किटेक्चर: एक एनकोडर ( $E$ ) शोर युक्त इनपुट $y$ को क्वांटाइज्ड लेटेंट रिप्रजेंटेशन $z$ में मैप करता है। एक डिकोडर ( $G$ ) $z$ से डिनोइज्ड इमेज $\hat{x}$ को पुनर्निर्मित करता है।
रेट कंट्रोल: लेटेंट $z$ को एक सीखे गए प्रोबेबिलिटी मॉडल $P$ का उपयोग करके एंट्रॉपी-कोडेड किया जाता है, जिससे रेट $r(z) = -\log P(z)$ प्राप्त होता है।
ट्रेनिंग ऑब्जेक्टिव: सिस्टम एक संयुक्त लॉस फंक्शन को कम करता है:
$L_{EGP} = \mathbb{E}_y[\lambda r(z) + d(x, \hat{x}) - \beta \log D(\hat{x}, z)]$
जहाँ $d(x, \hat{x})$ , MSE और लर्नड परसेप्टुअल इमेज पैच सिमिलैरिटी (LPIPS) लॉस का संयोजन है। एक कंडिशनल WGAN डिस्क्रिमिनेटर $D$ , $z$ पर आधारित पुनर्निर्मित छवियों और स्वच्छ छवियों के बीच अंतर करता है, जो धारणात्मक यथार्थता को बढ़ावा देता है।
नियंत्रण: पैरामीटर्स $\lambda$ और $\beta$ स्पष्ट रूप से रेट-डिस्टॉर्शन-परसेप्शन (RDP) ट्रेड-ऑफ को नियंत्रित करते हैं।

2.2. कंडिशनल डिफ्यूजन-आधारित पुनर्निर्माण (DiffDeCompress)

यह दृष्टिकोण कंप्रेस्ड लेटेंट्स द्वारा निर्देशित जनरेटिव प्रायर्स के रूप में डिफ्यूजन मॉडल्स का लाभ उठाता है।

आर्किटेक्चर: एक स्टोकेस्टिक एनकोडर $y$ को एक कॉम्पैक्ट लेटेंट $z$ में मैप करता है। एक डिकोडर कंडिशनल डिस्ट्रीब्यूशन $p(x_0|z)$ को रिवर्स डिफ्यूजन प्रोसेस के माध्यम से मॉडल करता है।
प्रक्रिया: रिवर्स प्रोसेस $z$ पर कंडिशनल होती है, जो डिनोइजिंग प्रक्षेपवक्र (trajectory) को सिमेंटिक रूप से सुसंगत पुनर्निर्माणों की ओर निर्देशित करती है, जबकि मध्यवर्ती लेटेंट वेरिएबल्स सूक्ष्म-स्तरीय विवरणों के संश्लेषण की अनुमति देते हैं।
ट्रेनिंग ऑब्जेक्टिव: मॉडल डिफ्यूजन नेगेटिव लॉग-लाइक्लीहुड पर एक वेरिएशनल अपर बाउंड को ऑप्टिमाइज़ करता है, जिसे एक स्पष्ट LPIPS लॉस के साथ बढ़ाया गया है:
$L = \rho L_p + (1-\rho)L_c$
जहाँ $L_p$ , LPIPS लॉस है और $L_c$ में रेट कंस्ट्रेंट और डिफ्यूजन रिकंस्ट्रक्शन लॉस शामिल है।

3. सैद्धांतिक योगदान (Theoretical Contributions)

यह शोध पत्र एडिटिव व्हाइट गौसियन नॉइज़ (AWGN) के तहत कंप्रेशन-आधारित मैक्सिमम-लाइक्लीहुड (ML) डिनोइजिंग के लिए नॉन-एसिम्प्टोटिक गारंटी स्थापित करता है।

पुनर्निर्माण त्रुटि सीमाएं (Reconstruction Error Bounds): लेखक कंप्रेशन रेट $R$ , डिस्टॉर्शन $D(P)$ , और परसेप्शन लेवल $P$ के संदर्भ में पुनर्निर्माण त्रुटि $\|x - \hat{x}\|$ पर ऊपरी सीमाएं व्युत्पन्न करते हैं। सीमा इंगित करती है कि उच्च संभावना के साथ, त्रुटि सैद्धांतिक डिस्टॉर्शन-परसेप्शन लिमिट $D(P)$ के करीब होती है।
डिकोडिंग एरर प्रोबेबिलिटी: पेपर ML डिनोइज़र द्वारा गलत कोडवर्ड चुनने की संभावना पर एक सीमा प्रदान करता है, जो यह दर्शाता है कि यह संभावना कंप्रेशन रेट $R$ के साथ तेजी से (exponentially) घटती है।
RDP थ्योरी से संबंध: सैद्धांतिक ढांचा स्पष्ट रूप से डिनोइजिंग प्रदर्शन को RDP थ्योरी से जोड़ता है, यह प्रदर्शित करते हुए कि प्रस्तावित विधियां डिस्टॉर्शन-परसेप्शन ट्रेड-ऑफ की सैद्धांतिक सीमाओं के भीतर कार्य करती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधियों का मूल्यांकन सिंथेटिक गौसियन नॉइज़ (KODAK और DIV2K डेटासेट) और वास्तविक दुनिया के शोर (फ्लोरेसेंस माइक्रोस्कोपी डेटासेट और स्मार्टफोन इमेज डिनोइजिंग डेटासेट - SIDD) पर किया गया।

सिंथेटिक नॉइज़:
- धारणात्मक गुणवत्ता: दोनों प्रस्तावित विधियों ने क्लासिकल (BM3D) और लर्निंग-आधारित (N2C, N2N, Deep Decoder) बेसलाइन्स को धारणात्मक मेट्रिक्स (FID, LPIPS, PI) में लगातार पछाड़ा।
- डिस्टॉर्शन ट्रेड-ऑफ: जबकि N2C जैसी सुपरवाइज्ड विधियों ने उच्च PSNR/SSIM प्राप्त किया, वे काफी अधिक FID और LPIPS स्कोर प्रदर्शित करती थीं, जो ओवर-स्मूथ आउटपुट का संकेत देती हैं। प्रस्तावित विधियों ने बेहतर धारणात्मक यथार्थता प्राप्त करते हुए प्रतिस्पर्धी डिस्टॉर्शन प्रदर्शन बनाए रखा।
- विशिष्ट विवरण: $\sigma=15$ पर, CGanDeCompress ने सबसे कम FID और LPIPS प्राप्त किया। उच्च शोर स्तरों ( $\sigma=50$ ) पर, DiffDeCompress ने KODAK पर सर्वोत्तम धारणात्मक गुणवत्ता (न्यूनतम PI) प्राप्त की, जबकि CGanDeCompress ने DIV2K पर डिस्ट्रिब्यूशनल सिमिलैरिटी (FID) में उत्कृष्टता प्राप्त की।
वास्तविक दुनिया का शोर:
- FMD और SIDD डेटासेट्स पर, CGanDeCompress ने डोमेन शिफ्ट और जटिल वास्तविक दुनिया के शोर के प्रति मजबूती प्रदर्शित की।
- FMD: LPIPS 0.439 (शोर युक्त) से सुधरकर 0.035 हो गया, और PSNR 28.45 dB से बढ़कर 36.71 dB हो गया।
- SIDD: LPIPS 0.646 से घटकर 0.093 हो गया, और PSNR 26.35 dB से बढ़कर 32.70 dB हो गया, जिसमें स्ट्रक्चरल सिमिलैरिटी (SSIm) में महत्वपूर्ण लाभ हुआ।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि प्रस्तावित जनरेटिव कंप्रेशन फ्रेमवर्क डिस्टॉर्शन-ड्रिवन और परसेप्शन-ड्रिवन डिनोइजिंग के बीच के अंतर को सफलतापूर्वक पाटता है। एक लॉस लॉस (lossy) कोडेक द्वारा प्रेरित लो-कॉम्प्लेक्सिटी सिग्नल क्लास पर प्रोजेक्शन के रूप में डिनोइजिंग की व्याख्या करके, यह विधि निम्नलिखित प्राप्त करती है:

स्पष्ट नियंत्रण: सीखे गए कंप्रेशन मॉडल्स के माध्यम से RDP ट्रेड-ऑफ को स्पष्ट रूप से प्रबंधित करने की क्षमता।
धारणात्मक निष्ठा (Perceptual Fidelity): यथार्थवादी बनावट और सूक्ष्म विवरणों का निर्माण जो अक्सर MSE-ऑप्टिमाइज्ड विधियों में खो जाते हैं।
सैद्धांतिक आधार: कंप्रेशन रेट को डिनोइजिंग एरर से जोड़ने वाली नॉन-एसिम्प्टोटिक बाउंड्स की स्थापना, जो सूचना-सैद्धांतिक सिद्धांतों के माध्यम से दृष्टिकोण को मान्य करती है।
मजबूती (Robustness): डोमेन शिफ्ट और जटिल शोर वितरणों वाले चुनौतीपूर्ण वास्तविक परिदृश्यों सहित सिंथेटिक बेंचमार्क पर निरंतर प्रदर्शन।

लेखक निष्कर्ष निकालते हैं कि जनरेटिव कंप्रेशन धारणा-आधारित इमेज डिनोइजिंग के लिए एक मजबूत प्रतिमान (paradigm) प्रदान करता है, जो प्रतिस्पर्धी डिस्टॉर्शन प्रदर्शन से समझौता किए बिना बेहतर धारणात्मक निष्ठा प्राप्त करता है।