🤖 machine learning

Taming Score-Based Denoisers in ADMM: A Convergent Plug-and-Play Framework

यह शोध पत्र एक नवीन AC-DC डिनॉइज़र के साथ ADMM-PnP प्रस्तुत करता है जो मैनिफोल्ड मिसमैच (manifold mismatch) को हल करता है और ADMM ढांचे के भीतर स्कोर-आधारित जनरेटिव मॉडल्स के लिए अभिसरण गारंटी (convergence guarantees) स्थापित करता है, जिससे विभिन्न इनवर्स समस्याओं में समाधान की गुणवत्ता में सुधार होता है।

मूल लेखक: Rajesh Shrestha, Xiao Fu

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rajesh Shrestha, Xiao Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल जिग्सॉ पहेली (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं, लेकिन किसी ने उस तस्वीर को ले लिया है, उसे फाड़ दिया है, रेत के साथ मिला दिया है, और फिर आपको मूल छवि का एक धुंधला, अधूरा संस्करण थमा दिया है। आपका लक्ष्य इस गंदगी से एक आदर्श तस्वीर को फिर से बनाना है। वैज्ञानिक इसे "इनवर्स प्रॉब्लम" (inverse problem) कहते हैं।

AI की दुनिया में, हमारे पास एक बहुत ही समझदार सहायक है: एक स्कोर-बेस्ड मॉडल (Score-Based Model)। इस मॉडल को एक मास्टर आर्ट रिस्टोरर (कला सुधारने वाला) के रूप में सोचें जिसने लाखों बेहतरीन पेंटिंग्स देखी हैं। वह जानता है कि एक "असली" चेहरा, एक "असली" परिदृश्य, या एक "असली" कार कैसी दिखती है। यदि आप उसे एक धुंधला, शोर भरा धब्बा दिखाते हैं, तो वह अनुमान लगा सकता है, "आह, यह धब्बा शायद नाक का हिस्सा है," और विवरणों को भर सकता है।

हालाँकि, एक पेच है। वह रिस्टोरर विशिष्ट प्रकार की "गंदगी" (जैसे रैंडम स्टैटिक वाली तस्वीरें) पर प्रशिक्षित किया गया है। लेकिन जब हम इस रिस्टोरर का उपयोग ADMM नामक एक गणितीय एल्गोरिदम (एक चरण-दर-चरण प्रक्रिया) के भीतर करने की कोशिश करते हैं, तो जो "गंदगी" हम उसे देते हैं, वह अलग दिखती है। यह ऐसा है जैसे आप रिस्टोरर को कीचड़ से ढकी हुई पेंटिंग थमा रहे हों, जबकि वह केवल पानी के दागों को साफ करना जानता है। यदि आप उससे सीधे इसे साफ करने के लिए कहते हैं, तो वह भ्रमित हो जाता है, और परिणाम अजीब या टूटा हुआ दिखता है।

यह पेपर इस बेमेल (mismatch) को ठीक करने और इस पूरी प्रक्रिया को सुचारू रूप से चलाने के लिए AC-DC डिनोइज़िंग (AC-DC Denoising) नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "गलत तरह की गंदगी"

एल्गोरिदम (ADMM) एक सख्त प्रोजेक्ट मैनेजर की तरह है। यह समाधान का एक अनुमान लेता है, गणित की जाँच करता है, और फिर AI रिस्टोरर से उस अनुमान को "साफ करने" के लिए कहता है।

समस्या: AI रिस्टोरर एक विशिष्ट प्रकार के शोर (जैसे पुराने टीवी पर दिखने वाला स्टैटिक) की अपेक्षा करता है। लेकिन प्रोजेक्ट मैनेजर का अनुमान एक अजीब, जटिल प्रकार का शोर लिए होता है क्योंकि इसमें गणितीय चरणों के कारण एक विशेष प्रकार की गंदगी शामिल होती है।
परिणाम: यदि आप रिस्टोरर को इस "गलत" शोर को सीधे साफ करने के लिए कहते हैं, तो वह चीजें बना सकता है (hallucinate) जो वहां नहीं हैं, या छवि को ठीक करने में विफल हो सकता है।

2. समाधान: AC-DC डिनोइज़र

लेखकों ने AI रिस्टोरर के देखने से पहले एक तीन-चरणीय "प्री-क्लीनिंग" (पूर्व-सफाई) प्रक्रिया बनाई है। इसे AI रिस्टोरर द्वारा वैक्स लगाने से पहले एक तीन-चरणी कार वॉश के रूप में सोचें।

चरण 1: ऑटो-करेक्शन (AC) - "बारिश की बौछार"
- यह क्या करता है: एल्गोरिदम जानबूझकर छवि में थोड़ा सा मानक शोर (जैसे बारिश) जोड़ता है।
- उपमा: कल्पना कीजिए कि प्रोजेक्ट मैनेजर का अनुमान एक कीचड़ से भरी कार है। रिस्टोरर केवल उन कारों को धोना जानता है जो बारिश से ढकी होती हैं। इसलिए, हम कीचड़ वाली कार पर पाइप से पानी छिड़कते हैं ताकि कीचड़ को एक "बारिश वाले मलबे" में बदला जा सके। अब, कार उस तरह की गंदगी जैसी दिखती है जिसे संभालने के लिए रिस्टोरर प्रशिक्षित है।
- यह क्यों मदद करता है: यह रिस्टोरर को यह सोचने के लिए मजबूर करता है, "आह, यह एक मानक बारिश वाला मलबा है! मैं इसे ठीक करना जानता हूँ!"
चरण 2: डायरेक्शनल करेक्शन (DC) - "GPS गाइड"
- यह क्या करता है: छवि अब "बारिश वाली" है, लेकिन यह अभी भी उस स्थान से थोड़ी दूर है जहाँ रिस्टोरर चाहता है। एल्गोरिदम "लैंग्विन डायनेमिक्स" (Langevin dynamics) नामक एक तकनीक का उपयोग करता है (जो "गाइडेड वॉकिंग" का एक फैंसी तरीका है) ताकि छवि को सही "बारिश वाले" क्षेत्र के करीब धकेला जा सके।
- उपमा: कल्पना कीजिए कि आप एक धुंधले जंगल (बारिश वाले मलबे) में हैं और आपको एक विशिष्ट कैंपफायर (परफेक्ट डेटा) ढूंढना है। आपके पास एक GPS है जो कहता है, "10 कदम उत्तर चलें, फिर 5 कदम पूर्व चलें।" DC चरण उन GPS निर्देशों का पालन करने जैसा है ताकि आप बिल्कुल उस स्थान पर पहुँच सकें जहाँ रिस्टोरर अपना जादू चला सके। यह सुनिश्चित करता है कि आप जंगल में भटक न जाएं।
चरण 3: स्कोर-बेस्ड डिनोइज़िंग - "मास्टर रिस्टोरर"
- यह क्या करता है: अब जब छवि पर "बारिश" हो चुकी है (AC) और उसे सही जगह पर "गाइड" किया गया है (DC), तब अंततः AI रिस्टोरर अपना काम शुरू करता है।
- उपमा: रिस्टोरर एक ऐसी कार देखता है जो ठीक उसी तरह की बारिश से ढकी है जिसमें वह विशेषज्ञ है। वे तेज़ी से और सटीकता से उसे पोंछते हैं, जिससे नीचे की सुंदर कार दिखाई देती है। क्योंकि कार को सही ढंग से तैयार किया गया था, इसलिए परिणाम एकदम सही होता है।

3. यह क्यों महत्वपूर्ण है: "प्रमाण"

लेखकों ने केवल एक शानदार टूल नहीं बनाया; उन्होंने गणितीय रूप से सिद्ध किया कि यह काम करता है।

गारंटी: उन्होंने दिखाया कि यदि आप इन चरणों का पालन करते हैं, तो एल्गोरिदम कभी पागल नहीं होगा या लूप में नहीं फंसेगा। यह अंततः एक ऐसे समाधान पर स्थिर हो जाएगा जो सर्वोत्तम संभव उत्तर के बहुत करीब है।
लचीलापन: यह विधि तब भी काम करती है जब गणित वास्तव में कठिन हो जाता है (जैसे केवल छाया से छवि को पुनर्गठित करना, जिसे "फेज़ रिट्रीवल" कहा जाता है)।

बड़ी तस्वीर (The Big Picture)

इस पेपर से पहले, जटिल गणितीय एल्गोरिदम के भीतर इन शक्तिशाली AI रिस्टोरर्स का उपयोग करना एक चौकोर लकड़ी के टुकड़े को गोल छेद में फिट करने जैसा था। यह संभव तो था, लेकिन परिणाम अक्सर अस्थिर या धुंधले होते थे।

इस पेपर ने एक एडाप्टर (AC-DC डिनोइज़र) बनाया है जो चौकोर टुकड़े को गोल छेद में पूरी तरह से फिट होने में मदद करता है।

इसके बिना: AI भ्रमित हो जाता है, और छवि एक खराब फोटोशॉप जॉब की तरह दिखती है।
इसके साथ: AI पूरी तरह से काम करता है, धुंधले, टूटे हुए डेटा से क्रिस्टल-क्लियर छवियां बनाता है।

संक्षेप में: लेखकों ने यह पता लगाया है कि कैसे एक गणितीय एल्गोरिदम के "मेसी आउटपुट" को उस भाषा में "अनुवादित" किया जाए जिसे AI रिस्टोरर समझता है, यह सुनिश्चित करते हुए कि अंतिम परिणाम केवल एक अनुमान नहीं है, बल्कि एक उच्च-गुणवत्ता वाला, गणितीय रूप से गारंटीकृत समाधान है।

यहाँ शोध पत्र "Taming Score-Based Denoisers in ADMM: A Convergent Plug-and-Play Framework" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इनवर्स समस्याओं (जैसे कि इमेज इनपेंटिंग, डीब्लरिंग, सुपर-रिज़ॉल्यूशन) को हल करने के लिए अल्टरनेटिंग डायरेक्शन मेथड ऑफ मल्टीप्लायर्स (ADMM) में स्कोर-आधारित जनरेटिव मॉडल्स (डिफ्यूजन मॉडल्स) को एकीकृत करने की चुनौती का समाधान करता है।

यद्यपि स्कोर-आधारित मॉडल्स ने इनवर्स समस्याओं में प्रायर्स (priors) के रूप में बड़ी सफलता दिखाई है, लेकिन ADMM में उनका सीधा एकीकरण दो महत्वपूर्ण बाधाओं का सामना करता है:

मैनिफोल्ड मिसमैच (Manifold Mismatch): स्कोर फंक्शन्स को गाऊसीियन परटर्बेशन ( $x_t = x_0 + \sigma(t)\epsilon$ ) द्वारा निर्मित शोर वाले डेटा मैनिफोल्ड्स पर प्रशिक्षित किया जाता है। हालाँकि, ADMM इटरेट (विशेष रूप से डिनोइज़र का इनपुट $\tilde{z}^{(k)} = x^{(k+1)} + u^{(k)}$ ) ड्यूल वेरिएबल्स ( $u^{(k)}$ ) से प्रभावित होते हैं और स्वाभाविक रूप से इन प्रशिक्षण मैनिफोल्ड्स पर नहीं होते हैं। प्री-ट्रेंड स्कोर फंक्शन को इन इटरेट्स पर सीधे लागू करने से ज्योमेट्री मिसमैच होता है, जिसके परिणामस्वरूप आर्टिफ़ेक्ट्स (artifacts) और प्रदर्शन में गिरावट आती है।
अभिसरण सिद्धांत का अभाव (Lack of Convergence Theory): मौजूदा प्लग-एंड-प्ले (PnP) विधियाँ जो स्कोर-आधारित डिनोइज़र्स का उपयोग करती हैं, उनमें अक्सर कठोर अभिसरण गारंटी (convergence guarantees) की कमी होती है, विशेष रूप से ADMM जैसे प्राइमल-ड्यूल फ्रेमवर्क के भीतर जहाँ ड्यूल वेरिएबल्स ज्योमेट्री को जटिल बना देते हैं।

2. कार्यप्रणाली: AC-DC डिनोइज़र (Methodology: The AC-DC Denoiser)

लेखक एक नया AC-DC डिनोइज़र प्रस्तावित करते हैं जिसे मैनिफोल्ड गैप को पाटने और अभिसरण सुनिश्चित करने के लिए ADMM फ्रेमवर्क के भीतर एम्बेड किया गया है। प्रत्येक ADMM इटरेशन $k$ के दौरान डिनोइज़र तीन चरणों में कार्य करता है:

ऑटो-करेक्शन (AC - Auto-Correction):
- तंत्र (Mechanism): ADMM इटरेट $\tilde{z}^{(k)}$ में एडिटिव गाऊसीियन नॉइज़ इंजेक्ट की जाती है।
- उद्देश्य: यह चरण इटरेट को "गाऊसीनाइज़" (gaussianizes) करता है, जिससे यह उन शोर वाले डेटा मैनिफोल्ड्स $\mathcal{M}_{\sigma(t)}$ के करीब पहुँच जाता है जिन पर स्कोर फंक्शन को प्रशिक्षित किया गया था। यह ड्यूल वेरिएबल के कारण होने वाले वितरण बदलाव (distributional shift) को संबोधित करता है।
डायरेक्शनल करेक्शन (DC - Directional Correction):
- तंत्र: AC आउटपुट से शुरू होकर कुछ चरणों तक कंडीशनल लैंग्विन डायनेमिक्स (Conditional Langevin Dynamics) निष्पादित की जाती है। यह डायनेमिक्स विशिष्ट नॉइज़ लेवल मैनिफोल्ड $p(z_{\sigma(k)} | \tilde{z}^{(k)}_{ac})$ को लक्षित करती है।
- उद्देश्य: यह चरण मूल इटरेट में निहित सिग्नल जानकारी को खोए बिना, विशिष्ट नॉइज़ लेवल मैनिफोल्ड के साथ संरेखण (alignment) को परिष्कृत करता है। यह प्रभावी रूप से AC चरण और ड्यूल वेरिएबल द्वारा उत्पन्न अवशिष्ट त्रुटि (residual error) को ठीक करता है।
स्कोर-आधारित डिनोइज़िंग (Score-Based Denoising):
- तंत्र: DC चरण के आउटपुट को प्री-ट्रेंड स्कोर फंक्शन के माध्यम से पास किया जाता है।
- कार्यान्वयन: लेखक दो वेरिएंट प्रदान करते हैं:
  - Ours-tweedie: यह टिवीडी के लेम्मा (Tweedie's lemma) का उपयोग करके सीधे डिनोइज़्ड एस्टीमेट की गणना करता है: $z = z_{dc} + \sigma^2 s_\theta(z_{dc}, \sigma)$ ।
  - Ours-ode: यह साफ सिग्नल को पुनः प्राप्त करने के लिए DC आउटपुट से पीछे की ओर एक ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) को हल करता है।

3. मुख्य योगदान (Key Contributions)

A. सैद्धांतिक अभिसरण विश्लेषण (Theoretical Convergence Analysis)

यह शोध पत्र AC-DC डिनोइज़र का उपयोग करके दो व्यवस्थाओं के तहत ADMM-PnP के लिए कठोर अभिसरण गारंटी स्थापित करता है:

वीकली नॉन-एक्सपेंसिव रेसिडुअल्स (फिक्स्ड स्टेप साइज):
- लेखक सिद्ध करते हैं कि उचित पैरामीटर शेड्यूलिंग के तहत, AC-DC डिनोइज़र एक वीकली नॉन-एक्सपेंसिव ऑपरेटर (विशेष रूप से, एक $\delta$ -वीकली $\theta$ -एवरेज्ड ऑपरेटर) के रूप में कार्य करता है।
- यह सुनिश्चित करता है कि ADMM इटरेट्स उच्च संभावना के साथ एक फिक्स्ड-पॉइंट बॉल (समाधान के एक पड़ोस) की ओर अभिसरित होते हैं, भले ही लॉस फंक्शन स्ट्रॉन्गली कॉन्वेक्स हो।
बाउंडेड डिनोइज़र (एडैप्टिव स्टेप साइज):
- गैर-कॉन्वेक्स लॉस फंक्शन्स (जो कई इनवर्स समस्याओं में सामान्य हैं) के लिए, लेखक स्ट्रॉन्ग कॉन्वेक्सिटी की धारणा को शिथिल करते हैं।
- वे सिद्ध करते हैं कि AC-DC डिनोइज़र उच्च संभावना के साथ बाउंडेड है।
- एक एडैप्टिव स्टेप-साइज शेड्यूल (पेनल्टी पैरामीटर $\rho$ को बढ़ाकर) का उपयोग करके, वे उच्च संभावना के साथ एक फिक्स्ड पॉइंट तक अभिसरण की गारंटी देते हैं, जो स्कोर-आधारित सेटिंग्स के लिए पूर्व PnP अभिसरण सिद्धांत का विस्तार करता है।

B. अनुभवजन्य प्रदर्शन (Empirical Performance)

इस पद्धति को सुपर-रिज़ॉल्यूशन (4x), गाऊसीियन और मोशन डीब्लरिंग, इनपेंटिंग (रैंडम और बॉक्स मास्क), फेज रिट्रीवल, HDR रिकंस्ट्रक्शन और नॉनलीनियर डीब्लरिंग सहित विविध इनवर्स समस्याओं पर सत्यापित किया गया।

परिणाम:

मात्रात्मक (Quantitative): प्रस्तावित विधि (दोनों Tweedie और ODE वेरिएंट) ने FFHQ और ImageNet डेटासेट्स पर DPS, DDRM, DiffPIR और RED-diff जैसे बेसलाइन्स की तुलना में PSNR, SSIM और LPIPS मेट्रिक्स में लगातार स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त किया।
गुणात्मक (Qualitative): विजुअल परिणाम बेसलाइन्स की तुलना में काफी कम आर्टिफ़ेक्ट्स और बेहतर बारीक विवरणों के संरक्षण को दर्शाते हैं, जो अक्सर शोर या माप विसंगति (measurement inconsistency) से ग्रस्त होते हैं।
एब्लेशन (Ablation): DC चरण को हटाने से गंभीर आर्टिफ़ेक्ट्स देखे गए, जो मैनिफोल्ड संरेखण के लिए डायरेक्शनल करेक्शन की आवश्यकता की पुष्टि करते हैं।

4. महत्व और प्रभाव (Significance and Impact)

सिद्धांत और व्यवहार को जोड़ना: यह कार्य ADMM फ्रेमवर्क के भीतर स्कोर-आधारित PnP विधियों के लिए सबसे पहले कठोर अभिसरण विश्लेषणों में से एक प्रदान करता है, जो ड्यूल वेरिएबल हस्तक्षेप के कारण पहले कठिन माना जाता था।
मैनिफोल्ड मिसमैच को हल करना: AC-DC फ्रेमवर्क "मैनिफोल्ड मिसमैच" समस्या के लिए एक सामान्य, सिद्धांत-आधारित समाधान प्रदान करता है, जिसने डिफ्यूजन मॉडल्स को ऑप्टिमाइजेशन एल्गोरिदम के साथ संयोजित करने के पिछले प्रयासों को बाधित किया था। यह केवल शोर इंजेक्शन से आगे बढ़कर इटरेट की स्थिति को स्कोर मैनिफोल्ड के सापेक्ष सक्रिय रूप से सुधारता है।
लचीलापन: यह विधि प्रदर्शित करती है कि ADMM कई रेगुलराइजर्स और बाधाओं के साथ जटिल, डेटा-संचालित प्रायर्स (डिफ्यूजन मॉडल्स) को प्रभावी ढंग से संभाल सकता है, जिससे जटिल इनवर्स समस्याओं के लिए PnP की प्रयोज्यता का विस्तार होता है।
मजबूती (Robustness): एडैप्टिव स्टेप साइजेस का उपयोग करने पर सैद्धांतिक गारंटी गैर-कॉन्वेक्स ऑब्जेक्टिव्स के लिए भी बनी रहती है, जो इस फ्रेमवर्क को वास्तविक दुनिया के अनुप्रयोगों के लिए मजबूत बनाती है जहाँ कॉन्वेक्सिटी धारणाएं अक्सर विफल हो जाती हैं।

संक्षेप में, यह शोध पत्र एक तीन-चरणीय सुधार तंत्र पेश करके ADMM के लिए स्कोर-आधारित डिनोइज़र्स को सफलतापूर्वक "तमीज़" (tame) करता है, जो मजबूत सैद्धांतिक अभिसरण प्रमाणों और श्रेष्ठ अनुभवजन्य परिणामों द्वारा समर्थित है।