तकनीकी सारांश: PnP में भौतिकी का महत्व: MMSE और NN डिनोइज़र के साथ रिकवरी गारंटी

1. समस्या विवरण (Problem Statement)

यह शोध पत्र एक यादृच्छिक वेक्टर $x \in \mathbb{R}^n$ को एक प्रेक्षण (observation) $y \in \mathbb{R}^m$ से पुन: प्राप्त करने की रैखिक इल-पोज़्ड (ill-posed) व्युत्क्रम समस्या (inverse problem) को संबोधित करता है, जो निम्नलिखित फॉरवर्ड मॉडल द्वारा नियंत्रित है:
$$y = Ax + e$$
जहाँ $A: \mathbb{R}^n \to \mathbb{R}^m$ एक रैखिक ऑपरेटर है, और $e$ शून्य-माध्य (zero-mean) और संभवतः गैर-विकर्ण (non-diagonal), धनात्मक निश्चित सहप्रसरण मैट्रिक्स (positive definite covariance matrix) $\Sigma_E$ वाला गाऊसी शोर (Gaussian noise) है। यदि $A$ अंतःक्षेपी (injective) नहीं है, तो यह समस्या इल-कंडीशन्ड (ill-conditioned) और संभावित रूप से गैर-एकल (non-unique) हो सकती है।

लेखक प्लग-एंड-प्ले (PnP) प्रतिमान (paradigm) की जांच करते हैं, विशेष रूप से फॉरवर्ड-बैकवर्ड स्प्लिटिंग (FBS) पुनरावृत्ति (iteration) की। स्पष्ट नियमितीकरण फलनों (regularization functionals) पर निर्भर करने वाले शास्त्रीय दृष्टिकोणों के विपरीत, PnP एक डिनोइज़िंग ऑपरेटर $\hat{D}$ द्वारा प्रॉक्सिमल ऑपरेटर को बदल देता है। विचार किया गया सामान्य पुनरावृत्ति है:
$$x_{k+1} = \hat{D}(x_k + \gamma B(y - Ax_k))$$
जहाँ $\gamma > 0$ एक स्टेप साइज है और $B \in \mathbb{R}^{n \times m}$ एक रैखिक ऑपरेटर है। मुख्य चुनौती यह स्थापित करने की है कि जब डिनोइज़र मिनिमम मीन स्क्वायर एरर (MMSE) एस्टिमेटर हो, तो इस पुनरावृत्ति के लिए कठोर रिकवरी गारंटी (त्रुटि सीमाएं) कैसे प्राप्त की जाएं, और इन परिणामों को एक न्यूरल नेटवर्क (NN) द्वारा अनुमानित MMSE के मामलों तक कैसे विस्तारित किया जाए।

इस कार्य का एक महत्वपूर्ण अंतर शोर वितरण (noise distribution) का उपचार है। जबकि कई मौजूदा PnP विश्लेषण यह मान लेते हैं कि डिनोइज़र को आइसोट्रोपिक गाऊसी शोर ($\sigma^2 I$) पर प्रशिक्षित किया गया है, यह शोध पत्र डिजेनरेट गाऊसी शोर (degenerate Gaussian noise) के साथ सामान्य सहप्रसरण संरचनाओं पर विचार करता है, यह स्वीकार करते हुए कि PnP पुनरावृत्ति के दौरान डिनोइज़र में इंजेक्ट किया गया शोर $A$ और $B$ के चयन पर निर्भर करता है।

2. कार्यप्रणाली (Methodology)

2.1 MMSE डिनोइज़र ढांचा (The MMSE Denoiser Framework)

लेखक इष्टतम डिनोइज़र $\hat{D}$ को $X$ के MMSE एस्टिमेटर के रूप में परिभाषित करते हैं, जो $Z = X + \Upsilon$ दिया गया है, जहाँ $\Upsilon \sim \mathcal{N}(0, \Sigma_\Upsilon)$। महत्वपूर्ण रूप से, $\Sigma_\Upsilon$ को आइसोट्रोपिक होने की आवश्यकता नहीं है; इसे डिजेनरेट (rank-deficient) होने की अनुमति है, और इसे PnP पुनरावृत्ति के दौरान उत्पन्न होने वाले शोर पद $\gamma B e$ के वितरण से मेल खाने के लिए चुना जाता है।

MMSE एस्टिमेटर को पोस्टीरियर कंडीशनल मीन (posterior conditional mean) के रूप में परिभाषित किया गया है:
$$\hat{D}_\mu(z) = \mathbb{E}[X | Z=z] = \frac{\int x \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}{\int \phi(z-x; \tilde{\Sigma}_\Upsilon) d\mu(x)}$$
जहाँ $\phi$ एक गाऊसी डेंसिटी कर्नेल है जो सबस्पेस $V = \text{Im}(\Sigma_\Upsilon)$ के अनुकूलित है।

2.2 मुख्य धारणाएं (Key Assumptions)

विश्लेषण कई संरचनात्मक धारणाओं पर आधारित है:

• कॉम्पैक्टनेस (Compactness): प्रायोर वितरण $\mu_X$ का सपोर्ट कॉम्पैक्ट और $M$ द्वारा सीमित है।
• सबस्पेस कंसिस्टेंसी (Subspace Consistency): $\mu_X$ का सपोर्ट शोर सहप्रसरण $\Sigma_\Upsilon$ द्वारा स्पैन किए गए सबस्पेस $V$ के भीतर स्थित है।
• ऑपरेटर गुण (Operator Properties): मैट्रिक्स $BA$ सममित (symmetric) और धनात्मक अर्ध-निश्चित (positive semidefinite) है। ऑपरेटर $B$, $V$ में मैप करता है।
• प्रतिबंधित इंजेक्शनिविटी (Restricted Injectivity): $BA$ के कर्नेल (kernel) और $\mu_X$ के सपोर्ट के उत्तल आवरण (convex hull) के टेंजेंट कोन (tangent cone) का प्रतिच्छेदन तुच्छ (trivial) है, जो प्रासंगिक सेट पर व्युत्क्रमणीयता (invertibility) सुनिश्चित करता है।

2.3 न्यूरल नेटवर्क अनुमानों का विश्लेषण (Analysis of Neural Network Approximations)

उच्च आयामों में सटीक MMSE एस्टिमेटर की गणनात्मक अव्यवहारिकता को पहचानते हुए, लेखक अपने विश्लेषण को ReLU न्यूरल नेटवर्क द्वारा पैरामीटराइज्ड डिनोइज़र्स तक विस्तारित करते हैं। वे एक विशिष्ट परिशुद्धता $\epsilon$ के साथ आइडेंटिटी मैप (और इस प्रकार MMSE डिनोइज़र) को अनुमानित करने के लिए आवश्यक नेटवर्क की चौड़ाई (width), गहराई (depth) और वेट मैग्नीट्यूड (weight magnitudes) को बाउंड करने के लिए अप्रोक्सिमेशन थ्योरी का उपयोग करते हैं।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान देता है, जो PnP डिनोइज़र्स के "ब्लैक-बॉक्स" दृष्टिकोण से आगे बढ़ता है:

1. MMSE डिनोइज़र्स की रेगुलैरिटी और स्थिरता (Regularity and Stability of MMSE Denoisers):
   लेखक स्थापित करते हैं कि MMSE डिनोइज़र लिप्सचिट्ज निरंतर (Lipschitz continuous) है और विशिष्ट स्थितियों के तहत (गैर-डिजेनरेट सहप्रसरण के साथ गाऊसी शोर), कोकोर्सिव (cocoercive) है। यह PnP विधियों में अक्सर ह्यूरिस्टिक रूप से लागू की जाने वाली "फर्म नॉन-एक्सपेंसिवनेस" (firm non-expansiveness) के लिए एक कठोर सैद्धांतिक औचित्य प्रदान करता है। वे प्रायोर मेजर (prior measure) के संबंध में डिनोइज़र की स्थिरता (वासेरस्टीन निरंतरता/Wasserstein continuity) को भी सिद्ध करते हैं।

2. MMSE के साथ PnP के लिए रिकवरी गारंटी (Recovery Guarantees for PnP with MMSE):
   शोध पत्र PnP-FBS पुनरावृत्ति के लिए पॉइंटवाइज (pointwise) और वासेरस्टीन दूरी (Wasserstein distance) रिकवरी त्रुटि सीमाएं व्युत्पन्न करता है।

• पॉइंटवाइज बाउंड्स: त्रुटि सीमा समाधान सेट के टेंजेंट कोन पर ऑपरेटर $BA$ की कंडीशनिंग संख्या, शोर स्तर और एम्पिरिकल प्रायोर के सैंपलिंग एरर पर निर्भर करती है।
• वासेरस्टीन बाउंड्स: पुनरावृत्तियों का वितरण वास्तविक प्रायोर वितरण की ओर अभिसरित होता है। इस बाउंड में स्पष्ट रूप से एक ब्यूरेस मेट्रिक (Bures metric) पद शामिल है, जो डिनोइज़र को प्रशिक्षित करने के लिए उपयोग किए गए शोर वितरण ($\Upsilon$) और पुनरावृत्ति में प्रभावी शोर ($\gamma B E$) के बीच विसंगति को मापता है।

3. फिजिक्स-अवेयर डिनोइज़र्स की आवश्यकता (The Necessity of Physics-Aware Denoisers):
   एक केंद्रीय सैद्धांतिक निष्कर्ष यह है कि डिनोइज़र को फिजिक्स-अग्नोस्टिक (भौतिकी-अज्ञेयवादी) तरीके से नहीं चुना जा सकता है। ऑपरेटर $B$ और शोर सहप्रसरण $\Sigma_\Upsilon$ का चयन, जिसका उपयोग डिनोइज़र बनाने के लिए किया जाता है, आपस में जुड़ा होना चाहिए। विशेष रूप से, इष्टतम प्रदर्शन के लिए, डिनोइज़र को उन शोर सांख्यिकी (noise statistics) पर प्रशिक्षित किया जाना चाहिए जो रूपांतरित प्रेक्षण शोर $\gamma B E$ से मेल खाते हों। मानक विकल्प $B = A^\top$ यह मानता है कि डिनोइज़र फॉरवर्ड ऑपरेटर के प्रति अज्ञेयवादी है, जिसे लेखक दिखाते हैं कि यह तब तक उप-इष्टतम रिकवरी बाउंड्स की ओर ले जाता है जब तक कि विशिष्ट शर्तें पूरी न हों।

4. मुख्य परिणाम (Main Results)

4.1 पॉइंटवाइज रिकवरी (Pointwise Recovery)

थ्योरम 3.2 पुनर्निर्माण त्रुटि $\|x_k - x\|$ पर एक सीमा प्रदान करता है। त्रुटि समाधान के एक पड़ोस में अभिसरित होती है जो निम्नलिखित द्वारा निर्धारित होती है:

• शोर प्रवर्धन (Noise Amplification): $\gamma \|B\| \|e\|$ के समानुपाती।
• डिनोइज़र प्रदर्शन: वास्तविक सिग्नल और एम्पिरिकल ट्रेनिंग सैंपल्स के बीच की दूरी से संबंधित।
• कंडीशनिंग: अभिसरण दर $q$, समाधान सेट पर $BA$ की कंडीशनिंग संख्या पर निर्भर करती है।
  महत्वपूर्ण रूप से, यह बाउंड तब भी मान्य रहता है जब डिनोइज़र संकुचक (contractive) न हो, बशर्ते $BA$ की कंडीशनिंग संख्या डिनोइज़र के लिप्सचिट्ज स्थिरांक (Lipschitz constant) के सापेक्ष पर्याप्त अनुकूल हो।

4.2 डिस्ट्रिब्यूशनल रिकवरी (Distributional Recovery)

थ्योरम 3.6 पुनरावृत्तियों के वितरण और वास्तविक प्रायोर $\mu_X$ के बीच अपेक्षित वर्ग वासेरस्टीन दूरी $W_2^2(\hat{\mu}_k, \mu_X)$ पर सीमाएं स्थापित करता है। यह बाउंड प्रकट करता है कि त्रुटि तब न्यूनतम होती है जब प्रशिक्षण शोर का सहप्रसरण $\Sigma_\Upsilon$, पुनरावृत्ति शोर $\gamma^2 B \Sigma_E B^\top$ के सहप्रसरण से मेल खाता है। यदि यह मिलान पूर्ण है, तो ब्यूरेस मेट्रिक पद लुप्त हो जाता है, जिससे बाउंड में काफी सुधार होता है।

4.3 न्यूरल नेटवर्क एप्रोक्सिमेशन (Neural Network Approximation)

थ्योरम 3.11 मामले में पॉइंटवाइज बाउंड्स को विस्तारित करता है जहाँ MMSE डिनोइज़र को एक प्रशिक्षित न्यूरल नेटवर्क द्वारा प्रतिस्थापित किया जाता है। त्रुटि बाउंड में निम्नलिखित के लिए पद शामिल हैं:

• नेटवर्क का एप्रोक्सिमेशन एरर (जो $\epsilon$ पर निर्भर है)।
• नेटवर्क के लिप्सचिट्ज स्थिरांक।
• ट्रेनिंग डेटा का सैंपलिंग एरर।
  लेखक वांछित परिशुद्धता $\epsilon$ प्राप्त करने के लिए नेटवर्क की गहराई और चौड़ाई की विशिष्ट आवश्यकताओं को व्युत्पन्न करते हैं, यह दिखाते हुए कि रिकवरी गारंटी तब तक बनी रहती है जब तक कि नेटवर्क पर्याप्त अभिव्यंजक (expressive) हो।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि इसका विश्लेषण PnP विधियों की समझ को मौलिक रूप से बदलकर यह प्रदर्शित करता है कि भौतिकी मायने रखती है (physics matters)।

• अज्ञेयवाद का खंडन (Rejection of Agnosticism): लेखक तर्क देते हैं कि डिनोइज़र्स को जेनेरिक शोर (जैसे, आइसोट्रोपिक गाऊसी) पर प्रशिक्षित करने और फिर उन्हें मनमाने फॉरवर्ड ऑपरेटर $A$ और शोर सहप्रसरण $\Sigma_E$ वाले व्युत्क्रम समस्याओं पर लागू करने का सामान्य अभ्यास सैद्धांतिक रूप से त्रुटिपूर्ण है। डिनोइज़र "फिजिक्स-अवेयर" होना चाहिए, जिसका अर्थ है कि इसके प्रशिक्षण शोर वितरण को PnP पुनरावृत्ति में ऑपरेटर $B$ द्वारा पेश किए गए प्रभावी शोर के साथ संरेखित होना चाहिए।
• शिथिल धारणाएं (Relaxed Assumptions): MMSE एस्टिमेटर के विशिष्ट गुणों (प्रायोर से प्राप्त कोकोर्सिविटी और लिप्सचिट्ज बाउंड्स) का लाभ उठाकर, वे बिना इस मजबूत धारणा के रिकवरी गारंटी प्राप्त करते है कि डिनोइज़र एक संकुचन मानचित्र (contraction mapping) या किसी उत्तल फलन (convex functional) का प्रॉक्सिमल ऑपरेटर है।
• मात्रात्मक सीमाएं (Quantitative Bounds): शोध पत्र स्पष्ट, गैर-एसिम्प्टोटिक (non-asymptotic) त्रुटि सीमाएं प्रदान करता है जो व्युत्क्रम समस्या की कंडीशनिंग, डिनोइज़र की गुणवत्ता (और उसके प्रशिक्षण डेटा), और शोर स्तर के बीच के ट्रेड-ऑफ को मात्रात्मक रूप से दर्शाती हैं।

निष्कर्षतः, यह कार्य प्लग-एंड-प्ले विधियों के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है, इस बात पर जोर देता है कि डिनोइज़र का डिज़ाइन और स्प्लिटिंग ऑपरेटर $B$ का चयन फॉरवर्ड मॉडल और विशिष्ट व्युत्क्रम समस्या के शोर सांख्यिकी के साथ अटूट रूप से जुड़ा हुआ है।