तकनीकी सारांश: FlowADMM: फ्लो-आधारित रिनोइज़-डिनोइज़ प्रायर के साथ प्लग-एंड-प्ले ADMM

समस्या विवरण

इमेजिंग में व्युत्क्रम समस्याएँ (Inverse problems), जैसे कि डिनइज़िंग (denoising), डीब्लरिंग (deblurring), सुपर-रिज़ॉल्यूशन और इनपेंटिंग (inpainting), आमतौर पर दुर्बल (ill-posed) होती हैं और इन्हें एक क्षयित छवि $y = Ax + \nu$ से मूल छवि $x$ को पुनः प्राप्त करने के रूप में तैयार किया जाता है। जबकि डीप लर्निंग शक्तिशाली प्रत्यक्ष मैपिंग प्रदान करती है, वे अक्सर व्याख्यात्मकता (interpretability) और सैद्धांतिक गारंटी की कमी रखती हैं। शास्त्रीय वेरिएशनल दृष्टिकोण इसे एक डेटा फिडेलिटी टर्म और एक रेगुलराइजेशन टर्म को कम करने के रूप में तैयार करते हैं, जिसे अक्सर फॉरवर्ड-बैकवर्ड स्प्लिटिंग (FBS) जैसे प्रॉक्सिमल एल्गोरिदम के माध्यम से हल किया जाता है।

प्लग-एंड-प्ले (PnP) विधियाँ एक हस्तनिर्मित रेगुलराइज़र के प्रॉक्सिमल ऑपरेटर को एक सीखे गए डिनोइज़र (denoiser) से बदलकर सुधार करती हैं। हाल ही में, जेनेरेटिव फ्लो और डिफ्यूजन मॉडल ने विशिष्ट शोर स्तरों (noise levels) के अनुकूल समय-निर्भर डिनोइज़र परिवारों $\{D_t\}$ प्रदान किए हैं। हालाँकि, एक प्रमुख चुनौती यह उत्पन्न होती है: पुनरावृत्ति (iterative) पुनर्निर्माण के दौरान, मध्यवर्ती इटरैट्स (iterates) उस शोर वितरण $p_t$ से विचलित हो जाते हैं जिसके लिए डिनोइज़र को प्रशिक्षित किया गया था। मौजूदा फ्लो-आधारित PnP विधियाँ (जैसे PnP-Flow, Flower) इसे उपयुक्त शोर स्तर की ओर इटरैट को विक्षेपित (perturb) करके, यानी रिनोइज़-डिनोइज़ (renoise-denoise) चरणों को शामिल करके संबोधित करती हैं, जहाँ वर्तमान इटरैट को डिनोइज़ करने से पहले शोर के साथ मिलाया जाता है। ये विधियाँ प्रक्रिया को स्थिर करने के लिए कई शोर नमूनों (noise samples) पर औसत निकालती हैं।

इनकी अनुभवजन्य सफलता के बावजूद, मौजूदा रिनोइज़-डिनोइज़ PnP विधियाँ स्टोकेस्टिक एल्गोरिदम के रूप में तैयार की गई हैं, जिससे उनके अभिसरण व्यवहार (convergence behavior) का विश्लेषण करना कठिन हो जाता है। विशेष रूप से, शोर वितरण पर डिनोइज़र आउटपुट को औसत करने से प्रेरित नियतात्मक ऑपरेटर (deterministic operator) को अभिलक्षित (characterized) नहीं किया गया है, जिससे इन विधियों के अभिसरण गुण अच्छी तरह से समझ में नहीं आते हैं।

कार्यप्रणाली (Methodology)

मीन रिनोइज़-डिनोइज़ ऑपरेटर (The Mean Renoise-Denoise Operator)

लेखक एक स्टोकेस्टिक फ्लो-आधारित PnP विधियों के अंतर्निहित नियतात्मक ऑपरेटर को पहचानते और औपचारिक रूप देते हैं। दिए गए प्री-ट्रेन्ड फ्लो वेलोसिटी नेटवर्क $v_\theta$ के आधार पर, जो एक समय-निर्भर MMSE डिनोइज़र $D_t = I + (1-t)v_\theta^t$ को परिभाषित करता है, मानक स्टोकेस्टिक चरण एक इटरैट $x$ को शोर $\epsilon \sim \mathcal{N}(0, I)$ के साथ रिनोइज़ करके $tx + (1-t)\epsilon$ प्राप्त करना है, और उसके बाद डिनोइज़ करना है।

लेखक मीन रिनोइज़-डिनोइज़ ऑपरेटर $\bar{S}_t(x)$ को शोर वितरण पर इस प्रक्रिया के प्रत्याशा (expectation) के रूप में परिभाषित करते हैं:
$$\bar{S}_t(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)} [D_t(tx + (1-t)\epsilon)]$$
यह ऑपरेटर शोर वितरण पर प्रक्रिया के नियतात्मक सीमा (deterministic limit) का प्रतिनिधित्व करता है। लेखक इसके रेसिडुअल रूप $R_t(x) = \bar{S}_t(x) - x$ का विश्लेषण करते हैं, जो डेटा मैनिफोल्ड की ओर स्थानीय सुधार प्रदान करने वाले एक वेक्टर फील्ड के रूप में कार्य करता है। आदर्श MMSE मान्यताओं के तहत, डेटा मैनिफोल्ड पर स्थित बिंदु इस ऑपरेटर के फिक्स्ड पॉइंट्स होते हैं।

FlowADMM एल्गोरिदम

इस अंतर्दृष्टि पर निर्माण करते हुए, लेखक FlowADMM प्रस्तावित करते हैं, जो मीन रिनोइज़-डिनोइज़ ऑपरेटर को अल्टरनेटिंग डायरेक्शन मेथड ऑफ मल्टीप्लायर्स (ADMM) फ्रेमवर्क में एकीकृत करता है। FBS के विपरीत, ADMM कई प्रायर ऑपरेटर्स को संभाल सकता है और ऑपरेटर-निर्भर स्टेप-साइज़ प्रतिबंधों के बिना गैर-विभेदनीय (non-differentiable) डेटा टर्म्स को हैंडल कर सकता है।

एल्गोरिदम संवर्धित लैग्रेंजियन (augmented Lagrangian) को न्यूनतम करके $\min_{x,z} F_y(x) + R(z)$ विषय के अधीन $x=z$ को हल करता है। अपडेट इस प्रकार हैं:

1. डेटा कंसिस्टेंसी: $x^{k+1} = \text{prox}_{\tau F_y}(z^k - u^k)$
2. प्रायर अपडेट: $z^{k+1} = \bar{S}_{t_k}(x^{k+1} + u^k)$
3. ड्यूल अपडेट: $u^{k+1} = u^k + x^{k+1} - z^{k+1}$

चूँकि $\bar{S}_t$ में प्रत्याशा (expectation) गणना करना कठिन है, इसलिए इसे मोंटे कार्लो सैंपलिंग (Monte Carlo sampling) के माध्यम से अनुमानित किया जाता है। लेखक एक टाइमस्टेप-डिपेंडेंट सैंपलिंग रणनीति प्रस्तावित करते हैं: शुरुआती इटरेशन में कम नमूने उपयोग करना (जहाँ मोटे सुधार किए जाते हैं और ऑपरेटर शोर के प्रति कम संवेदनशील होता है) और बाद के इटरेशन में नमूनों की संख्या बढ़ाना (जहाँ सूक्ष्म विवरणों को परिष्कृत किया जाता है और सटीकता महत्वपूर्ण होती है)।

अभिसरण विश्लेषण (Convergence Analysis)

लेखक अंडरलेइंग फ्लो नेटवर्क पर कमजोर लिप्सचिट्ज़ (Lipschitz) स्थितियों के तहत FlowADMM के लिए अभिसरण गारंटी स्थापित करते हैं:

• फिक्स्ड टाइम शेड्यूल: एक स्थिर टाइमस्टेप $t$ के लिए, अभिसरण तब गारंटीकृत होता है जब फ्लो नेटवर्क का लिप्सचिट्ज़ स्थिरांक $L_v$ इस प्रकार हो कि $L_v < \frac{1}{1-t}$। यह स्थिति कई अन्य PnP विधियों द्वारा आवश्यक सख्त संकुचन ($L < 1$) की तुलना में काफी कमजोर है, विशेष रूप से जैसे-जैसे $t \to 1$ होता है।
• नॉन-स्टेशनरी टाइम शेड्यूल्स: विश्लेषण को $(t_k)_k$ शेड्यूल्स तक विस्तारित किया गया है जो एक सीमा $t_{max} < 1$ की ओर अभिसरित होते हैं। लेखक सिद्ध करते हैं कि यदि अनुक्रम (sequence) सीमा की ओर पर्याप्त तेजी से पहुँचता है और फ्लो नेटवर्क समय $t$ के संबंध में लिप्सचिट्ज़ निरंतर है, तो $T_{t_{max}}$ के फिक्स्ड पॉइंट की ओर अभिसरण होता है।

मुख्य योगदान (Key Contributions)

1. सैद्धांतिक लक्षण वर्णन: लेखकों ने स्टोकेस्टिक फ्लो-आधारित PnP विधियों के अंतर्निहित नियतात्मक मीन रिनोइज़-डिनोइज़ ऑपरेटर की पहचान की और उसका विश्लेषण किया, और इसके रेसिडुअल स्ट्रक्चर और लिप्सचिट्ज़ व्यवहार को अभिलक्षित किया।
2. एल्गोरिदम प्रस्ताव: वे FlowADMM प्रस्तावित करते हैं, जो इस मीन ऑपरेटर को सीधे ADMM फ्रेमवर्क में एकीकृत करता है।
3. अभिसरण गारंटी: वे फ्लो नेटवर्क पर कमजोर लिप्सचिट्ज़ मान्यताओं के तहत FlowADMM के लिए अभिसरण मानदंड निकालते हैं, जिसमें स्थिर और गैर-स्थिर (समय-परिवर्तित) टाइम शेड्यूल्स दोनों शामिल हैं।
4. सैंपलिंग रणनीति: वे एक 'कोर्स-टू-फाइन' (coarse-to-fine) मोंटे कार्लो सैंपलिंग रणनीति प्रस्तावित करते है जो बाद के इटरेशन में नमूनों की संख्या बढ़ाती है, जो मीन ऑपरेटर के व्यवहार से प्रेरित है।
5. अनुभवजन्य प्रदर्शन: वे कई व्युत्क्रम समस्याओं पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्रदर्शित करते हैं, जबकि उन्हें पूर्ववर्ती स्टोकेस्टिक एवरेजिंग दृष्टिकोणों की तुलना में कम डेटा कंसिस्टेंसी इवेलुएशन की आवश्यकता होती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच कार्यों: डिनइज़िंग, डीब्लरिंग, सुपर-रिज़ॉल्यूशन, रैंडम इनपेंटिंग और बॉक्स इनपेंटिंग के लिए CelebA और AFHQ-Cat डेटासेट पर FlowADMM का मूल्यांकन किया।

• प्रदर्शन: FlowADMM ने 10 में से 7 कार्यों पर हालिया फ्लो और डिफ्यूजन-आधारित PnP विधियों (PnP-Flow, Flower, OT-ODE, D-Flow और DiffPIR सहित) की तुलना में डिस्टॉर्शन मेट्रिक्स (PSNR और SSIM) पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। सुपर-रिज़ॉल्यूशन और इनपेंटिंग कार्यों में उल्लेखनीय सुधार देखे गए।
• दक्षता: अग्रणी प्रतिस्पर्धी Flower5-OT के कुल फ्लो इवेलुएशन (नेटवर्क फॉरवर्ड पासेस) के बराबर होने के बावजूद, FlowADMM को काफी कम डेटा-टर्म प्रॉक्सिमल ऑपरेटर इवेलुएशन की आवश्यकता पड़ी। ऐसा इसलिए है क्योंकि Flower5-OT पूरे पुनर्निर्माण प्रक्षेपवक्र (trajectories) का औसत निकालता है, जबकि FlowADMM प्रत्येक इटरेशन के भीतर केवल प्रायर स्टेप का औसत निकालता है।
• एब्लेशन अध्ययन: प्रयोगों ने पुष्टि की कि "लेट-हैवी" (late-heavy) सैंपलिंग शेड्यूल (बाद के इटरेशन में नमूनों को बढ़ाना) स्थिर सैंपलिंग की तुलना में प्रदर्शन में काफी सुधार करता है। इसके अलावा, इस शेड्यूल को PnP-Flow पर लागू करने से इसके परिणामों में सुधार हुआ, लेकिन FlowADMM अभी भी इससे बेहतर प्रदर्शन करता रहा, जो यह सुझाव देता है कि ADMM फॉर्मूलेशन स्वयं एक लाभ प्रदान करता है।
• सीमाएँ: अभिसरण विश्लेषण प्री-ट्रेन्ड नेटवर्क के लिप्सचिट्ज़ स्थिरांकों पर निर्भर करता है जो प्रशिक्षण के दौरान स्पष्ट रूप से दंडित (penalized) नहीं किए जाते हैं। इसके अतिरिक्त, सैद्धांतिक गारंटी नियतात्मक मीन ऑपरेटर के लिए लागू होती है, जबकि व्यावहारिक कार्यान्वयन स्टोकेस्टिक मोंटे कार्लो सन्निकटन (approximations) का उपयोग करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि स्टोकेस्टिक रिनोइज़-डिनोइज़ विधियों के अंतर्निहित नियतात्मक ऑपरेटर को स्पष्ट रूप से औपचारिक रूप देकर, यह फ्लो-आधारित PnP में अनुभवजन्य सफलता और सैद्धांतिक समझ के बीच के अंतर को पाटता है। यह कार्य निम्नलिखित प्रदान करता है:

• प्रमाणित अभिसरण: पिछली स्टोकेस्टिक PnP विधियों के विपरीत, FlowADMM फ्लो नेटवर्क पर यथार्थवादी लिप्सचिट्ज़ स्थितियों के तहत अभिसरण गारंटी के साथ आता है।
• एल्गोरिद्मिक दक्षता: ADMM में एकीकरण से डेटा कंसिस्टेंसी स्टेप्स के अधिक कुशल उपयोग की अनुमति मिलती है, जो प्रक्षेपवक्र-औसत (trajectory-averaging) विधियों की तुलना में कम डेटा कंसिस्टेंसी स्टेप्स का उपयोग करता है।
• ऑपरेटर-थ्योरेटिक अंतर्दृष्टि: विश्लेषण बताता है कि मीन ऑपरेटर के "कोर्स-टू-फाइन" व्यवहार का लाभ एडेप्टिव सैंपलिंग शेड्यूल्स के माध्यम से उठाया जा सकता है, जो ADMM और FBS-आधारित दोनों दृष्टिकोणों को लाभान्वित करता है।

लेखक निष्कर्ष निकालते हैं कि FlowADMM व्युत्क्रम समस्याओं को हल करने के लिए एक मजबूत, सैद्धांतिक रूप से आधारित ढांचा प्रदान करता है, हालांकि वे स्वीकार करते हैं कि भविष्य के कार्य स्थिरता गारंटी को मजबूत करने के लिए लिप्सचिट्ज़ बाधाओं को लागू करने पर ध्यान केंद्रित कर सकते हैं।