💻 computer science

Improving Diffusion Posterior Samplers with Lagged Temporal Corrections for Image Restoration

यह शोध पत्र LAMP को प्रस्तुत करता है, जो डिफ्यूजन-आधारित इमेज रेस्टोरेशन के लिए एक मॉड्यूलर प्लग-इन है, जो बिना किसी अतिरिक्त कम्प्यूटेशनल लागत के पोस्टीरियर सैंपलिंग की सटीकता और स्थिरता में सुधार करने के लिए सेकंड-ऑर्डर डिसक्रेटाइजेशन और लैग्ड टेम्पोरल करेक्शन्स का लाभ उठाता है।

मूल लेखक: Davide Evangelista, Elena Morotti, Francesco Pivi, Maurizio Gabbrielli

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Davide Evangelista, Elena Morotti, Francesco Pivi, Maurizio Gabbrielli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक धुंधली और शोर (noise) वाली तस्वीर को ठीक करने की कोशिश कर रहे हैं। आपके पास एक शक्तिशाली AI सहायक (एक "डिफ्यूजन मॉडल") है जो यह अनुमान लगाने में माहिर है कि एक साफ तस्वीर कैसी दिखनी चाहिए। हालाँकि, आपके पास नियमों का एक विशिष्ट सेट भी है: अंतिम तस्वीर को उस धुंधली और शोर वाली फोटो से मेल खाना चाहिए जिसे आपने शुरुआत में लिया था (ये "माप" या "measurements" हैं)।

यह शोध पत्र एक नई विधि पेश करता है जिसे LAMP (LAgged Multistep Posterior) कहा जाता है, ताकि यह AI को इस इमेज रेस्टोरेशन के काम में बेहतर बनाने में मदद कर सके। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।

समस्या: "लड़खड़ाता कदम" (The "Wobbly Step")

इन तस्वीरों को ठीक करने की वर्तमान विधियाँ अंधेरे में चलते हुए एक व्यक्ति की तरह काम करती हैं जो एक नक्शा पकड़े हुए है।

AI का अनुमान: AI एक कदम आगे बढ़ता है, यह अनुमान लगाते हुए कि साफ तस्वीर कैसी दिखती है।
सुधार (Correction): व्यक्ति नक्शे (धुंधली फोटो) को देखता है और कहता है, "रुको, यह कदम बहुत बाईं ओर हो गया; तुम्हें यहाँ होना चाहिए।"
लड़खड़ाहट (The Wobble): समस्या यह है कि "नक्शा चेक" हर एक कदम पर तुरंत होता है। क्योंकि AI का अनुमान कभी भी एकदम सटीक नहीं होता, इसलिए नक्शा चेक हर बार थोड़ा बदल जाता है। इससे चलने वाला व्यक्ति डगमगाता है और इधर-उधर लड़खड़ाता है। वे एक "फर्स्ट-ऑर्डर" कदम ले रहे हैं: यह देखते हुए कि वे अभी कहाँ हैं और तुरंत सुधार कर रहे हैं। यह अस्थिरता पैदा करता है, जैसे एक कार जो लेन में रहने की कोशिश कर रही है लेकिन हर छोटे मोड़ पर स्टीयरिंग को जरूरत से ज्यादा घुमा देती है।

समाधान: LAMP (द "लैग्ड" स्टेप)

लेखकों ने महसूस किया कि हर छोटे बदलाव पर तुरंत प्रतिक्रिया देने के बजाय, AI को अपने हालिया इतिहास को देखना चाहिए।

कल्पना कीजिए कि अब वह व्यक्ति एक कार चला रहा है जिसमें एक सस्पेंशन सिस्टम (शॉक एब्जॉर्बर) लगा है।

पुराना तरीका (तत्काल सुधार): यदि सड़क ऊबड़-खाबड़ है, तो ड्राइवर तुरंत पहिया घुमाकर उसे ठीक करने की कोशिश करता है। इससे सवारी झटकेदार और अस्थिर हो जाती है।
LAMP का तरीका (विलंबित सुधार): ड्राइवर देखता है कि कार एक पल पहले कहाँ थी। उन्हें एहसास होता है, "मैंने अभी एक झटके के लिए सुधार किया, लेकिन मैं अभी भी थोड़ा तेज चल रहा हूँ।" झटके के साथ पहिया घुमाने के बजाय, वे एक सुचारू, विलंबित सुधार (delayed correction) लागू करते हैं। वे वर्तमान स्थिति को पिछली स्थिति के साथ मिला देते हैं।

तकनीकी शब्दों में, LAMP एक "टेम्पोरल करेक्शन" जोड़ता है। यह केवल वर्तमान डेटा-कंसिस्टेंट अनुमान ( $D_t$ ) का उपयोग नहीं करता है; यह इसे पिछले चरण के अनुमान ( $D_{t+\Delta t}$ ) के साथ मिलाता है। यह एक लो-पास फ़िल्टर या स्मूथिंग ब्लैंकेट की तरह काम करता है जो तत्काल सुधारों के कारण होने वाले झटकेदार, हाई-फ्रीक्वेंसी शोर को कम करता है।

यह कैसे काम करता है ("मिक्सिंग" की उपमा)

इमेज रेस्टोरेशन की प्रक्रिया को सही पेंट का रंग मिलाने के रूप में सोचें:

सामग्री A: साफ इमेज का AI का अनुमान।
सामग्री B: "डेटा-कंसिस्टेंट" अनुमान (वह संस्करण जिसे धुंधली फोटो से मेल खाने के लिए मजबूर किया गया है)।

मानक विधियाँ सामग्री B को तुरंत डाल देती हैं। LAMP कहता है, "आइए हम केवल अभी वाली सामग्री B का उपयोग न करें। आइए हम उस सामग्री B का थोड़ा सा हिस्सा लें जिसका हमने एक क्षण पहले उपयोग किया था और उसे मिलाएं।"

वर्तमान सुधार को लैग्ड (पिछले) सुधार के साथ मिलाकर, यह विधि अंतिम छवि की ओर एक सुचारू मार्ग बनाती है। यह पहाड़ी से नीचे उतरने जैसा है: हर बार गुरुत्वाकर्षण को महसूस होने पर एक बड़ा, झटकेदार कदम उठाने के बजाय, आप छोटे, रोलिंग कदम उठाते हैं जो आपके मोमेंटम पर आधारित होते हैं।

यह बेहतर क्यों है?

शोध पत्र का दावा है कि यह "लैग्ड" दृष्टिकोण:

झटकों को कम करता है (Reduces Jitter): यह इमेज को झिलमिलाने या अजीब आर्टिफ़ेक्ट्स पैदा करने से रोकता है जो AI के ओवर-करेक्शन के कारण होते हैं।
विवरण में सुधार करता है (Improves Detail): क्योंकि प्रक्रिया अधिक सुचारू है, बारीक विवरण (जैसे बालों के रेशे या दीवार की बनावट) अधिक स्पष्ट और प्राकृतिक आते हैं।
कोई अतिरिक्त लागत नहीं (No Extra Cost): इसके लिए AI को अधिक काम करने या अधिक डेटा देखने की आवश्यकता नहीं है। यह केवल इस बात को बदलता है कि वह अपने पास मौजूद जानकारी को कैसे जोड़ता है। यह एक "प्लग-इन" अपग्रेड की तरह है, जैसे इंजन बदले बिना मौजूदा कार में बेहतर शॉक एब्जॉर्बर जोड़ना।

"स्वीट स्पॉट" (बायस बनाम वेरिएंस)

लेखक एक सरल अवधारणा का उपयोग करके ट्रेड-ऑफ समझाते हैं:

बहुत अधिक लैग (Too much lag): यदि आप सुधार करने में बहुत देर कर देते हैं, तो आप लक्ष्य से पूरी तरह चूक सकते हैं (आप अतीत में फंस जाते हैं)।
बहुत कम लैग (Too little lag): यदि आप तुरंत सुधार करते हैं, तो आप झटकते और डगमगाते हैं।
LAMP का गोल्डिलॉक्स ज़ोन: शोध पत्र ने एक विशिष्ट "लैग" सेटिंग पाई है जो बिल्कुल सही है। यह इमेज को बहुत अधिक धुंधला किए बिना (बायस) शोर (वेरिएंस) को सुचारू बनाता है। उन्होंने पाया कि यह इमेज रेस्टोरेशन के बाद के चरणों में सबसे अच्छा काम करता है, जब इमेज पहले से ही काफी हद तक साफ होती है और उसे केवल सूक्ष्म ट्यूनिंग की आवश्यकता होती है।

सारांश

LAMP एक ऐसी तकनीक है जो AI इमेज रेस्टोरेशन को अधिक स्थिर बनाती है। वास्तविक समय में हर छोटी त्रुटि पर घबराहट में प्रतिक्रिया देने के बजाय, यह अपने पिछले कदम को देखती है और सुधार को सुचारू बनाती है। इसके परिणामस्वरूप अधिक स्पष्ट, तीक्ष्ण और अधिक प्राकृतिक दिखने वाली पुनर्स्थापित छवियां मिलती हैं, जिसके लिए अधिक कंप्यूटिंग पावर की आवश्यकता नहीं होती है।

तकनीकी सारांश: लैग्ड टेम्पोरल करेक्शन के साथ डिफ्यूजन पोस्टीरियर सैंपलर में सुधार (LAMP)

समस्या विवरण (Problem Statement)

डिफ्यूजन-आधारित पोस्टीरियर सैंपलिंग (PS) इमेजिंग इनवर्स प्रॉब्लम्स (जैसे डिब्लरिंग, सुपर-रिज़ॉल्यूशन, इनपेंटिंग) को हल करने के लिए एक अग्रणी फ्रेमवर्क के रूप में उभरा है। ये विधियाँ एक सीखे हुए डिफ्यूजन प्रायर (prior) को मेजरमेंट कंस्ट्रेंट्स के साथ जोड़ती हैं ताकि पोस्टीरियर डिस्ट्रीब्यूशन $p(x_0|y)$ से सैंपल किया जा सके, जहाँ $y = Kx_0 + e$ है। मानक PS फॉर्मुलेशन, जैसे कि DiffPIR और DDRM, वर्तमान अनुमान $x_t$ को डिफ्यूजन मॉडल के डिनोइज़िंग स्टेप और एक डेटा-कंसिस्टेंसी करेक्शन $D_t$ का उपयोग करके इटरेटिवली अपडेट करते हैं।

हालाँकि, लेखक इन मानक दृष्टिकोणों में एक मौलिक संरचनात्मक सीमा की पहचान करते हैं: वे इंस्टेंटेनियस (instantaneous), स्टेप-वाइज डेटा-कंसिस्टेंट एस्टीमेट्स ( $D_t$ ) पर निर्भर करते हैं जिन्हें प्रत्येक रिवर्स इटरेशन में पुन: कंप्यूट किया जाता है। यह डिज़ाइन रिवर्स डायनेमिक्स में टेम्पोरल वेरिएबिलिटी (temporal variability) और अस्थिरता पेश करता है। डायनेमिकल सिस्टम्स के परिप्रेक्ष्य से, मानक PS अपडेट डिफ्यूजन डायनेमिक्स के एक फर्स्ट-ऑर्डर डिसक्रेटाइजेशन (first-order discretization) के अनुरूप होते हैं, जिसमें एक रेसिडुअल करेक्शन टर्म शामिल होता है। यह रेसिडुअल टर्म एक समय-परिवर्तनीय फोर्सिंग सिग्नल (forcing signal) के रूप में कार्य करता है जो प्रक्षेपवक्र (trajectory) को विचलित करता है, जिससे यह उन स्मूथ, सुपरिभाषित निरंतर-समय डायनेमिक्स से भटक जाता है जिन्हें अनकंडीशनल जनरेशन के लिए उपयोग किए जाने वाले हाई-ऑर्डर सॉल्वर्स (जैसे DPM-Solver) द्वारा माना जाता है। फलस्वरूप, मानक PS विधियों में टेम्पोरल मेमोरी की कमी के कारण असंगत अपडेट और उप-इष्टतम स्थिरता (suboptimal stability) उत्पन्न होती है, विशेष रूप से इल-पोस्ड (ill-posed) रिजीम्स में।

कार्यप्रणाली: LAMP

पेपर LAMP (LAgged Multistest Posterior) का प्रस्ताव करता है, जो एक मॉड्यूलर प्लग-इन स्कीम है जो एक लैग्ड टेम्पोरल करेक्शन (lagged temporal correction) पेश करके इन अस्थिरताओं को संबोधित करती है।

डायनेमिकल रीइंटरप्रिटेशन (Dynamical Reinterpretation): लेखक मानक PS अपडेट को मजबूर (forced) डिफ्यूजन डायनेमिक्स के फर्स्ट-ऑर्डर डिसक्रेटाइजेशन के रूप में पुनर्व्याख्यायित करते हैं। वे दिखाते हैं कि $x^{PS}_{t-\Delta t}$ को एक मेजरमेंट-अवेयर टारगेट $D_t$ द्वारा संचालित पहले-ऑर्डर एक्सपोनेंशियल स्टेप और एक रेसिडुअल करेक्शन टर्म में विभाजित किया जा सकता है, जो मिसमैच $(D_t - \hat{x}_{0|t})$ के समानुपाती है।
सेकंड-ऑर्डर डिसक्रेटाइजेशन (Second-Order Discretization): स्थिरता में सुधार के लिए, LAMP अंतर्निहित डायनेमिक्स के सेकंड-ऑर्डर डिसक्रेटाइजेशन का उपयोग करता है। उन स्टैंडर्ड हाई-ऑर्डर सॉल्वर्स के विपरीत जो एक स्मूथ ODE मानते हैं, LAMP इनवर्स प्रॉब्लम्स में निहित रेसिडुअल-डिपेंडेंट फोर्सिंग टर्म को स्पष्ट रूप से ध्यान में रखता है।
लैग्ड करेक्शन मैकेनिज्म (Lagged Correction Mechanism): मुख्य नवाचार लगातार एस्टीमेट्स के वेरिएशन पर आधारित एक टेम्पोरल करेक्शन का परिचय देना है। LAMP अपडेट सेकंड-ऑडर डिसक्रेटाइजेशन को रेसिडुअल करेक्शन के साथ जोड़ता है:
$x^{LAMP}_{t-\Delta t} = x^{PS}_{t-\Delta t} + \alpha_{t-\Delta t} A_1(h) \gamma \frac{D_t - D_{t+\Delta t}}{h_{prev}}$
यहाँ, $(D_t - D_{t+\Delta t})/h_{prev}$ वाला पद एक डिस्क्रीट टेम्पोरल डेरिवेटिव के रूप में कार्य करता है। एक नेगेटिव कोएफिशिएंट $\gamma$ चुनकर, यह विधि एक लैग्ड करेक्शन लागू करती है, जो वर्तमान एस्टीमेट को एक्सट्रपलेशन करने के बजाय पिछले एस्टीमेट्स की ओर थोड़ा खींचती है। यह प्रक्षेपवक्र को स्मूथ करता है और इंस्टेंटेनियस करेक्शन्स द्वारा प्रेरित वेरिएबिलिटी का मुकाबला करता है।
स्ट्रक्चरल प्रिजर्वेशन (Structural Preservation): महत्वपूर्ण रूप से, लेखक सिद्ध करते हैं (प्रपोजिशन 1) कि LAMP मानक पोस्टीरियर सैंपलिंग स्ट्रक्चर को सुरक्षित रखता है। अपडेट को $x_{t-\Delta t} = \alpha_{t-\Delta t} \tilde{D}_t + \sigma_{t-\Delta t} \epsilon_\Theta(x_t, t)$ के कैनोनिकल रूप में फिर से लिखा जा सकता है, जहाँ $\tilde{D}_t$ एक टेम्पोरली फिल्टर्ड एस्टीमेट है जिसे वर्तमान और पिछले डेटा-कंसिस्टेंट एस्टीमेट्स के कॉनवेक्स कॉम्बिनेशन के रूप में परिभाषित किया गया है: $\tilde{D}_t = (1-\beta_t)D_t + \beta_t D_{t+\Delta t}$ । यह सुनिश्चित करता है कि LAMP एक मॉड्यूलर एक्सटेंशन है जो किसी भी मौजूदा PS बैकबोन (जैसे DiffPIR, DDRM) के साथ संगत है, बिना डिनोइज़र या ट्रेनिंग प्रक्रिया को बदले।

सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर लैग्ड करेक्शन के बायस-वेरिएंस ट्रेड-ऑफ को स्पष्ट करने वाला एक वन-स्टेप रिस्क एनालिसिस (प्रपोजिशन 2) प्रदान करता है। विश्लेषण दिखाता है कि LAMP तब रिवर्स ट्रांजिशन में सुधार करता है जब एस्टीमेशन एरर वेरिएंस में कमी (टेम्पोरल स्मूथिंग के कारण) लैग से उत्पन्न बायस (पोस्टीरियर टारगेट के ड्रिफ्ट के कारण) से अधिक होती है। लेखक प्रदर्शित करते हैं कि यह स्थिति आमतौर पर डिफ्यूजन प्रोसेस के बाद के चरणों में संतुष्ट होती है, जो एक हाइब्रिड रणनीति को प्रेरित करती है जहाँ एक शॉर्ट वॉर्म-अप फेज के बाद LAMP को सक्रिय किया जाता है।

मुख्य योगदान (Key Contributions)

स्ट्रक्चरल मिसमैच की पहचान: लेखक बताते हैं कि डिफ्यूजन सॉल्वर्स के मानक ODE-आधारित इंटरप्रिटेशन, इनवर्स प्रॉब्लम पोस्टीरियर सैंपलिंग में मौजूद रेसिडुअल-डिपेंडेंट फोर्सिंग टर्म्स को कैप्चर करने में विफल रहते हैं, जिससे टेम्पोरल अस्थिरता होती है।
LAMP फ्रेमवर्क: वे LAMP का प्रस्ताव करते हैं, जो एक सेकंड-ऑर्डर करेक्टेड स्कीम है जो पोस्टीरियर सैंपलिंग अपडेट में लैग्ड टेम्पोरल करेक्शन को एकीकृत करती है।
मॉड्यूलरिटी और कम्पैटिबिलिटी: यह सिद्ध किया गया है कि LAMP एक वैध पोस्टीरियर सैंपलर है जिसे किसी भी मौजूदा PS मेथड (जैसे DiffPIR, DDRM) पर बिना रिट्रेनिंग या फॉरवर्ड मॉडल बदले, एक प्लग-इन के रूप में लागू किया जा सकता है।
सैद्धांतिक औचित्य: एक लोकल एरर एनालिसिस उन स्थितियों को स्थापित करता है जिनमें लैग्ड करेक्शन रिस्क को कम करता है, विशेष रूप से तब जब आस-पास के पोस्टीरियर टारगेट्स एस्टीमेशन नॉइज़ के सापेक्ष सुचारू रूप से विकसित होते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक तीन डेटासेट्स (FFHQ, ImageNet, और CelebA) पर तीन मानक लीनियर इनवर्स प्रॉब्लम्स (गौसियन डिब्लरिंग, मोशन डिब्लरिंग, और सुपर-रिज़ॉल्यूशन) पर LAMP का मूल्यांकन करते हैं। वे अपने बेसलाइन्स और नैव (naive) हायर-ऑर्डर वेरिएंट्स (1M, 2M) के विरुद्ध LAMP-एन्हांस्ड वर्जन्स (DiffPIR-LAMP, DDRM-LAMP) की तुलना करते हैं।

प्रदर्शन (Performance): LAMP बेसलाइन्स की तुलना में रिकंस्ट्रक्शन क्वालिटी में लगातार सुधार करता है। नॉइजी सेटिंग ( $\sigma_y = 0.05$ ) में, DDRM-LAMP सभी कार्यों में PSNR, SSIM और LPIPS में निरंतर लाभ दिखाते हुए सर्वश्रेष्ठ समग्र प्रदर्शन प्राप्त करता है। DiffPIR-LAMP भी सुधार दिखाता है, विशेष रूप से डिब्लरिंग और सुपर-रिज़ॉल्यूशन में।
दक्षता (Efficiency): ये सुधार डिनोइज़िंग इवैल्यूएशन की संख्या (NFE) को बढ़ाए बिना प्राप्त किए जाते हैं, जो बेस मेथड्स (जैसे DDRM के लिए 20 NFE, DiffPIR के लिए 100 NFE) की कम्प्यूटेशनल लागत को बनाए रखते हैं।
नैव हायर-ऑर्डर के साथ तुलना: नैव फर्स्ट- और सेकंड-ऑर्डर ODE डिसक्रेटाइजेशन (विशिष्ट रेसिडुअल करेक्शन के बिना) लगातार प्रदर्शन को खराब करते हैं, जो पुष्टि करता है कि प्रस्तावित लैग्ड रेसिडुअल करेक्शन ही सुधार के लिए प्रमुख कारक है।
गुणात्मक परिणाम (Qualitative Results): विजुअल तुलना दिखाती है कि LAMP बेसलाइन्स की तुलना में स्मूथ टेक्सचर, शार्प बाउंड्रीज़ और बारीक विवरणों (जैसे CelebA में बालों की बनावट, Iguana इमेजेस में स्केल्स) को बेहतर ढंग से संरक्षित करता है, जिससे ग्रेनीनेस और ब्लरिंग आर्टिफैक्ट्स कम होते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि मेजरमेंट-अवेयर एस्टीमेट्स का टेम्पोरल फिल्टरिंग डिफ्यूजन-आधारित इनवर्स सॉल्वर्स को स्थिर करने के लिए एक महत्वपूर्ण, पहले से अनएक्सप्लोर्ड मैकेनिज्म है। पोस्टीरियर सैंपलिंग को एक रेसिडुअल-डिपेंडेंट फोर्सिंग टर्म वाले डायनेमिकल सिस्टम के रूप में पुनर्गठित करके, लेखक प्रदर्शित करते हैं कि एक सरल लैग्ड करेक्शन रिकंस्ट्रक्शन क्वालिटी और स्थिरता को काफी बढ़ा सकता है।

इसका महत्व इसके मॉड्यूलर दृष्टिकोण में निहित है: LAMP के लिए नए प्रायर, रिट्रेनिंग, या जटिल कंडीशनिंग रणनीतियों की आवश्यकता नहीं है। इसके बजाय, यह मौजूदा स्टेट-ऑफ-द-आर्ट पोस्टीरियर सैंपलर्स के लिए एक सामान्य-उद्देश्य वाला, लो-कॉस्ट एन्हांसमेंट प्रदान करता है। लेखक विनम्रतापूर्वक नोट करते हैं कि LAMP अपने बैकबोन मेथड्स की सीमाओं को भी विरासत में लेता है (उदाहरण के लिए, यह मौलिक मॉडल मिसमैच की भरपाई नहीं कर सकता) और इसकी प्रभावशीलता इसके अंडरलाइंग सैंपलर के करेक्शन सीक्वेंस के टेम्पोरल व्यवहार पर निर्भर करती है। हालाँकि, परिणाम बताते हैं कि स्थिर बेसलाइन्स के लिए, LAMP डेटा फिडेलिटी (विशेष रूप से फाइन-स्केल स्ट्रक्चर के लिए) में निरंतर और धारणात्मक रूप से सार्थक सुधार प्रदान करता है।