⚡ electrical engineering

Local MAP Sampling for Diffusion Models

यह शोध पत्र लोकल एमएपी सैंपलिंग (LMAPS) प्रस्तुत करता है, जो एक नवीन इन्फरेंस फ्रेमवर्क है जो डिफ्यूजन ट्रैजेक्टरी के साथ स्थानीय एमएपी सबप्रॉब्लम्स को पुनरावृत्ति से हल करता है ताकि ऑप्टिमाइज़ेशन-आधारित विधियों को संभाव्य व्याख्याओं के साथ एकीकृत किया जा सके, जिससे इमेज रेस्टोरेशन और वैज्ञानिक इनवर्स समस्याओं में अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Shaorong Zhang, Rob Brekelmans, Greg Ver Steeg

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaorong Zhang, Rob Brekelmans, Greg Ver Steeg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: खराब तस्वीरों को ठीक करना (और भी बहुत कुछ)

कल्पना कीजिए कि आपके पास एक धुंधली, शोर वाली या आंशिक रूप से मिटा दी गई फोटो है। आप इसे ठीक करना चाहते हैं। AI की दुनिया में, इसे एक इनवर्स प्रॉब्लम (inverse problem) कहा जाता है। आपके पास "अव्यवस्थित" परिणाम (धुंधली फोटो) है और आप असली "साफ" मूल तस्वीर का पता लगाना चाहते हैं।

लंबे समय से, AI शोधकर्ता इसे हल करने के लिए डिफ्यूजन मॉडल्स (Diffusion Models) का उपयोग कर रहे हैं। एक डिफ्यूजन मॉडल को एक बहुत ही प्रतिभाशाली कलाकार के रूप में सोचें जिसने लाखों तस्वीरें देखी हैं। यदि आप उन्हें एक खाली कैनवास और थोड़ा सा शोर (noise) देते हैं, तो वे शून्य से एक वास्तविक फोटो की कल्पना कर सकते हैं।

लेकिन क्या होगा अगर आप केवल कोई भी वास्तविक फोटो नहीं चाहते? क्या होगा अगर आप एक ऐसी फोटो चाहते हैं जो विशेष रूप से उन धुंधले सुरागों से मेल खाती हो जो आपके पास हैं?

पुराने तरीके: दो अलग दृष्टिकोण

इस पेपर से पहले, इन AI कलाकारों का उपयोग आपकी फोटो को ठीक करने के लिए करने के दो मुख्य तरीके थे:

"सैंपलर" दृष्टिकोण (DPS):
कल्पना कीजिए कि आपने कलाकार से एक ऐसी तस्वीर बनाने के लिए कहा जो आपके धुंधले सुरागों में फिट बैठती हो, लेकिन आप सभी संभावनाओं को देखना चाहते हैं। शायद वह धुंधला हिस्सा एक बिल्ली, एक कुत्ता, या एक झाड़ी हो सकता है। "सैंपलर" कई अलग-अलग संस्करण बनाने की कोशिश करता है, जिससे अनिश्चितता की सभी स्थितियों को पकड़ा जा सके। यह कलाकार से पूछने जैसा है, "मुझे दिखाओ कि इस धुंधले स्थान में क्या-क्या हो सकता है।"

लाभ: यह अनिश्चितता को समझने के लिए बेहतरीन है।
हानि: यह धीमा हो सकता है, और कभी-कभी परिणाम एक स्पष्ट उत्तर के बजाय संभावनाओं का एक "मिश्रण" (mush) बन जाता है।

"ऑप्टिमाइज़र" दृष्टिकोण:
कल्पना कीजिए कि आपने कलाकार से पूछा, "मुझे मूल फोटो का सबसे अच्छा अनुमान दें।" आप संभावनाओं की सूची नहीं, बल्कि एक तीखी, स्पष्ट छवि चाहते हैं। इसे अक्सर "मैक्सिमम ए पोस्टीरियर" (Maximum A Posteriori - MAP) अनुमान खोजना कहा जाता है।

लाभ: यह आमतौर पर एक बहुत ही तीखी और उच्च-गुणवत्ता वाली छवि देता है।
हानि: यह समझाना कठिन है कि इसका गणित इस तरह क्यों काम करता है, और कभी-कभी इसे प्राप्त करने के लिए उपयोग की जाने वाली विधियाँ थोड़ी "जुगाड़ू" (नियमों के बजाय अनुमानों पर आधारित) होती हैं।

नया विचार: "लोकल MAP सैंपलिंग" (LMAPS)

इस पेपर के लेखकों ने लोकल MAP सैंपलिंग (LMAPs) नामक एक नई विधि पेश की है। उन्होंने महसूस किया कि लोग जिस "ऑप्टिमाइज़र" पद्धति का उपयोग कर रहे थे, वह वास्तव में कुछ बहुत विशिष्ट कर रही थी: वे पूरी प्रक्रिया के हर एक चरण में एक स्थानीय (local) पहेली को हल कर रहे थे, न कि एक साथ पूरी विशाल पहेली को हल करने की कोशिश कर रहे थे।

उपमा: कोहरे से भरे पहाड़ पर नीचे उतरना

कल्पना कीजिए कि आप कोहरे से भरे पहाड़ों की एक श्रृंखला में सबसे ऊँची चोटी खोजने की कोशिश कर रहे हैं (यह "ग्लोबल MAP" है)।

सैंपलर इधर-उधर घूमता है, पूरी पर्वत श्रृंखला का मानचित्र बनाने की कोशिश करता है ताकि वह चोटियों और घाटियों को देख सके।
पुराने ऑप्टिमाइज़र्स सीधे ऊपर चढ़ने की कोशिश करते थे, लेकिन उनके पास एक अच्छा नक्शा नहीं था, इसलिए वे कभी-कभी फंस जाते थे या अजीब रास्ते ले लेते थे।

LMAPS एक समझदार हाइकर (पर्वतारोही) की तरह है जो छोटे, सावधानीपूर्वक कदम उठाता है।
पूरी पर्वत श्रृंखला को एक साथ देखने के बजाय, LMAPS कहता है: "अभी, इसी वक्त, मेरे आस-पास का सबसे ऊँचा बिंदु क्या है?" यह सबसे अच्छा स्थानीय स्थान ढूंढता है, वहां एक कदम रखता है, और फिर अगले स्थान के लिए वही प्रश्न फिर से पूछता है।

जैसे-जैसे छवि स्पष्ट होती जाती है, इस "सबसे अच्छे स्थानीय स्थान को खोजने" की प्रक्रिया को बार-बार दोहराकर, LMAPS एक उच्च-गुणवत्ता वाली छवि बनाता है।

यह विशेष क्यों है?

यह कड़ियों को जोड़ता है: यह पेपर दिखाता है कि यह "चरण-दर-चरण स्थानीय" दृष्टिकोण वास्तव में दोनों पुराने तरीकों को एकीकृत करता है। यह समझाता है कि पुराने "ऑप्टिमाइज़र" तरीके इतने अच्छे क्यों थे। यह एक "ब्लैक बॉक्स" ट्रिक को एक स्पष्ट, तार्किक प्रक्रिया में बदल देता है।
यह अधिक स्थिर है: लेखकों ने एक नया गणितीय सूत्र (एक "ऑब्जेक्टिव रीफॉर्मुलेशन") बनाया है जो एक बेहतर दिशा-सूचक यंत्र (compass) की तरह काम करता है। यह AI को भ्रमित होने से रोकता है जब छवि बहुत धुंधली होती है (प्रक्रिया की शुरुआत में) बनाम जब यह लगभग साफ होती है (अंत में)।
यह बेहतर काम करता है: उन्होंने इसे 10 अलग-अलग प्रकार के इमेज फिक्सिंग कार्यों (जैसे धुंधलेपन को हटाना, गायब हिस्सों को भरना, या वैज्ञानिक डेटा को ठीक करना) और 3 वैज्ञानिक कार्यों (जैसे ब्लैक होल या MRI स्कैन को देखना) पर परखा।
- परिणाम: LMAPS ने अधिकांश परीक्षणों (60 में से 43 मामलों में) में सबसे तीखी और सटीक छवियां बनाईं।
- गति: यह कुछ मौजूदा सर्वोत्तम विधियों की तुलना में तेज़ भी था, जिसका अर्थ है कि इसे एक शानदार परिणाम पाने के लिए बहुत अधिक मेहनत करने की आवश्यकता नहीं है।

"सीक्रेट सॉस" (गुप्त नुस्खा)

पेपर में दो तकनीकी ट्रिक्स का उल्लेख है जो इसे काम करने में मदद करती हैं:

"गौसियन" अनुमान: वे मानते हैं कि छवि में अनिश्चितता एक चिकने, गोल बादल (गौसियन वितरण) की तरह दिखती है ताकि गणित आसान हो सके। यह एक उचित अनुमान है जो सटीकता खोए बिना समस्या को सरल बनाता है।
"टेम्परेचर" नॉब: उन्होंने एक नियंत्रण नॉब (जिसे पैरामीटर $k$ कहा जाता है) जोड़ा है जो उन्हें "AI के अनुमान पर भरोसा करने" और "धुंधले सुरागों पर भरोसा करने" के बीच संतुलन बनाने की अनुमति देता है। यह AI को यह जानने में मदद करता है कि कब साहसी होना है और कब सावधान रहना है।

सारांश

संक्षेप में, LMAPS AI का उपयोग करके टूटी हुई छवियों को ठीक करने का एक नया तरीका है। एक साथ पूरे उत्तर का अनुमान लगाने या संभावनाओं को बेतरतीब ढंग से चुनने के बजाय, यह चरण-दर-चरण छोटी, स्थानीय पहेलियों को हल करता है। यह दृष्टिकोण गणितीय रूप से सुदृढ़ है, समझने में आसान है, और कई वर्तमान विधियों की तुलना में अधिक तीखे और सटीक परिणाम देता है, चाहे आप एक पारिवारिक फोटो ठीक कर रहे हों या ब्लैक होल को देखने की कोशिश कर रहे हों।

तकनीकी सारांश: डिफ्यूजन मॉडल्स के लिए लोकल MAP सैंपलिंग (Local MAP Sampling)

समस्या विवरण (Problem Statement)

डिफ्यूजन पोस्टीरियर सैंपलिंग (DPS) इन्वर्स प्रॉब्लम्स (inverse problems) को हल करने के लिए एक शक्तिशाली फ्रेमवर्क के रूप में उभरा है, जो $p(x_0 | y)$ के पोस्टीरियर डिस्ट्रीब्यूशन से सैंपलिंग करता है, जिससे सिद्धांत आधारित अनिश्चितता परिमाणन (uncertainty quantification) और मल्टी-मोडैलिटी (multi-modality) प्राप्त होती है। हालाँकि, कई व्यावहारिक अनुप्रयोग, जो इमेजिंग और विज्ञान में हैं, पूर्ण वितरण सैंपलिंग के बजाय सटीक पॉइंट एस्टीमेशन (point estimation) को प्राथमिकता देते हैं। मैक्सिमम ए पोस्टेरिओरी (MAP) एस्टिमेटर, जिसे $\arg \max p(x_0 | y)$ द्वारा परिभाषित किया गया है, एक मानक रिकंस्ट्रक्शन ऑब्जेक्टिव बना हुआ है।

मौजूदा ऑप्टिमाइज़ेशन-आधारित विधियाँ (जैसे Resample, DiffPIR, DCDP) डिनोइजिंग और ऑप्टिमाइज़ेशन स्टेप्स के बीच बारी-बारी से कार्य करके रिकंस्ट्रक्शन प्रदर्शन में सुधार करने का प्रयास करती हैं। हालाँकि, इन पुनरावृत्ति प्रक्रियाओं (iterative procedures), ग्लोबल MAP समाधान और पोस्टीरियर सैंपलिंग के बीच का सैद्धांतिक संबंध अभी भी अस्पष्ट है। यह स्थापित नहीं है कि क्या ये विधियाँ ग्लोबल MAP की ओर अभिसरित (converge) होती हैं या क्या वे DPS के साथ सुसंगत हैं। इसके अलावा, इन विधियों में ऑप्टिमाइज़ेशन स्टेप्स की विशिष्ट प्रकृति—चाहे वे ग्लोबल ऑब्जेक्टिव को हल कर रहे हों या लोकल—स्पष्टीकरण की मांग करती है।

कार्यप्रणाली: लोकल MAP सैंपलिंग (LMAPS)

लेखक लोकल MAP सैंपलिंग (LMAPS) पेश करते हैं, जो एक नया इंफरेंस फ्रेमवर्क है जो डिफ्यूजन ट्रजेक्टरी के साथ स्थानीय मैक्सिमम-ए-पोस्टेरिओरी सब-प्रॉब्लम्स को पुनरावृत्ति से हल करता है।

1. सैद्धांतिक ढांचा (Theoretical Framework)

LMAPS एक एकल ग्लोबल समस्या के बजाय स्थानीय MAP समस्याओं के एक अनुक्रम को हल करके कार्य करता है। प्रत्येक डिफ्यूजन स्टेप $t$ पर, एक शोर युक्त अवस्था $x_t$ और माप $y$ दिए जाने पर, विधि खोजती है:
$x^*_0(t, x_t, y) := \arg \max_{x_0} p(x_0 | x_t, y)$
इसके बाद एक मानक DDIM ट्रांजिशन स्टेप होता है:
$x_{t-\Delta t} = g(x^*_0, x_t, \epsilon)$

मौजूदा विधियों से अंतर:

vs. Global MAP: ग्लोबल MAP $p(x_0 | y)$ के पूर्ण पोस्टीरियर के मोड को खोजता है। LMAPS प्रत्येक स्टेप पर कंडीशनल पोस्टीरियर $p(x_0 | x_t, y)$ के मोड को खोजता है। लेखक तर्क देते हैं कि स्थानीय मैक्सिमाइज़र का अनुक्रम आवश्यक रूप से $p(x_0 | y)$ के ग्लोबल मैक्सिमाइज़र की ओर अभिसरित नहीं होता है।
vs. DPS: DPS अपडेट में कंडीशनल मीन $E[x_0 | x_t, y]$ का उपयोग करता है। LMAPS इस मीन को मोड (mode) से बदल देता है। ये केवल तभी समकक्ष होते हैं जब कंडीशनल पोस्टीरियर गॉसियन हो; अन्यथा, LMAPS एक मोड-सीकिंग बायस (mode-seeking bias) पेश करता है, जो लो-डेंसिटी क्षेत्रों से बचता है।
vs. DMAP: जबकि DMAP भी एक लोकल MAP परिप्रेक्ष्य का उपयोग करता है, यह लेटेंट डिफ्यूजन वेरिएबल स्पेस में ऑप्टिमाइज़ करता है ( $x^*_{t-\Delta \text{t}} = \arg \max p(x_{t-\Delta \text{t}} | x_t, y)$ )। LMAPS समस्या को सीधे क्लीन सिग्नल स्पेस ( $x^*_0$ ) में प्रस्तुत करता है, जो एक पूरक दृष्टिकोण प्रदान करता है जो स्पष्ट रूप से मेजरमेंट लाइकलीहुड $p(y|x_0)$ से जुड़ता है।

2. व्यावहारिक एल्गोरिदम और सन्निकटन (Practical Algorithm and Approximations)

सामान्य नॉन-लीनियर इन्वर्स प्रॉब्लम्स के लिए लोकल MAP समस्या को सुलभ बनाने के लिए, लेखक विशिष्ट सन्निकटन (approximations) और पुनर्गठन प्रस्तावित करते हैं:

कोवेरिएंस सन्निकटन (Covariance Approximation): लेखक प्रायर $p(x_0 | x_t)$ के कंडीशनल कोवेरिएंस $\Sigma_{0|t}$ को एक आइसोट्रोपिक (isotropic) रूप का उपयोग करके सन्निकट करते हैं, जो एक गॉसियन प्रायर धारणा से प्रेरित है। जैसे-जैसे शोर स्तर $\sigma_t \to 0$ होता है, पोस्टीरियर कोवेरिएंस एसिम्प्टोटिक रूप से आइसोट्रोपिक हो जाता है। वे $\Sigma_{0|t} \approx \frac{1}{SNR} I$ का उपयोग करते हैं, जहाँ $SNR = \alpha_t^2 / \sigma_t^2$ है।
ऑब्जेक्टिव पुनर्गठन (Objective Reformulation): लोकल MAP ऑब्जेक्टिव को प्रायर डिस्टेंस और डेटा फिडेलिटी के भारित योग (weighted sum) को कम करने के रूप में तैयार किया गया है:
$x^*_0 = \arg \min_{x_0} \left\{ \frac{SNR}{k} \|x_0 - m_{0|t}\|^2 + \frac{1}{\sigma_y^2} \|y - H(x_0)\|^2 \right\}$
संख्यात्मक स्थिरता और व्याख्यात्मकता में सुधार के लिए, इसे एक स्केल-इनवेरिएंट कॉन्वेक्स कॉम्बिनेशन में पुनर्गठित किया गया है:
$x^*_0 = \arg \min_{x_0} \left\{ (1 - \mu_t) \frac{1}{2} \|x_0 - m_{0|t}\|^2 + \mu_t k_2 \|y - H(x_0)\|^2 \right\}$
जहाँ $\mu_t = \sigma_t^2 / (\sigma_t^2 + k_1^2)$ है। यह फॉर्मूलेशन ऑटोमैटिक एनीलिंग (automatic annealing) की अनुमति देता है: जैसे-जैसे $t$ घटता है ( $\sigma_t \to 0$ ), ऑब्जेक्टिव मेजरमेंट-ड्रिवन से प्रायर-ड्रिवन की ओर स्थानांतरित हो जाता है।
लीनियर बनाम नॉन-लीनियर (Linear vs. Non-Linear): लीनियर इन्वर्स प्रॉब्लम्स के लिए, लोकल MAP समाधान को क्लोज्ड फॉर्म में प्राप्त किया जा सकता है, जो टीडी मोमेंट प्रोजेक्टेड डिफ्यूजन (TMPD) को एक विशेष मामले के रूप में रिकवर करता है। नॉन-लीनियर समस्याओं के लिए, समाधान ग्रेडिएंट डिसेंट के माध्यम से प्राप्त किया जाता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण (Theoretical Unification): पेपर ऑप्टिमाइज़ेशन-आधारित इन्वर्स प्रॉब्लम विधियों और टीडी मोमेंट प्रोजेक्टेड डिफ्यूजन (TMPD) को एक एकल संभावabilistic फ्रेमवर्क के तहत एकीकृत करने के लिए LMAPS को फॉर्म्युलेट करता है। यह स्पष्ट करता है कि ऑप्टिमाइज़ेशन-आधारित विधियाँ स्वाभाविक रूप से ग्लोबल MAP या पूर्ण पोस्टीरियर सैंपलिंग के बजाय लोकल MAP समस्याओं को हल करती हैं।
मेथोडोलॉजिकल एडवांसमेंट (Methodological Advances): लेखक एक गॉसियन-प्रेरित कोवेरिएंस सन्निकटन और एक पुनर्गठित ऑब्जेक्टिव फंक्शन पेश करते हैं जो ऑटोमैटिक एनीलिंग के माध्यम से संख्यात्मक स्थिरता और व्याख्यात्मकता को बढ़ाता है।
अनुभवजन्य सत्यापन (Empirical Validation): फ्रेमवर्क को 10 इमेज रेस्टोरेशन टास्क (लीनियर, नॉन-लीनियर और नॉन-डिफरेंशिएबल ऑपरेटर्स सहित) और 3 वैज्ञानिक इन्वर्स प्रॉब्लम्स पर मान्य किया गया है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने इमेज रेस्टोरेशन के लिए FFHQ और ImageNet डेटासेट पर और वैज्ञानिक इन्वर्स प्रॉब्लम्स (लीनियर इन्वर्स स्कैटरिंग, कम्प्रेस्ड सेंसिंग MRI, और ब्लैक होल इमेजिंग) के बेंचमार्क पर LMAPS का मूल्यांकन किया।

इमेज रेस्टोरेशन (Image Restoration): LMAPS ने FFHQ और ImageNet पर PSNR, SSIM और LPIPS मेट्रिक्स के माध्यम से 60 में से 43 मामलों में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। इसने लगातार अपने करीबी संबंधित DMAP बेसलाइन को पछाड़ा, जिसमें मोशन डीब्लरिंग, JPEG रेस्टोरेशन और क्वांटाइजेशन जैसे कार्यों में 2 dB से अधिक PSNR का सुधार देखा गया।
वैज्ञानिक इन्वर्स प्रॉब्लम्स (Scientific Inverse Problems): LMAPS ने सभी वैज्ञानिक कार्यों में लगातार उच्चतम PSNR प्राप्त किया। विशेष रूप से, इसने पिछले तरीकों की तुलना में तीन लीनियर इन्वर्स स्कैटरिंग (LIS) कार्यों पर 1.5 dB से अधिक PSند PSNR प्राप्त किया।
दक्षता (Efficiency): LMAPS ने DAPS की तुलना में बेहतर दक्षता प्रदर्शित की, जिससे कम कंप्यूटेशनल संसाधनों (जैसे, प्रति डिफ्यूजन स्टेप कम ऑप्टिमाइज़ेशन स्टेप) के साथ बेहतर परिणाम प्राप्त हुए।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LMAPS ऑप्टिमाइज़ेशन-आधारित विधियों के लिए एक सिद्धांत आधारित संभावabilistic व्याख्या प्रदान करता है, जो पोस्टीरियर सैंपलिंग (DPS) और पॉइंट एस्टीमेशन (MAP) के बीच के अंतर को पाटता है। स्थानीय MAP सब-प्रॉब्लम्स को स्पष्ट रूप से हल करके, यह विधि एक एकीकृत दृष्टिकोण प्रदान करती है जो मौजूदा ऑप्टिमाइज़ेशन-आधारित सॉल्वर के व्यवहार की व्याख्या करती है।

लेखक इस बात पर जोर देते हैं कि हालांकि LMAPS पूर्ण पोस्टीरियर वितरण से सैंपल नहीं करता है (और इस प्रकार DPS की तरह मल्टी-मोडैलिटी को कैप्चर नहीं करता है), यह विशेष रूप से उन परिदृश्यों के लिए डिज़ाइन किया गया है जहाँ सटीक पॉइंट एस्टीमेशन प्राथमिक लक्ष्य है। यह फ्रेमवर्क एक मजबूत विकल्प प्रदान करता है जो डिफ्यूजन मॉडल्स के स्ट्रक्चरल प्रायर्स के साथ रिकंस्ट्रक्शन फिडेलिटी को संतुलित करता है, जिससे मानक इमेज रेस्टोरेशन और चुनौतीपूर्ण वैज्ञानिक पुनर्निर्माण कार्यों दोनों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त होते हैं। यह कार्य सुझाव देता है कि भविष्य के शोध डिफ्यूजन प्रायर्स के साथ ग्लोबल MAP एस्टीमेशन की उपयोगिता का और अधिक अन्वेषण कर सकते हैं, जो कि एक खुला चुनौती बना हुआ है।