📊 statistics

Bridging data-driven priors via the score function for posterior sampling -- Comparative review and experimental study

यह शोध पत्र उनके स्कोर फलनों (score functions) के माध्यम से बेयज़ियन व्युत्क्रम समस्याओं (Bayesian inverse problems) के लिए विविध डेटा-संचालित पूर्ववृत्तों (data-driven priors) को एकीकृत करता है, और इमेज रेस्टोरेशन कार्यों पर तुलनात्मक प्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह सामान्य ढांचा कुशल और बहुमुखी पोस्टीरियर सैंपलिंग को सक्षम बनाता है।

मूल लेखक: Elhadji Cisse Faye, Mame Diarra Fall, Sylvain Delchini, Nicolas Dobigeon

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Elhadji Cisse Faye, Mame Diarra Fall, Sylvain Delchini, Nicolas Dobigeon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने की कोशिश कर रहे हैं, लेकिन किसी ने आधे टुकड़ों को फेंक दिया है, तस्वीर पर धुंध फैला दी है, और बाकी बचे टुकड़ों को फर्श पर बिखेर दिया है। वैज्ञानिक इसे "इनवर्स प्रॉब्लम" (inverse problem) कहते हैं। वास्तविक दुनिया में, ऐसा तब होता है जब हम धुंधली तस्वीरों को ठीक करने, किसी छवि के गायब हिस्सों को भरने, या उन विवरणों को देखने की कोशिश करते हैं जिन्हें हमारे कैमरे पकड़ने में बहुत छोटे हैं।

जिस शोध पत्र (paper) के बारे में आप पूछ रहे हैं, वह इन पहेलियों को सुलझाने की एक नई, अत्यंत स्मार्ट रणनीति की तरह है। यह कैसे काम करता है, इसका विवरण सरल विचारों में यहाँ दिया गया है:

1. समस्या: गायब टुकड़ों का अनुमान लगाना

जब हमारे पास एक क्षतिग्रस्त छवि (एक "अवलोकन") होती है, तो हमें पता होता है कि उसे कैसे नुकसान पहुँचाया गया है (जैसे कि एक धुंधला लेंस या गायब पिक्सेल)। लेकिन इसे ठीक करने के लिए, हमें यह अनुमान लगाने की आवश्यकता होती है कि मूल तस्वीर कैसी दिखती होगी।

पारंपरिक रूप से, वैज्ञानिक इसे एक "अच्छी" तस्वीर के बारे में सख्त गणितीय नियम लिखकर ठीक करने की कोशिश करते थे (जैसे, "किनारे तीखे होने चाहिए," "रंग चिकने होने चाहिए")। लेकिन ये हाथ से लिखे गए नियम अक्सर बहुत कठोर होते हैं। वे वास्तविक जीवन की जटिल और बिखरी हुई सुंदरता को नहीं पकड़ पाते, जैसे कि एक चट्टान की बनावट या चेहरे का घुमाव।

2. नया विचार: छवियों के पुस्तकालय से सीखना

नियम लिखने के बजाय, लेखक एक "पुस्तकालय" (library) का उपयोग करने का सुझाव देते हैं जिसमें हजारों वास्तविक छवियां (जैसे चेहरे या परिदृश्य) हों, ताकि कंप्यूटर को यह सिखाया जा सके कि एक "अच्छी" छवि कैसी दिखती है। कंप्यूटर एक प्रायर (Prior) सीखता है—जो वास्तविकता के प्रति एक मानसिक मॉडल है।

यह शोध पत्र एक विशिष्ट गणितीय उपकरण पर ध्यान केंद्रित करता है जिसे स्कोर फंक्शन (Score Function) कहा जाता है। स्कोर फंक्शन को एक दिशा-सूचक यंत्र (compass) की तरह समझें।

यदि आप एक धुंधले जंगल में खो गए हैं (एक क्षतिग्रस्त छवि), तो दिशा-सूचक यंत्र आपको यह नहीं बताता कि घर कहाँ है।
इसके बजाय, यह उस दिशा की ओर संकेत करता है जो "घर के अधिक करीब होने की संभावना" की ओर ले जाती है।
यदि आप दिशा-सूचक यंत्र का चरण-दर-चरण पालन करते हैं, तो अंततः आप एक स्पष्ट, तीखी छवि तक पहुँच जाते हैं।

3. पुराना तरीका बनाम नया तरीका

यह शोध पत्र इस दिशा-सूचक यंत्र का पालन करने के दो तरीकों की तुलना करता है:

पुराना तरीका (ULA): कल्पना कीजिए कि आप एक भारी, डगमगाती हुई छड़ी पकड़कर जंगल के माध्यम से चलने की कोशिश कर रहे हैं। यदि इलाका बहुत ढलान वाला है (एक बहुत ही धुंधली या क्षतिग्रस्त छवि), तो छड़ी फंस जाती है, और आप बहुत धीरे चलते हैं या फंस जाते हैं। यह "अनएडजस्टेड लैंग्विन एल्गोरिदम" (Unrelated Langevin Algorithm - ULA) है। यह काम तो करता है, लेकिन कठिन समस्याओं पर यह धीमा और अनाड़ी है।
नया तरीका (LwSGS): लेखक एक नई विधि प्रस्तावित करते हैं जिसे लैंग्विन-विदिन-स्प्लिट गिब्स सैंपलर (Langevin-within-Split Gibbs Sampler - LwSGS) कहा जाता है।
- रूपक (Metaphor): पूरे रास्ते पर एक साथ चलने की कोशिश करने के बजाय, कल्पना कीजिए कि आपके पास एक सहायक (helper) है।
- चरण 1: आप सहायक से पूछते हैं कि उनकी याददाश्त के आधार पर छवि को कैसा दिखना चाहिए (अर्थात "प्रायर" या स्कोर फंक्शन दिशा-सूचक यंत्र)।
- चरण 2: आप उस अनुमान को लेते हैं और उसकी तुलना वास्तविक धुंधली फोटो से करते हैं।
- चरण 3: आप दोनों को मिलाकर एक बेहतर अनुमान लगाते हैं।
- जादू: समस्या को इन दो छोटे चरणों में विभाजित करके, "सहायक" बहुत कठिन इलाकों (गंभीर रूप से क्षतिग्रस्त छवियों) में भी बहुत तेज़ी से और सटीकता से आगे बढ़ सकता है।

4. उन्होंने क्या परीक्षण किया?

लेखकों ने चार अलग-अलग प्रकार के "मेमोरी लाइब्रेरीज़" (प्रायर्स) पर इस नए "दिशा-सूचक यंत्र-अनुसरण" रणनीति का परीक्षण किया:

डिनोइजिंग (Denoising): एक पुस्तकालय जो शोर वाली (noisy) तस्वीरों को साफ करना जानता है।
स्कोर-बेस्ड मॉडल्स (Score-Based Models): एक पुस्तकालय जिसे विशेष रूप से "वास्तविक" छवियों की ओर संकेत करने के लिए प्रशिक्षित किया गया है।
नॉर्मलाइजिंग फ्लोज़ (Normalizing Flows): एक पुस्तकालय जो सरल आकृतियों को जटिल छवियों में खींचने और मोड़ने का काम सीखता है।
कॉन्वेक्स रिज रेगुलराइजर्स (Convex Ridge Regularizers): एक गणितीय पुस्तकालय जो डेटा से पैटर्न सीखता है।

उन्होंने इन परीक्षणों को दो मुख्य कार्यों पर किया:

इनपेंटिंग (Inpainting): एक तस्वीर में गायब छेदों को भरना (जैसे वॉटरमार्क या खरोंच हटाना)।
सुपर-रिज़ॉल्यूशन (Super-Resolution): एक छोटी, धुंधली पिक्सेलेटेड छवि को एक बड़ी, तीखी छवि में बदलना।

5. परिणाम

शोध पत्र में पाया गया कि उनका नया तरीका (LwSGS), सभी चार प्रकार की लाइब्रेरीज़ के लिए पुराने तरीके (ULA) की तुलना में तेज़ और अधिक सटीक था।

इसने अधिक स्पष्ट विवरणों के साथ तीखी छवियां बनाईं।
यह आसानी से "फंसा" नहीं।
यह अपने उत्तर के बारे में आपको यह भी बता सकता था कि वह कितना आश्वस्त है। उदाहरण के लिए, पहेली के गायब हिस्सों में, यह कह सकता था, "मुझे काफी यकीन है कि यह एक पेड़ है, लेकिन मैं पत्तियों के बारे में कम निश्चित हूँ," जो अनिश्चितता का एक मानचित्र दिखाता है।

6. वास्तविक दुनिया का परीक्षण: चट्टानें और मिट्टी

अंत में, उन्होंने केवल चेहरों की सुंदर तस्वीरों का उपयोग नहीं किया। उन्होंने इस पद्धति का उपयोग फ्रांसीसी भूवैज्ञानिक और खनन अनुसंधान ब्यूरो द्वारा ली गई भूवैज्ञानिक नमूनों (चट्टानों और टेलिंग्स) पर किया।

समस्या: कैमरा असमान सतहों के कारण फोकस नहीं कर पा रहा था, जिससे चट्टानों की तस्वीरें धुंधली थीं।
समाधान: उन्होंने चट्टानों की धुंधली तस्वीरों को तेज करने के लिए इस नई विधि का उपयोग किया।
परिणाम: बहाल की गई छवियां बहुत स्पष्ट थीं, जिससे भूवैज्ञानिकों के लिए उन सूक्ष्म कणों और दरारों को देखना संभव हो गया जो पहले अदृश्य थे। यह साबित करता है कि यह विधि केवल सुंदर चित्रों पर ही नहीं, बल्कि वास्तविक दुनिया के जटिल डेटा पर भी काम करती है।

सारांश

संक्षेप में, यह शोध पत्र क्षतिग्रस्त छवियों को ठीक करने का एक स्मार्ट और तेज़ तरीका पेश करता है। अकेले धुंध में संघर्ष करने के बजाय, यह एक "सहायक" प्रणाली का उपयोग करता है जो समस्या को प्रबंधनीय चरणों में विभाजित करती है। यह विभिन्न प्रकार के "मेमोरी लाइब्रेरीज़" के साथ काम करता है और इसे चट्टानों की वास्तविक दुनिया की छवियों को बहाल करने के लिए सिद्ध किया गया है, जिससे अदृश्य को दृश्यमान बनाया जा सके।

तकनीकी सारांश: स्कोर फंक्शन के माध्यम से डेटा-संचालित प्रायर्स (Priors) को जोड़ना

समस्या विवरण
इमेज रेस्टोरेशन (IR) कार्य, जैसे कि डिनोइजिंग (denoising), डिब्लरिंग (deblurring), इनपेंटिंग (inpainting) और सुपर-रिज़ॉल्यूशन, आमतौर पर रैखिक व्युत्क्रम समस्याओं ($y = Ax + n$) के रूप में तैयार किए जाते हैं। एक बेयसियन ढांचे के भीतर, इन इल-पोज़्ड (ill-posed) समस्याओं को हल करने के लिए समाधान को नियमित करने हेतु एक प्राय वितरण (prior distribution) $p(x)$ को परिभाषित करना आवश्यक है। जबकि पारंपरिक मॉडल-आधारित प्रायर्स (जैसे कि टोटल वेरिएशन) अच्छी तरह से समझे गए हैं, वे अक्सर प्राकृतिक छवियों की जटिल संरचनाओं को पकड़ने में विफल रहते हैं। इसके विपरीत, डीप लर्निंग (जैसे कि GANs, VAEs, नॉर्मलाइजिंग फ्लोज़) के माध्यम से सीखे गए डेटा-संचालित प्रायर्स उच्च अभिव्यक्तता प्रदान करते हैं, लेकिन वे पोस्टीरियर सैंपलिंग (posterior sampling) के लिए महत्वपूर्ण चुनौतियां भी पेश करते हैं।

बेयसियन IR में एक प्राथमिक चुनौती इमेज स्पेस की उच्च आयामीता (high dimensionality) और रेगुलराइजेशन फंक्शन्स की नॉन-स्मूथनेस है, जो मार्कोव चेन मोंटे कार्लो (MCMC) एल्गोरिदम की दक्षता में बाधा डालती है। मौजूदा विधियां अक्सर पोस्टीरियर से सैंपलिंग करने के लिए अनएडजस्टेड लैंगविन एल्गोरिदम (ULA) पर निर्भर करती हैं। हालांकि, ULA गंभीर रूप से इल-कंडीशन्ड (ill-conditioned) समस्याओं के साथ संघर्ष कर सकता है क्योंकि इसकी स्टेप-साइज़ (step-size) लाइकलीहुड के लिप्सचिट्ज कांस्टेंट (Lipschitz constant) से जुड़ी होती है। इसके अलावा, कई उन्नत डेटा-संचालित प्रायर्स (जैसे कि डिनोजर्स या स्कोर-आधारित जनरेटिव मॉडल्स पर आधारित) स्पष्ट रूप से परिभाषित नहीं होते हैं, जिससे एक एकीकृत सैद्धांतिक ढांचे के बिना प्रत्यक्ष सैंपलिंग कठिन हो जाती है।

कार्यप्रणाली
यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करता है जो विविध डेटा-संचालित प्रायर्स से पोस्टीरियर वितरण से सैंपल ले सकता है, बशर्ते उन्हें उनके स्कोर फंक्शन ( $s(x) = \nabla_x \log p(x)$ ) के माध्यम से व्यक्त किया जा सके। मुख्य कार्यप्रणाली लैंगविन-विदिन-स्प्लिट गिब्स सैंपलर (LwSGS) पर आधारित है।

एसिम्प्टोटिकली एक्ज़ैक्ट डेटा ऑग्मेंटेशन (AXDA): एल्गोरिदम एक ऑक्जिलरी वेरिएबल (auxiliary variable) $z$ को पेश करता है जो पोस्टीरियर वितरण को एक ऑगमेंटेड रूप में विभाजित करता है:
$\pi_\rho(x, z) \propto \exp\left[ -f(x, y) - g(z) - \frac{1}{2\rho^2}\|x - z\|^2 \right]$
जहाँ $f(x,y)$ डेटा फिडेलिटी टर्म है और $g(z)$ रेगुलराइजेशन पोटेंशियल है। जैसे-जैसे कपलिंग पैरामीटर $\rho \to 0$ होता है, $x$ का मार्जिनल वितरण लक्षित पोस्टीरियर में अभिसरित (converge) हो जाता है।
स्प्लिट गिब्स सैंपलिंग (SGS): एल्गोरिदम $x$ और $z$ के बीच बारी-बारी से सैंपलिंग करता है:
- $x$ की सैंपलिंग: $z$ के दिए गए मान के साथ, कंडीशनल डिस्ट्रीब्यूशन $p(x|y, z)$ गाऊसी (Gaussian) होता है (रैखिक गाऊसी व्युत्क्रम समस्याओं के लिए), जो कुशल और क्लोज्ड-फॉर्म सैंपलिंग की अनुमति देता है। महत्वपूर्ण रूप से, यह चरण स्टेप-साइज़ को लाइकलीहुड के लिप्सचिट्ज कांस्टेंट से अलग (decouple) कर देता है, जो मानक ULA की एक बड़ी सीमा को संबोधित करता है।
- $z$ की सैंपलिंग: $x$ के दिए गए मान के साथ, कंडीशनल डिस्ट्रीब्यूशन $p(z|x)$ का उपयोग करके एक लैंगविन मोंटे कार्लो (LMC) स्टेप लिया जाता है। यह चरण स्पष्ट रूप से प्रायर के स्कोर फंक्शन का उपयोग करता है:
  $z^{(t+1)} = z^{(t)} + \gamma \left( s(z^{(t)}) + \frac{1}{\rho^2}(x^{(t)} - z^{(t)}) \right) + \sqrt{2\gamma}\epsilon^{(t)}$
  जहाँ $s(z) = \nabla \log p(z)$ प्रायर का स्कोर फंक्शन है।
एकीकृत प्रायर प्रतिनिधित्व (Unified Prior Representation): यह शोध पत्र प्रदर्शित करता है कि चार अलग-अलग वर्गों के डेटा-संचालित प्रायर्स को स्कोर-फंक्शन परिप्रेक्ष्य के तहत एकीकृत किया जा सकता है:
- रेगुलराइजेशन-बाय-डिनोइजिंग (RED): स्कोर फंक्शन सीधे डिनोइजिंग रेजिडुअल से प्राप्त होता है ( $s(x) \propto -(x - D(x))$ )।
- स्कोर-आधारित जनरेटिव मॉडल्स (SGM): स्कोर फंक्शन को स्कोर मैचिंग (या डिनोइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स) के माध्यम से स्पष्ट रूप से सीखा जाता है।
- नॉर्मलाइजिंग फ्लोज़ (NF): स्कोर फंक्शन को चेंज ऑफ वेरिएबल्स फॉर्मूला से प्राप्त लॉग-डेंसिटी के ऑटोमैटिक डिफरेंशिएशन के माध्यम से कंप्यूट किया जाता है।
- कॉन्वेक्स-रिज रेगुलराइज़र्स (CRR): स्कोर फंक्शन एक बायस-फ्री सिंगल-लेयर CNN आउटपुट के अनुरूप होता है।

प्रमुख योगदान

प्रायर्स का एकीकरण: यह शोध पत्र स्थापित करता है कि RED, SGM, NF और CRR प्रायर्स, अपने विभिन्न उद्गमों और प्रेरणाओं के बावजूद, उनके स्कोर फंक्शन्स के माध्यम से एक ही सैंपलिंग ढांचे में एकीकृत किए जा सकते हैं।
एल्गोरिद्मिक बहुमुखी प्रतिभा: यह दिखाता है कि LwSGS एक जेनेरिक एल्गोरिदम है जो किसी भी डिफरेंशिएबल लॉग-प्रायर को संभाल सकता है जिसका स्कोर फंक्शन स्पष्ट या कुशलतापूर्वक कंप्यूट करने योग्य हो, जिससे सरल ULA स्कीम्स की सीमाओं को दूर किया जा सके।
बाधाओं का पृथक्करण (Decoupling of Constraints): समस्या को विभाजित करके, यह विधि प्रायर के सैंपलिंग चरण को डेटा-फिडेलिटी टर्म की कंडीशनिंग से स्वतंत्र होने की अनुमति देती है, जिससे संभावित रूप से इल-पोज़्ड समस्याओं में मिक्सिंग प्रॉपर्टीज में सुधार होता है।

प्रायोगिक परिणाम
लेखकों ने दो कार्यों: इमेज इनपेंटिंग और सिंगल-इमेज सुपर-रिज़ॉल्यूशन पर ULA-आधारित समकक्षों (PnP-ULA, NF-ULA, और नए डिज़ाइन किए गए SGM-ULA और CRR-ULA) के विरुद्ध LwSGS फ्रेमवर्क का मूल्यांकन किया।

डेटासेट्स: प्रयोग FFHQ और ImageNet डेटासेट्स से 30 RGB छवियों पर किए गए।
प्रदर्शन मेट्रिक्स: अध्ययन ने पुनर्निर्माण गुणवत्ता और सैंपलिंग दक्षता को मापने के लिए PSNR, SSIM, LPIPS (परसेप्चुअल सिमिलैरिटी), और इंटीग्रेटेड ऑटोकोरिलेशन टाइम (IAT) का उपयोग किया।
निष्कर्ष:
- पुनर्निर्माण गुणवत्ता: LwSGS ने लगातार उच्च-गुणवत्ता वाले पुनर्निर्माण उत्पन्न किए जो ग्राउंड-ट्रुथ विवरणों के करीब थे। इनपेंटिंग कार्यों में, इसने गायब क्षेत्रों को प्रभावी ढंग से भरा; सुपर-रिज़ॉल्यूशन में, इसने जटिल विवरणों को संरक्षित किया।
- ULA के साथ तुलना: LwSGS ने आम तौर पर ULA-आधारित विधियों से बेहतर प्रदर्शन किया, विशेष रूप से RED और SGM प्रायर्स का उपयोग करते समय, जिससे शार्प डिटेल्स और उच्च फिडेलिटी प्राप्त हुई। NF और CRR प्रायर्स के साथ भी, LwSGS ने प्रतिस्पर्धी या बेहतर प्रदर्शन दिखाया।
- दक्षता: LwSGS एल्गोरिदम ने तेज़ अभिसरण (convergence) प्रदर्शित किया, जिसे ULA की तुलना में कम IAT मानों और तेज़ घटते ऑटोकोरिलेशन फंक्शन द्वारा दर्शाया गया है।
- अनिश्चितता का मात्रा निर्धारण (Uncertainty Quantification): एक सैंपलिंग विधि के रूप में, LwSGS ने पिक्सेल-वाइज अनिश्चितता (स्टैंडर्ड डेविएशन) के अनुमान को सक्षम बनाया, जिसमें अपेक्षित रूप से इनपेंटेड क्षेत्रों में उच्च अनिश्चितता दिखाई दी।
- वास्तविक दुनिया का अनुप्रयोग: फ्रेमवर्क का उपयोग वास्तविक दुनिया के भूवैज्ञानिक टेलिंग सैंपल (आउट-ऑफ-फोकस इमेज को डिब्लर करने) को बहाल करने के लिए किया गया। एक RED प्रायर का उपयोग करके, विधि ने धुंधली छवियों से शार्प विवरणों को सफलतापूर्वक रिकवर किया, जो भूविज्ञान में व्यावहारिक उपयोगिता को प्रदर्शित करता है।

महत्व और दावे
लेखक दावा करते हैं कि LwSGS फ्रेमवर्क स्कोर-फंक्शन-आधारित प्रायर्स वाले बेयसियन व्युत्क्रम समस्याओं के लिए ULA के लिए एक बहुमुखी और व्यवस्थित विकल्प प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

व्यापक प्रयोज्यता: यह विशिष्ट जनरेटिव मॉडल्स तक सीमित नहीं है बल्कि किसी भी प्रायर को संभाल सकता है जिसका स्कोर फंक्शन सुलभ है, जो विभिन्न डेटा-संचालित रेगुलराइजेशन प्रतिमानों के बीच के अंतर को पाटता है।
व्यावहारिक दक्षता: विभाजन रणनीति (splitting strategy) ULA में अंतर्निहित कंडीशनिंग समस्याओं को प्रभावी ढंग से कम करती है, जिससे उच्च-आयामी स्थानों में बेहतर मिक्सिंग और तेज़ अभिसरण होता है।
वास्तविक दुनिया की उपयोगिता: भूवैज्ञानिक नमूनों का सफल बहाली यह दर्शाता है कि विधि इतनी मजबूत है कि इसे उन परिचालन पाइपलाइनों में भी उपयोग किया जा सकता है जहाँ अधिग्रहण प्रोटोकॉल सब-ऑप्टिमल हो सकते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि वर्तमान कार्य विशिष्ट प्रायर्स पर केंद्रित है, एकीकृत ढांचा पर्याप्त रूप से सामान्य है ताकि स्कोर फंक्शन-आधारित प्रायर्स के एक विस्तृत वर्ग द्वारा परिभाषित किसी भी पोस्टीरियर वितरण को संभाला जा सके, जो विविध डीप लर्निंग मॉडल्स को बेयसियन इन्फरेंस में एकीकृत करने का मार्ग प्रशस्त करता है।