🤖 machine learning

Discrete Langevin-Inspired Posterior Sampling

यह शोध पत्र $\Delta$ LPS को प्रस्तुत करता है, जो एक स्केलेबल और सामान्य डिस्क्रीट पोस्टीरियर सैंपलर है जो डिस्क्रीट स्टेट स्पेस के भीतर कुशल समानांतर अपडेट करने के लिए ग्रेडिएंट जानकारी का लाभ उठाता है, और निरंतर रिलैक्सेशन (continuous relaxations) पर निर्भर रहे बिना विभिन्न इन्वर्स समस्याओं पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Chaitanya Amballa, Sattwik Basu, Jorge Vančo Sampedro, Romit Roy Choudhury

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chaitanya Amballa, Sattwik Basu, Jorge Vančo Sampedro, Romit Roy Choudhury

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जिग्सॉ पहेली (jigsaw puzzle) सुलझाने की कोशिश कर रहे हैं, लेकिन किसी ने उसकी तस्वीर ले ली है, उस पर स्याही फैला दी है, आधे टुकड़ों को निकाल दिया है, और फिर वह सारा कचरा आपके सामने रख दिया है। आपका लक्ष्य यह पता लगाना है कि मूल तस्वीर कैसी दिखती थी। कंप्यूटर विज्ञान की दुनिया में, इसे एक इनवर्स प्रॉब्लम (inverse problem) कहा जाता है: आपके पास एक अस्त-व्यled परिणाम ( $y$ ) है और आपको मूल संकेत ( $x$ ) को खोजने के लिए पीछे की ओर काम करना है।

लंबे समय से, कंप्यूटर इन पहेलियों को सुलझाने में बहुत अच्छे रहे हैं यदि उनके टुकड़े चिकने और निरंतर (जैसे कि जलरंगों से बनी एक पेंटिंग) हों। वे "डिफ्यूजन" नामक एक तकनीक का उपयोग करते हैं, जो एक तस्वीर में शोर (noise) धीरे-धीरे जोड़ने जैसा है जब तक कि वह केवल स्टैटिक बन जाए, और फिर उस प्रक्रिया को उलटने को सीखने जैसा है ताकि छवि को बहाल किया जा सके।

हालाँकि, हमारी दुनिया की कई चीजें चिकनी जलरंगों जैसी नहीं हैं; वे अलग-अलग, अलग ब्लॉकों से बनी हैं, जैसे कि लेगो (LEGO) ब्रिक्स, पिक्सेल, या एक वाक्य में शब्द। ये डिस्क्रीट (discrete) अवस्थाएँ हैं। इन "लेगो" (डिस्क्रीट) डेटा के लिए "जलरंग" (कंटीन्यूअस) विधियों का उपयोग करना ऐसा ही है जैसे किसी गोल छेद में चौकोर खूँटा फिट करने की कोशिश करना। मौजूदा विधियाँ अक्सर डिस्क्रीट पहेलियों के लिए डिस्क्रीट ब्लॉक्स को पानी की तरह व्यवहार करने के लिए मजबूर करती हैं (कंटीन्यूअस स्पेस में ढीला करना) या उन्हें एक-एक करके हिलाती हैं, जो अविश्वसनीय रूप से धीमा है।

नया समाधान: $\Delta$ LPS

इस शोध पत्र के लेखक एक नया टूल पेश करते हैं जिसे $\Delta$ LPS (डिस्क्रीट लैंघ्विन-इंस्पायर्ड पोस्टीरियर सैंपलर) कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

"हॉपिंग" (कूदने वाला) गाइड

कल्पना कीजिए कि आप धुंधली नदी में पत्थरों के एक ग्रिड (डिस्क्रीट अवस्थाओं) पर खड़े हैं। आप दूसरी ओर (सही छवि) पहुँचना चाहते हैं, लेकिन आप पानी पर नहीं चल सकते; आपको एक पत्थर से दूसरे पत्थर पर कूदना होगा।

पुरानी विधियाँ या तो पत्थरों को एक पुल बनाने की कोशिश करती थीं (कंटीन्यूअस रिलैक्सेशन) या आपसे हर एक पत्थर को एक-एक करके चेक करने को कहती थीं कि कौन सा सबसे अच्छा है (धीमा, क्रमिक अपडेट)।
$\Delta$ LPS एक स्मार्ट गाइड की तरह काम करता है जो धुंध को देख सकता है। गाइड एक "ग्रेडिएंट" (एक गणितीय ढलान) का उपयोग करता है जो आपको बताता है: "हे, अगर तुम अपने बाईं ओर वाले पत्थर पर कूदते हो, तो तुम लक्ष्य के करीब पहुँच जाओगे। अगर तुम दाईं ओर कूदते हो, तो तुम लक्ष्य से दूर हो जाओगे।"

जादू यह है कि गाइड इस "ढलान" की जानकारी का उपयोग यह तय करने के लिए करता है कि अगला कौन सा डिस्क्रीट पत्थर चुनना है, बिना कभी ग्रिड को छोड़े। यह पानी में तैरने की कोशिश नहीं करता; यह बस सबसे अच्छे पत्थर को चुनता है जिस पर उसे कूदना है।

"पैरेलल जंप" (समानांतर छलांग)

आमतौर पर, इन पहेलियों को हल करते समय, आपको छवि के एक हिस्से को ठीक करना होता है, फिर अगले को, फिर अगले को, जैसे कि बाल्टी पास करने के लिए लोगों की एक कतार खड़ी हो। इसमें बहुत समय लगता है।
$\Delta$ LPS अलग है। क्योंकि यह एक ही समय में हर एक पत्थर के लिए "ढलान" को समझता है, यह सभी पत्थरों को एक साथ बताती है कि कहाँ कूदना है। यह एक पूरी टीम के लोगों के एक ही क्षण में अपनी नई स्थिति में कूदने जैसा है। यह प्रक्रिया को अविश्वसनीय रूप से तेज़ और कुशल बनाता है।

"यूनिवर्सल अडैप्टर"

कुछ पहेली सुलझाने वाले केवल तभी काम करते हैं जब पहेली एक विशिष्ट फैक्ट्री (एक विशिष्ट प्रशिक्षण) से बनी हो। $\Delta$ LPS एक "यूनिवर्सल अडैप्टर" है। इसे इस बात से फर्क नहीं पड़ता कि लेगो ब्रिक्स मूल रूप से कैसे बनाए गए थे या वे किस फैक्ट्री से आए थे। चाहे पहेली "मास्क्ड" ब्रिक्स (कुछ छिपे हुए) के साथ बनाई गई हो या "यूनिफॉर्म" ब्रिक्स (सभी मिले-जुले) के साथ, $\Delta$ LPS गाइड का उपयोग करके इसे हल कर सकता है।

उन्होंने क्या टेस्ट किया?

लेखकों ने इस नए गाइड का परीक्षण कई प्रकार की पहेलियों पर किया:

क्षतिग्रस्त फोटो को ठीक करना: उन्होंने चेहरों (FFHQ), अंकों (MNIST), और वस्तुओं (CIFAR) की स्पष्ट तस्वीरें लीं और उन्हें धुंधला करके, उनके कुछ हिस्से हटाकर, या उनकी चमक बदलकर खराब कर दिया। $\Delta$ LPS ने मूल छवियों को सफलतापूर्वक पुनर्निर्मित किया, और अक्सर डिस्क्रीट डेटा के लिए डिज़ाइन की गई पिछली विधियों से बेहतर प्रदर्शन किया।
ब्लाइंड पहेलियाँ: उन्होंने एक ऐसा परिदृश्य भी टेस्ट किया जहाँ कंप्यूटर को यह नहीं पता था कि पहेली को कैसे बिगाड़ा गया था (जैसे कि किसी व्यक्ति के चलने के रास्ते को देखकर कमरे के फर्श के नक्शे का अनुमान लगाना)। $\Delta$ LPS अभी भी संभावित लेआउट का पता लगा सका।

निचोड़

शोध पत्र का दावा है कि $\Delta$ LPS कंप्यूटरों के लिए "रिवर्स इंजीनियरिंग" समस्याओं को हल करने का एक तेज़, अधिक लचीला और अधिक सटीक तरीका है जब डेटा अलग-अलग इकाइयों (जैसे पिक्सेल या शब्द) से बना होता है। यह पुरानी विधियों के धीमे, चरण-दर-चरण अनुमान लगाने और अन्य दृष्टिकोणों की "नकली चिकनाई" से बचता है, और डिजिटल दुनिया में जटिल पहेलियों को हल करने के लिए एक सीधा रास्ता प्रदान करता है।

तकनीकी सारांश: डिस्क्रीट लैंज़िविन-प्रेरित पोस्टीरियर सैंपलिंग (∆LPS)

समस्या विवरण

यह शोध पत्र डिस्क्रीट स्टेट स्पेस (discrete state spaces) में इनवर्स प्रॉब्लम्स (inverse problems) को हल करने की चुनौती को संबोधित करता है। इनवर्स प्रॉब्लम्स में एक अज्ञात सिग्नल $x$ को अप्रत्यक्ष, विरल (sparse) और शोर युक्त मापों $y$ (जिसे $y = A(x) + n$ के रूप में मॉडल किया गया है) से पुनः प्राप्त करना शामिल है। जबकि निरंतर (continuous) डिफ्यूजन मॉडल इस तरह की समस्याओं को हल करने के लिए पोस्टीरियर सैंपलिंग के माध्यम से मानक बन गए हैं, उनके डिस्क्रीट समकक्ष अभी भी कम खोजे गए हैं।

मौजूदा डिस्क्रीट पोस्टीरियर सैंपलिंग विधियाँ तीन प्राथमिक सीमाओं से ग्रस्त हैं:

कंटीन्यूअस रिलैक्सेशन (Continuous Relaxations): G2D2 जैसी विधियाँ ग्रेडिएंट गाइडेंस का उपयोग करने के लिए कैटेगोरिकल वेरिएबल्स को निरंतर स्पेस में ढीला (relax) करती हैं, जिससे इन्फरेंस ज्योमेट्री बदल जाती है और यह जोखिम रहता है कि प्रोजेक्ट किए गए डिस्क्रीट टोकन सुसंगत रूप से डिकोड नहीं होंगे।
सीक्वेंशियल अपडेट्स (Sequential Updates): SGDD जैसी विधियाँ गिब्स-शैली (Gibbs-style) के अपडेट्स पर निर्भर करती हैं, जो क्रमिक (sequential) होती हैं और उच्च-आयामी स्थानों में मिक्स होने में धीमी होती हैं।
विशेषज्ञता (Specialization): APS जैसी विधियाँ विशिष्ट करप्शन प्रक्रियाओं (जैसे मास्क डिफ्यूजन) और ट्रेनिंग प्रतिमानों (training paradigms) से मजबूती से जुड़ी हुई हैं, जो उनकी व्यापकता को सीमित करती हैं।

लक्ष्य एक ऐसा पोस्टीरियर सैंपलर विकसित करना है जो पूरी तरह से डिस्क्रीट रहे, सभी टोकन आयामों को समानांतर (parallel) में अपडेट करे, और डिस्क्रीट डिफ्यूजन प्रायर (prior) के विशिष्ट ट्रेनिंग प्रतिमान के प्रति अज्ञेय (agnostic) हो।

कार्यप्रणाली: ∆LPS

लेखक ∆LPS (डिस्क्रीट लैंज़िविन-प्रेरित पोस्टीरियर सैंपलर) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री एल्गोरिदम है जो डिस्क्रीट स्टेट स्पेस को छोड़े बिना डिस्क्रीट ट्रांजिशन को निर्देशित करने के लिए ग्रेडिएंट जानकारी का उपयोग करता है।

मुख्य सूत्रीकरण (Core Formulation)

समस्या को एक एनकोडर-डिकोडर मॉडल के डिस्क्रीट लेटेंट स्पेस $z_0 \in \{1, \dots, K\}^L$ में तैयार किया गया है। लक्ष्य पोस्टीरियर $p(z_0|y) \propto p(y|z_0)p_\theta(z_0)$ से सैंपल लेना है, जहाँ $p_\theta$ एक प्री-ट्रेन्ड डिस्क्रीट डिफ्यूजन प्रायर है। सैंपलर पोस्टीरियर ट्रांजिशन $p(z_s|z_t, y)$ को पहले माप और प्रायर के अनुरूप एक क्लीन लेटेंट $z_0$ का अनुमान लगाकर, फिर उसे अगले टाइम स्टेप के लिए पुनः नॉइज़ (re-noise) करके अनुमानित करता है।

डिस्क्रीट लैंज़िविन प्रस्ताव (Discrete Langevin Proposal)

मुख्य नवाचार डिस्क्रीट स्पेस में लैंज़िविन डायनेमिक्स को अनुकूलित करना है। निरंतर सेटिंग्स में, एक लैंज़िविन अपडेट लॉग-पोस्टीरियर पोटेंशियल $U(z_0) = \log p(y|z_0) + \log p_\theta(z_0; z_t)$ के ग्रेडिएंट की दिशा में एक सैंपल $z_0$ को ले जाता है। चूंकि $z_0$ डिस्क्रीट है, लेखक सीधे ग्रेडिएंट वेक्टर नहीं जोड़ते हैं। इसके बजाय, वे वैध डिस्क्रीट उम्मीदवारों $z'_0$ पर ट्रांजिशन प्रोबेबिलिटीज को परिभाषित करने के लिए निरंतर लैंज़िविन डायनेमिक्स से गाऊसी प्रस्ताव वितरण (Gaussian proposal distribution) का उपयोग करते हैं:

$q(z'_0|z_0; z_t, y) \propto \exp\left( -\frac{1}{4\eta} \|z'_0 - z_0 - \eta \nabla_{z_0} U(z_0; z_t, y)\|_2^2 \right)$

एक्सपोनेंट को विस्तारित करके और परिमित (finite) वैध टोकन सेट पर सामान्यीकरण (normalize) करके, प्रस्ताव प्रत्येक टोकन कोऑर्डिनेट में फैक्टरलाइज़ होता है। यह सैंपलर को प्रत्येक टोकन पोजीशन $\ell$ के लिए स्वतंत्र रूप से एक कैटेगोरिकल डिस्ट्रीब्यूशन की गणना करने की अनुमति देता है:
$q_\ell(z'_0[\ell]) = \text{Cat}\left( \sigma\left( \frac{1}{2} \nabla_{z_0[\ell]} U \cdot (k - z_0[\ell]) - \frac{(k - z_0[\ell])^2}{4\eta} \right) \right)$

यह तंत्र सभी $L$ टोकन आयामों में पूर्ण समानांतर अपडेट को सक्षम बनाता है, जिससे गिब्स सैंपलर की क्रमिक बाधा (sequential bottleneck) से बचा जा सकता है।

सामान्यीकरण और प्रीकंडीशनिंग (Generalization and Preconditioning)

प्रायर अज्ञेयता (Prior Agnosticism): इस विधि को केवल कैटेगोरिकल स्टेट्स पर प्रेडिक्टिव प्रोबेबिलिटीज की आवश्यकता होती है, जिससे यह मास्क डिफ्यूजन (MDLM) और यूनिफॉर्म-स्टेट डिफ्यूजन (Duo) प्रायर के साथ संगत है।
ब्लाइंड इनवर्स प्रॉब्लम्स: नॉन-डिफरेंशिएबल या अज्ञात फॉरवर्ड ऑपरेटर्स के लिए, लाइक्लीहुड ग्रेडिएंट को एक सीखे गए कॉन्ट्रास्टिव सरोगेट (डेटा और मापों के लिए एनकोडर्स का उपयोग करके) द्वारा प्रतिस्थापित किया जाता है ताकि एक स्मूथ गाइडेंस सिग्नल प्रदान किया जा सके।
एडम प्रीकंडीशनिंग (Adam Preconditioning): उच्च-आयामी लेटेंट स्पेस में खराब रूप से स्केल किए गए ग्रेडिएंट्स को संभालने के लिए, रॉ ग्रेडिएंट को एक एडम-प्रीकंडिशन्ड दिशा से बदल दिया जाता है। यह एडेप्टिवली अपडेट्स को रीस्केल करता है, शोर वाले बड़े ग्रेडिएंट्स को कम करता है जबकि लगातार उपयोगी ग्रेडिएंट्स को बनाए रखता है, जिससे मिक्सिंग और कन्वर्जेंस में सुधार होता है।

मुख्य योगदान

पूर्णतः डिस्क्रीट पोस्टीरियर सैंपलिंग: ∆LPS एक ट्रेनिंग-फ्री सैंपलर है जो हर इटरेशन को डिस्क्रीट स्टेट स्पेस में रखता है, सॉफ्ट-टोकन ऑप्टिमाइज़ेशन और प्रोजेक्शन एरर्स से बचता है।
कुशल समानांतर अपडेट: प्रस्ताव को कोऑर्डिनेट्स में फैक्टरलाइज़ करके, यह विधि सभी टोकन आयामों को समानांतर में अपडेट करती है, जो क्रमिक गिब्स-शैली के सैंपर्स की तुलना में दक्षता में काफी सुधार करती है।
प्रायर-अज्ञेय डिज़ाइन: यह विधि अपने प्रायर के विशिष्ट करप्शन प्रोसेस (मास्क्ड बनाम यूनिफॉर्म) से बंधी नहीं है और किसी भी प्री-ट्रेन्ड डिस्क्रीट डिफ्यूजन प्रायर के साथ काम करती है जो प्रेडिक्टिव प्रोबेबिलिटीज प्रदान करता है।

प्रयोगात्मक परिणाम

लेखक MNIST, CIFAR-10, और FFHQ पर विविध इनवर्स प्रॉब्लम्स पर ∆LPS का मूल्यांकन करते हैं, जिसमें लीनियर, नॉन-लीनियर, और ब्लाइंड सेटिंग्स शामिल हैं।

इमेज रेस्टोरेशन (FFHQ): इनपेंटिंग, गाऊसी डिब्लरिंग, सुपर-रिज़ॉल्यूशन, HDR, और मोशन डिब्लरिंग सहित कार्यों पर, ∆LPS निरंतर बेसलाइन्स (जैसे DPS, PSLD) के बराबर या बेहतर प्रदर्शन करता है और पर्सेप्चुअल क्वालिटी (LPIPS) में मौजूदा डिस्क्रीट बेसलाइन्स (SGDD, G2D2, APS) को पछाड़ देता है।
डिस्क्रीट टास्क (MNIST/CIFAR): विधि विभिन्न कठिनाई स्तरों (Easy, Medium, Hard) में मजबूती प्रदर्शित करती है। यह टोकन सटीकता और PSNR में SGDD और G2D2 को लगातार मैच या पछाड़ती है, भले ही इसमें "फुल" SGDD वेरिएंट की तुलना में काफी कम कंप्यूटेशनल बजट (कम फंक्शन इवैल्यूएशन) का उपयोग किया गया हो।
ब्लाइंड इनवर्स प्रॉब्लम्स: एक स्पेशियल मैपिंग टास्क (चलने के पथों से फ्लोरप्लान का अनुमान लगाना जहाँ फॉरवर्ड ऑपरेटर अज्ञात है) में, ∆LPS F1 स्कोर और इंटरसेक्शन ओवर यूनियन (IoU) में निरंतर बेसलाइन्स (CoGuide, DPS वेरिएंट्स) से बेहतर प्रदर्शन करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि पूर्णतः डिस्क्रीट, ग्रेडिएंट-इंफॉर्म्ड पोस्टीरियर सैंपलर डिस्क्रीट रिप्रेजेंटेशन पर इनवर्स प्रॉब्लम्स को हल करने के लिए एक स्केलेबल और सामान्य पथ प्रदान करते हैं।

स्केलेबिलिटी: समानांतर अपडेट तंत्र डिस्क्रीट सैंपर्स में मिक्सिंग स्पीड की सीमाओं को संबोधित करता है।
व्यापकता: यह विधि इन्फरेंस एल्गोरिदम को प्रायर के विशिष्ट ट्रेनिंग प्रतिमान से अलग करती है, जिससे यह डिस्क्रीट डिफ्यूजन मॉडल्स (टेक्स्ट, कोड, इमेज, ऑडियो) के बढ़ते इकोसिस्टम का लाभ उठा सकती है।
व्यावहारिकता: निरंतर रिलैक्सेशन से बचकर, ∆LPS यह सुनिश्चित करता है कि अंतिम सैंपल वैध डिस्क्रीट टोकन हैं, जिससे "प्रोजेक्शन गैप" से बचा जा जा सकता है जहाँ एक निरंतर सन्निकटन (approximation) एक सुसंगत डिस्क्रीट सिग्नल में डिकोड करने में विफल रहता है।

लेखक निष्कर्ष निकालते हैं कि जैसे-जैसे डिस्क्रीट जेनेरेटिव मॉडल्स स्केल होंगे, ∆LPS जैसे सिद्धांत आधारित इन्फरेंस मेथड्स बायोमॉलिकुलर डिज़ाइन, सिम्बोलिक म्यूजिक, कोड कंप्लीशन और अन्य डोमेन के लिए महत्वपूर्ण हो जाएंगे जहाँ डेटा स्वाभाविक रूप से डिस्क्रीट होता है।

नया समाधान: Δ\DeltaΔLPS