📊 statistics

Discrete diffusion samplers and bridges: Off-policy algorithms and applications in latent spaces

यह शोधपत्र ऑफ-पॉलिसी प्रशिक्षण तकनीकों और डिस्क्रीट डिफ्यूजन सैंपलर्स के लिए एक नवीन डेटा-टू-एनर्जी श्रोडिंगर ब्रिज फ्रेमवर्क प्रस्तुत करता है, जो सिंथेटिक बेंचमार्क पर सैंपलिंग प्रदर्शन में सुधार करने और इमेज जेनरेटिव मॉडल्स के डिस्क्रीट लेटेंट स्पेस के भीतर डेटा-फ्री पोस्टीरियर सैंपलिंग को सक्षम करने में उनकी प्रभावशीलता को प्रदर्शित करता है।

मूल लेखक: Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arran Carter, Sanghyeok Choi, Kirill Tamogashev, Víctor Elvira, Nikolay Malkin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अंधेरे थिएटर में सबसे अच्छी सीटें खोजने की कोशिश कर रहे हैं (लक्ष्य वितरण/target distribution)। आप थिएटर का लेआउट जानते हैं और आपको पता है कि अच्छी सीटें कहाँ हैं (ऊर्जा फलन/energy function), लेकिन आप यह नहीं जानते कि कुल कितनी सीटें हैं, और आप बस अंदर जाकर कोई भी सीट नहीं चुन सकते क्योंकि लाइटें बंद हैं। आपको एक मार्गदर्शक की आवश्यकता है जो आपको अच्छी सीटों तक ले जाए।

वर्षों से, वैज्ञानिकों के पास निरंतर स्थानों (जैसे एक चिकना फर्श) के लिए बेहतरीन मार्गदर्शक रहे हैं, लेकिन असतत स्थानों (discrete spaces - जैसे विशिष्ट, अलग-अलग सीटों का ग्रिड) के लिए मार्गदर्शक अक्सर अनाड़ी रहे हैं। वे थिएटर के एक ही हिस्से में फंस जाते थे या अच्छी सीटों की पूरी पंक्तियों को मिस कर देते थे।

यह शोध पत्र इन मार्गदर्शों को प्रशिक्षित करने का एक नया, स्मार्ट तरीका पेश करता है जिसे डिस्क्रीट डिफ्यूजन सैंपलर (Discrete Diffusion Samplers) कहा जाता है। यहाँ उनके तीन मुख्य नवाचारों का सरल विवरण दिया गया है:

1. "रिप्ले बफर" और "स्काउट" (ऑफ-पॉलिसी ट्रेनिंग)

समस्या: एक ऐसे टूर गाइड की कल्पना करें जो केवल उसी रास्ते पर चलकर सीखता है जिस पर वह वर्तमान में चल रहा है। यदि वह किसी डेड एंड (बंद रास्ते) में फंस जाता है, तो वह कभी भी अगले कमरे में मौजूद शानदार सीटों के बारे में नहीं जान पाता। वह "ऑन-पॉलिसी" है, जिसका अर्थ है कि वह केवल अपनी तात्कालिक गलतियों से सीखता है।

समाधान: लेखक मार्गदर्शक को ऑफ-पॉलिसी (Off-Policy) तकनीकों का उपयोग करना सिखाते हैं।

रिप्ले बफर (Replay Buffer): इसे एक मेमोरी बैंक के रूप में सोचें। मार्गदर्शक द्वारा तय किए गए हर दिलचस्प रास्ते को वह सहेज लेता है, भले ही वह कुछ हफ्ते पहले का ही क्यों न हो। प्रशिक्षण के दौरान, केवल वर्तमान पथ पर चलने के बजाय, मार्गदर्शक इन पुराने रास्तों की समीक्षा करता है ताकि उनसे सीख सके।
स्काउट (The Scout - MCMC): कभी-कभी, मार्गदर्शक को किसी जड़ता से बाहर निकलने के लिए थोड़े धक्के की आवश्यकता होती है। लेखक एक "स्काउट" (मार्कोव चेन मोंटे कार्लो एल्गोरिदम) जोड़ते हैं। यह स्काउट एक स्थानीय खोजकर्ता है जो बेहतर स्थान खोजने के लिए आस-पास की सीटों पर कूद सकता है और वह जानकारी मुख्य मार्गदर्शक को वापस दे सकता है।

परिणाम: इस मेमोरी बैंक और स्काउट का उपयोग करके, मार्गदर्शक बहुत तेज़ी से सीखता है और महत्वपूर्ण रूप से, थिएटर में सभी अच्छी सीटों (मोड्स) को खोज लेता है, न कि केवल उन्हें जिन्हें वह सबसे पहले देख लेता है। पेपर के परीक्षणों में, इस पद्धति ने मार्गदर्शक को कमरे के एक ही कोने में फंसने से रोका।

2. "ब्रिज बिल्डर" (डेटा-टू-एनर्जी श्रोडिंगर ब्रिजेस)

समस्या: आमतौर पर, आप बिंदु A (एक सरल, ज्ञात वितरण) से बिंदु B (आपका जटिल लक्ष्य) तक पहुँचना चाहते हैं। लेकिन क्या होगा यदि बिंदु B सीटों की कोई सूची नहीं है जिसे आप देख सकें? क्या होगा यदि बिंदु B केवल नियमों का एक समूह है जो बताता है कि एक सीट कितनी अच्छी है (एक ऊर्जा फलन), बिना आपको सीटें दिखाए?

समाधान: लेखकों ने इन दो दुनियाओं के बीच एक ब्रिज (पुल) बनाया है।

कल्पना करें कि आपके पास एक शहर का नक्शा (बिंदु A) है और "सबसे अच्छे मोहल्लों" की एक सूची है जो केवल उनके प्रतिष्ठा स्कोर (बिंदု B) द्वारा परिभाषित है।
पेपर एक "श्रोडिंगर ब्रिज" बनाता है जो ज्ञात मानचित्र को प्रतिष्ठा-आधारित मोहल्ले से जोड़ता है। यह उस पथ को सीखना बनाता है जिस पर ज्ञात शहर से प्रतिष्ठा-आधारित मोहल्ले तक चला जाए, भले ही आप गंतव्य को तब तक न देख सकें जब तक आप वहां पहुँच न जाएं।
उन्होंने इसे पहली बार एक "डिस्क्रीट" दुनिया (जहाँ सीटें अलग-अलग ब्लॉक हैं, न कि एक चिकनी सड़क) के लिए किया है।

परिणाम: उन्होंने एक सरल शुरुआती बिंदु से एक जटिल, नियम-आधारित गंतव्य तक सफलतापूर्वक एक पथ बनाया, जिसे पेपर में तीन गौसियन आकृतों के मिश्रण से दो के मिश्रण में बदलने के रूप में दिखाया गया है, जो बाइनरी कोड द्वारा दर्शाए गए हैं।

3. इमेज जनरेटर्स के लिए "ट्रांसलेटर" (आउटसोर्स्ड सैंपलिंग)

समस्या: आधुनिक AI इमेज जनरेटर (जैसे कि जो बिल्लियों या अंकों की तस्वीरें बनाते हैं) अक्सर एक "लेटेंट स्पेस" (latent space) में काम करते हैं। इसे एक गुप्त कोड भाषा के रूप में सोचें जिसका उपयोग AI छवियों को समझने के लिए करता है। कभी-कभी, आप AI को एक विशिष्ट प्रकार की छवि उत्पन्न करने के लिए मजबूर करना चाहते हैं (जैसे, "केवल विषम संख्याएं"), लेकिन आप सीधे AI को यह नहीं बता सकते कि वह ऐसा कैसे करे।

समाधान: लेखकों ने अपने नए मार्गदर्शक का उपयोग इस गुप्त कोड भाषा में सीधे नमूने (सैंपल) लेने के लिए किया है।

इमेज को पिक्सेल-दर-पिक्सेल ठीक करने के बजाय, उन्होंने अपने मार्गदर्शक को एक पूर्व-प्रशिक्षित इमेज मॉडल (VQ-VAE) के डिस्क्रीट लेटेंट स्पेस (गुप्त कोड) में नेविगेट करने के लिए प्रशिक्षित किया।
उन्होंने मार्गदर्शक को बताया: "उन कोड्स को खोजो जो, डिकोड होने पर, संख्या '5' या '7' की तरह दिखते हों।"

परिणाम: मार्गदर्शक ने विशिष्ट अंकों (जैसे 1, 5, 7) या श्रेणियों (विषम बनाम सम संख्याएं) की छवियां बनाने के लिए गुप्त कोड के भीतर नेविगेट करना सफलतापूर्वक सीखा, बिना प्रशिक्षण के दौरान अंतिम छवियों को देखे। इसने प्रभावी रूप से कोड स्पेस में काम करने वाले मार्गदर्शक को सही छवि खोजने का कठिन काम "आउटसोर्स" कर दिया।

सारांश

संक्षेप में, यह शोध पत्र एक शक्तिशाली सैंपलिंग तकनीक को लेता है जिसका उपयोग सुचारू, निरंतर समस्याओं के लिए किया जाता है और इसे डिस्क्रीट, ब्लॉकी समस्याओं (जैसे ग्रिड या कोड) के लिए अनुकूलित करता है।

यह सैंपलर को स्मार्ट बनाता है क्योंकि यह पिछले रास्तों को याद रखने और फंसने से बचने के लिए स्थानीय खोजकर्ताओं का उपयोग करने की अनुमति देता है।
यह उदाहरणों के बजाय केवल नियमों द्वारा परिभाषित गंतव्यों तक पहुँचने के लिए एक ब्रिज बनाता है।
यह सिद्ध करता है कि यह इमेज जनरेशन के लिए काम करता है, जिससे AI को उनकी आंतरिक "गुप्त कोड" भाषा में नेविगेट करके विशिष्ट चित्र खोजने की अनुमति मिलती है।

पेपर का दावा है कि ये विधियाँ पिछले तकनीकों से लगातार बेहतर प्रदर्शन करती हैं, विशेष रूप से उन कठिन परिदृश्यों में जहाँ सैंपलर सभी अच्छे समाधानों को खोजने के बजाय केवल एक ही समाधान में फंस जाता है।

तकनीकी सारांश: डिस्क्रीट डिफ्यूजन सैंपलर और ब्रिजेस (Discrete Diffusion Samplers and Bridges)

समस्या विवरण (Problem Statement)

यह शोध पत्र एक वितरण $p(x) \propto e^{-E(x)}$ से नमूना लेने (sampling) की चुनौती को संबोधित करता है, जहाँ एक डिस्क्रीट स्टेट स्पेस $\mathcal{S} = \{1, \dots, C\}^d$ पर ऊर्जा फलन (energy function) $E$ ज्ञात है, लेकिन नॉर्मलाइजिंग कॉन्स्टेंट $Z$ अज्ञात (intractable) है। जबकि डिफ्यूजन सैंपलर को स्टोकेस्टिक ऑप्टिमल कंट्रोल और पाथ-स्पेस मैचिंग का उपयोग करके निरंतर (continuous) स्थानों के लिए सफलतापूर्वक अनुकूलित किया गया है, डिस्क्रीट स्थानों के लिए उनका अनुप्रयोग अभी भी अपूर्ण है। मौजूदा डिस्क्रीट डिफ्यूजन सैंपलर अक्सर ऑफ-पॉलिसी सुदृढीकरण शिक्षण (off-policy reinforcement learning - RL) तकनीकों का लाभ उठाने में विफल रहते हैं, जो निरंतर सेटिंग्स में मानक हैं, जिससे उप-इष्टतम मोड कवरेज (suboptimal mode coverage) और सैंपलिंग गुणवत्ता होती है, विशेष रूप से अत्यधिक मल्टीमॉडल वितरणों (multimodal distributions) में। इसके अलावा, दो मनमाने वितरणों के बीच ब्रिज बनाने (श्रोडिंगर ब्रिज) की समस्या डिस्क्रीट स्थानों में मुख्य रूप से उन सेटिंग्स तक सीमित रही है जहाँ दोनों वितरणों से नमूने उपलब्ध होते हैं (डेटा-टू-डेटा), जबकि "डेटा-टू-एनर्जी" सेटिंग (जहाँ एक वितरण केवल एक अननॉर्मलाइज्ड डेंसिटी द्वारा परिभाषित है) अनछुआ रहा है।

कार्यप्रणाली (Methodology)

लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो डिस्क्रीट डिफ्यूजन सैंपलर्स में ऑफ-पॉलिसी प्रशिक्षण रणनीतियों को एकीकृत करता है और इन विधियों को डिस्क्रीट श्रोडिंगर ब्रिजेस (discrete Schrödinger bridges) के लिए सामान्य बनाता है।

1. डिस्क्रीट डिफ्यूजन सैंपलर्स के लिए ऑफ-पॉलिसी प्रशिक्षण

मुख्य कार्यप्रणाली में एक फॉरवर्ड कर्नेल $\overrightarrow{p}_\theta$ को प्रशिक्षित करना शामिल है जो फॉरवर्ड प्रोसेस ट्राजेक्टरी वितरण और बैकवर्ड (नोइजिंग) प्रोसेस ट्राजेक्टरी वितरण के बीच विचलन (divergence) को कम करके एक लक्षित वितरण से मेल खाता है। अध्ययन किए गए ऑब्जेक्टिव फंक्शन्स सेकंड-मोमेंट डायवर्जेंस हैं, विशेष रूप से:

ट्रैजेक्टरी बैलेंस (TB): नॉर्मलाइजिंग कॉन्स्टेंट को एक सीखने योग्य पैरामीटर के रूप में मानता है।
लॉग-वैरिएंस (LV): फॉरवर्ड और बैकवर्ड प्रोबेबिलिटीज के लॉग-अनुपात के वेरिएंस को कम करता है।

एक्सप्लोरेशन और मोड कवरेज में सुधार के लिए, लेखक RL और जेनेरेटिव फ्लो नेटवर्क्स (GFlowNets) से अनुकूलित तीन ऑफ-पॉलिसी रणनीतियाँ पेश करते हैं:

रिप्ले बफर (Replay Buffer): नमूने लिए गए राज्यों $X_N$ को संग्रहीत करता है और प्रशिक्षण के लिए उन्हें बैकवर्ड ट्राजेक्टरीज $\overleftarrow{p}^{\otimes N}$ को सैंपल करके पुन: उपयोग करता है।
इम्पॉर्टेंस-वेटेड बफर (Importance-Weighted Buffer): बफर तत्वों को उनके द्वारा उत्पन्न ट्राजेक्टरीज के इम्पॉर्टेंस वेट्स के आधार पर सैंपलिंग प्रोबेबिलिटी असाइन करता है, जिससे उच्च-संभावना वाले क्षेत्रों को प्राथमिकता मिलती है जिन्हें वर्तमान सैंपलर मिस कर सकता है।
MCMC एक्सप्लोरेशन: प्रशिक्षण के लिए उपयोग किए जाने से पहले रिप्ले बफर से नमूनों को मार्कोव चेन मोंटे कार्लो (MCMC) स्टेप्स (जैसे स्वेंडसन-वांग या मेट्रोपोलिस-हेस्टिंग्स) का उपयोग करके परिष्कृत करता है। यह मॉडल रोलआउट की आवश्यकता के बिना, सैंपलर को उच्च-घनत्व वाले क्षेत्रों की ओर निर्देशित करने के लिए सीधे ऊर्जा फलन का लाभ उठाता है।

2. डिस्क्रीट डेटा-टू-एनर्जी श्रोडिंगर ब्रिजेस

यह शोध पत्र सैंपलिंग समस्या को दो मनमाने वितरणों $p_0$ और $p_N$ के बीच एक श्रोडिंगर ब्रिज खोजने के लिए सामान्य बनाता है। पिछले डिस्क्रीट SB कार्यों के विपरीत, जो दोनों एंडपॉइंट्स के लिए नमूनों को मान लेते हैं, यह कार्य डेटा-टू-एनर्जी सेटिंग को संबोधित करता है जहाँ $p_N$ केवल एक ऊर्जा फलन द्वारा परिभाषित है।

यह विधि एक इटरेटिव प्रोपोर्शनल फिटिंग (IPF) प्रक्रिया का उपयोग करती है।
यह बैकवर्ड कर्नेल को फिट करने ( $p_0$ से नमूनों पर मैक्सिमम लाइकलीहुड के माध्यम से) और फॉरवर्ड कर्नेल को फिट करने (ऊर्जा-परिभाषित $p_N$ से नमूनों पर लॉग-वैरिएंस लॉस के माध्यम से) के बीच बारी-बारी से कार्य करती है।
ऊर्जा-परिभाषित वितरण के एक्सप्लोरेशन को सुगम बनाने के लिए IPF लूप में ऑफ-पॉलिसी तकनीकों (बफर्स और MCMC) को एकीकृत किया गया है।

3. लेटेंट स्पेस में अनुप्रयोग

लेखक इन सैंपलर्स को "आउटसोर्स्ड" पोस्टीरियर सैंपलिंग के लिए लागू करते हैं। वे एक पूर्व-प्रशिक्षित वेक्टर क्वांटाइज्ड वेरिएशनल ऑटोएनकोडर (VQ-VAE) के डिस्क्रीट लेटेंट स्पेस में डिफ्यूजन सैंपलर्स को प्रशिक्षित करते हैं। लक्ष्य अनबायस्ड कंडीशनल सैंपल्स देखे बिना पोस्टीरियर $p(z|y) \propto p_{latent}(z)p(y|f(z))$ से नमूना लेना है, जो प्रभावी रूप से अपने लेटेंट स्पेस में नमूना लेकर जेनेरेटिव मॉडल को कंडीशन करता है।

मुख्य योगदान (Key Contributions)

डिस्क्रीट सैंपलर्स के लिए ऑफ-पॉलिसी एल्गोरिदम: डिस्क्रीट डिफ्यूजन सैंपलर्स के प्रशिक्षण में ऑफ-पॉलिसी RL तकनीकों (रिप्ले बफर्स, इम्पॉर्टेंस वेटिंग और MCMC एक्सप्लोरेशन) का परिचय। शोध पत्र प्रदर्शित करता है कि ये तकनीकें ऑन-पॉलिसी बेसलाइन्स की तुलना में प्रदर्शन में काफी सुधार करती हैं।
डेटा-टू-एनर्जी श्रोडिंगर ब्रिजेस: डिस्क्रीट डिफ्यूजन सैंपलर्स को डेटा-टू-एनर्जी श्रोडिंगर ब्रिज समस्या के लिए पहला सामान्यीकरण, जो एक सैंपल-आधारित वितरण और एक ऊर्जा-परिभाषित वितरण के बीच ट्रांसपोर्ट मैप्स का निर्माण सक्षम बनाता है।
लेटेंट स्पेस पोस्टीरियर सैंपलिंग: इमेज जेनेरेटिव मॉडल्स के डिस्क्रीट लेटेंट स्पेस में पोस्टीरियर इन्फरेंस के लिए डिस्क्रीट डिफ्यूजन सैंपलर्स के उपयोग का प्रदर्शन, जो जेनेरेटिव मॉडल को पुनः प्रशिक्षित किए बिना क्लास लेबल (जैसे विषम/सम अंक) पर कंडीशन करने की क्षमता दिखाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक सिंथेटिक बेंचमार्क और वास्तविक दुनिया के अनुप्रयोगों पर अपने तरीकों का मूल्यांकन करते हैं:

आइसिंग और पॉट्स मॉडल (Ising and Potts Models): $16 \times 16$ लैटिस पर, ऑफ-पॉलिसी तरीके (विशेष रूप से बफर + MCMC के साथ TB) ऑन-पॉलिसी तरीकों और बेसलाइन मास्कड डिफ्यूजन न्यूरल सैंपलर (MDNS) से लगातार बेहतर प्रदर्शन करते हैं। वे कम सिंकहॉर्न डिस्टेंस और मैग्नेटाइजेशन/कोरिलेशन एरर प्राप्त करते हैं, विशेष रूप से कम तापमान (उच्च $\beta$ ) पर जहाँ मोड कोलैप्स प्रचलित है।
डिस्क्रीटाइज्ड सिंथेटिक डेंसिटीज: ग्रे कोड्स के माध्यम से डिस्क्रीटाइज किए गए चुनौतीपूर्ण मल्टीमॉडल वितरणों (40GMM और ManyWell) पर, ऑफ-पॉलिसी तरीके सफलतापूर्वक सभी मोड्स की खोज करते हैं, जबकि ऑन-पॉलिसी तरीके और MDNS अक्सर पूर्ण वितरण को कवर करने में विफल रहते हैं।
श्रोडिंगर ब्रिजेस: सरल और मल्टीमॉडल वितरणों के बीच ब्रिज कार्यों में, ऑफ-पॉलिसी तरीके जटिल लक्ष्यों तक प्रभावी ढंग से स्केल करते हैं जहाँ ऑन-पॉलिसी सैंपलर कोलैप्स हो जाते हैं।
आउटसोर्स्ड सैंपलिंग: वांछित क्लास (जैसे विषम बनाम सम) के अंकों को उत्पन्न करने के लिए लेटेंट स्पेस से उत्पन्न MNIST अंकों के विज़ुअलाइज़ेशन दिखाते हैं कि दोनों ऑन-पॉलिसी और ऑफ-पॉलिसी सैंपलर सफलतापूर्वक अंक उत्पन्न कर सकते हैं, जो कंडीशनल जेनरेशन के लिए दृष्टिकोण की उपयोगिता को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि ऑफ-पॉलिसी प्रशिक्षण तकनीकों को एकीकृत करना डिस्क्रीट डिफ्यूजन सैंपलर्स के लिए एक महत्वपूर्ण कदम है, जो मोड कोलैप्स की समस्या को हल करता है और उच्च-आयामी, मल्टीमॉडल डिस्क्रीट स्पेस में सैंपलिंग दक्षता में सुधार करता है। डिस्क्रीट डिफ्यूजन और ऑफ-पॉलिसी RL के बीच की खाई को पाटकर, लेखक दिखाते हैं कि ये सैंपलर पिछले तरीकों की तुलना में जटिल सांख्यिकीय भौतिकी समस्याओं (Ising/Potts) और कॉम्बिनेटरियल ऑप्टिमाइज़ेशन कार्यों को अधिक प्रभावी ढंग से संभाल सकते हैं।

इसके अलावा, यह कार्य डिस्क्रीट डोमेन में डेटा-टू-एनर्जी श्रोडिंगर ब्रिज के दायरे को विस्तृत करता है, जो उन वितरणों के बीच ट्रांसपोर्ट के लिए एक नया उपकरण प्रदान करता है जहाँ एक ऊर्जा फलन द्वारा परिभाषित है। अंततः, लेटेंट स्पेस में अनुप्रयोग पूर्व-प्रशिक्षित जेनेरेटिव मॉडल्स को पूर्ण डेटा वितरण या जेनेरेटिव मॉडल को पुनः प्रशिक्षित करने की आवश्यकता के बिना कंडीशन करने के लिए एक व्यावहारिक मार्ग प्रदर्शित करता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें एक नोइजिंग कर्नेल को फिक्स करने की आवश्यकता और ट्राजेक्टरी स्टोरेज की कम्प्यूटेशनल लागत शामिल है, लेकिन सुझाव देते हैं कि मोटे समय पैमाने (coarser time scales) पर प्रशिक्षण (जैसा कि निरंतर-समय सिद्धांत विस्तार द्वारा समर्थित है) कुछ लागतों को कम कर सकता है। वे भविष्य की दिशाओं के रूप में ऊर्जा फलनों को डेटा से सीखने और इन विधियों को बड़े इमेज जेनेरेटिव मॉडल्स तक स्केल करने की पहचान करते हैं।