📊 statistics

Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion

यह शोध पत्र स्टिकी जंप डिफ्यूजनों (SJDs) को प्रस्तुत करता है, जो एक एकीकृत निरंतर-समय मार्कोव ढांचा है जो मास्क किए गए, निरंतर और हाइब्रिड डिफ्यूजन मॉडलों को सीमाओं के रूप में प्राप्त करता है और डैनोइजिंग हैजर्ड मैचिंग के माध्यम से सिमुलेशन-मुक्त प्रशिक्षण सक्षम करता है, जबकि भ्रष्टाचार कर्नेल (corruption kernels) के लिए एक लचीला डिज़ाइन स्पेस प्रदान करता है जो CIFAR-10, Text8 और Sudoku जैसे कार्यों पर प्रदर्शन में सुधार करता है।

मूल लेखक: Pascal Jutras-Dubé, Patrick Pynadath, Jeremy Lu, Yuan Gao, Ruqi Zhang

प्रकाशित 2026-07-14

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pascal Jutras-Dubé, Patrick Pynadath, Jeremy Lu, Yuan Gao, Ruqi Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक टूटे हुए मोज़ेक (mosaic) को फिर से बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल टूटे हुए टुकड़े ही नहीं हैं; आपके पास एक जादुई, चिपचिपा फर्श भी है जो कुछ टुकड़ों को अपनी जगह पर थामे रखता है जबकि अन्य टुकड़े एक धुंधले बादल में तैरते रहते हैं। यह स्टिकी जंप डिफ्यूजन (Sticky Jump Diffusions - SJDs) की दुनिया है, जो कंप्यूटर को चित्र, टेक्स्ट और यहाँ तक कि सुडोकू पहेलियाँ जैसी चीजें बनाना सिखाने का एक नया तरीका है।

मुख्य विचार: एक चिपचिपा फर्श और एक धुंधला कमरा

इसे समझने के लिए, आइए देखें कि कंप्यूटर आमतौर पर चीजों को "अन-ब्रेक" (un-break) करने की कोशिश कैसे करते हैं।

पुराने तरीके:

मास्क्ड अप्रोच (The Masked Approach): कल्पना कीजिए कि आपके पास एक वाक्य है, और आपने कुछ शब्दों को काले बक्सों से ढक दिया है (मास्क कर दिया है)। कंप्यूटर उस बॉक्स के नीचे क्या है, इसका अनुमान लगाता है। लेकिन यहाँ पेच यह है कि एक बार जब कोई शब्द कवर हो जाता है, तो कंप्यूटर उसे एक खाली स्लेट की तरह मानता है। उसे यह नहीं पता होता कि असली शब्द उसके कितने करीब था। यह ऐसा है जैसे आप "हैंगमैन" के खेल में एक शब्द का अनुमान लगाने की कोशिश कर रहे हों जहाँ कंप्यूटर भूल जाता है कि उसने पहले अक्षर देखे भी थे।
कंटीन्यूअस अप्रोच (The Continuous Approach): कल्पना कीजिए कि कंप्यूटर हर शब्द को एक विशाल, चिकने 3D स्पेस में एक फ्लोटिंग पॉइंट में बदल देता है। वे इन बिंदुओं को तब तक इधर-उधर खिसकाते हैं जब तक कि वे सही न दिखने लगें। लेकिन जब वे काम पूरा कर लेते हैं, तो बिंदु हवा में तैर रहे होते हैं, वास्तविक शब्दों पर नहीं। कंप्यूटर को अंत में एक अनाड़ी, अतिरिक्त कदम करना पड़ता है ताकि उन्हें निकटतम शब्द पर वापस लाया जा सके। यह केक बनाने और फिर केक की फ्रॉस्टिंग गिरने के बाद उसे मैन्युअल रूप से वापस चिपकाने जैसा है।
हाइब्रिड अप्रोच (The Hybrid Approach): यह दोनों को करने की कोशिश करता है: कुछ शब्दों को मास्क करता है और कुछ को तैरने देता है। लेकिन आमतौर पर, शब्दों को वापस अपनी जगह पर लाने के नियम प्रोग्रामर द्वारा अनुमानित या हाथ से चुने जाते हैं।

नया समाधान (SJD):
पर्ड्यू यूनिवर्सिटी के लेखकों का कहना है: "आइए नियमों का अनुमान लगाना बंद करें। आइए नियमों को स्वयं इस प्रक्रिया के भौतिकी (physics) से आने दें।"

उन्होंने एक ऐसी प्रणाली बनाई जहाँ डेटा "एंकर" (जैसे वास्तविक शब्द या पिक्सेल मान) के रूप में ठोस अवस्था से शुरू होता है। फॉरवर्ड प्रोसेस (तोड़ने के चरण) में, ये एंकर एक विशिष्ट दर पर अपना द्रव्यमान छोड़ देते हैं और एक निरंतर, धुंधले स्थान में बहने लगते हैं।

रिवर्स प्रोसेस (ठीक करने के चरण) में, जादू होता है। कंप्यूटर केवल अनुमान नहीं लगाता; यह फ्लक्स बैलेंस (flux balance) नामक एक गणितीय नियम का उपयोग करता है। इसे एक व्यस्त रेलवे स्टेशन की तरह समझें। यदि आप जानते हैं कि स्टेशन से कितने लोग निकले और वे कहाँ गए, तो आप बिल्कुल गणना कर सकते हैं कि संतुलन बनाए रखने के लिए कितने लोगों को आना आवश्यक है और उन्हें कहाँ जाना चाहिए।

SJD में, कंप्यूटर स्वचालित रूप से गणना करता है कि "हैज़र्ड रेट" (एक टुकड़ा वापस जुड़ने की संभावना) क्या है और "डेस्टिनेशन" (वह कौन सा शब्द बनेगा) क्या है। यह कोई हाथ से चुना गया शेड्यूल नहीं है; यह डेटा के टूटने के तरीके का एक स्वाभाविक परिणाम है।

गुप्त सूत्र: एक मस्तिष्क, दो काम

आमतौर पर, इस प्रकार की समस्या को हल करने के लिए, आपको एक मस्तिष्क की आवश्यकता होगी जो स्कोर का अनुमान लगाए (धुंध को कैसे हिलाना है) और दूसरे मस्तिष्क की जो जंप का अनुमान लगाए (कब वापस जुड़ना है)।

लेखकों ने डिनोइजिंग हैज़र्ड मैचिंग (Denoising Hazard Matching) नामक एक चतुर ट्रिक खोजी है। उन्होंने सिद्ध किया कि एक एकल न्यूरल नेटवर्क (एक मस्तिष्क) दोनों काम कर सकता है। एक मानक "क्रॉस-एंट्रॉपी" गेम (कंप्यूटर को श्रेणियों का अनुमान लगाना सिखाने का एक सामान्य तरीका) के साथ प्रशिक्षित करके, नेटवर्क दोनों सवालों के जवाब सीख लेता है। यह एक छात्र को गणित का सवाल हल करना सिखाने जैसा है, और फिर यह महसूस करना कि वही छात्र यह भी बता सकता है कि उत्तर की गणना करने में कितना समय लगेगा, केवल समस्या को दोबारा देखकर।

"स्टिकी" ट्विस्ट: पड़ोसियों को मिलाना (Blending Neighbors)

यहीं पर पेपर वास्तव में रचनात्मक होता है। पुराने हाइब्रिड मॉडलों में, जब डेटा दूषित होता था, तो वह केवल अपने आधार पर दूषित होता था। यदि आप एक छवि में पिक्सेल को ठीक कर रहे थे, तो कंप्यूटर केवल उसी एक पसेल को देखता था।

लेखकों ने एक ब्लेंडिंग मैट्रिक्स (blending matrix) पेश किया। कल्पना कीजिए कि आप एक वाक्य को ठीक कर रहे हैं। केवल उस शब्द को देखने के बजाय जिसे आप ठीक कर रहे हैं, आप उसके आस-पास के शब्दों को देखते हैं। यदि आप सुडोकू पहेली में एक सेल को ठीक कर रहे हैं, तो आप उसी पंक्ति, कॉलम और बॉक्स में मौजूद नंबरों को देखते हैं।

कंप्यूटर डेटा को उसके पड़ोसियों के साथ मिलाकर दूषित करता है।

छवियों के लिए (CIFAR-10): यह एक पिक्सेल को उसके पड़ोसियों के साथ ब्लेंड (मिश्रित) करता है। इससे कंप्यूटर को यह समझने में मदद मिलती है कि बगल वाले पिक्सेल आमतौर पर एक साथ होते हैं।
टेक्स्ट के लिए (Text8): यह एक कैरेक्टर को उसके आस-पास के कैरेक्टर्स के साथ ब्लेंड करता है, जिससे इसे यह समझने में मदद मिलती है कि "q" के बाद आमतौर पर "u" आता है।
सुडोकू के लिए: यह एक सेल को उसकी पंक्ति, कॉलम और 3x3 बॉक्स के सेल्स के साथ ब्लेंड करता है, जिससे कंप्यूटर को भ्रष्टाचार प्रक्रिया के माध्यम से सीधे खेल के नियम सिखाए जाते हैं।

आंकड़े क्या कहते हैं

टीम ने तीन अलग-अलग प्रकार की पहेलियों पर परीक्षण किया:

छवियां (CIFAR-10): उन्होंने गुणवत्ता को मापने के लिए FID नामक स्कोर का उपयोग किया (कम स्कोर बेहतर है)। नए तरीके ने 14.57 का स्कोर प्राप्त किया, जिसने पिछले सर्वश्रेष्ठ हाइब्रिड मॉडल (CADD) को पीछे छोड़ दिया जिसका स्कोर 15.88 था, और मास्कड डिफ्यूजन मॉडल (MDLM) जो 18.11 था।
टेक्स्ट (Text8): उन्होंने गणना की कि कंप्यूटर कितने वैध शब्द उत्पन्न कर सकता है। 1.5 के ब्लेंडिंग बैंडविड्थ के साथ, नए तरीके ने पिछले सर्वश्रेष्ठ मॉडलों की तुलना में 5 या 6 लंबाई के अधिक वैध शब्द उत्पन्न किए, विशेष रूप से जब उसे सोचने के लिए अधिक समय (उच्च NFE बजट) दिया गया।
सुडोकू: यह सबसे बड़ा परीक्षण था। पिछला हाइब्रिड मॉडल (CADD) अस्थिर था; कुछ प्रशिक्षण चरणों में, यह पूरी तरह से विफल हो गया (सटीकता गिरकर लगभग शून्य हो गई)। नया तरीका (SJD) कभी विफल नहीं हुआ। इसने 95.65% सटीकता के साथ पूर्ण बोर्ड हल किए, जबकि CADD की सटीकता 47.12% थी। इसने बोर्डों को बहुत तेज़ी से हल करना भी शुरू कर दिया, जो 203,000 चरणों के बजाय 50,000 प्रशिक्षण चरणों में शुरू हो गया।

उन्होंने स्पष्ट रूप से किसे खारिज किया

लेखक बहुत स्पष्ट थे कि क्या काम नहीं करता है या क्या आवश्यक नहीं है:

कोई हैंड-ट्यून्ड शेड्यूल्स नहीं: वे इस विचार के विरुद्ध तर्क देते हैं कि आपको यह तय करने के लिए एक शेड्यूल को मैन्युअल रूप से डिजाइन करने की आवश्यकता है कि कब किसी टोकन के प्रति "कमिट" (वापस जुड़ना) होना है। उनके सिस्टम में, शेड्यूल की गणना स्वचालित रूप से गणित द्वारा की जाती है।
कोई दूसरा नेटवर्क नहीं: उन्होंने सिद्ध किया कि आपको "हैज़र्ड" (जंप रेट) की गणना करने के लिए कंप्यूटर के एक अलग भाग की आवश्यकता नहीं है। एक एकल नेटवर्क पर्याप्त है।
हैज़र्ड रेट सीखना: उन्होंने कंप्यूटर को शून्य से "हैज़र्ड रेट" (चीजें कितनी तेज़ी से टूटती हैं) सीखना सिखाने की कोशिश की। उन्होंने पाया कि इससे वास्तव में परिणाम और खराब हो गए। सबसे अच्छे परिणाम तब मिले जब उन्होंने हैज़र्ड रेट को स्थिर और सरल रखा, और "ब्लेंडिंग" (पड़ोसी इंटरेक्शन) को मुख्य कार्य करने दिया।

वे कितने आश्वस्त हैं?

लेखक अपने गणित में काफी आश्वस्त हैं। उन्होंने सिद्ध किया कि उनकी विधि कठोर प्रमेयों (थ्योरम 2.6 और थ्योरम 3.2) का उपयोग करके उनकी फॉरवर्ड प्रक्रिया की सटीक टाइम-रिवर्शल (समय-विपरीत) है। उन्होंने केवल यह सुझाव नहीं दिया कि यह काम कर सकता है; उन्होंने समीकरण दिखाए जो इसे काम करने के लिए प्रेरित करते हैं।

हालाँकि, प्रदर्शन संख्या (जैसे FID स्कोर और सुडोकू सटीकता) सिमुलेशन और प्रयोगों पर आधारित हैं। उन्होंने विशिष्ट डेटासेट्स (CIFAR-10, Text8, Sudoku) पर अपने मॉडल चलाए और परिणामों को मापा। उन्होंने पाया कि नया तरीका इन विशिष्ट परीक्षणों में लगातार पुराने तरीकों से बेहतर प्रदर्शन करता है। वे यह दावा नहीं करते कि यह ब्रह्मांड की हर चीज़ के लिए काम करता है, लेकिन उनके द्वारा परीक्षण किए गए कार्यों के लिए, प्रमाण मजबूत है।

निष्कर्ष

स्टिकी जंप डिफ्यूजन कंप्यूटर को उस इलाके का नक्शा देने जैसा है जिसे वह फिर से बनाने की कोशिश कर रहा है। टुकड़ों को कहाँ रखना है इसका अंधाधुंध अनुमान लगाने या इसे मैन्युअल रूप से बताने के बजाय कि कब रुकना है, कंप्यूटर "टूटने" की प्रक्रिया की भौतिकी का उपयोग करके एकदम सही "ठीक करने" की प्रक्रिया का पता लगाता है। और टुकड़ों को टूटने के दौरान अपने पड़ोसियों को "महसूस" करने देकर, कंप्यूटर दुनिया की संरचना का सम्मान करना बेहतर तरीके से सीखता है—चाहे वह सुडोकू बोर्ड का ग्रिड हो या किसी वाक्य का प्रवाह—जो कि पहले की तुलना में बहुत बेहतर है।

तकनीकी सारांश: स्टिकी जंप डिफ्यूजन (SJDs)

समस्या विवरण

डिफ्यूजन-आधारित जनरेटिव मॉडलिंग ने निरंतर डेटा से लेकर असतत अनुक्रमों (जैसे टेक्स्ट) तक सफलतापूर्वक विस्तार किया है, फिर भी मौजूदा दृष्टिकोण निरंतर और असतत गतिकी (dynamics) को एकीकृत करने में मौलिक सीमाओं का सामना करते हैं। दो प्रमुख परिवार मौजूद हैं:

मास्क्ड डिफ्यूजन (Masked Diffusion): यह असतत टोकन स्पेस पर कार्य करता है, जो संरचनात्मक रूप से वैध टोकन आउटपुट देता है। हालांकि, यह प्रत्येक स्थिति को एक एकल एब्जॉर्बिंग (absorbing) टोकन के साथ मैप करता है, जिससे उम्मीदवार टोकनों की निकटता के बारे में क्रमिक जानकारी मिट जाती है।
निरंतर डिफ्यूजन (Continuous Diffusion): यह मानक स्कोर-आधारित लर्निंग का उपयोग करके टोकन एम्बेडिंग्स पर कार्य करता है। इसकी अंतिम अवस्था असतत सपोर्ट से बाहर होती है, जिसके लिए डिस्क्रीट टोकन को पुनः प्राप्त करने हेतु एक बाहरी प्रोजेक्शन चरण (जैसे डिकोडर या क्वांटाइजेशन) की आवश्यकता होती है, जो कि सीखे गए डायनेमिक्स का हिस्सा नहीं है।
हाइब्रिड डिफ्यूजन (Hybrid Diffusion): यह एक मास्क्क्ड चेन को निरंतर लेटेंट (latent) के साथ जोड़ता है। हालांकि यह प्रभावी है, ये मॉडल अक्सर कमिटमेंट रेट्स, डेस्टिनेशन और ड्रिफ्ट्स को एक एकीकृत फॉरवर्ड प्रोसेस से प्राप्त करने के बजाय उन्हें अलग-अलग डिज़ाइन विकल्पों के रूप में मानकर रिवर्स सैंपलर को हाथ से असेंबल करते हैं।

मुख्य चुनौती एक निरंतर-समय मार्कोव प्रक्रिया (Markov process) को परिभाषित करने की है जो स्वाभाविक रूप से इन व्यवस्थाओं को जोड़ती है, जहाँ रिवर्स डायनेमिक्स (डिस्क्रीट टोकन के प्रति प्रतिबद्धता और निरंतर डिफ्यूजन) को हेयुरिस्टिक (heuristic) रूप से डिज़ाइन करने के बजाय फ्लक्स बैलेंस (flux balance) के माध्यम से फॉरवर्ड प्रोसेस से गणितीय रूप से प्राप्त किया जाता है।

कार्यप्रणाली: स्टिकी जंप डिफ्यूजन (SJDs)

लेखक स्टिकी जंप डिफ्यूजन (SJDs) का परिचय देते हैं, जो $\mathbb{R}^d$ पर एक निरंतर-समय मार्कोव प्रक्रिया है जिसमें एंकर्स (anchors) $A$ (जो टोकन एम्बेडिंग्स के समान हैं) का एक परिमित या गणनीय सेट होता है।

1. फॉरवर्ड डायनेमिक्स (अनस्टिकिंग - Unsticking)

फॉरवर्ड समय में, डेटा एक एंकर $a \in A$ पर शुरू होता है। प्रक्रिया इस प्रकार विकसित होती है:

स्टिकिंग फेज (Sticking Phase): कण एक रैंडम अवधि के लिए एंकर $a$ पर प्रतीक्षा करता है, जो एक हैजर्ड रेट $\vec{\lambda}_t$ द्वारा नियंत्रित होता है।
अनस्टिकिंग (Unsticking): हैजर्ड इवेंट के समय, कण एक नए राज्य $Y$ में "अनस्टिक" हो जाता है, जिसे $R_t(\cdot | a)$ कर्नेल से सैंपल किया गया है जो निरंतर क्षेत्र $X_A = \mathbb{R}^d \setminus A$ पर समर्थित है।
डिफ्यूजन (Diffusion): $X_A$ में होने पर, प्रक्षेपवक्र (trajectory) एक मानक स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) के अनुसार डिफ्यूज होता है: $d\vec{X}_t = \vec{b}_t(\vec{X}_t)dt + g_t d\vec{W}_t$ ।
मास स्प्लिट (Mass Split): मार्जिनल डिस्ट्रीब्यूशन $p_t$ , $X_A$ पर एक एब्सोल्यूटली कंटीन्यूअस डेंसिटी और एंकर्स $A$ पर एटोमिक मास में विभाजित हो जाता है।

प्रमुख नवाचार (क्रॉस-पोजीशन ब्लेंडिंग): मानक हाइब्रिड के विपरीत, जहाँ अनस्टिकिंग कर्नेल केवल स्थानीय एंकर पर निर्भर करता है, SJDs कर्नेल को एक ब्लेंडिंग मैट्रिक्स $W$ के माध्यम से पूरे अनुक्रम पर निर्भर रहने की अनुमति देते हैं। स्थिति $i$ पर अनस्टिकिंग डिस्ट्रीब्यूशन का माध्य, पड़ोसियों के एम्बेडिंग्स का एक भारित मिश्रण (weighted blend) है: $\mu_i(\vec{X}_0) = (W E(\vec{X}_0))_i$ । यह संरचनात्मक इंडक्टिव बायस (जैसे स्थानिक स्थानीयता या बाधा ग्राफ) को सीधे भ्रष्टाचार (corruption) प्रक्रिया में समाहित करता है।

2. रिवर्स डायनेमिक्स (स्टिकिंग - Sticking)

एक SJD का टाइम रिवर्सल एक जनरेटिव प्रोसेस प्रदान करता है जिसमें दो युग्मित तंत्र (coupled mechanisms) होते हैं:

स्कोर-ड्रिवन SDE: निरंतर क्षेत्र $X_A$ पर, प्रक्रिया स्कोर फंक्शन $\nabla \log p_t(x)$ द्वारा संचालित एक रिवर्स SDE का पालन करती है।
स्टिकी जंप कर्नेल: प्रक्रिया निरंतर क्षेत्र से वापस एंकर्स की ओर जंप करती है। रिवर्स हैजर्ड रेट (कब जंप करना है) और जंप डेस्टिनेशन (कहाँ जंप करना है) को फ्लक्स बैलेंस समीकरण (फॉरवर्ड और रिवर्स फ्लो के बीच विस्तृत संतुलन) के माध्यम से अनन्य रूप से निर्धारित किया जाता है।
- महत्वपूर्ण रूप से, कमिटमेंट रेट और डेस्टिनेशन हाथ से डिज़ाइन किए गए शेड्यूल्स नहीं हैं, बल्कि वे फॉरवर्ड लॉ द्वारा निर्धारित होते हैं।

3. लर्निंग: डिनोइजिंग हैजर्ड मैचिंग (DHM)

रिवर्स प्रोसेस को प्रशिक्षित करने योग्य बनाने के लिए, लेखक डिनोइजिंग हैजर्ड मैचिंग (DHM) प्रस्तावित करते हैं, जो डिनोइजिंग स्कोर मैचिंग का हैजर्ड एनालॉग है।

सिंगल क्लासिफायर: एक एकल डिनोइजिंग क्लासिफायर $P_\theta(a | y, t)$ को SJD-करप्टेड पेयर्स $(\vec{X}_0, \vec{X}_t)$ पर मानक क्रॉस-एन्ट्रॉपी के माध्यम से प्रशिक्षित किया जाता है।
एनालिटिक रीवेटिंग (Analytic Reweighting): रिवर्स हैजर्ड और एलोकेशन प्रोबेबिलिटी को बिना दूसरे नेटवर्क हेड के, $P_\theta$ $P_{θ}$ से एनालिटिक रूप से प्राप्त किया जाता है।
- रिवर्स हैजर्ड $\vec{\lambda}^\star_t(y)$ को SJD करप्शन के तहत एक फॉरवर्ड-नॉन (forward-known) टारगेट (DHM टारगेट) के कंडीशनल एक्सपेक्टेशन के रूपas अनुमानित किया जाता है।
- एलोकेशन प्रोबेबिलिटी $\pi^\star_t(a|y)$ को क्लासिफायर के लॉजिट्स को DHM टारगेट के साथ रीवेट करके प्राप्त किया जाता है।
सिमुलेशन-फ्री ट्रेनिंग: मानक स्थितियों (क्लोज्ड-फॉर्म सर्वाइवल, गौसियन क्लोजर ऑफ कॉन्वोल्यूशन) के तहत, प्रशिक्षण के लिए SDE पाथ के सिमुलेशन की आवश्यकता नहीं होती है। टारगेट के लिए आवश्यक मिश्रण घनत्व (mixture density) को क्लोज्ड-फॉर्म क्वाड्रचर के माध्यम से मूल्यांकित किया जाता है, जिससे प्रशिक्षण पाइपलाइन सिमुलेशन-फ्री और कुशल बनती है।

मुख्य योगदान

SJD प्रोसेस क्लास: जंप-डिफ्यूजन के लिए एक एकीकृत ढांचा जहाँ फॉरवर्ड मार्जिनल एक निरंतर घनत्व और असतत परमाणुओं (atoms) में विभाजित होता है। यह शास्त्रीय स्टिकी-बाउंड्री डिफ्यूजन को उच्च-आयामी एंकर सेट्स तक सामान्य बनाता है।
एकल क्लासिफायर से रिवर्स डायनेमिक्स: लेखक यह सिद्ध करते हैं कि स्कोर और प्रति-एंकर रिवर्स इंटेंसिटी दोनों को एक एकल डिनोइजिंग क्लासिफायर से DHM के माध्यम से अनुमानित किया जा सकता है। यह अलग-अलग हैजर्ड हेड्स की आवश्यकता को समाप्त करता है और क्लासिफायर आउटपुट के राव-ब्लैकवेलियनाइज्ड (Rao–Blackwellized) रीवेटिंग पर निर्भर करता है।
डिफ्यूजन परिवारों का एकीकृत दृष्टिकोण: SJDs मौजूदा मॉडलों को विशिष्ट सीमाओं के रूप में रिकवर करते हैं:
- मास्क्ड डिफ्यूजन: तब उत्पन्न होता है जब अनस्टिकिंग कर्नेल एक एकल एब्जॉर्बिंग पॉइंट में कोलैप्स हो जाता है। मास्क्ड डिफ्यूजन में "इन्फॉर्मेशन वॉइड" को संरचनात्मक रूप से समझाया गया है: अनस्टिकिंग कर्नेल एंकर-स्वतंत्र है, इसलिए करप्टेड स्टेट स्रोत टोकन का कोई साक्ष्य नहीं ले जाता है।
- निरंतर डिफ्यूजन: तब उत्पन्न होता है जब जंप रेट शून्य हो। टर्मिनल प्रोजेक्शन की आवश्यकता को फॉरवर्ड मार्जिनल में परमाणुओं की अनुपस्थिति द्वारा समझाया गया है, जो रिवर्स जंप्स उत्पन्न नहीं करता है।
- हाइब्रिड डिफ्यूजन: तब उत्पन्न होता है जब अनस्टिकिंग कर्नेल फॉरवर्ड परटर्बेशन कर्नेल से मेल खाता है। यह दिखाया गया है कि कमिट रेट, डेस्टिनेशन और ड्रिफ्ट, हाथ से डिज़ाइन किए गए बजाय फ्लक्स बैलेंस के माध्यम से स्वाभाविक रूप से अनुसरण करते हैं।
जंप कर्नेल एक डिज़ाइन स्पेस के रूप में: ब्लेंडिंग मैट्रिक्स $W$ को बदलकर, लेखक एक नया डिज़ाइन स्पेस पेश करते हैं। क्रॉस-पोजीशन ब्लेंडिंग प्रत्येक स्थिति को उसके पड़ोसियों के क्लीन वैल्यूज के मिश्रण की ओर करप्ट करती है, जिससे डिपेंडेंसी स्ट्रक्चर (स्थानिक, अनुक्रमिक या बाधा-आधारित) को स्वयं भ्रष्टाचार के इंडक्टिव बायस में बदल दिया जाता है।

प्रायोगिक परिणाम

लेखक तीन डेटासेट्स पर क्रॉस-पोजीशन ब्लेंडिंग अक्ष को अनुभवजन्य रूप से मान्य करते हैं जहाँ संरचनात्मक निर्भरताएं ज्ञात हैं:

CIFAR-10 (इमेज जनरेशन): स्थानिक स्थानीयता को एनकोड करने के लिए एक वैल्यू-स्पेस ब्लर कर्नेल का उपयोग करते हुए, नॉन-लोकल कर्नेल ( $\sigma_B = 2.5$ ) के साथ SJD, 256 NFE पर आइडेंटिटी-कर्नेल हाइब्रिड (CADD, 15.88) और अन्य बेसलाइन्स (MDLM, Bit Diffusion) की तुलना में कम FID (14.57) प्राप्त करता है।
Text8 (टेक्स्ट जनरेशन): स्थानीय अनुक्रमिक सहसंबंध को एनकोड करने के लिए 1D गौसियन कॉन्वोल्यूशन का उपयोग करते हुए, $\sigma_W \ge 1.0$ के साथ SJD, उच्च अनुक्रम लंबाई ( $\ge 6$ ) और विभिन्न NFE बजटों में वैध-शब्द जनरेशन गणनाओं में CANDI और MDLM को पछाड़ देता है।
Sudoku (कन्स्ट्रेंट सैटिस्फैक्शन): रो/कॉलम/बॉक्स निर्भरताओं को एनकोड करने के लिए एक कंस्ट्रेंट-ग्राफ कर्नेल का उपयोग करते हुए, SJD आइडेंटिटी-कर्नेल हाइब्रिड (CADD) की तुलना में काफी बेहतर प्रदर्शन करता है। जबकि CADD द्वि-मोडल प्रदर्शन प्रदर्शित करता है (अक्सर नगण्य सफलता तक गिर जाता है), SJD लगातार बोर्ड हल करता है, 95.65% सटीकता प्राप्त करता है और प्रशिक्षण चरणों में 4 गुना तेजी से अभिसरण (converge) करता है।

महत्व और दावे

पेपर का दावा है कि स्टिकी जंप डिफ्यूजन एक प्रोसेस-लेवल अकाउंट प्रदान करते हैं जो मास्क्ड, निरंतर और हाइब्रिड डिफ्यूजन को एकीकृत करता है।

सैद्धांतिक एकीकरण: यह प्रदर्शित करता है कि जनरेटिव मॉडलिंग में डिस्क्रीट और कंटीन्यूअस कोऑर्डिनेट्स अलग संस्थाएं नहीं हैं जिन्हें हाथ से जोड़ा जाना चाहिए, बल्कि एक ही रिवर्स स्टेट है जहाँ कमिटमेंट रेट्स और डेस्टिनेशन फ्लक्स बैलेंस द्वारा निर्धारित होते हैं।
डिज़ाइन स्पेस विस्तार: अनस्टिकिंग कर्नेल को एक स्पष्ट डिज़ाइन स्पेस के रूप में मानकर, SJDs शोधकर्ताओं को फॉरवर्ड भ्रष्टाचार डायनेमिक्स में सीधे संरचनात्मक प्रायर्स (जैसे स्थानिक स्थानीयता या तार्किक बाधाएं) को एनकोड करने की अनुमति देते हैं। यह रिवर्स सैंपलर के मौलिक आर्किटेक्चर को बदले बिना जनरेशन की गुणवत्ता और तार्किक स्थिरता में सुधार करता है।
व्यावहारिक दक्षता: ढांचा मौजूदा हाइब्रिड्स के समान लागत पर प्रशिक्षित और सैंपल होता है, क्योंकि SJD-विशिष्ट संरचना केवल एनालिटिक रीवेटिंग और क्लोज्ड-फॉर्म क्वाड्रचर के माध्यम से आती है, जिसके लिए किसी अतिरिक्त नेटवर्क पैरामीटर्स या सिमुलेशन ओवरहेड की आवश्यकता नहीं होती है।

लेखक निष्कर्ष निकालते हैं कि यह एकीकृत दृष्टिकोण डिफ्यूजन मॉडलों को विस्तारित करना आसान बनाता है: नए करप्शन, शेड्यूल्स और कमिटमेंट नियम फॉरवर्ड डायनेमिक्स के रूप में निर्दिष्ट किए जा सकते हैं और टाइम-रिवर्सल थ्योरम के माध्यम से रिवर्स में मुफ्त में प्राप्त किए जा सकते हैं।