🤖 machine learning

Accelerating Discrete Diffusion Models with Parallel-In-Time Sampling

यह शोध पत्र डिस्क्रीट डिफ्यूजन मॉडल्स के लिए एक समानांतर-इन-टाइम (parallel-in-time) सैंपलिंग विधि प्रस्तुत करता है जो एक्सपोनेंशियल-फैक्टोरियल अभिसरण (exponential-factorial convergence) प्राप्त करने के लिए $\tau$ -लीपिंग एल्गोरिदम के निरंतर-समय स्टोकेस्टिक इंटीग्रल रूप और पिकाड पुनरावृत्ति (Picard iteration) का लाभ उठाता है, जिससे सिंथेटिक, इमेज और टेक्स्ट कार्यों में जनरेशन की गुणवत्ता बनाए रखते हुए समय जटिलता और रनटाइम को काफी कम किया जा सकता है।

मूल लेखक: Yu Yao, Huanjian Zhou, Andi Han, Wei Huang, Masashi Sugiyama

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Yao, Huanjian Zhou, Andi Han, Wei Huang, Masashi Sugiyama

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फटे हुए दस्तावेज़ को फिर से जोड़ने की कोशिश कर रहे हैं, लेकिन कागज़ के बजाय, आप एक वाक्य या एक छवि को पुनर्गठित कर रहे हैं जिसे धीरे-धीरे एक विशाल प्रश्न चिह्न (एक "मास्क") में बदल दिया गया है। डिस्क्रीट डिफ्यूजन मॉडल्स (Discrete Diffusion Models) इसी तरह काम करते हैं: वे एक साफ तस्वीर या टेक्स्ट से शुरू होते हैं, उन्हें शोर (मास्क) में बदलते हैं, और फिर कंप्यूटर यह सीखता है कि मूल चीज़ को वापस कैसे बनाया जाए।

समस्या क्या है? कंप्यूटर द्वारा इसे करने का वर्तमान तरीका ऐसा है जैसे एक अकेला व्यक्ति एक समय में एक शब्द करके, सख्त क्रम में दस्तावेज़ को फिर से बनाने की कोशिश कर रहा हो। उन्हें पहला शब्द अनुमानित करना होगा, फिर दूसरा, फिर तीसरा। भले ही आपके पास हजारों कोर वाला एक सुपर-फास्ट कंप्यूटर (जैसे आधुनिक GPU) हो, यह तरीका कंप्यूटर को मजबूर करता है कि वह अगला कदम शुरू करने से पहले पिछले कदम के खत्म होने का इंतजार करे। यह एक रिले रेस की तरह है जहाँ अगले धावक के आगे बढ़ने से पहले बैटन का पूरी तरह से पास किया जाना अनिवार्य है।

यह पेपर पिकार्ड τ-लीपिंग (Picard τ-leaping) नामक एक नई विधि पेश करता है जो इस दौड़ को पूरी तरह बदल देती है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. पुराना तरीका: एक कतार में खड़े लोग

पुराने तरीके को एक मूवी थिएटर में प्रवेश करने के लिए लाइन में खड़े लोगों के रूप में सोचें। एक व्यक्ति टिकट खरीदता है, अंदर जाता है, और तभी अगला व्यक्ति अपना टिकट खरीद सकता है। भले ही थिएटर में 100 दरवाजे हों, केवल एक व्यक्ति ही काउंटर का उपयोग कर सकता है क्योंकि नियम कहते हैं "अपनी बारी का इंतजार करें।" कंप्यूटर की भाषा में, यह सीक्वेंशियल सैंपलिंग (sequential sampling) है। यह सटीक है लेकिन बहुत धीमा है क्योंकि कंप्यूटर अपनी पूरी शक्ति का उपयोग नहीं कर पाता।

2. नया विचार: "टाइम-ट्रैवल" समूह

लेखकों ने महसूस किया कि लाइन के एक-एक करके आगे बढ़ने का इंतजार करने के बजाय, हम समय के एक हिस्से को एक एकल ब्लॉक के रूप में मान सकते हैं। कल्पना कीजिए कि आप अगले सप्ताह के मौसम की भविष्यवाणी करना चाहते हैं। सोमवार, फिर मंगलवार, फिर बुधवार को एक-एक करके गणना करने के बजाय, आप कह सकते हैं: "आइए पूरे सप्ताह के मौसम का एक साथ अनुमान लगाएं, फिर अपने काम की जांच करें, फिर से अनुमान लगाएं, लेकिन बेहतर तरीके से।"

यही उनका पैरेलल-इन-टाइम (Parallel-in-Time) दृष्टिकोण है। वे समय के एक ब्लॉक (मान लीजिए, पुनर्निर्माण की 10 प्रक्रियाएं) को लेते हैं और कंप्यूटर के कई कोर का उपयोग करके सभी 10 चरणों को एक साथ हल करने का प्रयास करते हैं।

3. असली मंत्र: "पिकार्ड इटरेशन" (अनुमान और जांच का लूप)

आप 10 चरणों को एक साथ बिना गड़बड़ी के कैसे हल करेंगे? लेखक पिकार्ड इटरेशन (Picard iteration) नामक एक गणितीय ट्रिक का उपयोग करते हैं।

राउंड 1 (एक कच्चा अनुमान): कंप्यूटर शुरुआती बिंदु के आधार पर पूरे सप्ताह के मौसम (या पूरी छवि के पुनर्निर्माण) के लिए एक मोटा अनुमान लगाता है।
राउंड 2 (सुधार): कंप्यूटर खेल के "नियमों" (गणितीय मॉडल) को देखता है और देखता है कि पहला अनुमान कहाँ गलत था। चूंकि उसके पास पूरे सप्ताह का डेटा सामने है, इसलिए वह सभी गलतियों को एक ही समय में ठीक कर सकता है।
राउंड 3 (परिष्करण): यह प्रक्रिया दोहराई जाती है। हर बार, अनुमान सच्चाई के करीब पहुंच जाता है।

चूंकि कंप्यूटर "सोमवार से शुक्रवार तक" की सारी गणितीय गणना एक ही क्षण में कर सकता है, इसलिए वह सिंगल-फाइल लाइन की तुलना में बहुत तेजी से काम पूरा कर लेता है।

4. विशेष नियम: "फर्स्ट-हिट" स्टॉप

इस विशिष्ट प्रकार के खेल (जिसे एब्जॉर्बिंग डिफ्यूजन (Absorbing Diffusion) कहा जाता है) में एक शर्त है। एक बार जब एक "प्रश्न चिह्न" वापस एक वास्तविक अक्षर या पिक्सेल में बदल जाता है, तो वह वहीं रहता है। वह फिर से नहीं बदलता।

यदि आप पूरे सप्ताह का अनुमान एक साथ लगाते हैं, तो आप गलती से उस अक्षर को बदलने की कोशिश कर सकते हैं जो पहले के चरण में पहले ही ठीक हो चुका है। इसे ठीक करने के लिए, लेखकों ने "फर्स्ट-हिटिंग ट्रंकेशन (First-Hitting Truncation)" जोड़ा है।

इसे "म्यूजिकल चेयर्स" के खेल के रूप में सोचें जिसमें एक ट्विस्ट है: एक बार जब कुर्सी ली जाती है, तो वह लॉक हो जाती है। यदि आपका "ग्रुप गेस" किसी ऐसे व्यक्ति को हिलाने की कोशिश करता है जो पहले से ही बैठा हुआ है, तो सिस्टम बस उस चाल को अनदेखा कर देता है और उन्हें उनकी सीट पर बनाए रखता है। यह सुनिश्चित करता है कि तेज़ होने के चक्कर में कंप्यूटर नियमों को न तोड़ दे।

5. परिणाम: गुणवत्ता खोए बिना गति

पेपर का दावा है कि इस "पूरे ब्लॉक का अनुमान लगाएं और सुधारें" विधि का उपयोग करके:

गति: वे एक ही कंप्यूटर चिप (GPU) पर मूल विधि की तुलना में छवियों और टेक्स्ट को 1.45 से 1.86 गुना तेजी से बना सकते हैं, जबकि गुणवत्ता बिल्कुल समान रहती है।
दक्षता: उन्हें समान परिणाम प्राप्त करने के लिए लगभग 50% कम गणना चरणों (NFE) की आवश्यकता होती है।
स्केलेबिलिटी: सैद्धांतिक रूप से, जैसे-जैसे समस्या बड़ी होती जाती है (अधिक जटिल चित्र या लंबा टेक्स्ट), यह विधि पुराने तरीके की तुलना में अपेक्षाकृत अधिक तेज़ होती जाती है।

सारांश

यह पेपर AI मॉडल्स चलाने का एक नया तरीका प्रस्तुत करता है जो टेक्स्ट और इमेज जनरेट करते हैं। AI को एक-एक करके छोटे, धीमे कदम उठाने के लिए मजबूर करने के बजाय, वे AI को समय के माध्यम से बड़े, समानांतर छलांग (parallel leaps) लगाने देते हैं। वे यह सुनिश्चित करने के लिए कि बड़े छलांग सटीक रहें, एक "अनुमान और जांच" लूप का उपयोग करते हैं, और यह सुनिश्चित करने के लिए कि AI उन हिस्सों के साथ छेड़छाड़ न करे जिन्हें वह पहले ही ठीक कर चुका है, एक "लॉक-इन" नियम का उपयोग करते हैं। परिणाम स्वरूप, डिजिटल सामग्री बनाने का एक तेज़ और अधिक कुशल तरीका प्राप्त होता है।

तकनीकी सारांश: समानांतर-इन-टाइम सैंपलिंग के साथ डिस्क्रीट डिफ्यूजन मॉडल्स का त्वरण

समस्या विवरण

डिस्क्रीट डिफ्यूजन मॉडल्स (Discrete Diffusion Models) श्रेणीबद्ध डेटा (categorical data) के लिए जनरेटिव मॉडलिंग में केंद्रीय भूमिका निभा रहे हैं, जिनके अनुप्रयोग आणविक डिजाइन (molecular design), प्रोटीन इंजीनियरिंग, और टेक्स्ट/इमेज जनरेशन में हैं। एक प्रमुख दृष्टिकोण एब्जॉर्बिंग डिस्क्रीट डिफ्यूजन (Absorbing Discrete Diffusion) है, जो टोकन को धीरे-धीरे एक विशेष मास्क अवस्था (mask state) से बदल देता है और इस प्रक्रिया को उलटने (reverse) को सीखता है। हालाँकि, जनरेशन की प्रक्रिया स्वाभाविक रूप से क्रमिक (sequential) होती है। जबकि निरंतर डिफ्यूजन मॉडल्स (continuous diffusion models) के लिए समानांतर-इन-टाइम (parallel-in-time) एल्गोरिदम मौजूद हैं, डिस्क्रीट डिफ्यूजन के समकक्षों की खोज काफी हद तक अनकही रही है। वर्तमान क्रमिक सैंपलर, जैसे कि $\tau$ -leaping, समकालीन समानांतर कंप्यूटिंग संसाधनों (जैसे, GPUs) का पूर्ण उपयोग करने में विफल रहते हैं, जो कुशल अनुमान (inference) के लिए एक बाधा उत्पन्न करता है। मुख्य प्रश्न यह है कि क्या जनरेशन की गुणवत्ता से समझौता किए बिना समानांतरकरण (parallelization) डिस्क्रीट डिफ्यूजन मॉडल्स के लिए सैंपलिंग को मौलिक रूप से तेज कर सकता है।

कार्यप्रणाली: पिकाड $\tau$ -लीपिंग (Picard $\tau$ -Leaping)

लेखक पिकाड $\tau$ -लीपिंग विधि प्रस्तावित करते हैं, जो एब्जॉर्बिंग डिस्क्रीट डिफ्यूजन के लिए पहला समानांतर-इन-टाइम एल्गोरिदम है। यह दृष्टिकोण पिकाड इटरेशन विधि का विस्तार करता है, जो आमतौर पर निरंतर डिफ्यूजन में उपयोग किया जाता है, इसे डिस्क्रीट स्टेट स्पेस में $\tau$ -leaping के स्टोकेस्टिक इंटीग्रल रूप में।

मुख्य एल्गोरिदम

समय विविक्तीकरण (Time Discretization): रिवर्स सैंपलिंग अंतराल $[\eta, T]$ को बड़े ब्लॉक्स में विभाजित किया जाता है। प्रत्येक ब्लॉक को आगे सूक्ष्म समय कोशिकाओं (fine time cells) में उपविभाजित किया जाता है।
समानांतर ब्लॉक प्रोसेसिंग (Parallel Block Processing): क्रमिक रूप से स्टेप-दर-स्टेप ट्रांज़िशन को हल करने के बजाय, एल्गोरिदम पूरे ब्लॉक के लिए ट्रांज़िशन को एक साथ हल करता है।
पिकाड इटरेशन (Picard Iteration):
- आरंभीकरण (Initialization): ब्लॉक एक प्रारंभिक अनुमान (ब्लॉक के प्रारंभ में स्थिति) के साथ शुरू होता है।
- समानांतर मूल्यांकन (Parallel Evaluation): प्रत्येक पिकाड राउंड में, पिछले इटरेशन के ट्राजेक्टरी का उपयोग करके ब्लॉक के भीतर सभी माइक्रोस्टेप्स का समानांतर मूल्यांकन किया जाता है।
- फर्स्ट-हिटिंग ट्रंकेशन (First-Hitting Truncation): एब्जॉर्बिंग डिफ्यूजन के लिए एक महत्वपूर्ण घटक। चूंकि मास्क किए गए टोकन केवल एक बार अनमास्क किए जा सकते हैं, इसलिए एल्गोरिदम ब्लॉक के भीतर "फर्स्ट-हिटिंग ट्रंकेशन" लागू करता है। यह ऑपरेशन सुनिश्चित करता है कि प्रत्येक कोऑर्डिनेट के लिए, केवल सबसे प्रारंभिक प्रस्तावित अनमास्किंग इवेंट को लागू किया जाए, जिससे एब्जॉर्बिंग संरचना बनी रहती है और समानांतर प्रीफिक्स ऑपरेशंस सक्षम होते हैं।
- अभिसरण (Convergence): यह प्रक्रिया अभिसरण तक दोहराई जाती है। सैद्धांतिक विश्लेषण दिखाता है कि त्रुटि (error) पिकाड इटरेशन की संख्या के सापेक्ष घातांकीय-फैक्टोरियल (exponentially-factorially) रूप से संकुचित होती है।

सैद्धांतिक ढांचा

यह विधि पॉइसन रैंडम मेजर्स (Poisson random measures) के माध्यम से डिस्क्रीट डिफ्यूजन को प्रदर्शित करने पर निर्भर करती है। लेखक स्कोर अनुमान त्रुटि (score estimation error), बाउंडेड स्कोर अनुमानों, और एक "नॉर्मलाइज्ड इवेंट स्विचिंग" स्थिति (लिप्सचिट्ज़ निरंतरता के समान) के संबंध में विशिष्ट धारणाएं पेश करते हैं ताकि त्रुटि प्रसार को सीमित किया जा सके। वे सिद्ध करते हैं कि पिकाड इटरेशन डिस्क्रीट सेटिंग में क्रमिक $\tau$ -leaping ट्राजेक्टरी की ओर अभिसरित होता है।

मुख्य योगदान

1. सैद्धांतिक प्रगति

समानांतर-इन-टाइम एल्गोरिदम: एब्जॉर्बिंग डिस्क्रीट डिफ्यूजन के लिए पिकाड $\tau$ -लीपिंग विधि (एल्गोरिदम 1) पेश की गई।
जटिलता में कमी: सिद्ध किया गया कि फंक्शन इवैलुएशन की संख्या (NFE) के संबंध में समय जटिलता मुख्यधारा के क्रमिक तरीकों के $O(d \log S)$ से सुधरकर $O(\log(d \log S) \cdot \log d)$ हो जाती है।
अभिसरण प्रमाण: डिस्क्रीट सेटिंग में पिकाड इटरेशन के लिए घातांकीय-फैक्टोरियल अभिसरण (exponential-factorial convergence) का प्रमाण प्रदान किया, जो निरंतर डिफ्यूजन के विशिष्ट घातांकीय संकुचन से भिन्न गुण है।
स्पेस कॉम्प्लेक्सिटी: विधि को ब्लॉक ट्राजेक्टरीज को स्टोर करने के लिए अतिरिक्त स्पेस कॉम्प्लेक्सिटी $\tilde{O}(dS)$ की आवश्यकता होती, जो मेमोरी के बदले समानांतरता (parallelism) का व्यापार करती है।

2. अनुभवजन्य परिणाम

लेखकों ने सिंथेटिक और वास्तविक दुनिया के कार्यों पर विधि का मूल्यांकन किया:

सिंथेटिक डेटा: 2D डिस्ट्रीब्यूशन (Chessboard और Circle) पर, समानांतर विधि ने क्रमिक बेसलाइन्स के समान KL डाइवर्जेंस बनाए रखते हुए महत्वपूर्ण रनटाइम स्पीडअप (विशिष्ट सिंथेटिक स्केलिंग परिदृश्यों में 7–9× तक) प्राप्त किया।
इमेज जनरेशन: ImageNet (256×256) पर MaskGiT-आधारित मॉडल का उपयोग करते हुए, समानांतर सैंपलर ने क्रमिक $\tau$ -leaping बेसलाइन के समान फ्रैचे फ्रेट इंसेप्शन डिस्टेंस (FID) स्कोर प्राप्त किया, लेकिन इसमें 50% कम NFE लगा। सिंगल RTX 4090 GPU पर, यह 1.86× वॉल-क्लॉक स्पीडअप में परिवर्तित हुआ।
टेक्स्ट जनरेशन: OpenWebText (GPT-2 स्केल) पर RADD-आधारित मॉडल का उपयोग करते हुए, समानांतर विधि ने फिक्स्ड NFE पर बेहतर परप्लेक्सिटी (perplexity) प्राप्त की और आधे NFE के साथ क्रमिक सॉल्वर की परप्लेक्सिटी के बराबर प्रदर्शन किया। सिंगल H100 GPU पर, इसके परिणामस्वरूप 1.45× की स्पीडअप मिली।

महत्व और दावे

यह शोध दावा करता है कि यह कार्य कुशल समानांतर अनुमान (efficient parallel inference) के लिए डिस्क्रीट डिफिफ्यूजन मॉडल्स की क्षमता का विस्तार करता है। एब्जॉर्बिंग डिफ्यूजन के विशिष्ट संरचनात्मक गुणों (विशेष रूप से अनमास्किंग की फर्स्ट-हिटिंग प्रकृति) का लाभ उठाकर, लेखक प्रदर्शित करते हैं कि समय क्षितिज (time horizon) के साथ समानांतर गणना की अनुमति देने के लिए क्रमिक निर्भरताओं को तोड़ा जा सकता है।

लेखक इसे कोऑर्डिनेट-लेवल समानांतरता (प्रति स्टेप कई टोकन को अनमास्क करना) से समय-स्तर की समानांतरता (time-level parallelism) (एक साथ कई टाइम स्टेप्स को हल करना) की ओर एक मौलिक बदलाव के रूप में देखते हैं। वे नोट करते हैं कि हालांकि वर्तमान सिंगल-GPU स्पीडअप मेमोरी ट्रैफिक द्वारा सीमित हैं, लेकिन पॉलीलॉगारिदमिक जटिलता (polylogarithmic complexity) और भी अधिक मल्टी-GPU स्केलिंग की संभावना का सुझाव देती है। यह कार्य डिस्क्रीट जनरेटिव मॉडल्स को तेज करने के लिए एक सैद्धांतिक आधार प्रदान करता है, जिसके अनुप्रयोगों के लिए तीव्र सैंपलिंग की आवश्यकता होती है, जैसे कि आणविक संरचना जनरेशन और बड़े पैमाने पर लैंग्वेज मॉडलिंग।

लेखक भविष्य के कार्य के प्रति विनम्र बने हुए हैं, यह स्वीकार करते हुए कि उनका वर्तमान विश्लेषण टोटल वेरिएशन (TV) एरर पर केंद्रित है और भविष्य के शोध में और अधिक स्केलेबिलिटी बढ़ाने के लिए शार्पर KL-लेवल विश्लेषण और अधिक मेमोरी-कुशल वेरिएंट (जैसे, स्लाइडिंग-विंडो अपडेट) पर ध्यान केंद्रित करना चाहिए।