💬 NLP

Accelerating Diffusion Large Language Models with SlowFast Sampling: The Three Golden Principles

यह शोध पत्र स्लोफास्ट सैंपलिंग (SlowFast Sampling) प्रस्तुत करता है, जो तीन स्वर्णिम सिद्धांतों द्वारा निर्देशित एक गतिशील रणनीति है जो डिफ्यूजन-आधारित भाषा मॉडलों को महत्वपूर्ण रूप से त्वरित करने के लिए एक्सप्लोरेटरी (exploratory) और एक्सीलरेटेड (accelerated) डिकोडिंग के बीच अनुकूल रूप से बारी-बारी से कार्य करती है, जिससे न्यूनतम सटीकता हानि के साथ 34.22 $\times$ तक की गति वृद्धि प्राप्त होती है और थ्रूपुट में ऑटोरेग्रेसिव बेसलाइनों से बेहतर प्रदर्शन होता है।

मूल लेखक: Qingyan Wei, Yaojie Zhang, Zhiyuan Liu, Puyu Zeng, Yuxuan Wang, Biqing Qi, Dongrui Liu, Linfeng Zhang

प्रकाशित 2026-04-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qingyan Wei, Yaojie Zhang, Zhiyuan Liu, Puyu Zeng, Yuxuan Wang, Biqing Qi, Dongrui Liu, Linfeng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी, जटिल कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपके पास एक जादुई सहायक है जो पूरी कहानी को एक साथ देख सकता है, बजाय इसके कि वह एक इंसान की तरह शब्द-दर-शब्द लिखे। डिफ्यूजन लार्ज लैंग्वेज मॉडल्स (dLLMs) बिल्कुल यही करते हैं। एक-एक करके शब्द लिखने (जो कि धीमा है) के बजाय, वे "मास्क" (मिटाने वाले) से भरे एक खाली पन्ने को देखते हैं और पूरे कहानी को एक साथ भरने की कोशिश करते हैं, और इसे तब तक चरण-दर-चरण परिष्कृत (refine) करते हैं जब तक कि यह समझ में आने योग्य न हो जाए।

हालाँकि, इसमें एक पेच है। क्योंकि सहायक पूरी कहानी का एक साथ अनुमान लगाने की कोशिश कर रहा है, वह अक्सर भ्रमित हो जाता है। ऐसा हो सकता है कि वह पहले शब्द के बारे में आत्मविश्वास से अनुमान लगाए, लेकिन फिर अंत तक पहुँचने से पहले वह आखिरी शब्द को पाँच बार बदल दे। यह "मन बदलने" की प्रक्रिया बहुत समय लेती है, जिससे मॉडल हमारी अपेक्षा से अधिक धीमा हो जाता है।

मौजूदा तरीके इसे तेज करने के प्रयास एक कठोर रोबोट की तरह हैं: वे या तो बहुत जल्दी बहुत सारे शब्दों का अनुमान लगा लेते हैं (जिससे गलतियाँ होती हैं) या बहुत कम (जिससे समय बर्बाद होता है)। वे इस बात पर ध्यान नहीं देते कि कहानी वास्तव में कैसे आगे बढ़ रही है।

समाधान: स्लोफास्ट सैंपलिंग (SlowFast Sampling)

इस शोध पत्र के लेखक इस जादुगत सहायक से बात करने का एक नया तरीका प्रस्तावित करते हैं जिसे स्लोफास्ट सैंपलिंग कहा जाता है। इसे एक स्मार्ट संपादक के रूप में सोचें जो जानता है कि कब धीमा होना है और कब तेज होना है।

उन्होंने तीन स्वर्णि स्वर्णि नियम (Three Golden Principles) खोजे हैं जो यह नियंत्रित करते हैं कि मॉडल कैसे सोचता है:

निश्चितता का सिद्धांत (The Certainty Principle - "मुझे यह पता है!" वाला नियम):
कभी-कभी, मॉडल किसी शब्द के बारे में 100% निश्चित होता है। यह वैसा ही है जैसे जब आप एक वाक्य लिख रहे हों और आप जानते हों कि विषय "The cat" है। आपको इसकी दोबारा जांच करने की आवश्यकता नहीं है। शोध पत्र कहता है: यदि मॉडल आश्वस्त है, तो उस शब्द को तुरंत लॉक कर दें और उसे दोबारा जांचने में समय बर्बाद करना बंद करें।
अभिसरण का सिद्धांत (The Convergence Principle - "स्थिर होने" वाला नियम):
शुरुआत में, मॉडल के अनुमान बेतहाशा इधर-उधर भटकते हैं। लेकिन जैसे-जैसे यह प्रक्रिया के अंत के करीब आता है, अनुमान बदलना बंद हो जाते हैं। वे एक स्थिर उत्तर की ओर "अभिसरित" (converge) होते हैं। यह एक घूमते हुए लट्टू की तरह है जो अंततः डगमगाना बंद कर देता है और सीधा खड़ा हो जाता है। एक बार जब लट्टू डगमगाना बंद कर देता है, तो आपको उसे देखने की आवश्यकता नहीं है; आप जानते हैं कि वह समाप्त हो गया है।
स्थानिक सिद्धांत (The Positional Principle - "पड़ोस" वाला नियम):
मॉडल केवल हर जगह बिखरे हुए यादृच्छिक (random) शब्दों के बारे में आश्वस्त नहीं होता है। वह शब्दों के समूहों (chunks) के बारे में आश्वस्त होता है। यदि वह "The cat" के बारे में एक वाक्य को समझ लेता है, तो वह संभवतः अगले कुछ शब्दों को भी उसी समय समझ लेता है जो "sat on the mat" के बारे में होंगे। यह अलग-थलग द्वीपों के बजाय पड़ोस (neighborhoods) के रूप में काम करता है।

स्लोफास्ट सैंपलिंग कैसे काम करता है

इन नियमों के आधार पर, यह विधि एक दो-चरणीय नृत्य का उपयोग करती है:

चरण 1: धीमी चाल (खोज - Exploration)
मॉडल धीरे-धीरे और सावधानी से चलता है। यह टेक्स्ट को देखता है, उन छोटे "पड़ोसों" को ढूंढता है जहाँ मॉडल आश्वस्त महसूस करने लगा है, और जाँचता है कि क्या वे भावनाएँ स्थिर हैं। यह एक स्काउट (scout) की तरह है जो सुरक्षित रास्ता खोजने के लिए आगे चलता है। यह जल्दबाजी नहीं करता; यह बस एक ऐसी जगह ढूंढना चाहता है जहाँ मॉडल कहता है, "मैं इस हिस्से के बारे में आश्वस्त हूँ।"
चरण 2: तेज़ दौड़ (त्वरण - Acceleration)
एक बार जब स्काउट को एक स्थिर, आश्वस्त पड़ोस मिल जाता है, तो मॉडल "टर्बो मोड" पर स्विच कर देता है। यह टेक्स्ट के उस पूरे हिस्से को पकड़ता है और उसे एक साथ लॉक कर देता है। यह उन हिस्सों को छोड़ देता है जो अभी भी भ्रमित करने वाले हैं (उन्हें बाद के लिए छोड़ देता है) और अपनी ऊर्जा केवल उन्हीं हिस्सों पर केंद्रित करता है जो तैयार हैं।

"कैशिंग" (Caching) का जादू

शोध पत्र यह भी उल्लेख करता है कि इसे एक "कैश" (मेमोरी बैंक) के साथ कैसे जोड़ा जाए। कल्पना करें कि जब मॉडल "सुरक्षित" हिस्सों पर तेज़ी से चल रहा होता है, तो वह "असुरक्षित" हिस्सों के लिए किए गए अनुमानों को भी याद रखता है। यदि वे असुरक्षित हिस्से बाद में सुरक्षित हो जाते हैं, तो मॉडल को उन्हें शून्य से फिर से गणना करने की आवश्यकता नहीं होती; वह बस उत्तर को अपनी मेमोरी से निकाल लेता है। यह किराने की सूची को याद रखने जैसा है ताकि आपको हर बार स्टोर जाने पर उसे फिर से न लिखना पड़े।

परिणाम: यह क्यों मायने रखता है

लेखकों ने कुछ बहुत कठिन गणित और विज्ञान के प्रश्नों (जैसे GPQA बेंचमार्क) पर इसका परीक्षण किया।

इस विधि के बिना: मॉडल धीमा था, जो लगभग 1.6 शब्द प्रति सेकंड उत्पन्न कर रहा था।
स्लोफास्ट सैंपलिंग के साथ: यह 15 गुना तेज़ हो गया।
स्लोफास्ट + मेमोरी कैश के साथ: यह 34 गुना तेज़ हो गया।

इससे भी अधिक प्रभावशाली बात यह है कि इस नई विधि ने प्रसिद्ध LLaMA 3 (एक मानक, शब्द-दर-शब्द AI) की तुलना में डिफ्यूजन मॉडल को तेज़ बना दिया, जबकि इसकी सटीकता उतनी ही बनी रही।

बड़ी तस्वीर

पारंपरिक AI को एक पत्र को एक-एक कुंजी दबाकर टाइप करने वाले व्यक्ति के रूप में सोचें। यह विश्वसनीय है लेकिन धीमा है।
इस नए डिफ्यूजन AI को एक चित्रकार के रूप में सोचें जो एक साथ पूरे कैनवास को पेंट करने की कोशिश करता है। यह शक्तिशाली है लेकिन अव्यवस्थित है।
स्लोफास्ट सैंपलिंग कलाकार की नई तकनीक है: वे रूपरेखा (outlines) बनाने के लिए धीरे-धीरे स्केच बनाते हैं (Slow) ताकि रचना सही रहे, और फिर रंगों को तेजी से भरते हैं (Fast) जब उन्हें आकार ठोस पता चल जाता है।

यह शोध पत्र सिद्ध करता है कि यह समझकर कि AI कैसे सोचता है (उसका आत्मविश्वास, उसकी स्थिरता और उसके पैटर्न), हम इसे उसकी बुद्धिमत्ता खोए बिना बहुत अधिक तेज़ बना सकते हैं।

यहाँ शोध पत्र "Accelerating Diffusion Large Language Models with SlowFast Sampling: The Three Golden Principles" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन-आधारित लार्ज लैंग्वेज मॉडल्स (dLLMs) पारंपरिक ऑटोरेग्रेसिव (AR) मॉडल्स के एक आशाजनक विकल्प के रूप में उभर रहे हैं, क्योंकि ये समानांतर टोकन जनरेशन (parallel token generation) को सक्षम करते हैं, जो सैद्धांतिक रूप से इन्फरेंस लेटेंसी (inference latency) को कम करता है। हालाँकि, dLLMs के लिए मौजूदा सैंपलिंग रणनीतियाँ महत्वपूर्ण सीमाओं से ग्रस्त हैं:

स्थिर व्यवहार (Static Behavior): वर्तमान विधियाँ (जैसे Fast-dLLM की कॉन्फिडेंस-आधारित चयन या सेमी-ऑटोरेग्रेसिव डिकोडिंग) पूरी जनरेशन प्रक्रिया के दौरान निश्चित नियमों या ब्लॉक आकारों का उपयोग करती हैं।
उप-इष्टतम दक्षता (Suboptimal Efficiency): ये स्थिर दृष्टिकोण अक्सर डिफ्यूजन प्रक्रिया की गतिशील प्रकृति के अनुकूल होने में विफल रहते हैं, जिससे या तो अत्यधिक अनावश्यक गणना (स्थिर टोकनों का पुनर्मूल्यांकन) होती है या आक्रामक समानांतर डिकोडिंग का प्रयास करने पर सटीकता में भारी गिरावट आती है।
लेटेंसी बाधा (Latency Bottleneck): पुनरावृत्त डिनोइजिंग (iterative denoising) प्रक्रिया कम्प्यूटेशनल रूप से महंगी बनी रहती है, जो dLLMs को LLaMA3 जैसे अत्याधुनिक AR मॉडल्स की थ्रूपुट (throughput) के बराबर पहुँचने से रोकती है।

मुख्य चुनौती एक डायनेमिक सैंपलिंग रणनीति डिजाइन करने की है जो बुद्धिमानी से यह तय करे कि प्रत्येक चरण में कितने टोकन सैंपल करने हैं और उन्हें कहाँ सैंपल करना है, जिससे गति और गुणवत्ता के बीच संतुलन बना रहे।

2. कार्यप्रणाली: स्लोफास्ट सैंपलिंग (Methodology: SlowFast Sampling)

लेखक स्लोफास्ट सैंपलिंग (SlowFast Sampling) का प्रस्ताव करते हैं, जो तीन अनुभवजन्य रूप से व्युत्पन्न "स्वर्ण सिद्धांतों" (Golden Principles) द्वारा निर्देशित एक नवीन दो-चरणीय डायनेमिक डिकोडिंग रणनीति है। यह विधि एक एक्सप्लोरेटरी स्टेज (Slow) और एक एक्सेलेरेटेड डिकोडिंग स्टेज (Fast) के बीच बारी-बारी से चलती है।

तीन स्वर्ण सिद्धांत (The Three Golden Principles)

यह रणनीति डिफ्यूजन प्रक्रिया के दौरान टोकन व्यवहार के संबंध में तीन अवलोकनों पर आधारित है:

निश्चितता का सिद्धांत (Certainty Principle): उच्च आत्मविश्वास (high confidence) के साथ अनुमानित टोकन सही होने की अधिक संभावना रखते हैं और उन्हें बाद में कम समायोजन की आवश्यकता होती है। उच्च-विश्वास वाले टोकनों को जल्दी ही "लॉक इन" किया जा सकता है।
अभिसरण का सिद्धांत (Convergence Principle): जैसे-जैसे डिफ्यूजन प्रक्रिया आगे बढ़ती है, कई टोकनों के कॉन्फिडेंस स्कोर एक स्थिर मान पर स्थिर (converge) हो जाते हैं। एक बार जब किसी टोकन की पहचान और उसका कॉन्फिडेंस एक छोटे विंडो के भीतर स्थिर हो जाता है, तो उसके बदलने की संभावना कम होती है।
स्थानिक सिद्धांत (Positional Principle): उच्च-विश्वास और अभिसरण वाले टोकन यादृच्छिक रूप से नहीं आते; वे निरंतर ब्लॉक्स या स्थानीयकृत क्षेत्रों में उभरते हैं। यह विशिष्ट स्पैन (spans) में लक्षित डिकोडिंग और कैश पुन: उपयोग (cache reuse) की अनुमति देता है।

दो-चरणीय पाइपलाइन (The Two-Stage Pipeline)

एक्सप्लोरेटरी स्टेज (Slow Phase):
- लक्ष्य: तीव्र प्रसंस्करण के लिए एक स्थिर क्षेत्र की पहचान करने हेतु सावधानीपूर्वक डिकोडिंग को आगे बढ़ाना।
- तंत्र: मॉडल रूढ़िवादी डिकोडिंग करता है, जो वर्तमान विंडो के भीतर केवल शीर्ष- $k$ उच्च-विश्वास वाले टोकनों का चयन करता है।
- स्थिरता जाँच (Stability Check): मॉडल "अभिसरण के अंत बिंदु" (convergence end point - वह सबसे दूर का टोकन जिसका कॉन्फिडेंस एक थ्रेशोल्ड से ऊपर है) को ट्रैक करता है। यह एक स्लाइडिंग विंडो के ऊपर इन एंड पॉइंट्स के वेरिएंस (variance) की गणना करता है।
- परिवर्तन (Transition): एक बार जब कन्वर्जेंस होराइजन का वेरिएंस एक स्थिर थ्रेशोल्ड ( $\sigma^2_{stable}$ ) से नीचे गिर जाता है, तो सिस्टम एक स्थिर स्पैन $[s_{cycle}, e_{cycle}]$ की पहचान करता है और फास्ट फेज में चला जाता है।
एक्सेलेरेटेड डिकोडिंग स्टेज (Fast Phase):
- लक्ष्य: पहचाने गए स्थिर स्पैन को समानांतर में तेजी से डिनोइज़ करना।
- इन-स्पैन पैरेलल डिकोडिंग (In-Span Parallel Decoding): स्थिर स्पैन के भीतर, सभी टोकन जिनका कॉन्फिडेंस एक उच्च थ्रेशोल्ड ( $\tau_{high\_conf}$ ) से अधिक है, उन्हें एक ही चरण में एक साथ अनमास्क (unmask) कर दिया जाता है।
- आउट-ऑफ-स्पैन कैशिंग (Out-of-Span Caching): स्थिर स्पैन के बाहर के टोकनों के लिए, मॉडल भविष्यवाणियाँ करता है लेकिन उन्हें कैश कर लेता है। इन कैश किए गए मानों का उपयोग अगले चरणों में तब किया जाता है जब टोकन सक्रिय डिकोडिंग स्पैन से बाहर रहता है, जिससे अनावश्यक गणना कम हो जाती है।
- फ़ालबैक (Fallback): यदि अपर्याप्त टोकन उच्च-विश्वास थ्रेशोल्ड को पूरा करते हैं, तो प्रगति सुनिश्चित करने के लिए सिस्टम एक रूढ़िवादी टॉप- $k$ अपडेट पर वापस आ जाता है।

dLLM-Cache के साथ एकीकरण

यह विधि dLLM-Cache के साथ संगत है, जो एक फीचर कैशिंग तंत्र है। स्थिर क्षेत्रों की पहचान करके, स्लोफास्ट सैंपलिंग कैश किए गए फीचर्स की उपयोगिता को अधिकतम करती है, जिससे अनावश्यक गणना और भी कम हो जाती है।

3. मुख्य योगदान (Key Contributions)

तीन स्वर्ण सिद्धांत: शोध पत्र निश्चितता (Certainty), अभिसरण (Convergence), और स्थानिक (Positional) सिद्धांतों को औपचारिक रूप से परिभाषित करता है, जो dLLMs में टोकन डायनेमिक्स को समझने के लिए एक सैद्धांतिक और अनुभवजन्य आधार प्रदान करते हैं।
स्लोफास्ट सैंपलिंग एल्गोरिदम: एक नवीन, अनुकूलन योग्य दो-चरणीय सैंपलिंग रणनीति जो वास्तविक समय की टोकन स्थिरता के आधार पर सावधानीपूर्वक अन्वेषण (exploration) और आक्रामक समानांतर डिकोडिंग के बीच गतिशील रूप से स्विच करती है।
अत्याधुनिक प्रदर्शन (State-of-the-Art Performance): यह प्रदर्शित करता है कि जब dLLMs को इस सैंपलिंग रणनीति के साथ अनुकूलित किया जाता है, तो वे तुलनात्मक सटीकता बनाए रखते हुए पारंपरिक ऑटोरेग्रेसिव मॉडल्स के थ्रूपुट को भी पार कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग LLaDA 8B और Dream 7B पर कई बेंचमार्क (GSM8K, GPQA, MMLU, BBH, HumanEval, आदि) पर किए गए।

GPQA पर स्पीडअप:
- केवल स्लोफास्ट सैंपलिंग: LLaDA 8B पर 15.63× की गति वृद्धि प्राप्त की (3.31 से 16.36 TPS), जिसमें न्यूनतम सटीकता गिरावट (31.47% $\to$ 31.91%) देखी गई।
- स्लोफास्ट + dLLM-Cache: 34.22× की स्पीडअप (54.75 TPS) प्राप्त किया, जिसकी सटीकता 28.79% रही।
ऑटोरेग्रेसिव मॉडल्स के साथ तुलना:
- GPQA बेंचमार्क पर, अनुकूलित LLaDA (स्लोफास्ट + कैश) ने 54.75 TPS प्राप्त किया, जो तुलनात्मक सटीकता (28.79% बनाम 31.92%) बनाए रखते हुए LLaMA3 8B (33.79 TPS) से काफी बेहतर प्रदर्शन करता है।
सामान्य बेंचमार्क:
- गणित, विज्ञान और कोडिंग कार्यों में निरंतर सुधार देखे गए। उदाहरण के लिए, GSM8K पर, कैश के साथ स्लोफास्ट ने 5.93× की स्पीडअप हासिल की, और BBH पर, 10.13× की स्पीडअप।
एब्लेशन स्टडीज (Ablation Studies):
- हाइपरपैरामीटर विश्लेषण ने पुष्टि की कि अधिकतम 8 एक्सप्लोरेटरी स्टेप्स ( $K_{max}$ ), एक स्लाइडिंग विंडो 2 ( $W_{hist}$ ), और एक वेरिएंस थ्रेशोल्ड 1.0, इष्टतम स्पीड-क्वालिटी ट्रेड-ऑफ प्रदान करते हैं।

5. महत्व (Significance)

यह कार्य डिफ्यूजन-आधारित LLMs के व्यावहारिक परिनियोजन (deployment) की दिशा में एक महत्वपूर्ण कदम है।

अंतर को पाटना: यह दर्शाता है कि dLLMs न केवल सैद्धांतिक रूप से समानांतर हैं, बल्कि बुद्धिमान सैंपलिंग के माध्यम से उन्हें प्रमुख ऑटोरेग्रेसिव प्रतिमान (paradigm) से अधिक व्यावहारिक रूप से तेज़ बनाया जा सकता है।
दक्षता बनाम गुणवत्ता: यह इस धारणा को चुनौती देता है कि समानांतर डिकोडिंग अनिवार्य रूप से सटीकता का त्याग करती है, यह दिखाते हुए कि डायनेमिक, सिद्धांत-निर्देशित सैंपलिंग उच्च गुणवत्ता बनाए रख सकती है।
स्केलेबिलिटी: डायनेमिक सैंपलिंग और कैशिंग का संयोजन बड़े जेनेरेटिव मॉडल्स की इन्फरेंस लेटेंसी को कम करने के लिए एक स्केलेबल मार्ग प्रदान करता है, जिससे वे वास्तविक समय के अनुप्रयोगों के लिए व्यवहार्य बनते हैं।

संक्षेप में, स्लोफास्ट सैंपलिंग एक-आकार-सभी-के-लिए (one-size-fits-all) वाली स्थिर डिकोडिंग से हटकर एक डायनेमिक, अनुकूलन योग्य दृष्टिकोण का उपयोग करके dLLMs की पूर्ण क्षमता को अनलॉक करती है, जो टोकन जनरेशन के अंतर्निहित स्थिरता और स्थानिक पैटर्न का लाभ उठाती है।