xPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding
यह शोध पत्र xPress का प्रस्ताव करता है, जो एक हल्का (lightweight) कॉज़ल रिफाइनर है जो पैरेलल रिफाइनमेंट के माध्यम से ब्लॉक-डिफ्यूजन ड्राफ्टर्स में लुप्त डिपेंडेंसीज को पुनर्स्थापित करता है, जिससे dFlash जैसे मौजूदा तरीकों की तुलना में स्पेक्युलेटिव डिकोडिंग में एक्सेप्टेंस लेंथ और एंड-टू-एंड थ्रूपुट में महत्वपूर्ण वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
तेज़ बोलने की दौड़: AI को एक बेहतर ड्राफ्टिंग सिस्टम की आवश्यकता क्यों है
कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपके पास एक सख्त नियम है: आप एक बार में केवल एक ही शब्द लिख सकते हैं, और आपको अगला शब्द लिखने से पहले एक बहुत ही बुद्धिमान संपादक (editor) द्वारा अपने शब्द की जाँच कराने के लिए प्रतीक्षा करनी होगी। आज अधिकांश शक्तिशाली AI भाषा मॉडल इसी तरह काम करते हैं। वे अविश्वसनीय रूप से सटीक हैं, लेकिन वे बहुत धीमे भी हैं क्योंकि उन्हें हर एक शब्द की एक-एक करके जाँच करनी पड़ती है। इसे तेज़ करने के लिए, वैज्ञानिकों ने "स्पेक्युलेटिव डिकोडिंग" (speculative decoding) नामक एक तरकीब ईजाद की। इसे एक तेज़, थोड़े कम सावधान सहायक की तरह समझें जो आपके लिए अगले कुछ शब्दों का अनुमान लगाता है। यदि बुद्धिमान संपादक सहायक के अनुमानों से सहमत होता है, तो आप उन सभी शब्दों को एक साथ लिख पाते हैं, जिससे प्रतीक्षा का समय बच जाता है।
समस्या यह है कि सहायक आमतौर पर बहुत अधिक उतावला होता है। वह ऐसे शब्दों का अनुमान लगाता है जो अपने आप में तो अच्छे लगते हैं लेकिन वाक्य में आपस में ठीक से फिट नहीं बैठते, जैसे कि एक शेफ जो स्वादिष्ट सामग्रियां तो चुनता है लेकिन यह भूल जाता है कि क्या वे एक साथ स्वाद में अच्छी लगेंगी। हाल ही में, "डिफ्यूजन ड्राफ्टर" (diffusion drafter) नामक एक नए प्रकार के सहायक का निर्माण किया गया। एक-एक करके शब्द का अनुमान लगाने के बजाय, यह शब्दों के एक पूरे ब्लॉक का एक साथ अनुमान लगाने की कोशिश करता है, जैसे कि मेज पर पहेली के टुकड़ों की एक मुट्ठी एक साथ फेंक देना। यह बहुत तेज़ है, लेकिन क्योंकि यह सबको एक साथ फेंकता है, इसलिए टुकड़े अक्सर सही ढंग से नहीं जुड़ पाते। बुद्धिमान संपादक को उनमें से अधिकांश को अस्वीकार करना पड़ता है, जिससे प्रक्रिया फिर से धीमी हो जाती है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम "एक साथ अनुमान लगाने वाले" की गति को बरकरार रख सकते हैं और गलतियों को सुधार सकते हैं ताकि संपादक वास्तव में उन शब्दों को स्वीकार कर सके?
xPress से परिचय: "पैरेलल रिफ़ाइनर" जो पहेली को सुलझाता है
यह पेपर xPress नामक एक चतुर समाधान पेश करता है। Qwen3-8B जैसे मॉडलों के साथ काम करते हुए, लेखकों ने महसूस किया कि जबकि तेज़ "डिफ्यूजन ड्राफ्टर" शब्दों के एक ब्लॉक का अनुमान लगाने में माहिर है, वह एक महत्वपूर्ण नियम को भूल जाता है कि शब्द एक-दूसरे पर निर्भर होते हैं (causality)। उदाहरण के लिए, यदि पहला शब्द "she" है, तो अगला शब्द "are" नहीं होना चाहिए, भले ही "are" अपने आप में एक सामान्य शब्द हो। डिफ्यूजन ड्राफ्टर यह नहीं जानता क्योंकि वह सब कुछ एक साथ अनुमानित करता है।
इसे ठीक करने के लिए, xPress एक हल्का (lightweight) कॉज़ल रिफ़ाइनर (causal refiner) के रूप में कार्य करता है। कल्पना कीजिए कि डिफ्यूजन ड्राफ्टर मेज पर पहेली के टुकड़ों की एक मुट्ठी फेंकता है। xPress एक त्वरित, स्मार्ट हाथ है जो पूरे ढेर को एक साथ देखता है और टुकड़ों को एक-एक करके अलग किए बिना उन्हें सही क्रम में व्यवस्थित करता है। यह जैकोबी डिकोडिंग (Jacobi decoding) नामक एक तकनीक का उपयोग करके ऐसा करता है। पहेली को एक-एक टुकड़े के हिसाब से ठीक करने के बजाय (जो धीमा है), xPress पूरी तस्वीर को देखता है, हर टुकड़े में एक त्वरित समायोजन करता है, और फिर से देखता है। यह "देखने और सुधारने" (look-and-nudge) के चक्र को कुछ ही बार दोहराता है (आमतौर पर लगभग 4 से 6 बार) जब तक कि टुकड़े पूरी तरह से फिट न हो जाएं।
परिणाम प्रभावशाली हैं। xPress का उपयोग करके, सिस्टम मूल तेज़ ड्राफ्टर की तुलना में औसतन लगभग 30% अधिक अनुमानित शब्दों को स्वीकार कर सकता है। कुछ विशिष्ट परीक्षणों में, जैसे गणित के सवालों को हल करना, गति में 56% तक की वृद्धि देखी गई। AI के बोलने की कुल गति को मापने पर, xPress ने मूल पद्धति की तुलना में औसतन 1.3 गुना तेज़ और सर्वोत्तम मामलों में 1.7 गुना तेज़ काम किया।
यह पेपर स्पष्ट रूप से दो अन्य तरीकों के विरुद्ध तर्क देता है जिन्हें लोगों ने इस समस्या को ठीक करने के लिए आज़माया है। एक तरीका जिसमें अनुमानों का एक विशाल "पेड़" (tree) बनाया जाता है, जो जटिल और चलाने में महंगा है। दूसरा तरीका एक "मार्कोव हेड" (Markov head) का उपयोग करता है जो शब्दों को एक सख्त रेखा में एक-एक करके ठीक करता है, जो सटीक तो है लेकिन सब कुछ एक साथ अनुमान लगाने के लाभ को खो देता है क्योंकि यह धीमा है। लेखक दिखाते हैं कि xPress दोनों को मात देता है: यह धीमे, चरण-दर-चरण सुधारक से तेज़ है और जटिल पेड़ पद्धति की तुलना में सरल है।
अध्ययन पुष्टि करता है कि xPress तेज़ प्रणाली में "कॉज़ल इंफॉर्मेशन" (वह नियम कि शब्द पिछले शब्दों पर निर्भर होते हैं) को वापस इंजेक्ट करके काम करता है बिना उसे धीमा किए। उन्होंने गणित, कोडिंग और चैट बेंचमार्क पर इसका परीक्षण किया, और पाया कि xPress ने लगातार प्रतिस्पर्धा को पीछे छोड़ा। पेपर सुझाव देता है कि यह दृष्टिकोण एक ठोस, सुधारात्मक प्रगति है जो AI को तेज़ और सटीक दोनों होने की अनुमति देता है, यह साबित करते हुए कि यदि आपके पास सुधारने का सही तरीका है, तो आपको गति के लिए गुणवत्ता का त्याग करने की आवश्यकता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।