FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration
फ्लेक्सड्राफ्ट (FlexDraft) एक लॉसलेस स्पेक्युलेटिव डिकोडिंग फ्रेमवर्क है जो उच्च-गुणवत्ता वाले ब्लॉक डिफ्यूजन ड्राफ्टिंग के लिए अटेंशन ट्यूनिंग, ड्राफ्ट वेरिफिकेशन मिसमैच को हल करने के लिए बोनस-गाइडेड कैलिब्रेशन, और पैरेलल एवं सीक्वेंशियल निष्पादन मोड के बीच अनुकूलन करने वाले एक डायनेमिक स्विचिंग मैकेनिज्म को जोड़कर विभिन्न बैच आकारों में एलएलएम (LLM) इन्फरेंस को तेज़ करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लंबी कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपका एक बहुत ही सख्त संपादक (टारगेट मॉडल) है जो अविश्वसनीय रूप से बुद्धिमान है लेकिन बहुत धीरे काम करता है क्योंकि उसे अगला शब्द लिखने से पहले हर एक शब्द की जांच करनी पड़ती है। इससे कहानी लिखने में बहुत समय लगता है।
काम को तेज करने के लिए, आप एक तेज़ और ऊर्जावान सहायक (ड्राफ्टर) को काम पर रखते हैं जो आपके लिए अगले कुछ शब्दों का अनुमान लगा सके। सहायक समय से पहले पूरा पैराग्राफ लिख देता है, और फिर धीमा संपादक जल्दी से जांचता है कि उसके अनुमान सही थे या नहीं। यदि वे सही हैं, तो आप उन शब्दों के लिए संपादक के सोचने के धीमे समय को छोड़ सकते हैं। इसे स्पेक्टेटिव डिकोडिंग (Speculative Decoding) कहा जाता है।
हालाँकि, पुराने तरीके में दो बड़ी समस्याएँ थीं:
- इंतज़ार का खेल: सहायक एक अनुमान लिखता था, और फिर अगले अनुमान को लिखने के लिए संपादक के जांच करने के इंतजार में रुक जाता था। वे बारी-बारी से काम कर रहे थे, जिससे समय बर्बाद हो रहा था।
- "क्या होगा अगर" वाली उलझन: नए और तेज़ तरीकों में, सहायक एक साथ कई अलग-अलग भविष्य के पैराग्राफ लिखने की कोशिश करता है, इस उम्मीद में कि वे सभी संभावनाओं को कवर कर लेंगे। लेकिन सहायक को यह नहीं पता होता कि संपादक वास्तव में किस पैराग्राफ को मंजूरी देगा। इससे सहायक उन पैराग्राफों को लिखने में अपनी ऊर्जा बर्बाद करता है जिन्हें फेंक दिया जाता है, और संपादक को बहुत सारे विकल्पों की जांच करनी पड़ती है, जिससे जब आप एक साथ कई कहानियाँ लिख रहे हों (बड़े बैच साइज), तो सब कुछ धीमा हो जाता है।
एंट्री: FlexDraft: स्मार्ट, लचीला सहायक
यह पेपर पेश करता है FlexDraft को, एक नया सिस्टम जो इन समस्याओं को ठीक करता है ताकि आप गुणवत्ता खोए बिना तेज़ी से लिख सकें। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:
1. "विशेष चश्मे" (अटेंशन ट्यूनिंग)
आमतौर पर, सहायक को बेहतर अनुमान लगाने के लिए, आपको उनके पूरे मस्तिष्क को फिर से प्रशिक्षित करना पड़ता है, जो महंगा और जोखिम भरा है (इससे वे ठीक से बोलना भूल सकते हैं)।
FlexDraft अलग है। यह सहायक की आँखों पर सोचने के बिल्कुल अंतिम कुछ चरणों के लिए "विशेष चश्मे" लगा देता है।
- यह कैसे काम करता है: सहायक अपना सारा मूल ज्ञान (जमा हुआ मस्तिष्क) रखता है लेकिन इन नए चश्मों का उपयोग करके "खाली स्थानों" (मास्क टोकन) को देखने और उन्हें एक साथ भरने के लिए सीखता है।
- लाभ: सहायक एक तेज़, समानांतर अनुमान लगाने वाला बन जाता है जिसे पूरे मस्तिष्क के प्रत्यारोपण की आवश्यकता नहीं होती। यह संपादक की शैली के प्रति सच्चा रहता है, इसलिए अनुमान उच्च-गुणवत्ता वाले और सुरक्षित होते हैं।
2. "जादुई नोट" (बोनस-गाइडेड कैलिब्रेशन)
यहाँ पेचीदा हिस्सा है: जब संपादक सहायक के अनुमानों की जांच करता है, तो कभी-कभी संपादक कहता है, "नहीं, वह शब्द गलत है, लेकिन यहाँ वह सही शब्द है जिससे शुरुआत करनी चाहिए।" इस सही शब्द को बोनस टोकन कहा जाता है।
पुराने "तेज़" तरीकों में, सहायक को इस "जादुई नोट" को देखने से पहले ही अगला पैराग्राफ अनुमान लगाना पड़ता था। इसलिए, सहायक शायद एक समुद्री डाकू की कहानी का अनुमान लगा रहा था, जबकि संपादक एक शेफ की कहानी चाहता था। सहायक का अनुमान गलत था क्योंकि उसके पास वह नोट नहीं था।
FlexDraft एक जादुई नोट प्रणाली जोड़ता है:
- यह कैसे काम करता है: एक बार जब संपादक बोनस टोकन प्रकट कर देता है, तो FlexDraft तुरंत उस नए दिशा के अनुरूप सहायक के पिछले अनुमानों को समायोजित करने के लिए एक छोटे, तेज़ कैलकुलेटर का उपयोग करता है।
- लाभ: भले ही सहायक ने शुरू में अंधेरे में अनुमान लगाया हो, सिस्टम तुरंत उसके अनुमान को संपादक के सुधार के साथ संरेखित करने के लिए उसे "स्टीयर" (दिशा देना) करता है। इसका मतलब है कि कम अनुमान खारिज होते हैं।
3. "ट्रैफिक पुलिस" (फ्लेक्स डिकोडिंग)
पुराने "तेज़" तरीकों की सबसे बड़ी समस्या यह थी कि वे एक साथ हर संभावित भविष्य की कहानी लिखने की कोशिश करते थे। यदि आप केवल एक कहानी लिख रहे हैं (छोटा बैच), तो यह ठीक है। लेकिन यदि आप एक साथ 16 कहानियाँ लिख रहे हैं (बड़ा बैच), तो सहायक हर कहानी के लिए 16 अलग-अलग भविष्य लिखने की कोशिश में अभिभूत हो जाता है, और संपादक उन सभी की जांच करने में फंस जाता है।
FlexDraft एक स्मार्ट ट्रैफिक पुलिस की तरह कार्य करता है:
- कम ट्रैफिक (छोटा बैच): जब कम कहानियाँ होती हैं, तो पुलिस कहती है, "जाओ! एक ही समय में सभी संभावित भविष्य लिखो!" यह लिखने और जांचने के बीच के समय को ओवरलैप करता है ताकि समय बच सके।
- भारी ट्रैफिक (बड़ा बैच): जब बहुत सारी कहानियाँ होती हैं, तो पुलिस कहती, "रुको! सभी संभावनाओं को मत लिखो। केवल वही लिखो जिसके स्वीकृत होने की सबसे अधिक संभावना है।"
- लाभ: यह स्वचालित रूप से रणनीतियों को बदल देता है। यह उन संभावनाओं को लिखने की "बर्बाद ऊर्जा" से बचता है जो सिस्टम व्यस्त होने पर लिखी जाती हैं, जिससे गति कम होने से बच जाती है।
परिणाम
इन तीन तरीकों को मिलाकर, FlexDraft संपादक को बहुत तेज़ी से टेक्स्ट प्रोसेस करने की अनुमति देता है।
- कोई गुणवत्ता हानि नहीं: अंतिम कहानी बिल्कुल वैसी ही होती है जैसे धीमी गति से शब्द-दर-शब्द लिखने पर होती।
- भारी गति वृद्धि: एक लोकप्रिय AI मॉडल (Qwen3-8B) के परीक्षणों में, FlexDraft ने मानक धीमी विधि की तुलना में सिस्टम को 4.59 गुना तेज़ बना दिया।
- स्केलेबिलिटी: यह एक कहानी लिखने से लेकर कहानियों की भीड़ को संभालने तक, हर स्थिति में अच्छी तरह काम करता है, जबकि पिछले तरीके भीड़ बढ़ने पर धीमे और बोझिल हो जाते थे।
संक्षेप में, FlexDraft एक लचीला, लॉसलेस तरीका है जिससे एक तेज़ सहायक को धीमे संपादक की मदद करने दी जा सकती है, यह सुनिश्चित करते हुए कि वे समय बर्बाद किए बिना या गलतियाँ किए बिना सुचारू रूप से मिलकर काम करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।