🤖 machine learning

D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting

यह शोध पत्र D-PACE को प्रस्तुत करता है, जो एक डायनेमिक पोजीशन-अवेयर क्रॉस-एन्ट्रॉपी लॉस है जो मॉडल आर्किटेक्चर या इन्फरेंस प्रक्रियाओं को बदले बिना, समानांतर स्पेक्युलेटिव डिकोडिंग की दक्षता और स्पीडअप में सुधार करने के लिए अपेक्षित स्वीकृत ड्राफ्ट लंबाई के आधार पर प्रशिक्षण भार (ट्रेनिंग वेट्स) को अनुकूल रूप से समायोजित करता है।

मूल लेखक: Tianyu Wu, Yu Yao, Zhenting Qi, Han Zheng, Zhuohan Wang, Haoran Ma, Lawrence Liao, Himabindu Lakkaraju, Ju Li, Yilun Du

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyu Wu, Yu Yao, Zhenting Qi, Han Zheng, Zhuohan Wang, Haoran Ma, Lawrence Liao, Himabindu Lakkaraju, Ju Li, Yilun Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपका एक सख्त नियम है: आप एक बार में केवल एक ही शब्द लिख सकते हैं, और आपको अगला शब्द लिखने से पहले एक "बॉस" (एक बहुत ही बुद्धिमान, धीमा कंप्यूटर) के द्वारा प्रत्येक शब्द की जांच किए जाने का इंतज़ार करना होगा। अधिकांश AI मॉडल वर्तमान में इसी तरह काम करते हैं। यह सटीक है, लेकिन यह अविश्वसनीय रूप से धीमा है क्योंकि बॉस हमेशा आपको इंतज़ार करवाता रहता है।

शॉर्टकट: स्पेकुलेटिव डिकोडिंग (Speculative Decoding)
इस प्रक्रिया को तेज़ करने के लिए, शोधकर्ताओं ने एक "ड्राफ्टिंग" प्रणाली का आविष्कार किया। वे एक छोटे, तेज़ सहायक (ड्राफ्टर) का उपयोग करते हैं जो एक ब्लॉक (मान लीजिए 16 शब्द) में अगले कुछ शब्दों का अनुमान लगाता है। फिर बड़ा बॉस एक बार में उन सभी 16 शब्दों की जांच करता है।

यदि सहायक पहला शब्द सही बताता है, तो बॉस उसे स्वीकार कर लेता है।
यदि सहायक दूसरा शब्द सही बताता है, तो बॉस उसे भी स्वीकार कर लेता है।
चुनौती: जिस क्षण सहायक कोई एक गलती करता है, बॉस तुरंत जांचना बंद कर देता है। उस गलती के बाद के सभी शब्द हटा दिए जाते हैं, भले ही सहायक ने 15वां शब्द बिल्कुल सही बताया हो।

पुराने तरीके की समस्या (DFlash)
यह शोध पत्र DFlash नामक एक विधि के बारे में चर्चा करता है, जो एक बहुत अच्छा सहायक है जो एक साथ 16 शब्दों का अनुमान लगाता है। हालाँकि, इस सहायक को प्रशिक्षित (train) करते समय, पुराने तरीके में गलतियों पर ध्यान देने के लिए एक निश्चित नियम (fixed rule) का उपयोग किया जाता था।

पुराना नियम: "हमें पहले शब्द की बहुत परवाह है, दूसरे शब्द की थोड़ी कम, तीसरे की और भी कम, और 16वें शब्द की लगभग बिल्कुल नहीं।"
यह क्यों विफल होता है: कल्पना करें कि सहायक पहले शब्द को लेकर बहुत कुशल हो गया है। अब, पहला शब्द शायद ही कभी गलती होता है। असली बाधा (जो पूरे ब्लॉक को स्वीकार करने से रोक रही है) अब 10वें या 12वें शब्द पर आ गई है। लेकिन पुराना नियम अभी भी 12वें शब्द को अनदेखा करता है क्योंकि वह क्रम में "देर" से है। सहायक पहले शब्द को परफेक्ट बनाने में अपनी ऊर्जा बर्बाद करता रहता है (जिसमें वह पहले से ही माहिर है), जबकि बाद के शब्दों की अनदेखी करता है जो वास्तव में विफलताओं का कारण बन रहे हैं।

समाधान: D-PACE (एक स्मार्ट कोच)
लेखक D-PACE का प्रस्ताव करते हैं, जो एक स्मार्ट, डायनेमिक कोच की तरह कार्य करता है। एक निश्चित नियम के बजाय, कोच वास्तविक समय में सहायक पर नज़र रखता है और पूछता है: "इस ब्लॉक में कौन सा विशिष्ट शब्द वर्तमान में सबसे अधिक रिजेक्शन (अस्वीकृति) का कारण बन रहा है?"

D-PACE एक सरल उपमा (analogy) का उपयोग करके इस प्रकार काम करता है:

"विश्वास की श्रृंखला" (The Chain of Trust): इन 16 शब्दों को एक श्रृंखला (chain) के रूप में सोचें। यदि बॉस को पूरी श्रृंखला स्वीकार करनी है, तो हर एक कड़ी को टिकना होगा। यदि कड़ी #1 टूटती है, तो पूरी श्रृंखला बेकार है। यदि कड़ी #1 टिक जाती है लेकिन कड़ी #5 टूट जाती है, तो कड़ियाँ 6-16 भी बेकार हो जाती हैं।
"सरोगेट" (The Surrogate - एक क्रिस्टल बॉल): शोध पत्र एक गणितीय "क्रिस्टल बॉल" (जिसे सरोगेट कहा जाता है) बनाता है जो यह अनुमान लगाता है कि सहायक के आत्मविश्वास के आधार पर स्वीकृत शब्दों की श्रृंखला कितनी लंबी होगी।
डायनेमिक वेटिंग (Dynamic Weighting):
- यदि सहायक शब्द #1 पर डगमगा रहा है, तो कोच चिल्लाकर कहता है, "शब्द #1 पर ध्यान केंद्रित करो!" क्योंकि यही वह कमजोर कड़ी है।
- यदि सहायक शब्द #1 पर बेहतरीन है लेकिन शब्द #10 पर डगमगा रहा है, तो कोच तुरंत अपना ध्यान बदल देता है: "शब्द #1 पर बढ़िया काम किया! अब, शब्द #10 को ठीक करो, क्योंकि यही हमें पूरे ब्लॉक को प्राप्त करने से रोक रहा है!"
- कोच उस विशिष्ट शब्द को अधिक प्रशिक्षण अंक (weights) आवंटित करता है जो वर्तमान में बाधा (bottleneck) बना हुआ है।

D-PACE की मुख्य विशेषताएं

कोई नया हार्डवेयर नहीं: इसके लिए किसी बड़े कंप्यूटर या किसी नए प्रकार के AI मॉडल की आवश्यकता नहीं है। यह केवल यह बदल देता है कि मॉडल प्रशिक्षण के दौरान कैसे सीखता है।
एसिमेट्रिक स्मूथिंग (Asymmetric Smoothing): जब सहायक बहुत अनिश्चित होता है (जिससे "विश्वास की श्रृंखला" शून्य तक गिर सकती है), तो गणित को टूटने से बचाने के लिए कोच एक सुरक्षा जाल (safety net) का उपयोग करता है। यह आत्मविश्वास के स्कोर को बस इतना 'स्मूथ' कर देता है कि गणित स्थिर रहे, लेकिन यह वास्तविक सीखने के लक्ष्य को नहीं बदलता है।
तेज़: यह प्रशिक्षण प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं जोड़ता है (केवल लगभग 2.3% धीमा)।

परिणाम
शोधकर्ताओं ने कई अलग-अलग AI मॉडलों और बेंचमार्क (जैसे गणित की समस्याएं, कोडिंग और चैट) पर इसका परीक्षण किया।

तेज़ गति: D-PACE का उपयोग करने वाले AI मॉडल पिछले सर्वश्रेष्ठ तरीके की तुलना में 8% से 12% तेज़ी से टेक्स्ट जेनरेट करने में सक्षम थे।
लंबी श्रृंखलाएं: "स्वीकृत लंबाई" (कितने शब्द बॉस एक बार में स्वीकार करता है) में उल्लेखनीय वृद्धि हुई। बॉस 4 शब्दों के बाद रुकने के बजाय, अक्सर 5 या 6 शब्दों को स्वीकार कर लेता था।
सार्वभौमिक (Universal): यह विभिन्न प्रकार के AI मॉडलों (Qwen और Llama) पर अच्छी तरह से काम करता है, जो यह सिद्ध करता है कि यह एक सामान्य सुधार है, न कि केवल किसी एक विशिष्ट मॉडल के लिए कोई ट्रिक।

सारांश में
D-PACE एक अनुक्रम (sequence) के सभी शब्दों को उनके स्थान के आधार पर समान महत्व नहीं देता है। इसके बजाय, यह गतिशील रूप से पहचानता है कि स्वीकृति की श्रृंखला में कौन सा शब्द वर्तमान में "कमजोर कड़ी" है और AI को वहां अपनी सीखने की ऊर्जा केंद्रित करने के लिए कहता है। यह सरल रणनीति परिवर्तन बिना किसी नए हार्डवेयर के AI को काफी तेज़ और अधिक कुशल बनाता है।

तकनीकी सारांश: D-PACE

समस्या विवरण (Problem Statement)

स्पेक्युलेटिव डिकोडिंग (SD), एक छोटे ड्राफ्ट मॉडल का उपयोग करके बड़े टार्गेट मॉडल द्वारा समानांतर (parallel) में टोकन को सत्यापित करने की प्रक्रिया को तेज़ करके LLM इन्फरेंस को गति प्रदान करती है। हालाँकि हालिया पैरेलल ड्राफ्टर्स जैसे कि DFlash, एक ही फॉरवर्ड पास में $B$ टोकन के पूरे ब्लॉक की भविष्यवाणी करके दक्षता में सुधार करते हैं, वे अपने प्रशिक्षण उद्देश्यों (training objectives) के लिए फिक्स्ड पोजीशन-डिपेंडेंट वेटिंग शेड्यूल्स (जैसे कि हेड-डिपेंडेंट वेट्स या एक्सपोनेंशियल डिके) पर निर्भर करते हैं।

लेखक इन फिक्स्ड शेड्यूल्स में एक महत्वपूर्ण सीमा की पहचान करते हैं: वे ड्राफ्टिंग प्रक्रिया की गतिशील प्रकृति के अनुकूल नहीं होते हैं। प्रशिक्षण के दौरान, वे स्थितियाँ (positions) जो एक ड्राफ्ट ब्लॉक की स्वीकृति को सीमित करती हैं, बदलती रहती हैं।

यदि शुरुआती स्थितियाँ अत्यधिक सटीक हैं, तो बॉटलनेक (bottleneck) बाद की स्थितियों की ओर स्थानांतरित हो जाता है, जिन्हें अधिक प्रशिक्षण संकेत (training signal) प्राप्त होना चाहिए।
यदि कोई शुरुआती स्थिति गलत है, तो बाद की स्थितियाँ उनकी गुणवत्ता के बावजूद खारिज कर दी जाती हैं, जिससे उन पर आवंटित प्रशिक्षण संकेत अप्रभावी हो जाता है।

फिक्स्ड शेड्यूल्स प्रशिक्षण संकेत का गलत आवंटन करते हैं क्योंकि वे केवल टोकन की स्थिति पर निर्भर करते हैं, न कि विशिष्ट उदाहरण के वर्तमान स्वीकृति बॉटलनेक पर।

कार्यप्रणाली (Methodology): D-PACE

इसे संबोधित करने के लिए, लेखक D-PACE (Dynamic Position-Aware Cross-Entropy) प्रस्तावित करते हैं, जो अपेक्षित स्वीकृत ड्राफ्ट लंबाई के आधार पर डायनामिक रूप से प्रति-स्थिति (per-position) वेट्स व्युत्पन्न करता है।

1. स्वीकृत-लंबाई सरोगेट (Accepted-Length Surrogate)

मुख्य अंतर्दृष्टि यह है कि अपेक्षित स्वीकृत लंबाई $E[X]$ को एक स्मूथ, डिफरेंशिएबल सरोगेट $\tilde{S}$ द्वारा अनुमानित किया जा सकता है।

मान लीजिए कि $q_i$ टार्गेट मॉडल द्वारा स्थिति $i$ पर चुने गए टोकन पर ड्राफ्ट मॉडल का कॉन्फिडेंस (confidence) है।
स्थिति $k$ तक के प्रीफिक्स के स्वीकृत होने की संभावना $\prod_{i=1}^k q_i$ के संचयी उत्पाद (cumulative product) द्वारा अनुमानित की जाती है।
गैर-ऋणात्मक पूर्णांकों के टेल-सम आइडेंटिटी (tail-sum identity) का उपयोग करते हुए, अपेक्षित स्वीकृत लंबाई को इस प्रकार अनुमानित किया जाता है:
$\tilde{S}(\psi) = \sum_{k=1}^B \prod_{i=1}^k q_i$
यह सरोगेट प्रशिक्षण के दौरान ब्लॉक की स्वीकृत लंबाई के प्रॉक्सी के रूप में कार्य करता है।

2. एडेप्टिव वेट्स का व्युत्पन्न (Derivation of Adaptive Weights)

D-PACE ड्राफ्ट कॉन्फिडेंस के सापेक्ष सरोगेट $\tilde{S}$ के ग्रेडिएंट की गणना करता है ताकि कुल स्वीकृत लंबाई में प्रत्येक स्थिति के योगदान को निर्धारित किया जा सके।

$\tilde{S}$ का $q_j$ के सापेक्ष डिफरेंशिएशन करके, लेखक स्थिति $j$ के लिए एक क्लोज्ड-फॉर्म वेट $w_j$ व्युत्पन्न करते हैं:
$w_j = \left( \prod_{i \le j} q_i \right) \cdot f_j$
जहाँ $f_j$ एक "कंटिन्यूएशन वैल्यू" (continuation value) है, जो स्थिति $j$ और उसके बाद की सभी स्थितियों द्वारा योगदान दी गई अपेक्षित स्वीकृत लंबाई का प्रतिनिधित्व करती है, यह शर्त रखते हुए कि प्रीफिक्स स्वीकृत है।
यह वेट संचयी कॉन्फिडेंस (स्थिति $j$ तक पहुँचने की संभावना) और कंटिन्यूएशन वैल्यू (शेष ब्लॉक का मूल्य) को जोड़ता है।

3. एसिमेट्रिक वेट स्मूथिंग (Asymmetric Weight Smoothing)

रॉ क्युमुलेटिव प्रोडक्ट $\prod q_i$ संख्यात्मक रूप से अस्थिर (numerically unstable) है; यदि शुरुआती कॉन्फिडेंस कम है, तो बाद की स्थितियों के लिए वेट लुप्त हो जाता है, जिससे उनका प्रशिक्षण संकेत दब जाता है।

समाधान: लेखक एसिमेटरिक स्मूथिंग लागू करते हैं। वे वेट्स की गणना करते समय कॉन्फिडेंस को स्मूथ करते हैं: $\tilde{q}_i = (1-\alpha)q_i + \alpha$ ।
क्रॉस-एन्ट्रॉपी लॉस टर्म स्वयं अनस्मूथेड प्रोबेबिलिटी $-\log q_j$ पर रहता है। यह मानक टोकन-लेवल ग्रेडिएंट्स को सुरक्षित रखता है जबकि बाद की स्थितियों के वेट्स को शून्य होने से रोकने के लिए वेट गणना को स्मूथ करता है।

4. D-PACE लॉस (The D-PACE Loss)

अंतिम ऑब्जेक्टिव एक वेटेड क्रॉस-एन्ट्रॉपी लॉस है जहाँ वेट्स $\bar{w}_j$ को ग्रेडिएंट से अलग (detached) रखा गया है (कांस्टेंट माना गया है):
$L_{\text{D-PACE}} = \sum_{j=1}^B \bar{w}_j (-\log q_j)$
यह दृष्टिकोण ड्राफ्टर आर्किटेक्चर या इन्फरेंस प्रक्रिया में बिना किसी बदलाव के काम करता है।

मुख्य योगदान (Key Contributions)

एडेप्टिव प्रति-स्थिति वेट्स: एक वेटेड क्रॉस-एन्ट्रॉपी ऑब्जेक्टिव का व्युत्पन्न जो फिक्स्ड डिके शेड्यूल्स को ऐसे वेट्स से बदल देता है जो इस बात के अनुकूल होते हैं कि वर्तमान में किस ब्लॉक पोजीशन ने स्वीकृति को सीमित किया है।
स्मूथिंग के माध्यम से स्थिर प्रशिक्षण: एक तकनीक जो संचयी-उत्पाद वेट्स को स्मूथ करके स्थिरता लाती है, जिससे क्रॉस-एन्ट्रॉपी टर्म के मानक ग्रेडिएंट गुणों को बनाए रखते हुए केवल वेट गणना को स्मूथ किया जाता है।
दक्षता: यह विधि नगण्य ओवरहेड (2.3% प्रशिक्षण-समय वृद्धि) पेश करती है और इसके लिए किसी आर्किटेक्चरल संशोधन की आवश्यकता नहीं होती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह बेंचमार्क (Math, Code, Chat), दो टार्गेट मॉडल (Qwen3-4B, Qwen3-8B, Llama-3.1-8B), और विभिन्न ड्राफ्ट डेप्थ (3L, 5L) और टेम्परेचर के माध्यम से D-PACE का मूल्यांकन किया।

प्रदर्शन लाभ: D-PACE ने DFlash बेसलाइन की तुलना में वॉल-क्लॉक स्पीडअप और औसत उत्सर्जित लंबाई ( $\tau$ $τ$ ) दोनों में लगातार सुधार किया।
- Qwen3-4B (3L) पर, D-PACE ने औसत उत्सर्जित लंबाई में +8.5% से +10.7% और स्पीडअप में +8.0% से +9.7% का सुधार किया।
- Qwen3-8B और Llama-3.1-8B पर, उत्सर्जित लंबाई में सुधार क्रमशः लगभग +12.8% और +12.5% था।
एब्लेशन स्टडीज (Ablation Studies):
- कंपोनेंट एनालिसिस: "क्युमुलेटिव-ओनली" वेरिएंट (प्रीफिक्स प्रोबेबिलिटी द्वारा वेटिंग) ने अधिकांश लाभ प्रदान किया, जबकि "कंटिन्यूशन-ओनली" वेरिएंट ने सीमित सुधार प्रदान किया। पूर्ण D-PACE (दोनों को मिलाकर) ने सर्वश्रेष्ठ परिणाम दिए।
- स्मूथिंग सेंसिटिविटी: प्रदर्शन स्मूथिंग पैरामीटर्स $\alpha \in [0.3, 0.7]$ के लिए स्थिर रहा। स्मूथिंग के बिना ( $\alpha=0$ ), प्रदर्शन विफल हो गया।
- ब्लॉक साइज: D-PACE ने ब्लॉक साइज $B=8, 12, 16$ के लिए निरंतर सुधार दिखाया, जिसमें ब्लॉक साइज बढ़ने के साथ लाभ थोड़ा बढ़ गया।
सामान्यीकरण (Generalization): विधि ने बिना कोर लॉजिक को फिर से ट्यून किए, विभिन्न टार्गेट मॉडल्स (Llama-3.1-8B, Qwen3-8B) और डेटासेट्स पर प्रभावी ढंग से काम किया।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि D-PACE स्थिर, पोजीशन-आधारित प्रशिक्षण शेड्यूल्स से डायनामिक, कॉन्ट्रिब्यूशन-आधारित वेटिंग की ओर एक बदलाव का प्रतिनिधित्व करता है। अपेक्षित स्वीकृत लंबाई के साथ प्रशिक्षण संकेत को सीधे संरेखित करके, D-PACE यह सुनिश्चित करता है कि ड्राफ्टर अपना सीखने का प्रयास उन स्थितियों पर केंद्रित करे जो वर्तमान में समानांतर डिकोडिंग प्रक्रिया को सीमित कर रही हैं।

लेखक इस बात पर जोर देते हैं कि यह सुधार बिना:

ड्राफ्टर आर्किटेक्चर को बदले।
इन्फरेंस प्रक्रिया को संशोधित किए।
महत्वपूर्ण कम्प्यूटेशनल ओवरहेड पेश किए।

यह कार्य सुझाव देता है कि पैरेलल ब्लॉक ड्राफ्टर्स के लिए, फिक्स्ड शेड्यूल्स को एक डिफरेंशिएबल प्रॉक्सी से प्राप्त वेट्स से बदलना, स्पेक्युलेटिव डिकोडिंग दक्षता में सुधार के लिए एक सामान्य रणनीति है। पेपर स्पष्ट रूप से नोट करता है कि व्युत्पन्नता (derivation) उन पैरेलल ब्लॉक ड्राफ्टर्स पर लागू होती है जो एक ही पास में सभी स्थितियों को जनरेट करते हैं और वर्तमान में उन सीक्वेंशियल ड्राफ्टर्स तक विस्तारित नहीं है जहाँ स्टेट एक्यूमुलेशन फिक्स्ड-प्रीफिक्स फैक्टराइजेशन को तोड़ देता है।