💬 NLP

LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding

यह शोध पत्र LK losses को प्रस्तुत करता है, जो एक नया प्रशिक्षण उद्देश्य (training objective) है जो बड़े भाषा मॉडलों (large language models) के लिए स्पेक्युलेटिव डिकोडिंग (speculative decoding) की स्वीकृति दर (acceptance rate) को सीधे अनुकूलित करता है, जो बिना किसी अतिरिक्त गणनात्मक ओवरहेड (computational overhead) के विविध मॉडल आर्किटेक्चर और डोमेन में मानक KL डाइवर्जेंस-आधारित प्रशिक्षण पर निरंतर प्रदर्शन लाभ प्रदर्शित करता है।

मूल लेखक: Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Samarin, Sergei Krutikov, Anton Shevtsov, Sergei Skvortsov, Filipp Fisin, Alexander Golubev

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ (Target Model) हैं जो एक जटिल भोजन बनाने की कोशिश कर रहे हैं। आप अविश्वसनीय रूप से प्रतिभाशाली हैं, लेकिन आप बहुत धीमे भी हैं क्योंकि आपको अगले कदम पर बढ़ने से पहले हर एक सामग्री को चखना और एडजस्ट करना पड़ता है। वर्तमान AI मॉडल इसी तरह टेक्स्ट जनरेट करते हैं: शब्द दर शब्द, बहुत सावधानी से।

इस प्रक्रिया को तेज करने के लिए, आपने एक तेज़, ऊर्जावान sous-chef (सहायक शेफ) को काम पर रखा है (Draft Model)। यह sous-chef जल्दी से उन 5 या 10 सामग्रियों का अनुमान लगा लेता है जिनकी आपको शायद आवश्यकता होगी और उन्हें काउंटर पर सजा देता है। फिर आप उन पर एक नज़र डालते हैं। यदि आपकी मास्टर शेफ वाली अंतर्दृष्टि (intuition) उनके अनुमान से सहमत होती है, तो आप उस पूरे बैच को तुरंत स्वीकार कर लेते हैं। यदि sous-chef ने गलत अनुमान लगाया, तो आप उस बैच को फेंक देते हैं और फिर से शुरू करते हैं।

आपकी रसोई की गति पूरी तरह से इस बात पर निर्भर करती है कि sous-chef कितनी बार सही अनुमान लगाता है। इसे Acceptance Rate (स्वीकृति दर) कहा जाता है।

समस्या: "काफी अच्छा है" वाला जाल (The "Good Enough" Trap)

लंबे समय तक, इन sous-chefs को प्रशिक्षित करने का तरीका यह था:
"Sous-chef, मेरी रेसिपी बुक की हुबहू नकल करने की कोशिश करो।"

गणित की भाषा में, इसे KL Divergence को कम करना कहा जाता है। यह वैसा ही है जैसे sous-chef को आपकी पूरी कुकबुक याद करने के लिए कहना।

सिद्धांत (Theory): यदि sous-chef आपकी पूरी तरह से नकल करता है, तो वे हर शब्द का सही अनुमान लगाएंगे, और आप बहुत तेज़ होंगे।
वास्तविकता (Reality): Sous-chef छोटा है और उसका दिमाग बहुत छोटा है (सीमित कंप्यूटिंग पावर)। वे आपकी 1,000 पन्नों की कुकबुक को याद नहीं कर सकते। इसलिए, वे आपकी किताब की समग्र शैली (overall style) को कॉपी करने की पूरी कोशिश करते हैं।
गड़बड़ी (Glitch): कभी-कभी, sous-chef शैली को इतनी अच्छी तरह से कॉपी करता है कि वे एक आदर्श छात्र की तरह दिखते हैं, लेकिन फिर भी वे आपके वर्तमान व्यंजन के लिए गलत विशिष्ट शब्दों का अनुमान लगाते हैं। उन्होंने "शैली में अंतर" को तो कम कर दिया, लेकिन "सही अनुमान लगाने की संख्या" को बढ़ाने में विफल रहे।

यह एक ऐसे छात्र की तरह है जिसने इतिहास की पाठ्यपुस्तक की 'वाइब' (vibe) को तो रट लिया, लेकिन विशिष्ट बहुविकल्पीय प्रश्नों (multiple-choice questions) में फेल हो गया। वे स्मार्ट दिखते हैं, लेकिन अंक प्राप्त नहीं कर पाते।

समाधान: LK Losses (The "Direct Hit" Strategy)

इस पेपर के लेखक कहते हैं: "Sous-chef को पूरी किताब कॉपी करने के लिए कहना बंद करें। बस उन्हें अगला शब्द सही ढंग से पहचानने के लिए कहें।"

उन्होंने एक नई प्रशिक्षण विधि पेश की जिसे LK Losses कहा जाता है। "मेरे जैसा बनो" कहने के बजाय, वे कहते हैं, "यदि तुम इस शब्द का सही अनुमान लगाते हो, तो तुम्हें एक पॉइंट मिलेगा। यदि नहीं, तो तुम्हें शून्य मिलेगा।"

वे इसके दो तरीके प्रदान करते हैं:

1. "सब कुछ या कुछ नहीं" वाला कोच (Likelihood-Based)

यह कोच sous-chef के अनुमानों को देखता है और कहता है: "मुझे इस बात से फर्क नहीं पड़ता कि तुम्हारी व्याकरण मेरी तरह कितनी सटीक है। मुझे केवल इस बात से मतलब है कि क्या तुमने वही शब्द चुना जो मैं चुनता। यदि हाँ, तो बहुत बढ़िया! यदि नहीं, तो फिर से प्रयास करो।"

उपमा (Analogy): यह एक डार्टबोर्ड की तरह है। आपको इस बात से फर्क नहीं पड़ता कि डार्ट बुल्सआई (bullseye) के पास लगा है या नहीं; आपको केवल इस बात से मतलब है कि क्या वह बुल्सआई पर लगा है। यह sous-chef को पूरी तरह से उच्च-संभावना वाले लक्ष्यों पर ध्यान केंद्रित करने के लिए मजबूर करता है।

2. "स्मार्ट हाइब्रिड" कोच (Adaptive Blending)

यह पेपर का सुपरस्टार है। यह कोच इस बारे में बहुत समझदार है कि कब किस रणनीति का उपयोग किया जाए।

प्रारंभिक प्रशिक्षण (The "Learning to Walk" Phase): जब sous-chef एक बिल्कुल नौसिखिया होता है और रैंडम अनुमान लगा रहा होता है, तो कोच कहता है, "ठीक है, बस मेरी शैली की नकल करने की कोशिश करो (KL Divergence) ताकि तुम पूरी तरह से भटक न जाओ।" यह sous-chef को एक सुगम रास्ता प्रदान करता है।
देर से प्रशिक्षण (The "Pro" Phase): एक बार जब sous-chef थोड़ा बेहतर हो जाता है, तो कोच अपनी रणनीति बदल देता है। "ठीक है, तुम शैली जानते हो। अब, मेरी तरह दिखने की चिंता छोड़ो और लक्ष्य को हिट करने (Acceptance Rate) पर ध्यान दो।"
उपमा (Analogy): इसे ड्राइविंग सीखने जैसा समझें। पहले, आप सड़क के नियमों को सीखते हैं और स्टीयरिंग करना सीखते हैं (शिक्षक की नकल करना)। एक बार जब आप सहज हो जाते हैं, तो इंस्ट्रक्टर स्टीयरिंग तकनीक की परवाह करना छोड़ देता है और केवल इस बात पर ध्यान देता है कि क्या आप अपनी लेन में रहते हैं और किनारे से टकराने से बचते हैं (वास्तविक लक्ष्य)।

यह क्यों महत्वपूर्ण है?

लेखकों ने इसका परीक्षण विशाल AI मॉडलों पर किया (कुछ 685 बिलियन पैरामीटर्स जितने बड़े) और पाया कि:

यह हर जगह काम करता है: चाहे AI कोड लिख रहा हो, गणित के सवाल हल कर रहा हो, या चैट कर रहा हो, "डायरेक्ट हिट" रणनीति sous-chef को अधिक बार सही अनुमान लगाने में मदद करती है।
यह छोटे मॉडलों की सबसे अधिक मदद करता है: छोटे, कमजोर sous-chefs (कम क्षमता वाले मॉडल्स) को सबसे अधिक लाभ हुआ। वे पूरी किताब याद नहीं कर सकते थे, इसलिए उन्हें विशिष्ट "अगले शब्द" पर ध्यान केंद्रित करने के लिए मजबूर करना एक गेम-चेंजर साबित हुआ।
यह मुफ्त है: यह नई विधि प्रशिक्षण को धीमा नहीं करती है और न ही इसके लिए अधिक कंप्यूटर पावर की आवश्यकता होती है। यह केवल छात्र को ग्रेड देने का एक अलग तरीका है।

निष्कर्ष (The Bottom Line)

यह पेपर AI सहायकों को तेज़ बनाने के लिए उन्हें प्रशिक्षित करने के तरीके में मौजूद एक दोष को ठीक करता है। उन्हें बड़े दिमाग (जो कि असंभव है) की परफेक्ट कॉपी बनने के लिए प्रशिक्षित करने के बजाय, हम उन्हें भाग्यशाली अनुमान लगाने वाले (lucky guessers) के रूप में प्रशिक्षित करते हैं जो सही उत्तर को अधिक बार हिट करते हैं।

"मेरी शैली को कॉपी करो" से "लक्ष्य को हिट करो" में स्विच करके, AI टेक्स्ट को औसतन 8% से 10% तेज़ी से जनरेट कर सकता है, जिससे हमारे AI के साथ संवाद बहुत अधिक चुस्त और रिस्पॉन्सिव महसूस होता है।

यहाँ शोध पत्र "LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्पेक्युलेटिव डिकोडिंग (Speculative decoding) एक हल्के "ड्राफ्ट" मॉडल का उपयोग करके कई संभावित टोकन प्रस्तावित करती है, जिन्हें फिर एक बड़े "टारगेट" मॉडल द्वारा समानांतर में सत्यापित किया जाता है, जिससे LLM इन्फरेंस की गति बढ़ जाती है। इस प्रक्रिया की दक्षता स्वीकृति दर (acceptance rate) द्वारा नियंत्रित होती है (वह प्रायिकता कि ड्राफ्ट टोकन को टारगेट मॉडल द्वारा स्वीकार किया जाएगा)।

मुख्य मुद्दा: ड्राफ्ट मॉडल्स के लिए मानक प्रशिक्षण ड्राफ्ट और टारगेट वितरणों के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करता है। हालांकि KL डाइवर्जेंस और स्वीकृति दर का वैश्विक इष्टतम (global optimum) समान है (पूर्ण संरेखण), लेकिन ड्राफ्ट मॉडल्स की क्षमता सीमित होती है (आमतौर पर टारगेट पैरामीटर्स का 1-5%)।
सीमा: उप-इष्टतम समाधानों में (जहाँ सीमित क्षमता वाले मॉडल अनिवार्य रूप से पहुँचते हैं), KL डाइवर्जेंस को कम करने से स्वीकृति दर को अधिकतम करने की गारंटी नहीं मिलती है। शोध पत्र का तर्क है कि जब ड्राफ्ट मॉडल टारगेट वितरण से पूरी तरह मेल खाने में असमर्थ होता है, तो KL एक खराब प्रॉक्सी के रूप में कार्य करता है, जो अक्सर ऐसे समाधानों पर अभिसरण (convergence) की ओर ले जाता है जो स्पेक्युलेटिव डिकोडिंग के वास्तविक लक्ष्य के लिए उप-इष्टतम होते हैं।

2. कार्यप्रणाली: LK Losses

लेखक LK Losses प्रस्तावित करते हैं, जो 'लॉस फॅमिली' है जिसे वितरण संरेखण प्रॉक्सी पर निर्भर रहने के बजाय सीधे स्वीकृति दर को अनुकूलित करने के लिए डिज़ाइन किया गया है। वे दो संस्करण पेश करते हैं:

A. लाइकलीहुड-आधारित दृष्टिकोण ( $L^\alpha_{LK}$ )

अवधारणा: यह ऑब्जेक्टिव स्वीकृति दर ( $\alpha$ ) को एक मार्जिनल प्रायिकता के रूप में मानता है और स्वीकृति के नेगेटिव लॉग-लाइक्लीहुड को कम करता है:
$L^\alpha_{LK} = -\log \sum_{x \in V} \min(p(x), q(x))$
तंत्र: इस लॉस का ग्रेडिएंट टोटल वेरिएशन (TV) डिस्टेंस के ग्रेडिएंट के समानुपाती है लेकिन $1/\alpha$ द्वारा स्केल किया गया है।
लाभ: यह स्केलिंग स्वचालित रूप से ग्रेडिएंट्स को तब बढ़ा देती है जब स्वीकृति दर कम होती है (प्रशिक्षण के शुरुआती चरण में), जिससे शुद्ध TV डिस्टेंस ऑप्टिमाइज़ेशन से जुड़ी "वैनिशिंग ग्रेडिएंट" (vanishing gradient) की समस्या हल हो जाती है और TV ऑप्टिमाइज़ेशन की दिशात्मकता बनी रहती है।

B. एडेप्टिव ब्लेंडिंग के साथ हाइब्रिड ऑब्जेक्टिव ( $L^\lambda_{LK}$ )

अवधारणा: KL डाइवर्जेंस और TV डिस्टेंस का एक भारित संयोजन:
$L^\lambda_{LK} = \lambda \cdot KL(p\|q) + (1-\lambda) \cdot TV(p, q)$
एडेप्टिव शेड्यूल: भार $\lambda$ $λ$ को वर्तमान स्वीकृति दर ( $\alpha$ $α$ ) के आधार पर गतिशील रूप से समायोजित किया जाता है:
$\lambda = \exp(-\eta \cdot \text{sg}[\alpha])$
- प्रारंभिक प्रशिक्षण (कम $\alpha$ ): $\lambda \to 1$ । मॉडल KL डाइवर्जेंस पर निर्भर करता है, जो लॉस लैंडस्केप में नेविगेट करने और एक "ट्रस्ट रीजन" स्थापित करने के लिए सुचारू, अच्छी तरह से कंडिशन्ड ग्रेडिएंट प्रदान करता है जहाँ ड्राफ्ट वितरण टारगेट के करीब होता है।
- देर का प्रशिक्षण (उच्च $\alpha$ ): $\lambda \to 0$ । मॉडल अपना ध्यान TV डिस्टेंस पर केंद्रित करता है, जो वितरणों के बीच ओवरलैप को सीधे अधिकतम करता है (और इस प्रकार स्वीकृति दर को बढ़ाता है)।
उपमा: यह पॉलिसी ऑप्टिमाइज़ेशन में 'ट्रस्ट-रीजन' विधियों की नकल करता है, जिसमें वास्तविक ऑब्जेक्टिव (TV) के अनुकूलन को स्थिर करने के लिए KL का उपयोग एक सॉफ्ट कंस्ट्रेंट के रूप में किया जाता है।

C. वोकैबुलरी ट्रंकेशन हैंडलिंग (Vocabulary Truncation Handling)

शोध पत्र नोट करता है कि कुछ आर्किटेक्चर (जैसे EAGLE-3) ट्रंकेटेड वोकैबुलरी का उपयोग करते हैं। मानक KL डाइवर्जेंस अनंत हो जाता है यदि ड्राफ्ट की प्रायिकता उस टोकन के लिए शून्य है जिसे टारगेट मॉडल प्रेडिक्ट करता है। LK losses इसे स्वाभाविक रूप से संभालते हैं क्योंकि ड्राफ्ट वोकैबुलरी के बाहर के टोकन स्वीकृति दर में शून्य योगदान देते हैं, जिसके लिए किसी विशेष मास्किंग या सन्निकटन (approximation) की आवश्यकता नहीं होती है।

3. मुख्य योगदान

प्रत्यक्ष अनुकूलन (Direct Optimization): दो लॉस वेरिएंट ( $L^\alpha_{LK}$ और $L^\lambda_{LK}$ ) प्रस्तावित करता है जो सीधे स्वीकृति दर को लक्षित करते हैं, और वितरण विचलन प्रॉक्सी के रूप में KL की सीमाओं को दरकिनार करते हैं।
सैद्धांतिक अंतर्दृष्टि: एक ग्रेडिएंट विश्लेषण प्रदान करता है जो दिखाता है कि शुद्ध TV ऑप्टिमाइज़ेशन रैंडम इनिशियलाइजेशन पर क्यों विफल होता है (वैनिशिंग ग्रेडिएंट्स) और हाइब्रिड दृष्टिकोण इसे कैसे कम करता है।
आर्किटेक्चर तटस्थता (Architecture Agnosticism): यह प्रदर्शित करता है कि यह विधि विविध ड्राफ्ट आर्किटेक्चर (EAGLE-3, MEDUSA, MLP स्पेकुलेटर्स, और DeepSeek के MTP) और टारगेट मॉडल्स पर काम करती है।
ओपन सोर्स: पुनरुत्पादकता (reproducibility) को सुगम बनाने के लिए ट्रेनिंग डेटासेट और ड्राफ्ट मॉडल वेट्स जारी करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन डोमेन में छह टारगेट मॉडल्स (8B से 685B पैरामीटर्स तक) और चार ड्राफ्ट आर्किटेक्चर पर LK losses का मूल्यांकन किया: सामान्य बातचीत (MT-bench), कोडिंग (HumanEval), और गणित (GSM8K)।

प्रदर्शन लाभ:
- औसत स्वीकृति लंबाई ( $\tau$ ): LK losses ने लगातार मानक KL ट्रेनिंग को पछाड़ा।
- परिमाण: औसत स्वीकृति लंबाई में सुधार 3.8% से 10% के बीच रहा।
- विशिष्ट हाइलाइट्स:
  - कम-क्षमता वाले मॉडल: छोटे ड्राफ्ट मॉडल्स (जैसे MEDUSA, MLP) ने सबसे अधिक सापेक्ष लाभ (8.3% तक) देखा, जो पुष्टि करता है कि प्रत्यक्ष अनुकूलन तब सबसे अधिक फायदेमंद होता है जब ड्राफ्ट और टारगेट के बीच क्षमता का अंतर बड़ा होता है।
  - बड़े टारगेट मॉडल: विशाल टारगेट के लिए छोटे ड्राफ्ट मॉडल का उपयोग करने पर महत्वपूर्ण लाभ देखे गए (जैसे Qwen3-235B के लिए +8.2% और GPT-OSS 120B के लिए +7.7%)।
  - DeepSeek-V3: नेटिव मल्टी-टोकन प्रेडिक्शन (MTP) मॉड्यूल को LK losses के साथ फाइन-ट्यून करने से KL फाइन-ट्यूनिंग की तुलना में 5.6% का सुधार हुआ, जो साबित करता है कि यह विधि प्री-ट्रेन्ड कंपोनेंट्स पर भी काम करती है।
तुलना: एडेप्टिव शेड्यूलर ( $L^\lambda_{LK}$ ) वाला हाइब्रिड ऑब्जेक्टिव आम तौर पर शुद्ध लाइकलीहुड-आधारित दृष्टिकोण से बेहतर प्रदर्शन करता है और फिक्स्ड-वेट मिश्रण या शुद्ध TV/KL लॉस की तुलना में काफी बेहतर परिणाम देता है।

5. महत्व और प्रभाव

दक्षता: स्वीकृति दर बढ़ाकर, LK losses बिना किसी अतिरिक्त कम्प्यूटेशनल संसाधनों के इन्फरेंस की गति को सीधे बढ़ाते हैं।
सरलता: यह विधि मानक ऑब्जेक्टिव के लिए एक "ड्रॉप-इन" रिप्लेसमेंट है, जिसके लिए इन्फरेंस पाइपलाइन या ड्राफ्ट आर्किटेक्चर में किसी बदलाव की आवश्यकता नहीं है।
प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस लंबे समय से चली आ रही धारणा को चुनौती देता है कि स्पेक्युलेटिव डिकोडिंग के लिए वितरण विचलन (KL) को कम करना पर्याप्त है। यह स्थापित करता है कि क्षमता-सीमित मॉडल्स के लिए, रुचि के विशिष्ट मेट्रिक (स्वीकृति दर) को अनुकूलित करना बेहतर परिणाम देता है।
स्केलेबिलिटी: यह दृष्टिकोण भविष्य के LLM डिप्लॉयमेंट के लिए विशेष रूप से महत्वपूर्ण है, जहाँ लेटेंसी और लागत को कम करने के लिए विशाल, पैरामीटर-हैवी टारगेट मॉडल्स को तेज करने के लिए छोटे, कुशल ड्राफ्ट मॉडल्स का उपयोग करना एक प्राथमिक रणनीति है।