Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance
यह शोध पत्र वेरिएशनल स्पेकुलेटिव डिकोडिंग (VSD) प्रस्तुत करता है, जो एक नवीन ढांचा है जो ड्राफ्ट ट्रेनिंग को वेरिएशनल इन्फरेंस के रूप में पुनर्गठित करता है ताकि टारगेट-मॉडल सीक्वेंस एक्सेप्टेंस को अधिकतम किया जा सके, जिससे एडेप्टिव वेटिंग और रेगुलराइजेशन के साथ एक एक्सपेक्टेशन-मैक्सिमाइजेशन प्रक्रिया के माध्यम से ट्रेनिंग-डिकोडिंग विसंगति को हल करते हुए मौजूदा विधियों की तुलना में महत्वपूर्ण इन्फरेंस स्पीडअप प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। यह रोबोट, जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, अविश्वसनीय रूप से प्रतिभाशाली है लेकिन भी बहुत धीमा है। यह एक व्यक्ति की तरह काम करता है जो हर एक शब्द लिखने के बाद रुककर सोचता है कि आगे क्या आना चाहिए। यह "रुको-और-सोचो" (stop-and-think) की प्रक्रिया सुरक्षित और सटीक है, लेकिन यह रोबोट को ऐसा महसूस कराती है जैसे वह शीरे (molasses) के बीच से रास्ता बना रहा हो।
चीजों को तेज करने के लिए, वैज्ञानिकों ने एक चतुर ट्रिक खोजी जिसे "स्पेक्युलेटिव डिकोडिंग" (speculative decoding) कहा जाता है। इसे एक टीम की तरह समझें जिसमें दो लोग हैं: एक फुर्तीला जूनियर असिस्टेंट ("ड्राफ्ट मॉडल") और एक बुद्धिमान, धीमा सुपरवाइजर ("टारगेट मॉडल")। जूनियर असिस्टेंट कहानी के अगले कुछ शब्दों का अनुमान बहुत तेज़ी से लगाने की कोशिश करता है। सुपरवाइजर फिर इन अनुमानों की जांच करता है। यदि अनुमान सही हैं, तो वे उन सभी शब्दों को एक साथ स्वीकार कर लेते हैं, जिससे "सोचने" का धीमा समय बच जाता है। यदि कोई अनुमान गलत होता है, तो सुपरवाइजर उसे ठीक करता है, और वे फिर से प्रयास करते हैं। लक्ष्य यह है कि जूनियर असिस्टेंट शब्दों की लंबी, सही कड़ियाँ (chains) का अनुमान लगाए ताकि सुपरवाइजर उन्हें बड़े बैचों में अप्रूव कर सके, जिससे पूरी प्रक्रिया तेज़ हो जाए।
हालांकि, इसमें एक पेंच है। जूनियर असिस्टेंट को आमतौर पर "परफेक्ट" उत्तर दिखाकर प्रशिक्षित किया जाता है और उससे उस एकल पथ (path) को याद करने के लिए कहा जाता है। लेकिन वास्तविक खेल में, सुपरवाइजर केवल एक ही परफेक्ट पथ नहीं देखता; वह संभावनाओं के एक पूरे पेड़ (tree) को देखता है, और उनमें से सबसे अच्छे विकल्पों को चुनता है। यह पाया गया है कि जूनियर असिस्टेंट को केवल एक सीधा रास्ता याद करने के लिए प्रशिक्षित करना इसे उस सही पथ का अनुमान लगाने में अक्षम बना देता है जब सुपरवाइजर वास्तव में कई विकल्पों वाले एक पूरे जंगल को देख रहा होता है। असिस्टेंट के प्रशिक्षण और इस खेल के बीच का यह बेमेल होना (mismatch) इन AI रोबोटों की गति को रोक रहा था।
पेपर का बड़ा विचार: असिस्टेंट को प्रशिक्षित करने का एक नया तरीका
इस पेपर में, शोधकर्ताओं ने एक नई प्रशिक्षण विधि प्रस्तावित की है जिसे वेरिएशनल स्पेक्युलेटिव डिकोडिंग (VSD) कहा जाता है। उन्होंने महसूस किया कि ड्राफ्ट मॉडल को प्रशिक्षित करने का पुराना तरीका एक रेस कार ड्राइवर को केवल एक एकल, सीधे ट्रैक पर गाड़ी चलाना सिखाने जैसा था, जबकि वास्तविक रेस में कई संभावित मोड़ों के साथ एक जटिल, घुमावदार कोर्स को नेविगेट करना शामिल है।
पुराने तरीके के साथ समस्या
लेखक बताते हैं कि वर्तमान विधियाँ ड्राफ्ट मॉडल को "लालची" (greedy) होने के लिए प्रशिक्षित करती हैं। इसका मतलब है कि मॉडल को हमेशा अगले सबसे संभावित शब्द को चुनने के लिए सिखाया जाता है, जिससे टेक्स्ट की एक सीधी रेखा बनती है। लेकिन वास्तविक खेल के दौरान, सिस्टम केवल एक रेखा की जांच नहीं करता; यह कई अलग-अलग संभावित शब्द संयोजनों का एक "पेड़" (tree) बनाता है और फिर उनमें से सर्वश्रेष्ठ को चुनता है। पेपर दिखाता है कि यह एक बेमेल स्थिति पैदा करता है: मॉडल को एक विशिष्ट पथ में परफेक्ट होने के लिए प्रशिक्षित किया जाता है, लेकिन खेल के लिए उसे कई अलग-अलग पथों में अच्छा होना आवश्यक है। वास्तव में, उनके प्रयोगों ने दिखाया कि लगभग 30% समय, वह "परफेक्ट" पथ जिस पर मॉडल को प्रशिक्षित किया गया था, खेल के दौरान फेंक दिया जाता है क्योंकि वह वास्तव में कई विकल्पों के बीच सबसे अच्छा विकल्प नहीं था।
नया समाधान: पूरे जंगल से सीखना
VSD प्रशिक्षण के नियमों को बदल देता है। केवल एक सीधी रेखा को याद करने के बजाय, नई विधि ड्राफ्ट मॉडल को एक "वेरिएशनल इन्फरेंस" (variational inference) समस्या के रूप रूप में देखती है। सरल शब्दों में, इसका अर्थ है कि मॉडल को केवल एक पेड़ नहीं, बल्कि संभावनाओं के पूरे जंगल को समझने के लिए प्रशिक्षित किया जाता है। यह केवल एक "सर्वश्रेष्ठ" शब्द का अनुमान लगाने के बजाय, उन रास्तों के सेट का अनुमान लगाना सीखता है जिन्हें सुपरवाइजर द्वारा स्वीकार किए जाने की संभावना अधिक है।
इसे करने के लिए, शोधकर्ता एक चतुर दो-चरणीय प्रक्रिया (जिसे एक्सपेक्टेशन-मैक्सिमाइजेशन प्रोसीजर कहा जाता है) का उपयोग करते हैं:
- अनुमान लगाने का चरण (E-step): मॉडल कई अलग-अलग कहानी के पथ उत्पन्न करता है। एक विशेष "ओरेकल" (एक स्मार्ट फ़िल्टर) इन पथों की जांच करता है और उन पथों को रखता है जो ऐसे दिखते हैं कि वे सुपरवाइजर के टेस्ट को पास कर लेंगे, जबकि खराब पथों को बाहर निकाल देता है।
- सीखने का चरण (M-step): मॉडल इन "रखे गए" पथों से सीखता है। लेकिन यहाँ एक मोड़ है: शोधकर्ताओं ने सीखने को स्थिर और स्मार्ट बनाने के लिए दो विशेष उपकरण जोड़े हैं।
- एडेप्टिव रिजेक्शन वेटिंग (ARW): यह एक ऐसे कोच की तरह काम करता है जो जानता है कि छात्र कब संघर्ष कर रहा है। यदि मॉडल बहुत सारे गलत अनुमान लगा रहा है, तो कोच शोर (noise) को अनदेखा करता है और कुछ अच्छे अनुमानों पर ध्यान केंद्रित करता है। यदि मॉडल अच्छा कर रहा है, तो कोच सुधार करने में मदद करने के लिए गलतियों पर ध्यान देता है।
- कॉन्फिडेंस-अवेयर रेगुलराइजेशन (CAR): यह मॉडल को "अति-आत्मविश्वासी" होने से रोकता है। यदि मॉडल किसी गलत अनुमान के बारे में 99% निश्चित है, तो यह टूल उसे बड़ा दंड देता है। यह मॉडल को विनम्र होना और अन्य विकल्पों को तलाशना सिखाता है, न कि किसी गलत विचार पर अड़े रहना।
उन्होंने क्या पाया
शोधकर्ताओं ने LLaMA जैसे टेक्स्ट-ओनली मॉडल्स और LLaVA जैसे इमेज-एंड-टेक्स्ट मॉडल्स सहित कई अलग-अलग AI मॉडल्स पर इस नई विधि का परीक्षण किया। उन्होंने पाया कि VSD ने AI को बिना मूर्ख बनाए लगातार तेज़ बनाया।
- गति (Speed): टेक्स्ट मॉडल्स पर, VSD ने पिछले सर्वश्रेष्ठ मेथड (EAGLE-3) की तुलना में AI को 9.6% तक तेज़ बनाया।
- स्वीकृति (Acceptance): "असिस्टेंट" एक बार में अधिक शब्द स्वीकृत करवा सका। औसतन, इसने एक बार में 6 से 7 टोकन (टेक्स्ट के हिस्से) को स्वीकार किया, जबकि पुराने तरीकों ने 5 से 6 स्वीकार किए थे।
- मल्टीमॉडल मैजिक (Multimodal Magic): यह इमेज-एंड-टेक्स्ट मॉडल्स पर भी उतना ही प्रभावी रहा, जिससे उन मॉडल्स के लिए मौजूदा सर्वश्रेष्ठ मेथड (ViSpec) की तुलना में गति में 7.9% का सुधार हुआ।
यह क्यों महत्वपूर्ण है
यह पेपर साबित करता है कि असिस्टेंट को केवल एक चाल के बजाय पूरे खेल के बारे में सोचने के लिए प्रशिक्षित करके, हम AI को काफी तेज़ बना सकते हैं। लेखक गणितीय रूप से दिखाते हैं कि उनकी विधि "एक्सपेक्टेड एक्सेप्टेंस लेंथ" (कितने शब्द एक बार में स्वीकृत होते हैं) को बेहतर बनाने की गारंटी देती है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने कोडिंग से लेकर गणित की समस्याओं को हल करने और चित्रों के सवालों के जवाब देने तक, कई अलग-अलग कार्यों में इसे मापा।
संक्षेप में, VSD प्रशिक्षण के बेमेल (mismatch) को ठीक करता है ताकि ड्राफ्ट मॉडल संभावनाओं के बेहतर खोजकर्ता (explorer) के रूप में कार्य कर सके, यह सुनिश्चित करता है कि जब वह कोई अनुमान लगाए, तो वह ऐसा अनुमान हो जिसे सुपरवाइजर द्वारा स्वीकार किए जाने की संभावना अधिक हो। यह AI को शीरे के बीच से रास्ता बनाने के बजाय, दौड़ने (sprinting) जैसा महसूस कराता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।