Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
यह शोध पत्र NeMo-RL के भीतर एक सिस्टम-एकीकृत स्पेक्युलेटिव डिकोडिंग फ्रेमवर्क पेश करता है जो RL पोस्ट-ट्रेनिंग रोलआउट्स के लिए एक लॉसलेस एक्सेलेरेशन प्रिमिटिव के रूप में कार्य करता है, जो 8B स्केल पर 1.8x थ्रूपुट सुधार प्राप्त करता है और एसिंक्रोनस निष्पादन के साथ जुड़ने पर 235B स्केल पर 2.5x तक एंड-टू-एंड ट्रेनिंग स्पीडअप का अनुमान लगाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन धीरे सोचने वाले छात्र (AI मॉडल) को जटिल गणितीय समस्याओं को हल करने के लिए प्रशिक्षित कर रहे हैं। उन्हें सिखाने के लिए, आपको उनसे एक प्रश्न पूछना होगा, उनके पूरे विचार की प्रक्रिया को चरण-दर-चरण लिखने का इंतज़ार करना होगा, और फिर यह जांचना होगा कि क्या उन्होंने इसे सही ढंग से किया है।
समस्या यह है कि "जांचने" वाला हिस्सा तेज़ है, लेकिन "लिखने" वाला हिस्सा अविश्वसनीय रूप से धीमा है। छात्र एक शब्द लिखता है, रुककर सोचता है, अगला शब्द लिखता है, फिर रुकता है, और इसी तरह आगे बढ़ता है। यह धीमा, शब्द-दर-शब्द लिखना ही इन AI मॉडलों को प्रशिक्षित करने में सबसे बड़ी बाधा है।
यह शोध पत्र Speculative Decoding नामक एक चतुर तकनीक प्रस्तुत करता है जो इस लेखन प्रक्रिया को तेज़ करती है, बिना यह बदले कि छात्र कैसे सोचता है या वह क्या सीखता है।
मुख्य विचार: "ड्राफ्टिंग असिस्टेंट" (मसौदा सहायक)
AI मॉडल को एक मास्टर शेफ के रूप में सोचें जो बहुत सटीक है लेकिन धीमा है। इसे तेज़ करने के लिए, आप एक तेज़ और ऊर्जावान सू-शेफ (एक "ड्राफ्ट मॉडल") को काम पर रखते हैं।
- पुराना तरीका (Autoregressive): मास्टर शेफ एक शब्द लिखता है, रुकता है, सोचता है, अगला शब्द लिखता है, रुकता है, सोचता है। इसमें बहुत समय लगता है।
- नया तरीका (Speculative Decoding): सू-शेफ जल्दी से अगले 3 या 4 शब्दों का अनुमान लगाता है जो शेफ शायद लिखेगा। सू-शेफ उन्हें तेज़ी से लिख देता है।
- जांच: मास्टर शेफ फिर सू-शेफ के नोट्स पर एक नज़र डालता है।
- यदि नोट्स सही हैं, तो शेफ कहता है, "बहुत बढ़िया!" और उन सभी 4 शब्दों को एक साथ स्वीकार कर लेता है।
- यदि नोट्स गलत हैं, तो शेफ उन्हें काट देता है, सही शब्द लिखता है, और नए सिरे से शुरुआत करता है।
जादू: क्योंकि सू-शेफ तेज़ है, शेफ अधिकांश समय एक साथ कई शब्दों को स्वीकार कर पाता है। अंतिम परिणाम बिल्कुल वैसा ही होता है जैसा कि यदि शेफ ने अकेले लिखा होता। लेकिन यह बहुत अधिक तेज़ी से होता है।
इस शोध पत्र ने वास्तव में क्या किया
शोधकर्ताओं ने इस प्रणाली को NeMo-RL नामक एक वास्तविक प्रशिक्षण ढांचे (framework) में बनाया। उन्होंने इसे केवल सरल कार्यों पर ही नहीं परखा; उन्होंने इसे "तर्क" (reasoning) वाले कार्यों पर परखा जहाँ AI को गहराई से सोचना पड़ता है (जैसे गणित की समस्याएँ हल करना)।
यहाँ उनके मुख्य निष्कर्ष दिए गए, जिन्हें रोज़मर्रा की भाषा में अनुवादित किया गया है:
- यह बिना धोखाधड़ी के काम करता है: कुछ गति बढ़ाने वाले तरीके शॉर्टकट अपनाने की कोशिश करते हैं (जैसे कम गुणवत्ता वाली गणित का उपयोग करना या चरणों को छोड़ देना), जो छात्र के सीखने के तरीके को बिगाड़ सकते हैं। यह तरीका "लॉसलेस" (lossless) है। यह गारंटी देता है कि AI ठीक उसी तरह सीखता है जैसे वह असिस्टेंट के बिना सीखता, बस यह अधिक तेज़ी से होता है।
- गति में वृद्धि:
- एक मध्यम आकार के मॉडल (8 बिलियन पैरामीटर्स) पर, उन्होंने लेखन प्रक्रिया को 1.5 से 1.8 गुना तेज़ होते देखा।
- क्योंकि लेखन कुल प्रशिक्षण समय का लगभग 70% हिस्सा घेरता है, इसलिए संपूर्ण प्रशिक्षण प्रक्रिया लगभग 1.35 से 1.4 गुना तेज़ हो गई।
- "ड्राफ्ट" (मसौदा) मायने रखता है: सू-शेफ को एक अच्छा अनुमान लगाने वाला होना चाहिए।
- यदि आप सू-शेफ को उसी प्रकार की गणित की समस्याओं पर प्रशिक्षित करते हैं जो छात्र सीख रहा है, तो गति में वृद्धि बहुत अधिक होती है।
- यदि आप एक सामान्य सू-शेफ का उपयोग करते हैं जो केवल सामान्य बातचीत जानता है, तो गति में वृद्धि कम होती है।
- बहुत आगे का अनुमान न लगाएं: यदि सू-शेफ एक साथ 7 शब्दों का अनुमान लगाने की कोशिश करता है, तो वे बहुत अधिक गलतियाँ करते हैं, और मास्टर शेफ को उन्हें सुधारने में बहुत अधिक समय लगता है। 3 शब्द एक बार में अनुमान लगाना "स्वीट स्पॉट" (सबसे उपयुक्त स्थिति) था।
- भविष्य (बड़े मॉडल): उन्होंने एक अत्यंत सटीक कंप्यूटर सिम्युलेटर का उपयोग किया ताकि यह अनुमान लगाया जा सके कि विशाल मॉडल (235 बिलियन पैरामीटर्स) और हजारों कंप्यूटरों के मिलकर काम करने पर क्या होगा।
- वे भविष्यवाणी करते हैं कि इन विशाल मॉडलों के लिए, यह तकनीक संपूर्ण प्रशिक्षण प्रक्रिया को 2.5 गुना तेज़ कर सकती है।
यह क्यों महत्वपूर्ण है
AI की दुनिया में, समय ही पैसा है। यदि आप एक मॉडल को 2.5 गुना तेज़ी से प्रशिक्षित कर सकते हैं, तो आप या तो उसी समय में एक स्मार्ट मॉडल प्राप्त कर सकते हैं, या उसी मॉडल को बहुत कम लागत में प्राप्त कर सकते हैं।
यह शोध पत्र सिद्ध करता है कि आपको गति प्राप्त करने के लिए AI के "दिमाग" या खेल के नियमों को बदलने की आवश्यकता नहीं है। आपको बस एक स्मार्ट, तेज़ सहायक की आवश्यकता है जो ड्राफ्ट लिखने में मदद करे, और फिर मुख्य मॉडल को अंतिम सत्यापन करने दें। यह एक सिस्टम अपग्रेड है जो बिना कुछ भी तोड़े पूरे प्रशिक्षण पाइपलाइन को सुचारू रूप से चलाने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।