Draft-OPD: On-Policy Distillation for Speculative Draft Models
यह शोध पत्र Draft-OPD को प्रस्तुत करता है, जो एक ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो टारगेट-असिस्टेड रोलआउट्स और एरर पोजीशन से ड्राफ्टिंग को रीप्ले करने का उपयोग करके थिंकिंग मॉडल्स के लिए 5 गुना से अधिक लॉसलेस एक्सेलेरेशन प्राप्त करने के लिए स्पेकुलेटिव डिकोडिंग हेतु सुपरवाइज्ड फाइन-ट्यूनिंग की सीमाओं को दूर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत प्रसिद्ध, प्रतिभाशाली लेखक (Target Model) के साथ मिलकर एक लंबी, जटिल कहानी लिखने की कोशिश कर रहे हैं। यह लेखक अविश्वसनीय रूप से बुद्धिमान है और सटीक वाक्य लिखता है, लेकिन वे बहुत धीमे भी हैं। वे हर एक शब्द लिखने से पहले उस पर सोचने में बहुत समय लेते हैं।
काम को तेज़ करने के लिए, आप एक फुर्तीले, ऊर्जावान इंटर्न (Draft Model) को काम पर रखते हैं जो अगले कुछ शब्दों का अनुमान लगा सके। इंटर्न कुछ शब्द जल्दी से लिखता है, और फिर प्रसिद्ध लेखक उन्हें चेक करता है। यदि इंटर्न सही है, तो लेखक कहता है, "बहुत बढ़िया, जारी रखो!" और आगे बढ़ जाता है। यदि इंटरल गलत होता है, तो लेखक उस गलती को काट देता है, सही शब्द लिखता है, और फिर से शुरू करता है।
इस प्रक्रिया को Speculative Decoding कहा जाता है। लक्ष्य यह है कि इंटर्न इतना अच्छा अनुमान लगाए कि लेखक को रुककर सुधार करने की बहुत कम आवश्यकता पड़े, जिससे पूरी कहानी बहुत तेज़ी से लिखी जा सके।
समस्या: "टेक्स्टबुक" बनाम "असली खेल"
लंबे समय तक, इन इंटर्न्स को प्रशिक्षित करने का तरीका एक टेक्स्टबुक (पाठ्यपुस्तक) देने जैसा था। आपने उन्हें पहले से लिखी गई कहानियाँ दिखाईं और कहा, "इन पैटर्न को याद कर लो।" इसे Supervised Fine-Tuning (SFT) कहा जाता है।
शुरुआत में, यह बहुत अच्छा काम करता है। इंटर्न टेक्स्टबुक की नकल करने में बेहतर होता जाता है। लेकिन अंततः, वे एक दीवार से टकरा जाते हैं। चाहे वे टेक्स्टबुक को कितना भी अधिक पढ़ लें, वे वास्तविक समय में अनुमान लगाने में और तेज़ नहीं हो पाते।
क्यों?
क्योंकि टेक्स्टबुक स्थिर (static) है। यह केवल उन रास्तों को दिखाती है जिन पर प्रसिद्ध लेखक पहले चल चुका है। लेकिन असली खेल में, इंटर्न ही पहला कदम उठाने वाला होता है। कभी-कभी इंटर्न एक अजीब सा शब्द अनुमान लगाता है जिसे लेखक ने टेक्स्टबुक में कभी नहीं लिखा होता। जब इंटर्न गलती करता है, तो लेखक उसे सुधारता है। लेकिन इंटर्न उस गलती से कभी सीख नहीं पाता क्योंकि टेक्स्टबुक में उस विशिष्ट "गलत अनुमान" वाले परिदृश्य (scenario) में मौजूद नहीं था। इंटर्न एक ऐसे शहर के मानचित्र का अध्ययन कर रहा है जिसमें उसने कभी चलकर देखा ही नहीं है।
समाधान: "Draft-OPD" (करके सीखना)
इस पेपर के लेखकों ने एक नई प्रशिक्षण विधि प्रस्तावित की है जिसे Draft-OPD कहा जाता है। केवल टेक्स्टबुक पढ़ने के बजाय, वे इंटर्न को एक सिम्युलेटेड गेम में अभ्यास करने देते हैं जहाँ प्रसिद्ध लेखक तुरंत एक कोच की तरह मौजूद होता है।
यह इस प्रकार काम करता है, एक सरल उदाहरण के माध्यम से:
सुरक्षित अभ्यास सत्र (Target-Assisted Rollout):
कल्पना कीजिए कि इंटर्न एक पैराग्राफ लिखने की कोशिश करता है। यदि वह अटक जाता है या रास्ते से भटक जाता है, तो प्रसिद्ध लेखक तुरंत हस्तक्षेप करता है ताकि उसे ठीक किया जा सके और कहानी को आगे बढ़ाया जा सके। यह सुनिश्चित करता है कि अभ्यास सत्र बकवास (gibberish) में न बदल जाए (जो तब होता है जब इंटर्न अकेले पूरी कहानी लिखने की कोशिश करता है)।"एरर रिप्ले" (The Secret Sauce):
यह सबसे महत्वपूर्ण हिस्सा है। जब इंटर्न एक अनुमान लगाता है और लेखक को उसे सुधारना पड़ता है, तो सिस्टम केवल आगे नहीं बढ़ता। यह "रिवाइंड" (पीछे) बटन दबाता है।
- यह ठीक उसी क्षण पर वापस जाता है जहाँ इंटर्न ने गलत अनुमान लगाया था।
- यह सिस्टम इंटर्न से उस विशिष्ट अनुमान को फिर से आज़माने के लिए कहता है।
- यह लेखक से पूछता है कि वह अनुमान गलत क्यों था।
यह एक कोच की तरह है जो कहता है, "रुको! तुमने गेंद को बाईं ओर किक करने की कोशिश की, लेकिन गोलकीपर वहीं था। चलो पीछे चलते हैं और फिर से कोशिश करते हैं ताकि तुम सही दिशा में किक करना सीख सको।" यह इंटर्न को विशेष रूप से उन गलतियों के बारे में सिखाता है जो वे खुद करते हैं, न कि केवल उन आदर्श रास्तों के बारे में जो लेखक ने लिए थे।
- स्मार्ट स्कोरिंग (Acceptance-Aware Distillation):
सिस्टम इंटर्न के अनुमानों को परिणाम के आधार पर अलग तरह से देखता है:
- यदि इंटर्न सही था: सिस्टम कहता है, "अच्छा काम किया, बिल्कुल वैसा ही करते रहो जैसा तुमने किया।" (अच्छी आदतों को सुदृढ़ करें)।
- यदि इंटर्न गलत था: सिस्टम कहता है, "तुम इस गलत उत्तर को लेकर आश्वस्त थे, लेकिन यह गलत था। आइए इस विशिष्ट प्रकार की त्रुटि को ठीक करने पर ध्यान केंद्रित करें।" (आत्मविश्वास से की गई गलतियों को दंडित करें)।
परिणाम
पेपर में इस नई विधि का परीक्षण कुछ उन्नत AI मॉडल्स (जिन्हें गणित और कोडिंग में कुशल होने के कारण "थिंकिंग मॉडल्स" कहा जाता है) पर किया गया।
- पुरानी विधि (Textbook Learning): इंटर्न लेखन प्रक्रिया को लगभग 4.5 गुना तेज़ कर सका।
- नई विधि (Draft-OPD): इंटर्न ने लेखन प्रक्रिया को 5 गुना से अधिक तेज़ कर दिया।
सरल शब्दों में, नई प्रशिक्षण विधि ने इंटर्न को अनुमान लगाने में इतना बेहतर बना दिया कि प्रसिद्ध लेखक को रुककर सुधार करने की आवश्यकता बहुत कम पड़ी। इसका अर्थ है कि गुणवत्ता खोए बिना पूरी कहानी बहुत तेज़ी से लिखी जाती है।
सारांश
यह पेपर तर्क देता है कि AI को तेज़ बनाने के लिए, हम उन्हें केवल आदर्श उदाहरणों की नकल करना नहीं सिखा सकते। हमें उन्हें अभ्यास करने देना होगा, उन्हें गलतियाँ करने देनी होंगी, और फिर विशेष रूप से उन्हें उन गलतियों को कैसे ठीक किया जाए, यह सिखाना होगा। जहाँ AI गलत अनुमान लगाता है, उन क्षणों को दोबारा चलाने (replay) से, हम एक ऐसा "ड्राफ्ट" AI प्रशिक्षित कर सकते हैं जो भविष्य का अनुमान लगाने में बहुत बेहतर होता है, जिससे पूरा सिस्टम काफी तेज़ हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।