Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization
यह शोध पत्र बाइट-प्रिफिक्स मार्जिनलाइजेशन (BPM) को प्रस्तुत करता है, जो एक नवीन क्रॉस-टोकेनाइज़र ऑन-पॉलिसी डिस्टिलेशन विधि है जो गणित और प्रोग्रामिंग बेंचमार्क में छात्र मॉडल के प्रदर्शन को सुधारने और प्रायिकता द्रव्यमान (प्रोबेबिलिटी मास) को संरक्षित करने के लिए एक साझा बाइट स्पेस पर शिक्षक वितरणों को पुन: व्यक्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ अलग-अलग वास्तुकारों (architects) द्वारा बनाए गए विशाल, प्रतिभाशाली AI मस्तिष्क मौजूद हैं, जिनमें से प्रत्येक अपनी अनूठी भाषा का उपयोग करके सोचता है। एक वास्तुकार लंबे, प्रवाहमय वाक्यों में बोल सकता है, जबकि दूसरा विचारों को छोटे, तीव्र-गति वाले शब्दांशों (syllables) में तोड़ सकता है। यह आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) की वास्तविकता है। वे अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे अक्सर अलग-अलग "टोकन" भाषाओं में बात करते हैं। टोकन टेक्स्ट का एक हिस्सा होता है—जैसे एक शब्द, एक शब्द का भाग, या यहाँ तक कि एक एकल अक्षर भी—जिसका उपयोग कंप्यूटर जानकारी को प्रोसेस करने के लिए करता है।
अब, कल्पना कीजिए कि आप एक छोटा, तेज़ और सस्ता AI छात्र बनाना चाहते हैं जो इन विशाल शिक्षकों से सीख सके। इसे "डिस्टिलेशन" (distillation) कहा जाता है। आमतौर पर, आप बस छात्र को शिक्षक के उत्तरों की नकल करने के लिए कहेंगे। लेकिन यहाँ एक पेंच है: यदि शिक्षक और छात्र अलग-अलग "टोकन" भाषाएँ बोलते हैं, तो सीधा कॉपी-पेस्ट करना असंभव है। यह एक ऐसे छात्र को पढ़ाने जैसा है जो केवल अंग्रेजी बोलता है और आप उसे इमोजी और प्रतीकों के कोड में लिखी गई पाठ्यपुस्तक थमा रहे हैं। छात्र प्रतीकों को देखता है, लेकिन वह यह नहीं जानता कि कौन सा प्रतीक किस अंग्रेजी शब्द से मेल खाता है। यदि आप जबरदस्ती मिलान करने की कोशिश करते हैं, तो आप गलती से छात्र को सिखा सकते हैं कि बिल्ली की एक तस्वीर का मतलब "सेब" है, या इससे भी बुरा, आप शिक्षक की आधी बुद्धिमत्ता को फेंक सकते हैं क्योंकि वह उनके शब्दकोश में फिट नहीं बैठती।
यह शोध पत्र ठीक इसी सिरदर्द को सुलझाता है। शोधकर्ताओं ने जानना चाहा: क्या हम एक छात्र AI को एक ऐसे शिक्षक से सीखना सिखा सकते हैं जो पूरी तरह से अलग "टोकन" भाषा बोलता है, बिना शिक्षक की प्रतिभा को खोए या उसे गलती से निरर्थक बातें सिखाए?
समाधान: "बाइट-प्रिफिक्स" (Byte-Prefix) अनुवादक
लेखकों ने, जो KwaiKAT और यूनिवर्सिटी ऑफ चाइनीज एकेडमी ऑफ साइंसेज की एक टीम है, एक चतुर नई विधि पेश की जिसे बाइट-प्रिफिक्स मार्जिनलाइजेशन (BPM) कहा जाता है। यह कैसे काम करता है, इसे समझने के लिए, जटिल गणित को एक तरफ छोड़ दें और सोचें कि कंप्यूटर वास्तव में टेक्स्ट को कैसे देखता है।
भले ही विभिन्न AI टेक्स्ट को अलग-अलग आकार के "टोकन" (टुकड़ों) में तोड़ते हैं, वे सभी अंतर्निदम बाइट्स (bytes) पर सहमत होते हैं। बाइट्स टेक्स्ट के सूक्ष्म, अदृश्य निर्माण खंड हैं—raw 0s और 1s जो हर अक्षर, स्पेस और विराम चिह्न बनाते हैं। चाहे कोई AI "unbelievable" शब्द को एक विशाल टोकन के रूप में देखता हो, या उसे "un", "bel", और "ievable" में तोड़ता हो, वे सभी इस बात पर सहमत हैं कि "un" के बाइट्स पहले आते हैं, उसके बाद "bel" के बाइट्स आते हैं, और इसी तरह।
लेखकों ने महसूस किया कि अलग-अलग आकार के टोकनों से मेल बिठाने के बजाय, वे पहले शिक्षक की बुद्धिमत्ता को इस साझा "बाइट भाषा" में अनुवादित कर सकते हैं। यहाँ बताया गया है कि BPM चरण-दर-चरण कैसे काम करता है:
- द बाइट मैप (The Byte Map): कल्पना कीजिए कि शिक्षक की अगली भविष्यवाणी संभावनाओं का एक बादल है। शिक्षक कहता है, "'unbelievable' होने की 30% संभावना है।"
- लॉन्गेस्ट मैच (The Longest Match): छात्र का टोकेनाइज़र उन बाइट्स को देखता है जो "unbelievable" के लिए हैं और पूछता है, "मेरे शब्दकोश में सबसे लंबा टुकड़ा कौन सा है जो इन बाइट्स की शुरुआत में फिट बैठता है?" शायद छात्र के पास "un" और "belie" के लिए टोकन है।
- ट्रांसफर (The Transfer): BPM शिक्षक की "unbelievable" के लिए 30% संभावना लेता है और उसे छात्र के टोकन "un" (या "belie", जो भी सबसे लंबा मैच हो) को सौंप देता है। यह कहने जैसा है कि, "यदि शिक्षक को लगता है कि 'unbelievable' की संभावना अधिक है, तो छात्र को निश्चित रूप से 'un' की संभावना अधिक लगनी चाहिए, क्योंकि 'un' उस शब्द का पहला हिस्सा है।"
- सेफ्टी नेट (The Safety Net): क्या होगा यदि शिक्षक कुछ ऐसा कहता है जिससे छात्र का शब्दकोश शुरू भी नहीं हो सकता? BPM उस संभावना को केवल फेंक नहीं देता है। यह उसे एक विशेष "रेसिड्यूअल" (residual) बाल्टी में डाल देता है, यह सुनिश्चित करते हुए कि शिक्षक की 100% संभावना का द्रव्यमान सुरक्षित रहे। कुछ भी खोता नहीं है।
यह विधि एक पूर्ण, "मास-प्रिजर्विंग" (द्रव्यमान-संरक्षण करने वाला) लक्ष्य बनाती है। यह गारंटी देता है कि छात्र ठीक वही सीखता है जो शिक्षक का इरादा था, भले ही वे अलग-अलग भाषाएं बोलते हों, जब तक कि वे बाइट्स पर सहमत हों।
"व्हाइटस्पेस" का जाल और समाधान
हालाँकि, शोधकर्ताओं ने एक मज़ेदार, पेचीदा समस्या की खोज की। जब शिक्षक और छात्र कोड लिख रहे होते हैं, तो कभी-कभी अगला "टोकन" केवल रिक्त स्थान (spaces) या टैब (tabs) का एक समूह होता है। क्योंकि अलग-अलग टोकेनाइज़र स्पेस को अलग-अलग तरह से विभाजित करते हैं, शिक्षक कह सकता है, "मैं तीन स्पेस जोड़ रहा हूँ," जबकि छात्र का टोकेनाइज़र इसे "मैं एक बड़ा स्पेस टोकन जोड़ रहा हूँ" के रूप रूप में देखता है।
यदि छात्र इन स्पेस टोकन के लिए शिक्षक की सटीक संभावना की नकल करने की कोशिश करता है, तो वह भ्रमित हो जाता है। वह कोड के वास्तविक तर्क के बजाय स्पेस के लिए शिक्षक की विशिष्ट "काटने की शैली" को सीखने लगता है। लेखकों ने पाया कि कुछ मामलों में, इस भ्रम के कारण छात्र का कोड पूरी तरह से ध्वस्त हो गया—कोडिंग करने की उसकी क्षमता 49% से गिरकर विनाशकारी 9% रह गई।
इसे ठीक करने के लिए, उन्होंने एक सरल "व्हाइटस्पेस मास्क" जोड़ा। यह एक रेफरी की तरह है जो कहता है, "हे, यदि अगला कदम केवल स्पेस है, तो शिक्षक के सटीक स्पेस-टोकन की संभावना की नकल करने की कोशिश न करें। बस उस हिस्से को अनदेखा कर दें।" इस छोटे से नियम ने स्थिति को संभाल लिया, भ्रम को रोका और छात्र को वास्तविक कोड लॉजिक पर ध्यान केंद्रित करने दिया।
परिणाम: स्मार्ट छात्र, तेज़ गति
टीम ने इस पद्धति का परीक्षण करने के लिए तीन अलग-अलग विशाल AI शिक्षकों (Qwen3-32B, GLM-Z1-9B, और MiniMax-M2.7) को लिया और उन्हें एक एकल, छोटे छात्र मॉडल (Qwen3.5-2B) को सिखाने की कोशिश की। इन शिक्षकों की टोकन भाषाएँ बहुत भिन्न थीं, जिससे कार्य काफी कठिन हो गया था।
उन्होंने अपने नए BPM पद्धति की तुलना अन्य मौजूदा तरीकों से की जो अलग-अलग टोकेनाइज़र को संभालते हैं। परिणाम स्पष्ट थे:
- बेहतर स्कोर: गणित और कोडिंग के छह कठिन बेंचमार्क पर, BPM-प्रशिक्षित छात्र लगातार अन्य विधियों से बेहतर प्रदर्शन करते रहे। उन्होंने सबसे मजबूत पिछले प्रयासों की तुलना में औसत स्कोर में 3.7 से 6.6 अंक का सुधार किया।
- अंतर को कम करना: इस पद्धति ने छोटे छात्र और विशाल शिक्षक के बीच के प्रदर्शन अंतर को 33.5% से 43.9% तक कम करने में सफलता प्राप्त की। यह शिक्षक के मस्तिष्क की शक्ति का एक बहुत बड़ा हिस्सा है जो छात्र में स्थानांतरित हुआ है।
- मजबूती (Robustness): यह विधि तब भी अच्छी तरह से काम करती रही जब शिक्षक और छात्र बहुत अलग थे (जैसे MiniMax शिक्षक), जो यह साबित करता है कि "बाइट-प्रिफिक्स" दृष्टिकोण एक सार्वभौमिक अनुवादक है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र सुझाव देता है कि हमें एक-दूसरे से सीखने के लिए सभी AI मॉडलों को एक ही शब्दकोश का उपयोग करने के लिए मजबूर करने की आवश्यकता नहीं है। साझा "बाइट" भाषा को एक सेतु के रूप में उपयोग करके, हम विभिन्न परिवारों के सर्वश्रेष्ठ शिक्षकों को मिला सकते हैं और उन्हें कुशल छात्रों को सिखा सकते हैं बिना किसी ज्ञान को खोए। यह यह महसूस करने जैसा है कि भले ही हर कोई अलग बोलियाँ बोलता हो, लेकिन वे सभी वर्णमाला (alphabet) पर सहमत होते हैं। यदि आप छात्र को पहले वर्णमाला पढ़ना सिखाते हैं, तो आप उन्हें कुछ भी सिखा सकते हैं, चाहे शिक्षक कोई भी हो।
लेखकों ने दिखाया है कि यह दृष्टिकोण केवल एक सैद्धांतिक विचार नहीं है बल्कि एक व्यावहारिक उपकरण है जो आज काम करता है, जो छोटे, तेज़ और स्मार्ट AI मॉडल बनाने में मदद करता है जो अपने विशाल शिक्षकों की भारी कंप्यूटिंग शक्ति की आवश्यकता के बिना जटिल गणित और कोडिंग समस्याओं को हल कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।