💬 NLP

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation

यह शोध पत्र X-Token का प्रस्ताव करता है, जो एक प्रोजेक्शन-गाइडेड क्रॉस-टोकनाइज़र नॉलेज डिस्टिलेशन फ्रेमवर्क है जो लॉजिट-आधारित डिस्टिलेशन में वोकैबुलरी असंगति और टोकन-मैचिंग सीमाओं को दूर करने के लिए स्पार्स प्रोजेक्शन मैट्रिसेस का उपयोग करता है, जिससे छात्र मॉडल विषम वोकैबुलरी वाले शिक्षकों से प्रभावी ढंग से "डार्क नॉलेज" सीख पाते हैं और अत्याधुनिक प्रदर्शन प्राप्त करते हैं।

मूल लेखक: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा छात्र (Student Model) को गणित की समस्याएँ हल करना और कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। आपके पास एक शानदार शिक्षक (Teacher Model) है जो सब कुछ जानता है, लेकिन एक पेच है, वे अलग भाषा बोलते हैं।

छात्र "Llama" बोलता है, जहाँ संख्या 201 एक ही शब्द है। शिक्षक "Qwen" बोलते हैं, जहाँ 201 को तीन अलग-अलग शब्दों में तोड़ा गया है: 2, 0, और 1।

अतीत में, इस शिक्षक का उपयोग करके छात्र को सिखाने की कोशिश करना दो अलग-अलग दराजों से मोज़े मिलाने जैसा था जहाँ उनके आकार मेल नहीं खाते थे। यदि आप जबरदस्ती मिलान करने की कोशिश करते, तो छात्र भ्रमित हो जाता, या इससे भी बुरा, शिक्षक की बहुमूल्य सलाह को पूरी तरह से अनदेखा कर दिया जाता।

यह पेपर इस बेमेल को ठीक करने के लिए X-Token नामक एक नई विधि पेश करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "मोज़ा दराज" का बेमेल (The "Sock Drawer" Mismatch)

पिछली विधियों ने इसे शब्दावली (vocabulary) को दो समूहों में विभाजित करके हल करने की कोशिश की:

"सामान्य" समूह (The "Common" Group): वे शब्द जो दोनों भाषाओं में बिल्कुल एक जैसे दिखते हैं (जैसे, "the", "cat")।
"असामान्य" समूह (The "Uncommon" Group): वे शब्द जो मेल नहीं खाते (जैसे, "201" बनाम "2-0-1")।

पुरानी विधि (जिसे GOLD कहा जाता था) इन दो समूहों के साथ अलग-अलग व्यवहार करती थी। इसने "सामान्य" शब्दों के लिए सटीक सलाह दी, लेकिन "असामान्य" शब्दों के लिए अव्यवful और रैंडम सलाह दी।

विफलता: यदि छात्र को 201 जैसी महत्वपूर्ण गणितीय संख्या सीखने की आवश्यकता होती, और वह संख्या "असामान्य" समूह में आती, तो पुरानी विधि वास्तव में छात्र के सीखने में बाधा डालती। यह एक शिक्षक द्वारा छात्र को यह कहने जैसा है, "201 संख्या की चिंता मत करो; बस अंदाज़ा लगाओ।" पेपर दिखाता है कि इस कारण छात्र का गणित स्कोर एक अच्छे 12.89 से गिरकर एक भयानक 2.56 पर आ गया।

2. समाधान: "यूनिवर्सल ट्रांसलेटर" (प्रोजेक्शन मैट्रिक्स)

X-Token एक विशेष उपकरण जिसे प्रोजेक्शन मैट्रिक्स ( $W$ ) कहा जाता है, पेश करता है। इसे एक यूनिवर्सल ट्रांसलेटर या रोसेटा स्टोन के रूप में सोचें जो छात्र और शिक्षक के बीच स्थित है।

केवल उन शब्दों को सीखने के बजाय जो बिल्कुल एक जैसे दिखते हैं, यह ट्रांसलेटर कहता है:

"ठीक है, जब शिक्षक '2', '0', और '1' कहते हैं, तो वह छात्र के '201' के समान ही है।"
यह एक पुल बनाता है ताकि छात्र शिक्षक के पूर्ण तर्क (logic) को समझ सके, भले ही वे शब्दों को अलग-अलग तरीके से तोड़ते हों।

3. दो अलग-अलग शिक्षण शैलियाँ (Loss Functions)

पेपर यह समझता है कि कभी-कभी "यूनिवर्सल ट्रांसलेटर" को स्थिति के आधार पर दो अलग-अलग तरीकों से काम करने की आवश्यकता होती है। उन्होंने दो मोड बनाए:

मोड A: "फुल मर्ज" (P-KL)

कब उपयोग करें: जब शिक्षक महत्वपूर्ण शब्दों (जैसे गणित की संख्याएँ) को छोटे टुकड़ों में तोड़ देता है जिन्हें छात्र बिल्कुल नहीं पहचानता।
यह कैसे काम करता है: यह "सामान्य" बनाम "असामान्य" शब्दों के विचार को पूरी तरह से त्याग देता है। यह शिक्षक के पूरे मस्तिष्क को छात्र के मस्तिष्क से जोड़ने के लिए ट्रांसलेटर का उपयोग करता है।
परिणाम: इसने गणित के स्कोर को बचा लिया! Qwen शिक्षक के साथ इस मोड का उपयोग करने से, छात्र का गणित स्कोर 2.56 (पुरानी विधि के साथ) से उछलकर 15.54 हो गया। इसने उस शिक्षक को भी मात दी जो छात्र की ही भाषा बोलता था।

मोड B: "रिलैक्स्ड मैच" (H-KL)

कब उपयोग करें: जब शिक्षक और छात्र काफी हद तक सहमत होते हैं, लेकिन कुछ छोटे अंतर होते हैं (जैसे, शिक्षक का "Hundreds" के लिए "Hund" + "reds" कहना)।
यह कैसे काम करता है: यह "सामान्य" बनाम "असामान्य" विभाजन को बनाए रखता है लेकिन नियमों को थोड़ा ढीला कर देता है। सटीक मिलान की मांग करने के बजाय, यह कहता है, "यदि ट्रांसलेटर कहता है कि ये दोनों सबसे करीबी मिलान हैं, तो चलिए इन्हें एक मिलान मान लेते हैं।"
परिणाम: इसने Phi-4-mini मॉडल के साथ लगभग +0.5 अंक का छोटा लेकिन स्थिर सुधार दिया, जो संख्याओं को इतनी आक्रामक तरीके से नहीं तोड़ता था।

4. "विशेषज्ञों का पैनल" (Multi-Teacher Distillation)

पेपर यह भी दिखाता है कि आप एक साथ कई शिक्षकों का उपयोग कर सकते हैं।

कल्पना कीजिए कि आपके पास एक गणित के जीनियस शिक्षक और एक कहानी सुनाने वाले शिक्षक हैं।
X-Token छात्र को एक साथ दोनों की बात सुनने की अनुमति देता है।
परिणाम: जब उन्होंने एक गणित-केंद्रित शिक्षक (Phi-4-mini) को एक सामान्य ज्ञान शिक्षक (Llama-3) के साथ मिलाया, तो छात्र ने केवल एक शिक्षक की तुलना में बेहतर सीखा। यह एक छात्र को गणित के लिए एक निजी ट्यूटर और इतिहास के लिए एक अलग ट्यूटर मिलने और फिर उन दोनों के पाठों को एक सुपर-स्टूडेंट में संयोजित करने जैसा है।

परिणामों का सारांश

पुराना तरीका: यदि उनकी शब्दावलियाँ पूरी तरह से मेल नहीं खाती थीं, तो छात्र भ्रमित हो जाता था और खराब प्रदर्शन करता था।
X-Token का तरीका: एक स्मार्ट ट्रांसलेटर और सही शिक्षण शैली (Full Merge बनाम Relaxed Match) का उपयोग करके, छात्र अलग-अलग "भाषाएँ" बोलने वाले शिक्षकों से प्रभावी ढंग से सीख सका।
प्रमाण: एक मानक गणित परीक्षण (GSM8k) पर, X-Token ने एक विशिष्ट शिक्षक का उपयोग करते समय पिछले सर्वश्रेष्ठ तरीके की तुलना में छात्र के स्कोर में 6 गुना सुधार किया।

संक्षेप में, X-Token एक स्मार्ट सिस्टम है जो दो अलग-अलग भाषाओं को एक जैसा दिखने के लिए मजबूर करना बंद कर देता है और इसके बजाय एक पुल बनाता है ताकि छात्र शिक्षक के विचारों से सीख सके, चाहे शिक्षक उन्हें कैसे भी व्यक्त करे।

तकनीकी सारांश: X-Token: प्रोजेक्शन-गाइडेड क्रॉस-टोकेनाइज़र नॉलेज डिस्टिलेशन

समस्या विवरण

नॉलेज डिस्टिलेशन (KD) के लिए आमतौर पर शिक्षक और छात्र मॉडल के बीच एक साझा टोकेनाइज़र की आवश्यकता होती है, जो प्रभावी रूप से अभ्यासकर्ताओं को विशिष्ट मॉडल परिवारों तक ही सीमित कर देता है। यह प्रतिबंध असंगत शब्दावलियों (जैसे, एक Qwen या Phi मॉडल से Llama छात्र में डिस्टिल करना) वाले मजबूत या विशिष्ट शिक्षकों का लाभ उठाने से रोकता है और विविध टोकेनाइज़र परिवारों के बीच मल्टी-टीचर डिस्टिलेशन में बाधा डालता है।

मौजूदा क्रॉस-टोकेनाइज़र KD विधियाँ दो श्रेणियों में आती हैं: रिप्रेजेंटेशन-आधारित (हिडन स्टेट्स को अलाइन करना) और लोगिट-डिस्ट्रीब्यूशन-आधारित (आउटपुट प्रोबेबिलिटीज पर काम करना)। दूसरा तरीका निरंतर प्रीट्रेनिंग (continual pretraining) के लिए अधिक पसंद किया जाता है क्योंकि इसमें आर्किटेक्चरल बदलावों की आवश्यकता नहीं होती है। हालाँकि, वर्तमान अत्याधुनिक (state-of-the-art) लोगिट-आधारित विधि, GOLD, असंगत टोकेनाइज़र को संभालते समय दो महत्वपूर्ण संरचनात्मक सीमाओं से ग्रस्त है:

अनकॉमन-टोकन विफलता (Uncommon-Token Failure): जब टोकेनाइज़र टेक्स्ट को अलग-अलग तरह से विभाजित करते हैं (उदाहरण के लिए, एक शिक्षक बहु-अंकों वाले संख्यात्मक मानों को तोड़ देता है जबकि छात्र उन्हें एक साथ रखता है), तो महत्वपूर्ण टोकन एक "अनमैच्ड" (unmatched) उपसमूह में गिर जाते हैं। ये टोकन रैंक-आधारित मिलान से उत्पन्न पहचान-अज्ञेय शोर (identity-agnostic noise) द्वारा खराब हो जाते हैं और कॉमन-KL टर्म के ग्रेडिएंट्स द्वारा दबा दिए जाते हैं, जिससे प्रदर्शन में भारी गिरावट आती है (जैसे, GSM8k सटीकता 12.89 से गिरकर 2.56 हो जाती है)।
अति-रूढ़िवादी मिलान (Over-Conservative Matching): सख्त 1-टू-1 स्ट्रिंग समानता उन वैध सिमेंटिक एलाइनमेंट्स को बाहर कर देती है जहाँ सतही रूप (surface forms) भिन्न होते हैं (उदाहरण के लिए, एक छात्र टोकन "Hundreds" जो शिक्षक टोकन "Hund" + "reds" के अनुरूप है), जिससे उपयोगी सुपरविजन सिग्नल का लाभ नहीं मिल पाता।

कार्यप्रणाली: X-Token

X-Token इन मुद्दों को तीन घटकों वाले फ्रेमवर्क के माध्यम से संबोधित करता है: स्पैन एलाइनमेंट (Span Alignment), एक प्रोजेक्शन मैट्रिक्स ( $W$ ), और पूरक लॉस फॉर्मुलेशन (Complementary Loss Formulations)।

1. सीक्वेंस एलाइनमेंट (Sequence Alignment)

विभिन्न अनुक्रम लंबाई (sequence lengths) और पोजीशनल मिसअलाइनमेंट को संभालने के लिए, X-Token स्पैन एलाइनमेंट का उपयोग करता है। टोकनों को ऐसे चंक्स (chunks) में समूहित किया जाता है जो एक ही अंतर्निहित टेक्स्ट को डिकोड करते हैं। प्रत्येक चंक के भीतर एक चेन-रूल मर्ज लागू किया जाता है ताकि प्रति-टोकन प्रोबेबिलिटीज को एक एकल चंक-स्तरीय वितरण में संयोजित किया जा सके, जिससे डिस्टिलेशन के लिए अलाइन किए गए यूनिट्स तैयार होते हैं।

2. प्रोजेक्शन मैट्रिक्स ( $W$ )

एक स्पार्स प्रोजेक्शन मैट्रिक्स $W \in \mathbb{R}^{|\mathcal{V}_S| \times |\mathcal{V}_T|}$ छात्र टोकन प्रोबेबिलिटीज को शिक्षक की शब्दावली स्पेस में मैप करता है। इसे दो चरणों में नियत रूप से (deterministically) निर्मित किया जाता है:

एक्जैक्ट-मैच पास (Exact-Match Pass): उन टोकनों के लिए $W[s, t] = 1$ सेट करता है जिनका कैनोनिकल स्ट्रिंग मैच होता है।
मल्टी-टोकन-रूल पास (Multi-Token-Rule Pass): अनमैच्ड छात्र टोकनों के लिए, डिकोड किए गए टेक्स्ट को शिक्षक द्वारा पुन: टोकेनाइज किया जाता है। छात्र टोकन को घटते भार (जैसे, $\beta=0.9, \gamma=0.1$ ) के साथ परिणामी शिक्षक टोकन अनुक्रम में मैप किया जाता है।
मैट्रिक्स को टोकेनाइज़र नियमों से इनिशियलाइज़ किया जाता है और प्रशिक्षण के दौरान इसे वैकल्पिक रूप से फाइन-ट्यून किया जा सकता है।

3. पूरक लॉस फॉर्मुलेशन (Complementary Loss Formulations)

X-Token दो लॉस मोड पेश करता है, जिन्हें छात्र शब्दावली में महत्वपूर्ण टोकनों (जैसे, संख्यात्मक मान) के कवरेज ऑडिट के आधार पर चुना जाता है:

P-KL (प्रोजेक्शन-KL): उन परिदृश्यों के लिए डिज़ाइन किया गया है जहाँ महत्वपूर्ण टोकन "अनकॉमन" सेट में आते हैं (जैसे, Qwen शिक्षक)। यह विभाजन को पूरी तरह से हटा देता है। छात्र वितरण को $W$ के माध्यम से शिक्षक शब्दावली स्पेस में प्रोजेक्ट किया जाता है, और शिक्षक वितरण और प्रोजेक्टेड छात्र वितरण के बीच सीधा KL डाइवर्जेंस कंप्यूट किया जाता है। यह त्रुटिपूर्ण रैंक-आधारित ग्रेडिएंट्स और दमनकारी प्रभावों को समाप्त करता है।
H-KL (हाइब्रिड-KL): उन परिदृश्यों के लिए डिज़ाइन किया गया है जहाँ विभाजन संरचनात्मक रूप से सुदृढ़ है (जैसे, Phi-4-mini-Instruct शिक्षक)। यह हाइब्रिड संरचना को बनाए रखता है लेकिन "कॉमन" सेट की परिभाषा को शिथिल करता है। यह केवल सख्त स्ट्रिंग समानता के बजाय उन जोड़ों $(s, t^*)$ को शामिल करता है जहाँ $t^*$ $W$ के तहत छात्र टोकन $s$ के लिए टॉप-रेंक्ड शिक्षक टोकन है। यह पहचान-अलाइन किए गए जोड़ों पर सीधे KL के शार्पर सुपरविजन को बनाए रखते हुए निकट-समतुल्य एलाइनमेंट्स को कैप्चर करता है।

4. मल्टी-टीचर डिस्टिलेशन (Multi-Teacher Distillation)

X-Token प्रति-शिक्षक लॉस को एकत्रित करके मल्टी-टीचर डिस्टिलेशन तक स्वाभाविक रूप से विस्तारित होता है। यह विषम (heterogeneous) शिक्षकों के संकेतों को संयोजित करने के लिए स्टैटिक वेटिंग का उपयोग करता है (जिसने प्रयोगों में एडेप्टिव स्कीमों से बेहतर प्रदर्शन किया), जिससे उनके पूरक गुणों (जैसे, रीजनिंग बनाम कॉमनसेन्स) का लाभ उठाया जा सके।

5. डायनेमिक स्केलिंग (Dynamic Scaling)

प्रशिक्षण को स्थिर करने के लिए, डिस्टिलेशन लॉस को प्रत्येक स्टेप पर क्रॉस-एंट्रॉपी लॉस के परिमाण से मेल खाने के लिए डायनेमिक रूप से रीस्केल किया जाता है, जिससे बदलते लॉस स्केल के कारण होने वाली ऑप्टिमाइजेशन अस्थिरता को रोका जा सके।

मुख्य योगदान

नियत क्रॉस-टोकन एलाइनमेंट (Deterministic Cross-Token Alignment): एक स्पार्स प्रोजेक्शन मैट्रिक्स $W$ का परिचय, जो स्ट्रिंग नियमों और मल्टी-टोकन डिकोडिंग के माध्यम से निर्मित है, जो किसी भी सहायक ट्रेन करने योग्य कंपोनेंट के बिना सीधा वोकैबुलरी एलाइनमेंट सक्षम बनाता है।
दोहरे लॉस फॉर्मुलेशन: अलग-अलग टोकेनाइज़र मिसमैच व्यवस्थाओं के अनुकूल होने के लिए P-KL और H-KL का प्रस्ताव। P-KL महत्वपूर्ण अनमैच्ड टोकन के लिए सिग्नल रिकवर करता है, जबकि H-KL वेल-अलाइन्ड टोकनों के लिए मिलान को रिफाइन करता है।
मल्टी-टीचर क्षमता: यह प्रदर्शन कि X-Token विषम शिक्षकों से प्रभावी डिस्टिलेशन को सक्षम बनाता है, जिसके परिणाम दिखाते हैं कि विविध शिक्षक संयोजनों से सिंगल-टीचर या होमोजेनियस पेयरिंग की तुलना में बेहतर प्रदर्शन प्राप्त होता है।
मजबूत सीक्वेंस एलाइनमेंट: एक स्केलेबल, DP-आधारित स्पैन एलाइनमेंट विधि जो डिस्टिलेशन के लिए टेक्स्ट-कंसिस्टेंट यूनिट्स सुनिश्चित करती है।

प्रयोगात्मक परिणाम

प्रयोगों को Llama-3.2-1B को छात्र के रूप में और Qwen3-4B, Phi-4-mini-Instruct, और Llama-3.2-3B को शिक्षक के रूप में उपयोग करके संचालित किया गया।

SOTA के विरुद्ध प्रदर्शन: X-Token, Qwen3-4B शिक्षक का उपयोग करते समय वर्तमान अत्याधुनिक (GOLD) से +3.82 औसत अंक और Phi-4-mini शिक्षक के साथ +0.5 अंक से बेहतर प्रदर्शन करता है (GSM8k पर 2.56 से 15.54 तक का 6 गुना सुधार)।
क्रॉस-फैमिली श्रेष्ठता: Qwen रिजीम में, X-Token (P-KL) ने एक कमजोर Llama-3.2-3B शिक्षक वाले सेम-टोकेनाइज़र KD को भी पीछे छोड़ दिया, जो दर्शाता है कि जब लॉस फॉर्मुलेशन सही हो, तो क्रॉस-टोकेनाइज़र डिस्टिलेशन सेम-फैमिली सीमाओं से आगे निकल सकता है।
मल्टी-टीचर लाभ: एक टू-टीचर सेटअप (Phi-4-mini + Llama-3.2-3B) ने सिंगल-टीचर डिस्टिलेशन की तुलना में +1.3 अंक का सुधार दिखाया, जो विविध शिक्षक शक्तियों को संयोजित करने के मूल्य को रेखांकित करता है।
एब्लेशन निष्कर्ष:
- लॉस सिलेक्शन महत्वपूर्ण है: P-KL, Phi-4-mini पर विफल रहता है, और H-KL, Qwen3-4B पर विफल रहता है।
- प्रोजेक्शन मैट्रिक्स $W$ को जॉइंटली सीखना, एक फ्रोजन, रूल-बेस्ड इनिशियलाइजेशन की तुलना में मामूली लेकिन सुसंगत लाभ देता है।
- स्टैटिक टीचर वेटिंग ने एडेप्टिव स्कीम्स (जो एंट्रॉपी या कॉन्फिडेंस पर आधारित थीं) से बेहतर प्रदर्शन किया।

महत्व

यह पेपर दावा करता है कि सावधानीपूर्वक सीक्वेंस और वोकैबुलरी स्तर दोनों पर एलाइनमेंट, और अनुकूलित लॉस डिज़ाइन का संयोजन, क्रॉस-टोकेनाइज़र नॉलेज डिस्टिलेशन की पूर्ण क्षमता को अनलॉक करने की कुंजी है। विभाजन-आधारित विधियों के विशिष्ट फेल्योर मोड्स को संबोधित करके, X-Token अभ्यासकर्ताओं को टोकेनाइज़र कम्पैटिबिलिटी की बाधा के बिना मजबूत, विशिष्ट या विविध शिक्षकों का लाभ उठाने की अनुमति देता है, जिससे वह "टोकेनाइज़र लॉक-इन" टूट जाता है जो वर्तमान में मॉडल स्केलिंग और स्पेशलाइजेशन को सीमित करता है।