💬 NLP

TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA

TiTok एक नवीन ढांचा है जो सिंथेटिक डेटा को चुनिंदा रूप से फ़िल्टर करने के लिए कंट्रास्टिव एक्सीस (contrastive excess) के माध्यम से टोकन-स्तरीय ज्ञान को कैप्चर करके विभिन्न LLM बैकबोन में LoRA एडेप्टर के हस्तांतरण को सक्षम बनाता है, जिससे बिना किसी अतिरिक्त मॉडल या ओवरहेड के महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Chanjoo Jung, Jaehyung Kim

प्रकाशित 2026-03-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chanjoo Jung, Jaehyung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार शेफ (Source Model) है जिसने वर्षों तक एक विशिष्ट रेसिपी, जैसे कि एकदम सही सावरडो ब्रेड (sourdough bread) बनाने में महारत हासिल की है। इस शेफ के पास नोट्स और तकनीकों का एक विशेष सेट (LoRA adapter) है जो उनकी ब्रेड को अविश्वसनीय बनाता है।

अब, कल्पना कीजिए कि आप एक दूसरे शेफ (Target Model) को वही ब्रेड बनाना सिखाना चाहते हैं। लेकिन यहाँ एक पेंच है: नया शेफ एक अलग व्यक्ति है, शायद वह अलग मापने वाले कपों का उपयोग करता है या थोड़ी अलग भाषा बोलता है। आप उन्हें बस पुराने शेफ के नोट्स नहीं थमा सकते क्योंकि नया शेफ पुराने मापों को नहीं समझ पाएगा।

पारंपरिक रूप से, नए शेफ को सिखाने के लिए, आपको करना होगा:

शून्य से शुरुआत करना: उन्हें महीनों तक अभ्यास करना होगा (जो महंगा और धीमा है)।
एक अनुवादक (Translator) रखना: आपको पुराने शेफ से हर एक कदम को विस्तार से लिखवाना होगा, और फिर एक तीसरे व्यक्ति (Discriminator) को काम पर रखना होगा जो यह जांच सके कि क्या वे कदम सही हैं, इससे पहले कि नया शेफ उन्हें आज़माए। यह जटिल है और इसमें बहुत समय लगता है।

TITOK इस समस्या को हल करने का एक नया, चतुर तरीका है। यह एक "स्मार्ट हाइलाइटर" (Smart Highlighter) की तरह है जो बिना किसी अनुवादक या अभ्यास की भारी मात्रा के, कौशल के सार (essence) को स्थानांतरित करता है।

यहाँ बताया गया है कि TITOK कैसे काम करता है, जिसे सरल चरणों में विभाजित किया गया है:

1. "एमेच्योर बनाम एक्सपर्ट" टेस्ट (The "Amateur vs. Expert" Test)

नए शेफ से रेसिपी का अनुमान लगाने के लिए कहने के बजाय, TITOK पुराने शेफ को दो काम करने के लिए कहता है:

एमेच्योर (Amateur): "अपने बुनियादी, डिफ़ॉल्ट कौशल का उपयोग करके ब्रेड बनाओ।"
एक्सपर्ट (Expert): "अपने विशेष सावरडो नोट्स का उपयोग करके ब्रेड बनाओ।"

TITOK फिर दोनों प्रयासों की तुलना करता है। यह रेसिपी के हर एक शब्द (या "टोकन") को देखता है।

यदि बुनियादी शेफ और विशेषज्ञ शेफ एक शब्द (जैसे "मैदा/flour") पर सहमत होते हैं, तो वह शब्द बहुत खास नहीं है।
लेकिन यदि बुनियादी शेफ उस शब्द पर भ्रमित है, और विशेषज्ञ शेफ कहता है, "नहीं, यह निश्चित रूप से सावरडो स्टार्टर (sourdough starter) है," तो TITOK उस शब्द को हाइलाइट करता है।

इस अंतर को "कॉन्ट्रास्टिव एक्सस" (Contrastive Excess) कहा जाता है। यह एक स्पॉटलाइट की तरह है जो केवल रेसिपी के उन हिस्सों पर चमकता है जहाँ विशेषज्ञ का विशेष ज्ञान वास्तव में मायने रखता है।

2. "स्मार्ट फ़िल्टर" (The "Smart Filter")

आमतौर पर, जब आप AI को अभ्यास डेटा (सिंथेटिक डेटा) उत्पन्न करने के लिए कहते हैं, तो वह बहुत सारी गलतियाँ करता है या उबाऊ, दोहराव वाली चीजें बनाता है।

पुराना तरीका: आप 1,000 अभ्यास रेसिपी जेनरेट करते हैं, फिर एक इंसान (या एक अलग AI) को उन सभी को पढ़ने और खराब वाली को फेंकने के लिए काम पर रखते हैं।
TITOK का तरीका: क्योंकि हमारे पास चरण 1 से वह "स्पॉटलाइट" है, हमें एक अलग जज की आवश्यकता नहीं है। TITOK स्वचालित रूप से रेसिपी के उबाऊ हिस्सों को फेंक देता है और केवल हाइलाइट किए गए, उच्च-मूल्य वाले शब्दों को रखता है।

यह एक जादुई छलनी की तरह है जो केवल सोने के टुकड़ों को ही गुजरने देती है और रेत को बाहर गिरा देती है, वह भी बिना किसी दूसरे हाथ की मदद के।

3. "भाषा अनुवादक" (The "Language Translator" - Token Alignment)

कभी-कभी, पुराने शेफ और नए शेफ अलग-अलग "भाषाएं" बोलते हैं (वे अलग-अलग टोकनाइज़र का उपयोग करते हैं—जिससे वे शब्दों को तोड़ते हैं)।

पुराना शेफ: "Sour-dough" (2 शब्द)
नया शेफ: "Sourdough" (1 शब्द)

TITOK के पास एक चतुर एल्गोरिदम है जो एक द्विभाषी शब्दकोश (bilingual dictionary) के रूप में कार्य करता है। यह पुराने शेफ के "Sour-dough" को नए शेफ के "Sourdough" से मैप करता है ताकि ज्ञान पूरी तरह से स्थानांतरित हो सके, भले ही वे शब्दों को अलग तरह से गिनते हों।

यह एक बड़ी बात क्यों है?

कोई अतिरिक्त प्रशिक्षण नहीं: आपको एक अलग "जज" AI को डेटा फ़िल्टर करने के लिए प्रशिक्षित करने की आवश्यकता नहीं है। पुराना शेफ आपके लिए फ़िल्टरिंग करता है।
मॉडल्स के बीच काम करता है: आप एक छोटे मॉडल से ज्ञान ले सकते हैं और एक बड़े को सिखा सकते हैं, या एक ब्रांड के AI से दूसरे ब्रांड (जैसे Mistral से Llama) में जा सकते हैं।
दक्षता (Efficiency): यह गणना शक्ति (computing power) और समय की भारी बचत करता क्योंकि यह शोर (noise) को अनदेखा करते हुए केवल सबसे महत्वपूर्ण "क्षणों" पर ध्यान केंद्रित करता है।

संक्षेप में:
TITOK एक स्मार्ट ट्यूटर की तरह है जो केवल एक पाठ्यपुस्तक को कॉपी-पेस्ट नहीं करता है। इसके बजाय, यह देखता है कि विशेषज्ञ एक समस्या को कैसे हल करता है, यह पता लगाता है कि विशेषज्ञ का मस्तिष्क ठीक कहाँ सबसे अधिक काम कर रहा है, और छात्र को बताता है, "हे, इन विशिष्ट चरणों पर ध्यान दें; बाकी सब केवल बैकग्राउंड शोर है।" यह छात्र को बहुत तेज़ी से और अधिक सटीकता से कौशल सीखने की अनुमति देता है, भले ही वह पूरी तरह से अलग प्रकार का छात्र हो।

यहाँ शोध पत्र "TITOK: Transfer Token-Level Knowledge via Contrastive Excess to Transplant LoRA" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का वास्तविक दुनिया के परिदृश्यों में उपयोग तेजी से बढ़ रहा है, लेकिन फुल फाइन-ट्यूनिंग (full fine-tuning) अत्यधिक कम्प्यूटेशनल रूप से महंगी है। पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधियाँ जैसे कि LoRA (Low-Rank Adaptation), केवल मापदंडों के एक छोटे उपसमुच्चय (subset) को अपडेट करके इसे कम करती हैं। हालाँकि, एक महत्वपूर्ण सीमा मौजूद है: LoRA एडेप्टर अपने विशिष्ट बेस मॉडल के साथ मजबूती से जुड़े होते हैं और उन्हें सीधे अलग-अलग बैकबोन (जैसे, Mistral से Llama में) पर स्थानांतरित नहीं किया जा सकता है।

मौजूदा समाधानों में महत्वपूर्ण कमियां हैं:

नॉलेज डिस्टिलेशन (KD): इसके लिए आमतौर पर मूल डाउनस्ट्रीम ट्रेनिंग डेटा तक पहुँच की आवश्यकता होती है, जो अक्सर अनुपलब्ध या मालिकाना (proprietary) होता है।
TransLoRA: एक हालिया दृष्टिकोण जो सिंथेटिक डेटा का उपयोग करके LoRA ज्ञान को स्थानांतरित करता है। हालाँकि, इसके लिए कम गुणवत्ता वाले सिंथेटिक डेटा को फ़िल्टर करने के लिए एक अतिरिक्त डिस्क्रिमिनेटर मॉडल को प्रशिक्षित करने की आवश्यकता होती है, जिससे अतिरिक्त जटिलता, कम्प्यूटेशनल ओवरहेड और पाइपलाइन जटिलता आती है।

मुख्य चुनौती यह है कि बिना मूल ट्रेनिंग डेटा के, बिना किसी सहायक डिस्क्रिमिनेटर मॉडल के, और न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ, विभिन्न मॉडलों (विभिन्न परिवारों, आकारों या संस्करणों) के बीच LoRA ट्रांसप्लांटेशन को सक्षम बनाना है।

2. कार्यप्रणाली: TITOK फ्रेमवर्क (Methodology: TITOK Framework)

लेखक TITOK (Transfer Token-Level Knowledge via Contrastive Excess) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो सिंथेटिक डेटा के भीतर सूचनात्मक टोकन (informative tokens) पर चयनात्मक प्रशिक्षण के माध्यम से ज्ञान को स्थानांतरित करता है। यह प्रक्रिया चार चरणों से मिलकर बनी है:

A. सिंथेटिक डेटा जनरेशन (Synthetic Data Generation)

TransLoRA की तरह टारगेट मॉडल का उपयोग क्वेरी (queries) उत्पन्न करने के लिए करने के बजाय, TITOK एक फ्यू-शॉट सीड प्रॉम्प्ट (few-shot seed prompt) के आधार पर क्वेरी ( $q$ ) और लेबल ( $y$ ) दोनों उत्पन्न करने के लिए सोर्स एक्सपर्ट मॉडल ( $M_s + A_s$ , जहाँ $M_s$ बेस और $A_s$ LoRA एडेप्टर है) का उपयोग करता है। यह सुनिश्चित करता है कि सिंथेटिक डेटा सोर्स एडेप्टर के ज्ञान वितरण (knowledge distribution) के साथ निकटता से संरेखित हो।

B. टोकन-वाइज कॉन्ट्रास्टिविक एक्सीस स्कोर (Token-Wise Contrastive Excess Score)

यह मुख्य नवाचार है। TITOK यह पहचानने के लिए कि LoRA एडेप्टर विशिष्ट कार्य ज्ञान कहाँ इंजेक्ट करता है, उत्पन्न प्रतिक्रिया (response) के प्रत्येक टोकन के लिए एक "एक्सीस स्कोर" (excess score) की गणना करता है।

अमेच्योर मॉडल (Amateur Model): केवल सोर्स बेस मॉडल ( $M_s$ )।
एक्सपर्ट मॉडल (Expert Model): सोर्स बेस मॉडल के साथ LoRA ( $M_s + A_s$ )।
गणना: क्वेरी $q$ दिए जाने पर प्रतिक्रिया $y$ में एक टोकन $y_i$ के लिए, एक्सीस स्कोर $S(y_i)$ को एक्सपर्ट और अमेच्योर मॉडल्स के बीच लॉग-प्रोबेबिलिटीज़ (losses) के अंतर के रूप में परिभाषित किया गया है:
$S(y_i) = \log P_{M_s+A_s}(y_i | q, y_{<i}) - \log P_{M_s}(y_i | q, y_{<i})$
व्याख्या: एक उच्च सकारात्मक स्कोर इंगित करता है कि LoRA एडेप्टर ने बेस मॉडल की तुलना में उस टोकन की भविष्यवाणी करने के आत्मविश्वास को काफी बढ़ा दिया है। ये टोकन वह कार्य-विशिष्ट ज्ञान (task-specific knowledge) हैं जो बैकबोन के पास नहीं है। यह मीट्रिक लाइकलीहुड रेशियो टेस्ट (LLR) पर सैद्धांतिक रूप से आधारित है, जो उन क्षेत्रों की पहचान करता है जहाँ दो वितरण सबसे अधिक भिन्न होते हैं।

C. टू-स्टेज फ़िल्टरिंग (Two-Stage Filtering)

TITOK टारगेट मॉडल को प्रशिक्षित करने से पहले सिंथेटिक डेटासेट ( $D_s$ ) को एक्सीस स्कोर का उपयोग करके फ़िल्टर करता है:

सैंपल फ़िल्टरिंग (Sample Filtering): प्रत्येक सैंपल के लिए औसत एक्सीस स्कोर की गणना की जाती है। केवल उच्चतम औसत स्कोर वाले शीर्ष $M$ नमूनों को रखा जाता है। यह अनइंफॉर्मेटिव सिंथेटिक उदाहरणों को हटा देता है।
टोकन चयन (Token Selection): रखे गए नमूनों के भीतर, केवल शीर्ष $k\%$ टोकन (व्यक्तिगत एक्सीस स्कोर द्वारा रैंक किए गए) का उपयोग प्रशिक्षण के लिए किया जाता है। टारगेट मॉडल को केवल इन उच्च-मूल्य वाले टोकन पर प्रशिक्षित किया जाता है, बाकी को अनदेखा कर दिया जाता है।

D. टोकेनाइज़र अलाइनमेंट (Tokenizer Alignment)

विभिन्न टोकेनाइज़र वाले मॉडलों (जैसे, Mistral बनाम Llama) के बीच स्थानांतरित करते समय, सीधा टोकन मैपिंग असंभव है। TITOK एक डुअल-पॉइंटर अलाइनमेंट एल्गोरिदम का उपयोग करता है:

यह टेक्स्ट स्पैन (text spans) को क्रमिक रूप से डिकोड करके सोर्स और टारगेट टोकन अनुक्रमों को संरेखित करता है।
यह बाइनरी मास्क (रखें/हटाएं) को चार नियमों का उपयोग करके सोर्स से टारगेट तक प्रसारित करता है:
1. One-to-One: सीधा कॉपी।
2. One-to-Many: स्कोर को रेप्लिकेट करना।
3. Many-to-One: स्कोर का औसत निकालना।
4. Many-to-Many: औसत निकालना और रेप्लिकेट करना।
यह लक्ष्य मॉडल को सही सिमेंटिक क्षेत्रों से सीखने में सक्षम बनाता है, भले ही टोकेनाइजेशन भिन्न हो।

3. मुख्य योगदान (Key Contributions)

टोकन-लेवल नॉलेज ट्रांसफर: पूरे अनुक्रमों (sequences) को स्थानांतरित करने या ग्लोबल लॉजिट अलाइनमेंट पर निर्भर रहने वाले पिछले तरीकों के विपरीत, TITOK टोकन-लेवल सिग्नल पर ध्यान केंद्रित करता है, जिससे केवल उन विशिष्ट टोकनों की पहचान और स्थानांतरण होता है जहाँ एडेप्टर का ज्ञान सबसे महत्वपूर्ण है।
डिस्क्रिमिनेटर-फ्री डिज़ाइन: TITOK को सहायक डिस्क्रिमिनेटर मॉडल की आवश्यकता को समाप्त करने के लिए डिज़ाइन किया गया है। यह सुपरविजन सिग्नल उत्पन्न करने के लिए स्वयं सोर्स मॉडल (दोनों "अमेच्योर" और "एक्सपर्ट" के रूप में) का उपयोग करता है, जिससे कम्प्यूटेशनल ओवरहेड और पाइपलाइन जटिलता काफी कम हो जाती है।
मजबूत टोकेनाइज़र अलाइनमेंट: प्रस्तावित अलाइनमेंट एल्गोरिदम अलग-अलग टोकेनाइज़र वाले मॉडलों के बीच प्रभावी स्थानांतरण को सक्षम बनाता है, जो क्रॉस-आर्किटेक्चर LoRA ट्रांसप्लांटेशन में एक सामान्य बाधा है।
डेटा दक्षता: यह विधि फ्यू-शॉट प्रॉम्प्ट से उत्पन्न सिंथेटिक डेटा के साथ प्रभावी ढंग से काम करती है और विभिन्न डोमेन/उपयोगकर्ताओं से बाहरी डेटा का भी उपयोग कर सकती है, जो उच्च लचीलापन प्रदर्शित करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर TITOK का मूल्यांकन किया: Big-Bench Hard (BBH), MMLU (तर्क/reasoning), और LaMP (पर्सनलाइजेशन/जनरेशन)।

प्रदर्शन लाभ (Performance Gains):
- TITOK ने सभी ट्रांसफर सेटिंग्स में बेसलाइन्स (Vanilla, KD, और TransLoRA) को लगातार पछाड़ दिया।
- औसत सुधार: Vanilla पर +9.94%, KD पर +8.5%, और TransLoRA पर +4.4%।
- क्रॉस-मॉडल ट्रांसफर: Mistral से Llama, छोटे मॉडल से बड़े मॉडल (3B $\to$ 8B), और विभिन्न संस्करणों (Llama-2 $\to$ Llama-3) में प्रभावी स्थानांतरण।
एब्लेशन स्टडीज (Ablation Studies):
- दिखाया गया कि Sample Filtering और Token Selection दोनों ही आवश्यक हैं; किसी एक को हटाने से प्रदर्शन गिर जाता है।
- क्वेरी जनरेशन के लिए Source Expert का उपयोग करने से Target मॉडल की तुलना में बेहतर परिणाम मिले।
मजबूती (Robustness):
- TITOK निम्न-गुणवत्ता वाले सिंथेटिक डेटा या विभिन्न उपयोगकर्ताओं/कार्यों से बाहरी डेटा का उपयोग करने पर भी प्रभावी रहा।
- इसने विभिन्न प्रॉम्प्ट डिज़ाइन्स और सिलेक्शन रेश्यो ( $k\%$ ) के प्रति मजबूती दिखाई।
दक्षता (Efficiency):
- TITOK ने डिस्क्रिमिनेटर ट्रेनिंग को समाप्त करने के कारण TransLoRA की तुलना में 1.5x–2.5x कुल कंप्यूट टाइम की कमी हासिल की।

5. महत्व (Significance)

TITOK, PEFT नॉलेज ट्रांसफर में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है। सीक्वेंस-लेवल या लॉजिट-लेवल डिस्टिलेशन से टोकन-लेवल सिलेक्टिव ट्रांसफर की ओर बढ़कर, यह सिंथेटिक डेटा में निहित "शोर" (noise) और वर्तमान LoRA ट्रांसप्लांटेशन विधियों की कठोरता को संबोधित करता है।

व्यावहारिकता: यह बिना स्क्रैच से पुनरप्रशिक्षण (retraining) या मालिकाना डेटा तक पहुँच के, विविध मॉडल परिवारों में LoRA एडेप्टर तैनात करने के लिए एक हल्का, प्लग-एंड-प्ले समाधान प्रदान करता है।
स्केलेबिलिटी: यह बड़े मॉडलों (जैसे, 70B पैरामीटर्स) और जटिल आर्किटेक्चर (MoE) के लिए अच्छी तरह से स्केल करता है।
सामान्यीकरण (Generalizability): बाहरी डेटा और विभिन्न टोकेनाइज़र के साथ कार्य करने की इसकी क्षमता इसे अत्यधिक व्यावहारिक बनाती है, जहाँ डेटा गोपनीयता और मॉडल विषमता (heterogeneity) प्रमुख बाधाएं हैं।

संक्षेप में, TITOK उन सटीक टोकनों पर ध्यान केंद्रित करके, जो उस ज्ञान को वहन करते हैं, एक मॉडल से दूसरे मॉडल में विशेष ज्ञान को "ट्रांसप्लांट" करने के लिए एक सरल लेकिन शक्तिशाली तंत्र प्रदान करता है, जो भारी सहायक मॉडलों या मूल डेटासेट की आवश्यकता को दरकिनार करता है।