💬 NLP

MixSD: Mixed Contextual Self-Distillation for Knowledge Injection

यह शोध पत्र MixSD का प्रस्ताव करता है, जो ज्ञान इंजेक्शन (knowledge injection) के लिए एक सरल, बाहरी-शिक्षक-मुक्त (external-teacher-free) विधि है, जो वितरण-संरेखित पर्यवेक्षण (distribution-aligned supervision) बनाने के लिए एक मॉडल के विशेषज्ञ (expert) और नैदानिक (naive) कंडिशनल्स से टोकन को गतिशील रूप से मिश्रित करता है, जिससे मानक सुपरवाइज्ड फाइन-ट्यूनिंग की तुलना में बेहतर स्मृति (memorization) प्राप्त करने के साथ-साथ पूर्व-प्रशिक्षित क्षमताओं के विनाशकारी विस्मरण (catastrophic forgetting) को प्रभावी ढंग से रोकता है।

मूल लेखक: Jiarui Liu, Lechen Zhang, Yongjin Yang, Yinghui He, Yingheng Wang, Weihao Xuan, Zhijing Jin, Mona Diab

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiarui Liu, Lechen Zhang, Yongjin Yang, Yinghui He, Yingheng Wang, Weihao Xuan, Zhijing Jin, Mona Diab

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "MIXSD: Mixed Contextual Self-Distillation for Knowledge Injection" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

समस्या: "ओवरराइट" (Overwrite) प्रभाव

कल्पना कीजिए कि एक भाषा मॉडल (जैसे कि एक बहुत ही बुद्धिमान छात्र) ने इंटरनेट की पूरी दुनिया को पढ़ने में वर्षों बिताए हैं। वह गणित के सवाल हल करना, कोड लिखना और निर्देशों का पालन करना बखूबी जानता है। यह उसका "प्री-ट्रेनिंग" (Pre-trained) ज्ञान है।

अब, आप इस छात्र को एक विशिष्ट नया तथ्य सिखाना चाहते हैं, जैसे कि "काल्पनिक देश 'ड्राइमोरल' (Drymorel) की राजधानी 'थैल्ड्रिक' (Thaldric) है।"

इसे करने का मानक तरीका सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) है। इसे एक सख्त शिक्षक के रूप में सोचें जो छात्र को एक विशिष्ट वाक्य को शब्द-दर-शब्द रटने के लिए मजबूर करता है: "ड्राइमोरल की राजधानी थैल्ड्रिक है।"

चुनौती: छात्र उस सटीक वाक्य को रटने में इतना केंद्रित हो जाता है कि वह बाकी सब कुछ करना भूल जाता है। वह गणित करना बंद कर सकता है, निर्देश समझना छोड़ सकता है, या भ्रमित होकर गलत बातें (hallucinations) बनाने लग सकता है क्योंकि "सख्त शिक्षक" ने उसके मस्तिष्क को इस तरह बदलने के लिए मजबूर किया जिससे उसके मौजूदा कौशल टूट गए। पेपर में, इसे कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting) कहा गया है।

ऐसा क्यों होता है?

लेखकों का तर्क है कि समस्या स्वयं उस तथ्य में नहीं है, बल्कि वाक्य की शैली (Style) में है।

नया तथ्य ("राजधानी थैल्ड्रिक है") लिखने का तरीका छात्र के मूल मस्तिष्क के लिए अप्राकृतिक हो सकता है। यह वैसा ही है जैसे किसी व्यक्ति से, जो धाराप्रवाह अंग्रेजी बोलता है, अचानक केवल एक नया शब्द बोलने के लिए एक बहुत ही विशिष्ट, रोबोटिक बोली बोलने को कहना। उस शब्द को सीखने के लिए, छात्र को अपने बोलने के पूरे तरीके को बदलना पड़ेगा, जिससे उसका स्वाभाविक प्रवाह टूट जाएगा।

समाधान: MIXSD (एक "स्मार्ट मिक्स" विधि)

पेपर एक नई विधि प्रस्तावित करता है जिसे MIXSD कहा जाता है। छात्र को एक कठोर, मानव-लिखित वाक्य की नकल करने के लिए मजबूर करने के बजाय, MIXSD छात्र को अपनी प्राकृतिक आवाज़ बनाए रखते हुए नया तथ्य सीखने देता है।

यह कैसे काम करता है, इसके लिए एक शेफ (रसोइया) का उदाहरण देखें:

विशेषज्ञ शेफ (The "Expert Conditional"): कल्पना कीजिए कि आपने छात्र से एक नए, गुप्त घटक (नया तथ्य) का उपयोग करके एक व्यंजन बनाने के लिए कहा। छात्र जानता है कि व्यंजन का स्वाद सही रखने के लिए इस घटक का उपयोग कैसे करना है।
नादान शेफ (The "Naive Conditional"): अब, कल्पना कीजिए कि आपने उसी छात्र को उसी व्यंजन को बनाने के लिए कहा लेकिन बिना उस गुप्त घटक के। वे इसे बिल्कुल वैसे ही पकाते हैं जैसे वे हमेशा पकाते हैं, अपने मूल, भरोसेमंद नुस्खे का उपयोग करते हुए।
मिश्रण (The Mix): छात्र को "विशेषज्ञ" संस्करण की पूरी तरह से नकल करने के लिए मजबूर करने के बजाय, MIXSD एक हाइब्रिड रेसिपी (मिश्रित नुस्खा) बनाता है।
- कुछ चरणों के लिए, यह "विशेषज्ञ" संस्करण का उपयोग करता है (यह सुनिश्चित करने के लिए कि नया तथ्य सीखा जाए)।
- अन्य चरणों के लिए, यह "नादान" संस्करण का उपयोग करता है (छात्र की प्राकृतिक खाना पकाने की शैली को बनाए रखने के लिए)।

इन दोनों संस्करणों को मिलाकर, छात्र अपने खाना पकाने के मूल "फ्लेवर प्रोफाइल" (मूल वितरण) के करीब रहता है, जिससे वह अन्य व्यंजन बनाना नहीं भूलता है। इससे वह नया तथ्य सीख जाता है बिना अपनी खाना पकाने की शैली को पूरी तरह से बदले।

प्रयोगों से मुख्य निष्कर्ष

शोधकर्ताओं ने कई "कक्षाओं" (डेटासेट्स) पर इसका परीक्षण किया जिसमें शामिल थे:

तथ्यात्मक स्मरण (Factual Recall): नए नाम और स्थान सीखना।
गणित (Math): नए प्रकार के गणित के नियम सीखना।
सामान्य कौशल (General Skills): यह परीक्षण करना कि क्या वे अभी भी पुराने गणित के सवाल हल कर सकते हैं, कोड लिख सकते हैं या सामान्य प्रश्न पूछ सकते हैं।

परिणाम:

मानक प्रशिक्षण (SFT): छात्र ने नया तथ्य तो पूरी तरह से याद कर लिया लेकिन बाकी सब कुछ लगभग भूल गया। कुछ परीक्षणों में, उसने अपने मूल गणित और कोडिंग कौशल का केवल 1% ही बरकरार रखा।
MIXSD: छात्र ने नया तथ्य उतनी ही अच्छी तरह से सीखा (लगभग पूर्ण सटीकता) लेकिन अपने मूल कौशल को 100% तक बनाए रखा। वह गणित करना या कोड लिखना नहीं भूला।

यह क्यों काम करता है ("दिशा" बनाम "आकार" का सिद्धांत)

पेपर ने यह भी देखा कि पुराना तरीका क्यों विफल हुआ। उन्होंने पाया कि समस्या केवल छात्र के मस्तिष्क में हुए बदलाव के "आकार" (Size) के बारे में नहीं थी।

इसके बजाय, यह बदलाव की दिशा (Direction) के बारे में था।

SFT ने छात्र के मस्तिष्क को एक "खतरनाक दिशा" में धकेला—एक ऐसा रास्ता जिसने उसके मौजूदा ज्ञान को बाधित कर दिया।
MIXSD ने मस्तिष्क को एक "सुरक्षित दिशा" में धकेला। इसने नया तथ्य सीखने के लिए आवश्यक परिवर्तन किए लेकिन उन रास्तों से बचा जो उसके पुराने कौशल को तोड़ सकते थे।

सारांश

MIXSD AI को वह सब कुछ खोए बिना जो वह पहले से जानता है, नई चीजें सिखाने की एक सरल तकनीक है। एक कठोर, बाहरी उत्तर की नकल करने के लिए AI को मजबूर करने के बजाय, यह "सही उत्तर" को AI के अपने "प्राकृतिक अनुमान" के साथ मिला देता है। यह AI के मस्तिष्क को लचीला रखता है और नए कौशल सीखते समय उसके पुराने कौशल को भूलने से रोकता है।

यह एक संगीतकार को नया गाना सिखाने जैसा है: उन्हें उस शैली में बजाने के लिए मजबूर करने के बजाय जो उनके पुराने गाने बजाने की क्षमता को खराब कर दे, आप उन्हें नया गाना इस तरह सिखाते हैं जो उनकी प्राकृतिक शैली में फिट बैठता हो।

तकनीकी सारांश: MIXSD - ज्ञान इंजेक्शन के लिए मिश्रित प्रासंगिक स्व-डिस्टिलेशन (Mixed Contextual Self-Distillation)

समस्या विवरण (Problem Statement)

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) लार्ज लैंग्वेज मॉडल्स (LLMs) में नया ज्ञान इंजेक्ट करने के लिए एक मानक दृष्टिकोण है। हालाँकि, यह प्रक्रिया अक्सर कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को प्रेरित करती है, जहाँ मॉडल की पूर्व-प्रशिक्षित क्षमताओं जैसे कि तर्क (reasoning), निर्देश पालन (instruction following), और सामान्य-डोमेन प्रदर्शन में गिरावट आती है।

लेखक तर्क देते हैं कि यह विस्मृति (forgetting) सुपरविज़न लक्ष्यों और मॉडल के मूल ऑटोरिग्रेसिव वितरण (autoregressive distribution) के बीच एक वितरण बेमेल (distribution mismatch) से उत्पन्न होती है। मानक पाइपलाइनों में, लक्ष्य अनुक्रम (target sequences) मनुष्यों या बाहरी प्रणालियों द्वारा रचित होते हैं, जिनमें अक्सर ऐसी शब्दावली, स्वरूपण (formatting), या तर्क संरचनाएं होती हैं जो बेस मॉडल के वितरण के निम्न-संभाव्यता वाले पूंछ (low-probability tails) में आती हैं। इन निम्न-संभाव्यता वाले टोकन अनुक्रमों की नकल करने के लिए मॉडल को मजबूर करने से संवेदनशील दिशाओं (sensitive directions) के साथ पैरामीटर अपडेट होते हैं, जिससे पहले से सीखे गए व्यवहार बाधित होते हैं।

कार्यप्रणाली (Methodology): MIXSD

इसे संबोधित करने के लिए, शोध पत्र MIXSD (Mixed Contextual Self-Distillation) का प्रस्ताव करता है, जो वितरण-संरेखित (distribution-aligned) ज्ञान इंजेक्शन के लिए एक सरल, बाहरी-शिक्षक-मुक्त (external-teacher-free) विधि है। स्थिर, बाहरी रूप से रचित लक्ष्यों पर प्रशिक्षण देने के बजाय, MIXSD स्वयं बेस मॉडल का उपयोग करके गतिशील रूप से सुपरविज़न का निर्माण करता है।

मुख्य तंत्र (Core Mechanism)

प्रत्येक डिकोडिंग स्टेप $t$ पर, एक साझा ऑटोरिग्रेसिव प्रीफिक्स (prefix) के साथ, MIXSD बेस मॉडल $p_{\theta^*}$ द्वारा परिभाषित दो कंडीशनल वितरणों के मिश्रण से सुपरविज़न टोकन को सैंपल करता है:

एक्सपर्ट कंडीशनल (Expert Conditional): $p_{\theta^*}(\cdot \mid x^+_i, y_{mix, <t})$ , जहाँ इनपुट $x^+_i$ में संदर्भ में इंजेक्ट किया गया तथ्य (ग्राउंड ट्रुथ) शामिल है। यह मॉडल के अपने सरफेस फॉर्म (surface form) में तथ्य को व्यक्त करने वाले टोकन उत्पन्न करता है।
नेइव कंडीशनल (Naive Conditional): $p_{\theta^*}(\cdot \mid x_i, y_{mix, <t})$ , जहाँ इनपुट $x_i$ में केवल मूल प्रॉम्प्ट शामिल है जिसमें इंजेक्ट किया गया ज्ञान नहीं है। यह मॉडल के मूल प्रायोर (prior) को दर्शाता है।

सुपरविज़न लक्ष्य $y^{mix}_{i,t}$ को इस प्रकार सैंपल किया जाता है:
$y^{mix}_{i,t} = \begin{cases} \tilde{y}^+_{i,t} & \text{की प्रायिकता } 1 - \lambda \text{ के साथ} \\ \tilde{y}^-_{i,t} & \text{की प्रायिकता } \lambda \text{ के साथ} \end{cases}$
जहाँ $\lambda \in [0, 1]$ एक मिक्सिंग रेट है। मॉडल को फिर इन मिश्रित लक्ष्यों पर मानक नेगेटिव लॉग-लाइक्लीहुड (NLL) लॉस का उपयोग करके अपडेट किया जाता है।

प्रमुख डिज़ाइन विकल्प (Key Design Choices)

कोई बाहरी शिक्षक नहीं (No External Teacher): पारंपरिक नॉलेज डिस्टिलेशन के विपरीत, MIXSD को एक मजबूत शिक्षक मॉडल की आवश्यकता नहीं होती है, जिससे प्रति क्वेरी कई रोलआउट्स उत्पन्न करने की कम्प्यूटेशनल लागत (जैसा कि ऑन-पॉलिसी सेल्फ-डिस्टिलेशन बेसलाइन्स में देखा जाता है) से बचाव होता है।
वितरण संरेखण (Distribution Alignment): नेइव टोकन को मिलाने से, सुपरविज़न लक्ष्य बेस मॉडल के मूल वितरण के काफी करीब रहते हैं, जिससे बेस मॉडल के तहत प्रशिक्षण लक्ष्यों का NLL कम हो जाता है।
हाइपरपैरामीटर $\lambda$ : यह ट्रेड-ऑफ को नियंत्रित करता है। कम $\lambda$ एक्सपर्ट सिग्नल (मेमोराइजेशन) पर जोर देता है, जबकि उच्च $\lambda$ मॉडल को उसके प्रायोर (रिटेंशन) के साथ बांधे रखता है।

प्रयोगात्मक सेटअप (Experimental Setup)

लेखकों ने विशिष्ट ज्ञान प्रकारों को अलग करने के लिए डिज़ाइन किए गए दो सिंथेटिक कॉर्पोरा और कई मॉडल स्केल्स (Qwen3-1.7B, 4B, और 8B) में MIXSD का मूल्यांकन किया:

KGFACT: एक सिम्युलेटेड वर्ल्ड ग्राफ से प्राप्त तथ्यात्मक ज्ञान कॉर्पस, जो नए एंटिटीज के माध्यम से तथ्यात्मक रिकॉल और रिट्रीवल का परीक्षण करता है।
KGFUNC: अंक-स्तर के ऑपरेशन्स से नियमों को अनुमान लगाने के लिए एक अरिथमेटिक फंक्शन एक्विजिशन डेटासेट।
बेंचमार्क्स: विस्मृति (forgetting) को मापने के लिए होल्ड-आउट जनरल-डोमेन बेंचमार्क्स (AIME, MATH, GSM8K, HumanEval, MMLU) के साथ-साथ इन-डोमेन ट्रेनिंग एक्यूरेसी का मूल्यांकन किया गया।

मुख्य परिणाम (Key Results)

बेहतर मेमोराइजेशन-रिटेंशन ट्रेड-ऑफ (Improved Memorization-Retention Trade-off): सभी डेटासेट्स और मॉडल स्केल्स में, MIXSD ने लगातार स्टैंडर्ड SFT और ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) बेसलाइन्स को पछाड़ दिया।
- स्टैंडर्ड SFT ने लगभग पूर्ण प्रशिक्षण सटीकता प्राप्त की लेकिन बेस मॉडल की होल्ड-आउट क्षमताओं में से केवल 1% ही बरकरार रखी।
- MIXSD ( $\lambda=0.3$ या $0.5$ के साथ) ने लगभग पूर्ण प्रशिक्षण सटीकता बनाए रखते हुए बेस मॉडल की होल्ड-आउट क्षमता का 100% तक रिटेंशन बनाए रखा (जैसे, Qwen3-4B पर, MIXSD ने जनरल क्षमताओं का ~77% रिटेन किया जबकि SFT का ~43% था)।
वितरण संरेखण (Distribution Alignment): SFT लक्ष्यों की तुलना में MIXSD सुपरविज़न लक्ष्यों ने बेस मॉडल के तहत काफी कम प्रति-टोकन NLL प्रदर्शित किया। SFT लक्ष्यों में उच्च-NLL टोकन (जो बेस मॉडल के तहत निम्न संभाव्यता दर्शाते हैं) 27-42% थे, जबकि $\lambda=0.3$ के लिए MIXSD में केवल 4-8% थे।
एरर मोड विश्लेषण (Error Mode Analysis): SFT ने जनरेशन व्यवहार में गुणात्मक बदलाव पैदा किए, जिससे "लीकेज" (प्रॉम्प्ट से असंबंधित काल्पनिक एंटिटीज जेनरेट करना) और "कोलैप्स" (तर्क के बिना छोटे, टेम्पलेट-शैली के उत्तर) हुआ। MIXSD ने बेस मॉडल के मूल एरर प्रोफाइल को काफी हद तक संरक्षित रखा, जहाँ अधिकांश त्रुटियाँ "जेनुइन" रीजनिंग प्रयासों के रूप में थीं न कि पैथोलॉजिकल विफलताओं के रूप में।
पैरामीटर अपडेट दिशा (Parameter Update Direction): पेपर में एक फिशर-वेटेड पैरामीटर डिस्प्लेसमेंट (Fisher-weighted parameter displacement) मेट्रिक पेश किया गया है। परिणाम दिखाते हैं कि पैरामीटर अपडेट की दिशा (संवेदनशील फिशर दिशाओं के साथ संरेखण) विस्मृति के साथ मजबूती से सह-संबंधित है ( $r \approx 0.56-0.82$ ), जबकि अपडेट का परिमाण (magnitude) नहीं ( $r \approx 0.02-0.34$ )। MIXSD, SFT की तुलना में इन संवेदनशील दिशाओं के साथ संरेखण को कम करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सुपरविज़न को मॉडल के मूल जनरेशन वितरण के साथ संरेखित करना ज्ञान इंजेक्शन के लिए एक सरल और प्रभावी सिद्धांत है जो कैटास्ट्रोफिक फॉरगेटिंग को कम करता है।

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह कार्य सुझाव देता है कि कैटास्ट्रोफिक फॉरगेटिंग पैरामीटर परिवर्तनों के परिमाण से कम, बल्कि वितरण-बेमेल सुपरविज़न द्वारा प्रेरित संवेदनशील दिशाओं के साथ अपडेट से अधिक संचालित होता है।
व्यावहारिक उपयोगिता (Practical Utility): MIXSD एक "ड्रॉप-इन" रिप्लेसमेंट प्रदान करता है जो बिना किसी बाहरी शिक्षक के और न्यूनतम अतिरिक्त कम्प्यूटेशनल ओवरहेड (केवल मिश्रित रोलआउट्स उत्पन्न करने के लिए एक बार की प्रीप्रोसेसिंग लागत) के काम करता है।
सामान्यीकरण (Generalizability): इसके लाभ विभिन्न मॉडल परिवारों (Qwen और Llama) और सेटिंग्स में देखे गए, जिसमें नॉलेज एडिटिंग (मौजूदा तथ्यों को ओवरराइट करना) और नवीन अरिथमेटिक फंक्शन्स का अधिग्रहण शामिल है।

लेखक निष्कर्ष निकालते हैं कि जबकि SFT मॉडल्स को निम्न-संभाव्यता वाले बाहरी ट्रेजेक्टरीज की नकल करने के लिए मजबूर करता है, MIXSD तथ्यात्मक लर्निंग सिग्नल को सुरक्षित रखते हुए सुपरविज़न ट्रेजेक्टरी को मॉडल के उच्च-संभाव्यता वाले क्षेत्रों के भीतर रखता है, जिससे पूर्व-प्रशिक्षित क्षमताएं स्थिर रहती हैं।