💬 NLP

$\mathcal{X}$ -KD: General Experiential Knowledge Distillation for Large Language Models

यह शोध पत्र $\mathcal{X}$ -KD का प्रस्ताव करता है, जो अनुभवात्मक शिक्षण (experiential learning) और प्रतिलोम सुदृढीकरण शिक्षण (inverse reinforcement learning) से प्रेरित एक सामान्य ज्ञान आसवन (knowledge distillation) ढांचा है, जो छात्र मॉडलों को शिक्षक के मूल शिक्षण वातावरण से सीखने में सक्षम बनाता है, क्योंकि यह शिक्षक के रिवॉर्ड फंक्शन (reward function) और पॉलिसी (policy) को संयुक्त रूप से मॉडल करता है, जिससे मौजूदा बेसलाइनों की तुलना में विभिन्न कार्यों में बेहतर प्रदर्शन, विविधता और डेटा दक्षता प्राप्त होती है।

मूल लेखक: Yuang Cai, Yuyu Yuan

प्रकाशित 2026-02-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuang Cai, Yuyu Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ बनना सीखने की कोशिश कर रहे हैं। आपके पास एक प्रसिद्ध, पुरस्कार विजेता शिक्षक (Teacher Model) है जो अविश्वसनीय भोजन बना सकता है।

सीखने के पुराने तरीके (पारंपरिक Knowledge Distillation) में, आप शिक्षक के बगल में खड़े होते हैं, प्याज काटने के उनके तरीके को देखते हैं, और उनके हाथों की गतिविधियों की हुबहू नकल करने की कोशिश करते हैं। आप कहते हैं, "ठीक है, उन्होंने इस तरह से प्याज काटा, तो मुझे भी इसी तरह काटना चाहिए।" इसे Behavioral Cloning कहा जाता है। आप कार्यों की नकल कर रहे हैं, लेकिन आप वास्तव में यह नहीं समझ पा रहे हैं कि उन्होंने प्याज इस तरह क्यों काटा या व्यंजन का वास्तविक लक्ष्य क्या है। यदि शिक्षक कोई छोटी सी गलती करता है या यदि आप किसी ऐसी नई सामग्री का सामना करते हैं जिसका उन्होंने कभी उपयोग नहीं किया था, तो आप अटक सकते हैं क्योंकि आपने केवल "चालों" को सीखा है, "तर्क" को नहीं।

X-KD (Experiential Knowledge Distillation) खेल बदल देता है। केवल शिक्षक के हाथों की नकल करने के बजाय, X-KD यह समझने की कोशिश करता है कि शिक्षक किस वातावरण (environment) में प्रशिक्षित हुआ था। यह पूछता है: "शिक्षक क्या हासिल करने की कोशिश कर रहा था? वह किस 'इनाम' (reward) के पीछे भाग रहा था?"

यहाँ बताया गया है कि X-KD कैसे काम करता है, सरल उपमाओं के साथ:

1. "मशीन में भूत" (The "Ghost in the Machine" - द रिवॉर्ड फंक्शन)

कल्पना कीजिए कि शिक्षक शेफ ने केवल खाना बनाना नहीं सीखा; उन्होंने एक बहुत ही विशिष्ट, अदृश्य जज को संतुष्ट करने के लिए खाना बनाना सीखा जो स्वाद, बनावट और प्रस्तुति के लिए अंक देता है। यह अदृश्य जज ही Reward Function है।

पुराना तरीका: आप शिक्षक के चाकू चलाने के कौशल की नकल करते हैं।
X-KD तरीका: आप यह समझने की कोशिश करते हैं कि अदृश्य जज को क्या पसंद है। आप सीखते हैं कि शिक्षक प्याज को इस तरह से काटता है क्योंकि इससे वह मीठा हो जाता है, जिसे जज पसंद करता है। आप केवल कटाई की नकल नहीं कर रहे हैं; आप कटाई के पीछे के सिद्धांत को सीख रहे हैं।

2. "वर्चुअल रियलिटी सिम्युलेटर"

यह पेपर एक फैंसी गणितीय ढांचे का उपयोग करता है जिसे Inverse Reinforcement Learning कहा जाता है। इसे शिक्षक के रसोईघर का एक वर्चुअल रियलिटी (VR) सिम्युलेटर बनाने के रूप में समझें।

इस VR दुनिया में, आप केवल शिक्षक को देखते नहीं हैं। आप उनके जूतों में कदम रखते हैं (उनके स्थान पर आते हैं)। आप खाना बनाने की कोशिश करते हैं, और सिस्टम आपको बताता है, "हे, यह व्यंजन स्वादिष्ट है क्योंकि यह शिक्षक की मूल रिवॉर्ड प्रणाली से मेल खाता है।" आप उसी वातावरण में सीख रहे हैं जिसमें शिक्षक ने सीखा था, न कि केवल उनके अंतिम आउटपुट की नकल कर रहे हैं।

3. "दो-भाग वाला पाठ"

X-KD छात्र मॉडल (एक प्रशिक्षु) को दो साथ-साथ चलने वाले पाठों का उपयोग करके सिखाता है:

अनुकरण का पाठ (The Imitation Lesson): "देखो शिक्षक ने क्या किया।" (यह मानक नकल वाला हिस्सा है)।
अनुभव का पाठ (The Experience Lesson): "अब, कल्पना करो कि तुम शिक्षक हो। अदृश्य जज से सबसे अच्छा स्कोर पाने के लिए तुम क्या करोगे?" (यह नया "अनुभवात्मक" हिस्सा है)।

इन दोनों को मिलाकर, छात्र लचीला बनना सीखता है। यदि शिक्षक के पास प्याज खत्म हो जाते हैं, तो छात्र जानता है कि उसे 'शालोट्स' (shallots) का उपयोग करना चाहिए क्योंकि वह लक्ष्य (स्वाद) को समझता है, न कि केवल सामग्री को।

यह बेहतर क्यों है? (परिणाम)

पेपर ने इसे तीन अलग-अलग "रसोईघरों" (कार्यों) पर परखा:

समाचारों का सारांश बनाना (Summarizing News): छात्र ने ऐसे सारांश लिखना सीखा जो न केवल छोटे थे, बल्कि वास्तव में कहानी के सार को पकड़ते थे, न कि केवल शिक्षक द्वारा उपयोग किए गए शब्दों को।
भाषा अनुवाद (Translating Languages): छात्र ने बेहतर अनुवाद किया, वाक्य के भाव को पकड़ा, न कि केवल शब्दों को एक-से-एक बदला।
गणित की समस्याओं को हल करना (Solving Math Problems): छात्र ने गणित के तर्क को सीखा, न कि केवल उत्तर के पैटर्न को।

जादुई लाभ:

कम डेटा की आवश्यकता: क्योंकि छात्र खेल के नियमों (रिवॉर्ड) को समझता है, उन्हें सीखने के लिए उदाहरणों की कम आवश्यकता होती है। यह शतरंज के नियमों को समझने बनाम ग्रैंडमास्टर द्वारा खेले गए हर मूव को याद करने जैसा है।
अधिक रचनात्मक: छात्र विविध उत्तर उत्पन्न कर सकता है (जैसे एक शेफ एक नई रेसिपी बनाता है) बिना गुणवत्ता खोए। पुराने तरीके अक्सर शिक्षक की सटीक शैली को दोहराने में फंस जाते हैं; X-KD उच्च गुणवत्ता बनाए रखते हुए विविधता की अनुमति देता है।

एक चुनौती (The Catch)

ठीक वैसे ही जैसे VR सिम्युलेटर में खाना सीखना, इसमें थोड़ा अधिक सेटअप की आवश्यकता होती है। आपको "अनुभव के भार" (experience weight) को ट्यून करना होगा (कि आप अदृश्य जज पर कितना ध्यान केंद्रित करते हैं बनाम शिक्षक के हाथों पर)। यदि आप इसे गलत ट्यून करते हैं, तो छात्र भ्रमित हो सकता है। लेकिन जब इसे सही ढंग से ट्यून किया जाता है, तो यह एक सुपरपावर है।

संक्षेप में

X-KD एक छात्र को केवल एक मास्टर की नकल करना ही नहीं, बल्कि मास्टर की मानसिकता को समझना सिखाने जैसा है। यह छात्र को मास्टर के जूतों में रखता है, जिससे वह "क्या" के पीछे के "क्यों" का अनुभव कर पाता है, जिसके परिणामस्वरूप एक अधिक स्मार्ट, अधिक अनुकूलन योग्य और अधिक कुशल शिक्षार्थी प्राप्त होता है।

यहाँ शोध पत्र "X-KD: Large Language Models के लिए General Experiential Knowledge Distillation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Large Language Models (LLMs) के लिए Knowledge Distillation (KD) का लक्ष्य एक बड़े "शिक्षक" (teacher) मॉडल से एक छोटे "छात्र" (student) मॉडल में ज्ञान स्थानांतरित करना है। हालाँकि, मौजूदा दृष्टिकोणों में एक मौलिक सीमा है:

व्यवहारानुकरण बनाम अनुभवात्मक शिक्षण (Behavioral Imitation vs. Experiential Learning): वर्तमान विधियाँ (जैसे Sequence-level KD, Supervised KD, GKD, MiniLLM) मुख्य रूप से शिक्षक के व्यवहार (आउटपुट वितरण या टोकन संभावनाओं) की नकल करने पर ध्यान केंद्रित करती हैं। वे शिक्षक को एक स्थिर विशेषज्ञ के रूप में मानती हैं जिसे क्लोन किया जाना है।
"क्यों" का अभाव (Missing the "Why"): ये विधियाँ उस मूल शिक्षण वातावरण (रिवॉर्ड फंक्शन/पुरस्कार फलन) की अनदेखी करती हैं जिसने शिक्षक के ज्ञान को आकार दिया था। केवल आउटपुट की नकल करके, छात्र उन अंतर्निहित सिद्धांतों या पुरस्कारों को समझने में विफल रहते हैं जिन्होंने शिक्षक के निर्णयों का मार्गदर्शन किया था।
मौजूदा समाधानों की सीमाएँ:
- Behavioral Cloning (BC): सरल अनुकरण अक्सर वितरण बेमेल (distribution mismatch) और खराब सामान्यीकरण (generalization) की ओर ले जाता है।
  টি MiniLLM: हालांकि यह शिक्षक के रिवॉर्ड को मॉडल करने के लिए Inverse Reinforcement Learning (IRL) अवधारणाओं को शामिल करता है, यह policy gradient विधियों पर निर्भर करता है। यह मानक सुपरवाइज्ड लर्निंग प्रतिमान से विचलित होता है, प्रशिक्षण में अस्थिरता लाता है, और मौजूदा LLM प्रशिक्षण ढाँचों एवं विभिन्न डाइवर्जेंस फंक्शन्स के साथ अनुकूलता को सीमित करता है।

2. कार्यप्रणाली: Experiential Knowledge Distillation (X-KD)

लेखक X-KD का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो छात्र मॉडलों को शिक्षक के मूल शिक्षण वातावरण में सीखने में सक्षम बनाता है, जो शिक्षक के अंतर्निहित रिवॉर्ड फंक्शन को मॉडल करता है।

मुख्य सैद्धांतिक आधार

प्रेरणा: यह विधि Experiential Learning Theory (उसी वातावरण का अनुभव करके सीखना) और Bayesian Inverse Reinforcement Learning (IRL) से प्रेरित है।
ढांचा (Framework): X-KD, Approximated Variational Reward Imitation Learning (AVRIL) ढांचे का उपयोग करता है। AVRIL रिवॉर्ड फंक्शन और पॉलिसी के संयुक्त शिक्षण की अनुमति देता है।
लक्षक: केवल छात्र और शिक्षक के आउटपुट के बीच अंतर (divergence) को कम करने के बजाय, X-KD छात्र को शिक्षक के मूल वातावरण के अपेक्षित रिवвर्ड (expected reward) को अधिकतम करने के लिए प्रोत्साहित करता है।

तकनीकी सूत्रीकरण (Technical Formulation)

यह दृष्टिकोण Natural Language Generation (NLG) कार्य को एक Markov Decision Process (MDP) के रूप में मॉडल करता है।

Original Reward Modeling (ORM):
- शिक्षक का रिवॉर्ड फंक्शन $R_\pi$ अज्ञात है। X-KD इस रिवॉर्ड के पोस्टीरियर वितरण $p(R|\pi)$ को एक पैरामीटराइज्ड वितरण $q_\phi(R)$ का उपयोग करके अनुमानित करता है।
- यह इस रिवॉर्ड वितरण को छात्र पॉलिसी के साथ संयुक्त रूप से सीखने के लिए एक Evidence Lower Bound (ELBO) को ऑप्टिमाइज़ करता है।
Loss Function का अपघटन (Decomposition):
कुल लॉस को दो भागों में विभाजित किया गया है:
- Knowledge Distillation Term ( $L_{seq}$ या $L_{kd}$ ): मानक डिस्टिलेशन उद्देश्य (Sequence-level, Forward-KL, या Generalized KD) जो यह सुनिश्चित करते हैं कि छात्र शिक्षक के आउटपुट वितरण की नकल करे।
- Experiential Regularization Term ( $L_{ex}$ ): AVRIL से प्राप्त एक नवीन टर्म जो सीखे गए रिवॉर्ड फंक्शन के साथ निरंतरता (consistency) लागू करता है। इसमें शामिल हैं:
  - सीखे गए रिवॉर्ड वितरण और एक 'प्रायर' (prior) के बीच KL डाइवर्जेंस को कम करना।
  - एक Temporal Difference (TD) error constraint को लागू करना, यह सुनिश्चित करना कि छात्र के Q-values (पॉलिसी के माध्यम से अनुमानित) सीखे गए रिवॉर्ड स्ट्रक्चर के साथ संरेखित हों।

सामान्यीकरण और लचीलापन (Generalization and Flexibility)

X-KD को एक सामान्य ढांचे के रूप में डिज़ाइन किया गया है जिसे विभिन्न मौजूदा KD पाइपलाइनों में एकीकृत किया जा सकता है:

Sequence-Level X-KD: मानक सीक्वेंस-लेवल डिस्टिलेशन (शिक्षक अनुक्रमों की संभावना को अधिकतम करना) के साथ एकीकृत होता है।
Supervised X-KD: Forward-KL डिस्टिलेशन (टोकन-लेवल डाइवर्जेंस) के साथ एकीकृत होता है।
Generalized X-KD: GKD ( $\beta$ -JS डाइवर्जेंस और ऑन-पॉलिसी डेटा का उपयोग करके) के साथ एकीकृत होता है।
Black-Box Support: एक विशिष्ट पाइपलाइन (Algorithm 2) X-KD को ब्लैक-बॉक्स शिक्षकों के साथ काम करने की अनुमति देती है जहाँ केवल अंतिम आउटपुट ही सुलभ होते हैं, जिसमें शिक्षक के आंतरिक लॉजिट्स (logits) तक पहुँच की आवश्यकता के बिना सीक्वेंस-लेवल उद्देश्यों का उपयोग किया जाता है।

कार्यान्वयन सरलता (Implementation Simplicity)

MiniLLM के विपरीत, X-KD सुपरवाइज्ड लर्निंग प्रतिमान को बनाए रखता है। Q-value डिकोडर को छात्र की एक्शन प्रोबेबिलिटीज़ के लॉग-सॉफ्टमैक्स के रूप में उल्टा (inversely) तैयार किया गया है, जिससे इसे जटिल पॉलिसी ग्रेडिएंट स्थिरीकरण तकनीकों के बिना मानक ग्रेडिएंट डिसेंट का उपयोग करके प्रशिक्षित किया जा सकता है।

3. प्रमुख योगदान (Key Contributions)

नवीन ढांचा: X-KD का प्रस्ताव, जो पहला सामान्य KD ढांचा है जो केवल व्यवहार के बजाय शिक्षक के मूल शिक्षण वातावरण (रिवॉर्ड फंक्शन) को स्पष्ट रूप से मॉडल करता है।
सैद्धांतिक एकीकरण: यह प्रदर्शित करता है कि X-KD को AVRIL ढांचे से प्राप्त किया जा सकता है और सुपरवाइज्ड लर्निंग की सरलता बनाए रखते हुए सीक्वेंस-लेवल, सुपरवाइज्ड और जनरलाइज्ड KD विधियों में निर्बाध रूप से एकीकृत किया जा सकता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): दिखाता है कि X-KD कई कार्यों में मजबूत बेसलाइन्स (GKD और MiniLLM सहित) से बेहतर प्रदर्शन करता है।
दक्षता और ट्रेड-ऑफ: मौजूदा तरीकों की तुलना में बेहतर performance-diversity trade-offs और उच्च data efficiency प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन NLG कार्यों पर X-KD का मूल्यांकन किया: Abstractive Summarization (XSum), Machine Translation (WMT14 en-de), और Arithmetic Reasoning (GSM8k)।

प्रदर्शन (Performance):
- X-KD वेरिएंट्स (SeqXKD, S-XKD, G-XKD) अधिकांश सेटिंग्स में अपने गैर-अनुभवात्मक बेसलाइन्स (SeqKD, SKD, GKD) और समकालीन MiniLLM से लगातार बेहतर रहे।
- G-XKD (Generalized X-KD) ने सबसे अच्छा समग्र परिणाम प्राप्त किया, जो सारांशीकरण और अनुवाद पर GKD और MiniLLM से आगे निकल गया।
Performance-Diversity Trade-off:
- X-KD ने बेहतर मजबूती (robustness) प्रदर्शित की। जैसे-जैसे सैंपलिंग टेम्परेचर बढ़ा (उच्च विविधता), X-KD ने बेसलाइन्स की तुलना में उच्च गुणवत्ता स्कोर (ROUGE/BLEU) बनाए रखा, जिनका प्रदर्शन अधिक तेजी से गिरा। यह सुझाव देता है कि X-KD विशिष्ट शिक्षक आउटपुट पर ओवरफिट होने के बजाय अधिक सामान्यीकरण योग्य रणनीतियाँ सीखता है।
डेटा दक्षता (Data Efficiency):
- X-KD ने 100% डेटा पर प्रशिक्षित बेसलाइन्स के समान प्रदर्शन हासिल किया, जबकि केवल 50% से 75% प्रशिक्षण डेटा का उपयोग किया। यह इंगित करता है कि रिवॉर्ड फंक्शन को मॉडल करने से छात्र मौलिक कार्य सिद्धांतों को अधिक कुशलता से पकड़ने में मदद मिलती है।
ब्लैक-बॉक्स डिस्टिलेशन (Black-Box Distillation):
- ब्लैक-बॉक्स सेटिंग्स (Llama-2-7b को शिक्षक के रूप में उपयोग करते हुए) में, X-KD (SeqXKD) ने GPT-4 द्वारा मूल्यांकन किए जाने पर बेसलाइन (SeqKD) के मुकाबले उच्च जीत दर (win rate) प्राप्त की।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिमान परिवर्तन (Paradigm Shift): X-KD, KD प्रतिमान को "शिक्षक की नकल करने" से बदलकर "उस वातावरण को सीखने" की ओर ले जाता है जिसमें शिक्षक ने सीखा था। यह मशीन लर्निंग को मानव अनुभवात्मक शिक्षण सिद्धांतों के अधिक करीब लाता है।
व्यावहारिकता: पॉलिसी ग्रेडिएंट विधियों से बचकर और एक सुपरवाइज्ड लर्निंग संरचना बनाए रखकर, X-KD को MiniLLM की तुलना में मौजूदा LLM प्रशिक्षण पाइपलाइनों में एकीकृत करना आसान है।
संसाधन दक्षता: बेहतर डेटा दक्षता LLMs के लिए महत्वपूर्ण है, जहाँ प्रशिक्षण डेटा और कंप्यूटिंग संसाधन महंगे होते हैं।
सीमाएँ: लेखक स्वीकार करते हैं कि X-KD "अनुभवात्मक भार" (experiential weight) हाइपरपैरामीटर ( $\lambda$ ) के ट्यूनिंग के प्रति संवेदनशील है और हालांकि ब्लैक-बॉक्स प्रयोज्यता प्रदर्शित की गई है, इसके लिए व्यवस्थित अध्ययन की आवश्यकता है।

निष्कर्षतः, X-KD, LLMs के लिए डिस्टिलेशन का एक मजबूत, लचीला और सैद्धांतिक रूप से आधारित दृष्टिकोण प्रदान करता है जो अनुभवात्मक शिक्षण की अवधारणा का लाभ उठाकर मॉडल की गुणवत्ता, विविधता और प्रशिक्षण दक्षता में महत्वपूर्ण सुधार करता है।