💬 NLP

Rethinking Selective Knowledge Distillation

यह शोध पत्र स्थिति (position), वर्ग (class) और नमूना (sample) अक्षों पर चयनात्मक ज्ञान आसवन (selective knowledge distillation) का व्यवस्थित रूप से विश्लेषण करता है ताकि स्टूडेंट-एन्ट्रॉपी-गाइडेड पोजीशन सिलेक्शन (SE-KD) और इसके मल्टी-एक्सिस एक्सटेंशन (SE-KD 3X) को पेश किया जा सके, जो डेंस डिस्टिलेशन (dense distillation) की तुलना में सटीकता, कार्य अनुपालन और मेमोरी दक्षता में महत्वपूर्ण सुधार करते हैं और प्रशिक्षण समय एवं भंडारण आवश्यकताओं को काफी कम कर देते हैं।

मूल लेखक: Almog Tavor, Itay Ebenspanger, Neil Cnaan, Mor Geva

प्रकाशित 2026-02-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Almog Tavor, Itay Ebenspanger, Neil Cnaan, Mor Geva

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा प्रशिक्षु (छात्र) को एक मास्टर लेखक ( शिक्षक) की तरह लिखना सिखाने की कोशिश कर रहे हैं।

पारंपरिक पद्धति में, जिसे नॉलेज डिस्टिलेशन (Knowledge Distillation) कहा जाता है, मास्टर छात्र के बगल में बैठता है और छात्र द्वारा लिखे गए प्रत्येक शब्द को सुधारता है। यदि छात्र 1,000 शब्दों की एक कहानी लिखता है, तो मास्टर सभी 1,000 शब्दों को सुधारता है। यह मास्टर के लिए थकाऊ है, इसमें बहुत अधिक कागज (मेमोरी) खर्च होता है, और अक्सर उन शब्दों को सुधारने में समय बर्बाद होता है जिन्हें छात्र पहले से ही पूरी तरह से जानता है।

यह शोध पत्र, जिसका शीर्षक "Rethinking Selective Knowledge Distillation" है, एक सरल प्रश्न पूछता है: क्या हमें वास्तव में प्रत्येक शब्द को सुधारने की आवश्यकता है?

लेखक कहते हैं—नहीं। वे एक स्मार्ट तरीका प्रस्तावित करते हैं जो समय, पैसा और ऊर्जा बचाता है और वास्तव में छात्र को अधिक बुद्धिमान बनाता है।

यहाँ उनका नया तरीका कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "यूनिफॉर्म" दृष्टिकोण बर्बादी भरा है

छात्र की लेखन प्रक्रिया को एक लंबी सड़क यात्रा की तरह समझें। सड़क के कुछ हिस्से सीधे और आसान होते हैं (छात्र जानता है कि उसे क्या कहना है)। अन्य हिस्से कठिन, घुमावदार या धुंध से भरे होते हैं (छात्र भ्रमित या अनुमान लगा रहा है)।

पुरानी पद्धति पूरी यात्रा के साथ एक जैसा व्यवहार करती है। मास्टर आसान, सीधे हिस्सों को भी उतने ही तीव्रता से सुधारता है जितने कि कठिन, धुंधले हिस्सों को। यह एक ड्राइविंग इंस्ट्रक्टर की तरह है जो तब "बाएं मुड़ें!" चिल्लाता है जब आप पहले से ही हाईवे पर सीधे गाड़ी चला रहे होते हैं। यह अनावश्यक शोर है।

2. समाधान: "स्टूडेंट-एंट्रॉपी" दिशा-सूचक यंत्र (Compass)

लेखक एक नई विधि पेश करते हैं जिसे SE-KD कहा जाता है। सब कुछ सुधारने के बजाय, वे एक विशेष दिशा-सूचक यंत्र का उपयोग करते हैं ताकि उन कठिन स्थानों को खोजा जा सके जहाँ छात्र सबसे अधिक भ्रमित है।

दिशा-सूचक यंत्र (The Compass): वे "स्टूडेंट एंट्रॉपी" (Student Entropy) को मापते हैं। सरल शब्दों में, यह भ्रम का एक माप है। यदि छात्र अगला शब्द लिखने के बारे में बेतहाशा अनुमान लगा रहा है, तो उसकी "एंट्रॉपी" उच्च है। यदि वह 100% निश्चित है, तो उसकी एंट्रॉपी कम है।
रणनीति: यह विधि कहती है, "आसान हिस्सों को अनदेखा करें। केवल उन शीर्ष 20% शब्दों को सुधारने दें जहाँ छात्र सबसे अधिक भ्रमित है।"

उपमा: एक ट्यूटर की कल्पना करें जो केवल तभी हस्तक्षेप करता है जब छात्र गणित की किसी कठिन समस्या में फंस जाता है, और छात्र को आसान जोड़-घटाव के सवालों को अपने आप हल करने देता है। छात्र केंद्रित मदद से अधिक सीखता है, और ट्यूटर बहुत सारी ऊर्जा बचाता है।

3. "ट्रिपल थ्रेट" (SE-KD3X)

लेखकों ने केवल कठिन शब्दों को चुनने तक ही सीमित नहीं रहना चाहा। उन्होंने महसूस किया कि वे एक साथ तीन अलग-अलग तरीकों से "फालतू चीजों" को हटाकर और भी अधिक कुशल हो सकते हैं:

पोजीशन सिलेक्शन (कठिन शब्द): ऊपर बताए अनुसार, केवल भ्रमित करने वाले शब्दों (20% टेक्स्ट) को सुधारें।
सैंपल सिलेक्शन (कठिन कहानियाँ): कभी-कभी, छात्र द्वारा लिखी जा रही पूरी कहानी ही बहुत आसान होती है। वे आसान कहानियों को पूरी तरह से हटा देते हैं और केवल कठिन कहानियों (सबसे कठिन 20% सैंपल्स) पर मास्टर को सिखाने देते हैं।
क्लास सिलेक्शन (कठिन विकल्प): जब छात्र को 1,00,000 शब्दों के शब्दकोश से एक शब्द चुनना होता है, तो मास्टर को हर शब्द की संभावना समझाने की आवश्यकता नहीं होती। वे केवल शीर्ष कुछ संभावित विकल्पों को समझाते हैं।

इन तीनों को मिलाकर, उन्होंने SE-KD3X बनाया।

4. परिणाम: तेज़, सस्ता और स्मार्ट

शोध पत्र ने विभिन्न बेंचमार्क (जैसे AI के लिए ड्राइविंग टेस्ट) पर इसका परीक्षण किया। यहाँ उन्हें जो मिला:

बेहतर प्रदर्शन: आश्चर्यजनक रूप से, कम शब्दों को सुधारने के बावजूद, छात्र ने परीक्षणों में उस छात्र से बेहतर प्रदर्शन किया जिसे सब कुछ सुधारने के लिए कहा गया था। कठिन हिस्सों पर केंद्रित ध्यान, आसान हिस्सों को सुधारने के शोर से अधिक मूल्यवान था।
भारी समय की बचत: क्योंकि उन्हें 80% शब्दों के लिए "सुधार" की गणना नहीं करनी पड़ी, इसलिए प्रशिक्षण प्रक्रिया 70% तेज़ हो गई।
विशाल स्टोरेज बचत: प्रत्येक शब्द के लिए मास्टर के "सुधार नोट्स" को स्टोर करने में बहुत हार्ड ड्राइव स्पेस लगता है। केवल कठिन शब्दों और कठिन कहानियों के लिए नोट्स स्टोर करके, उन्होंने स्टोरेज की जरूरतों को 80% कम कर दिया।
मेमोरी दक्षता: कंप्यूटर को एक साथ बहुत अधिक जानकारी अपनी "वर्किंग मेमोरी" में रखने की आवश्यकता नहीं पड़ी, जिससे इन मॉडल्स को सस्ते हार्डवेयर पर प्रशिक्षित करना संभव हो गया।

5. "ऑफलाइन कैश" (Offline Cache) ट्रिक

उनके तरीके का सबसे शानदार हिस्सा ऑफलाइन कैश है।
कल्पना कीजिए कि मास्टर लेखक प्रशिक्षण शुरू होने से पहले ही सबसे कठिन कहानियों के लिए अपनी "सर्वश्रेष्ठ सलाह" लिख देता है।

पुराना तरीका: मास्टर को वास्तविक समय में छात्र के लिखने के दौरान सलाह सोचने के लिए वहीं बैठना पड़ता है। यह धीमा है।
नया तरीका: मास्टर शीर्ष 20% कठिन कहानियों के लिए सलाह पहले से लिख देता है और उसे एक बॉक्स (कैश) में रख देता है। जब प्रशिक्षण शुरू होता है, तो वे बस उस बॉक्स को उठा लेते हैं। यह अविश्वसनीय रूप से तेज़ है और इसमें लगभग कोई अतिरिक्त स्टोरेज स्थान नहीं लगता।

सारांश

यह शोध पत्र तर्क देता है कि "कम ही अधिक है" (Less is more)। एक "भ्रम मीटर" (स्टूडेंट एंट्रॉपी) का उपयोग करके यह पहचानने के माध्यम से कि छात्र AI को वास्तव में कब मदद की आवश्यकता है, और उन क्षणों को अनदेखा करके जहाँ वे पहले से ही ठीक कर रहे हैं, हम ऐसे AI मॉडल को प्रशिक्षित कर सकते हैं जो हैं:

स्मार्ट (बेहतर सटीकता)।
तेज़ (70% कम समय)।
सस्ता (80% कम स्टोरेज और मेमोरी)।

यह एक ऐसे शिक्षक से स्विच करने जैसा है जो आपके दिन के हर कदम के बारे में आपको टोकता रहता है, बजाय एक ऐसे मेंटर के जो केवल तभी हस्तक्षेप करता है जब आप वास्तव में फंस जाते हैं, जिससे आप कम समय में अधिक प्रभावी ढंग से सीखते हैं।

तकनीकी सारांश: चयनात्मक ज्ञान आसवन (Selective Knowledge Distillation) पर पुनर्विचार

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अत्याधुनिक प्रदर्शन प्राप्त करते हैं लेकिन उन्हें सर्व (serve) करना महंगा और अनुकूलित करना कठिन होता है। नॉलेज डिस्टिलेशन (KD) एक छोटे स्टूडेंट मॉडल को बड़े टीचर की नकल करने के लिए प्रशिक्षित करके इस समस्या का समाधान करता है। हालाँकि, मानक KD प्रशिक्षण अनुक्रम के सभी टोकन पदों (token positions) में सघन (dense), समान पर्यवेक्षण लागू करता है, जो अक्सर उप-इष्टतम होता है। जबकि हाल के अध्ययन बताते हैं कि विशिष्ट टोकन पदों, शब्दावली वर्गों (vocabulary classes), या प्रशिक्षण नमूनों का चयन प्रदर्शन में सुधार कर सकता है, यह अभी भी स्पष्ट नहीं है कि कौन से महत्व संकेत (importance signals) और चयन नीतियां सबसे प्रभावी हैं, न ही यह कि विभिन्न अक्ष (axes) एक-दूसरे के साथ कैसे परस्पर क्रिया करते हैं। विशेष रूप से, इस बात की व्यवस्थित तुलना का अभाव है कि कौन से संकेत विश्वसनीय रूप से डिस्टिलेशन के लिए उच्च-मूल्य वाले टोकन की पहचान करते हैं और कैसे विभिन्न चयन नीतियां एक प्रभावी डिस्टिलेशन पाठ्यक्रम (curriculum) को आकार देती हैं।

कार्यप्रणाली

लेखक चयनात्मक ज्ञान आसवन (Selective Knowledge Distillation - SKD) के लिए एक एकीकृत ढांचा प्रस्तावित करते हैं जो डिस्टिलेशन प्रक्रिया को पांच ऑर्थोगोनल डिज़ाइन अक्षों में विभाजित करता है: संरेखण मानदंड (alignment criterion), स्थिति (positions), वर्ग (classes), नमूने (samples), और विशेषताएं (features)। यह कार्य पहले तीन अक्षों पर केंद्रित है।

1. चयन अक्षों का व्यवस्थित विश्लेषण

पेपर व्यवस्थित रूप से मूल्यांकन करता है:

स्थिति महत्व संकेत (Position Importance Signals): विभिन्न मेट्रिक्स की तुलना करना जिनमें स्टूडेंट क्रॉस-एन्ट्रॉपी, टीचर अनिश्चितता (जैसे, $1 - p_t(y_t)$ ), टीचर-स्टूडेंट विसंगति (KL डाइवर्जेंस), और स्टूडेंट एंट्रॉपी शामिल हैं।
चयन नीतियां (Selection Policies): टॉप- $k\%$ चयन, ग्लोबल थ्रेशोल्डिंग (GLS), करिकुलम लर्निंग, और स्टोकेस्टिक एलोकेशन (RS-KD) जैसी विधियों का मूल्यांकन।
बहु-अक्ष परस्पर क्रिया (Multi-Axis Interaction): यह जांचना कि स्थिति चयन, क्लास (शब्दावली) और सैंपल अक्षों के साथ स्पारसिफिकेशन (sparsification) के साथ कैसे परस्पर क्रिया करता है।

2. प्रस्तावित विधियां: SE-KD और SE-KD3X

विश्लेषण द्वारा निर्देशित होकर, लेखक दो नई विधियाँ पेश करते हैं:

SE-KD (Student Entropy-guided Position-selective KD): यह विधि स्थिति महत्व की पहचान करने के लिए प्राथमिक संकेत के रूप में स्टूडेंट एंट्रॉपी ( $H(q_t)$ ) का उपयोग करती है। यह पर्यवेक्षण के लिए उच्चतम स्टूडेंट अनिश्चितता वाले शीर्ष- $k\%$ पदों का चयन करती है।
SE-KD3X: एक विस्तार जो तीनों अक्षों पर एक साथ चयन लागू करता है:
- स्थिति (Position): स्टूडेंट एंट्रॉपी के आधार पर टॉप- $k\%$ चयन।
- वर्ग (Class): एक स्पार्स टीचर टारगेट बनाने के लिए टीचर लॉजिट्स का रैंडम सैंपलिंग (RS-KD)।
- नमूना (Sample): औसत स्टूडेंट एंट्रॉपी (एक फ्रोजन स्टूडेंट के सिंगल फॉरवर्ड पास के माध्यम से गणना की गई) के आधार पर शीर्ष- $\ell\%$ ट्रेनिंग सैंपल्स का चयन।

3. दक्षता अनुकूलन (Efficiency Optimizations)

इन चयन रणनीतियों का समर्थन करने के लिए, लेखक दो तकनीकी अनुकूलन लागू करते हैं:

चयनात्मक LM हेड (Selective LM Head): केवल चयनित पदों के लिए लॉजिट्स की गणना करता है और ग्रेडिएंट्स को बैकप्रोपैगेट करता है, जिससे पूर्ण $[B, L, V]$ लॉजिट टेंसरों के निर्माण से बचा जा सकता है।
चंक्ड एंट्रॉपी कंप्यूटेशन (Chunked Entropy Computation): पूर्ण लॉजिट्स को स्टोर किए बिना छोटे चंक्स में प्रति-स्थिति एंट्रॉपी की गणना करता है, जिससे मेमोरी ओवरहेड कम हो जाता है।
ऑफलाइन टीचर कैशिंग (Offline Teacher Caching): SE-KD3X के लिए, चयनित सैंपल इंडेक्स को कैश किया जाता है, जिससे मुख्य डिस्टिलेशन चरण के दौरान टीचर मॉडल को मेमोरी से हटाया जा सकता है, जिससे स्टोरेज आवश्यकताओं में काफी कमी आती है।

मुख्य परिणाम

सामान्य-उद्देश्य डिस्टिलेशन पर प्रदर्शन

Qwen3-1.7B (स्टूडेंट) और Qwen3-8B (टीचर) का उपयोग करके FineWeb-Edu से 80M टोकन पर मूल्यांकन किया गया:

सटीकता (Accuracy): SE-KD (टॉप-20% स्टूडेंट एंट्रॉपी) ने 64.8% औसत सटीकता प्राप्त की, जिसने Full KD (64.4%) और रैंडम पोजीशन सिलेक्शन (64.2%) को पछाड़ दिया।
परप्लेक्सिटी (Perplexity): SE-KD ने फुल KD के 7.3 की तुलना में परप्लेक्सिटी को घटाकर 6.9 कर दिया।
इंस्ट्रक्शन फॉलोइंग (Instruction Following): SE-KD ने IFEval स्कोर को 20.5 (Full KD) से बढ़ाकर 21.4 कर दिया।
कैलिब्रेशन (Calibration): हालांकि SE-KD ने कुछ बेसलाइन्स की तुलना में अपेक्षित कैलिब्रेशन एरर (ECE) में मामूली वृद्धि दिखाई (27.6 बनाम 27.3), लेकिन अंतर न्यूनतम था, जो बताता है कि लाभ विश्वास बदलावों (confidence shifts) के बजाय बेहतर पर्यवेक्षण आवंटन से आते हैं।

बहु-अक्ष और दक्षता लाभ

SE-KD3X: इसने प्रतिस्पर्धी प्रदर्शन (64.4% सटीकता) हासिल किया और साथ ही भारी दक्षता लाभ सक्षम किया।
स्टोरेज: क्लास सैंपलिंग (RS-KD) और सैंपल सिलेक्शन को जोड़कर, SE-KD3X ने Full KD की तुलना में स्टोरेज आवश्यकताओं को 99.96% (100B टोकन के लिए 10,000 TB से 3.84 TB) और अकेले RS-KD की तुलना में 80% कम कर दिया।
रनटाइम: सैंपल सिलेक्शन ने ऑफलाइन कैश पुन: उपयोग के साथ कुल वॉल टाइम को 70% (लगभग 23h से ~3.5h) कम कर दिया।
मेमोरी: चयनात्मक LM हेड और चंक्ड एंट्रॉपी कंप्यूटेशन ने पीक GPU मेमोरी को 18.3% (33.18 GB $\to$ 27.10 GB) कम कर दिया।

कार्य-विशिष्ट डिस्टिलेशन (GSM8K)

कार्य-विशिष्ट सेटिंग्स (GSM8K) में, परिणाम अधिक सूक्ष्म थे:

ऑफ-पॉलिसी (Off-Policy): SE-KD अकेले Full KD (69.5% बनाम 71.6%) से कम प्रदर्शन करता है। हालांकि, SE-KD और सैंपल सिलेक्शन (SE-KD + TopSmp) का संयोजन काफी कम पर्यवेक्षण के साथ Full KD (70.9%) के करीब रहा।
ऑन-पॉलिसी (On-Policy): SE-KD + TopSmp ने उच्चतम सटीकता (71.2%) प्राप्त की, जो Full KD (70.6%) से बेहतर है।

महत्व और योगदान

पेपर निम्नलिखित योगदानों का दावा करता है:

एकीकृत ढांचा: यह चयनात्मक KD के लिए एक सामान्य सैद्धांतिक ढांचा प्रस्तावित करता है जो पूर्व विधियों को व्यवस्थित करता है और कम खोजे गए वेरिएंट्स को उजागर करता है, विशेष रूप से पिछले कार्य में बहु-अक्ष चयन की कमी को।
स्टूडेंट एंट्रॉपी एक सिग्नल के रूप में: यह पहचानता है कि स्टूडेंट एंट्रॉपी स्थिति चयन के लिए एक अत्यधिक विश्वसनीय संकेत है, जो अक्सर टीचर-आधारित अनिश्चितता या विसंगति मेट्रिक्स से बेहतर प्रदर्शन करती है।
बलिदान के बिना दक्षता: यह प्रदर्शित करता है कि स्थिति, वर्ग और नमूना चयन (SE-KD3X) को संयोजित करने से प्रदर्शन से समझौता किए बिना रनटाइम, पीक मेमोरी और स्टोरेज में पर्याप्त कमी (पूर्व स्पार्स विधियों पर 80% स्टोरेज कमी तक) लाई जा सकती है।
ऑफलाइन कैशिंग की व्यवहार्यता: यह कार्य दिखाता है कि इन विधियों के साथ ऑफलाइन टीचर कैशिंग व्यावहारिक रूप से संभव हो जाती है, जिससे काफी कम संसाधन पदचिह्न (resource footprints) के साथ डिस्टिलेशन सक्षम होता है।

लेखक निष्कर्ष निकालते हैं कि सघन, समान लॉजिट पर्यवेक्षण अक्सर अनावश्यक होता है। उच्च-अनिश्चितता वाले स्थानों के एक छोटे उपसमूह पर पर्यवेक्षण को केंद्रित करना, विशेष रूप से जब स्टूडेंट एंट्रॉपी द्वारा निर्देशित हो और सैंपल/क्लास स्पारसिफिकेशन के साथ संयोजित हो, ऑटोरेग्रेसिव LLMs के लिए एक अनुकूल सटीकता-दक्षता व्यापार-बंद (trade-off) प्रदान करता है।