💬 NLP

Hybrid Policy Distillation for LLMs

यह शोध पत्र हाइब्रिड पॉलिसी डिस्टिलेशन (HPD) को प्रस्तुत करता है, जो एक एकीकृत नॉलेज डिस्टिलेशन फ्रेमवर्क है जो विविध कार्यों में लार्ज लैंग्वेज मॉडल्स को कंप्रेस करने की स्थिरता, दक्षता और प्रदर्शन को बढ़ाने के लिए ऑफ-पॉलिसी और एप्रोक्सिमेट ऑन-पॉलिसी डेटा के मिश्रण के साथ फॉरवर्ड और रिवर्स KL डाइवर्जेंस को एकीकृत करता है।

मूल लेखक: Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

प्रकाशित 2026-04-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenhong Zhu, Ruobing Xie, Rui Wang, Pengfei Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय शेफ (शिक्षक) है जो अविश्वसनीय, जटिल व्यंजन बना सकता है। हालाँकि, यह शेफ बहुत विशाल है, उसे खिलाना महंगा है और वह एक बहुत बड़ी रसोई घेर लेता है। आप एक युवा, छोटे प्रशिक्षु (छात्र) को बिल्कुल उसी तरह खाना बनाना सिखाना चाहते हैं, लेकिन आप उस बड़े शेफ को हमेशा के लिए अपने पास नहीं रख सकते।

यह नॉलेज डिस्टिलेशन (Knowledge Distillation) की समस्या है: एक बड़े मॉडल से एक छोटे AI मॉडल को सिखाना।

"हाइब्रिड पॉलिसी डिस्टिलेशन" (Hybrid Policy Distillation) नामक शोध पत्र इस प्रशिक्षु को प्रशिक्षित करने का एक नया, स्मार्ट तरीका प्रस्तावित करता है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

समस्या: "एक ही आकार सबके लिए" वाली गलती

परंपरागत रूप से, प्रशिक्षु को सिखाने के दो मुख्य तरीके रहे हैं, और दोनों में कमियां हैं:

"नकलची" विधि (Forward KL):
- यह कैसे काम करती है: शिक्षक कहता है, "मैंने एक व्यंजन बनाया जिसमें 30% संभावना तीखे होने की, 20% नमकीन होने की और 50% मीठे होने की थी। तुम्हें उन सभी संभावनाओं से मेल खाना होगा जिन पर मैंने विचार किया था।"
- दोष: प्रशिक्षु भ्रमित हो जाता है। शिक्षक की "सब कुछ संभव है" वाली वाइब से मेल खाने के चक्कर में, छात्र अंततः उबाऊ, बेस्वाद भोजन बनाने लगता है जो एक साथ सब कुछ बनने की कोशिश करता है। यह अत्यधिक सुस्त (over-smoothed) है और इसमें स्वाद की कमी है।
"नखरेबाज" विधि (Reverse KL):
- यह कैसे काम करती है: शिक्षक कहता है, "मुझे केवल सर्वश्रेष्ठ 5 व्यंजन पसंद हैं। बाकी सबको भूल जाओ। बस उन्हीं 5 को बनाओ।"
- दोष: प्रशिक्षु बहुत संकीर्ण हो जाता है। यदि शिक्षक कोई गलती करता है या यदि छात्र गलत अनुमान लगाता है, तो छात्र उन्हीं कुछ व्यंजनों को बार-बार बनाने के लूप में फंस जाता है, जिससे वह अन्य वैध विकल्पों को अनदेखा कर देता है। यह अस्थिर (unstable) है और बुरी आदतें पैदा कर सकता है।

समाधान: हाइब्रिड पॉलिसी डिस्टिलेशन (HPD)

लेखकों ने महसूस किया कि आपको "नकलची" या "नखरेबाज" में से किसी एक को चुनने की आवश्यकता नहीं है। आप स्थिति के आधार पर दोनों हो सकते हैं। वे इसे हाइब्रिड पॉलिसी डिस्टिलेशन (HPD) कहते हैं।

HPD को एक स्मार्ट कोच के रूप में सोचें जो छात्र को मार्गदर्शन देने के लिए एक विशेष "ट्रैफिक लाइट" प्रणाली का उपयोग करता है:

1. "ग्रीन लाइट" (जब छात्र ठीक कर रहा हो)

जब छात्र एक सही उत्तर (एक "एक्सपर्ट टोकन") को देखता है और महसूस करता है, "ओह, मैंने इस उत्तर को पर्याप्त श्रेय नहीं दिया!" (उसने इसका कम आकलन किया था), तो कोच कहता है:

"जाओ, कोशिश करो!"
छात्र को शिक्षक की पूरी रेसिपी से सीखने के लिए प्रोत्साहित किया जाता है (Forward KL)। यह सुनिश्चित करता है कि छात्र अच्छी संभावनाओं को मिस न करे।

2. "रेड लाइट" (जब छात्र पटरी से उतर रहा हो)

जब छात्र एक अजीब, बेतुका उत्तर (एक "नॉन-एक्सपर्ट टोकन") देने की कोशिश करता है और महसूस करता है, "रुको, शिक्षक की तुलना में यह समझ में नहीं आ रहा!", तो कोच कहता है:

"रुको! ऐसा मत करो।"
छात्र को इस गलत अनुमान के लिए दंडित किया जाता है। लेकिन जादू यहाँ है: केवल "ना" कहने के बजाय, कोच उस ऊर्जा को लेता है और उसे सही उत्तर की ओर मोड़ (redirect) देता है। यह वैसा ही है जैसे गलत मोड़ लेना और उस गति (momentum) का उपयोग खुद को सही रास्ते पर धकेलने के लिए करना।

3. "हल्का अभ्यास" (Lightweight Practice)

आमतौर पर, छात्र को अच्छी तरह सिखाने के लिए, आपको उन्हें पूरे वाक्य (rollouts) उत्पन्न करने का अभ्यास कराना होता है और फिर ग्रेड देना होता है। यह धीमा और महंगा है (जैसे छात्र को प्याज काटने के लिए सिखाने के लिए उसे पूरा 5-कोर्स मील बनाने के लिए कहना)।

HPD चतुर है क्योंकि यह केवल छात्र को अगला शब्द अनुमान लगाने और यह जाँचने के लिए कहता है कि वह सही है या गलत। यह पूरे भोजन के बजाय एक त्वरित "पॉप क्विज़" की तरह है। इससे समय और कंप्यूटर पावर की भारी बचत होती है।

यह एक बड़ी बात क्यों है?

शोध पत्र ने इसे तीन बहुत अलग "रसोईघरों" पर परखा:

गणितीय तर्क (Math Reasoning): जटिल, लंबे गणितीय समस्याओं को हल करना।
चैटिंग (Chatting): स्वाभाविक, बहु-चरण बातचीत करना।
कोडिंग (Coding): कंप्यूटर कोड लिखना।

परिणाम:

स्थिरता (Stability): छात्र भ्रमित नहीं हुआ या क्रैश नहीं हुआ (कोई "एंट्रॉपी कोलैप्स" नहीं)।
गति (Speed): इसने पिछले तरीकों की तुलना में बहुत तेज़ी से और सस्ते में प्रशिक्षण दिया।
प्रदर्शन (Performance): छोटे छात्र मॉडल अंततः विशाल शिक्षक मॉडलों के लगभग समान प्रदर्शन करने में सक्षम रहे, यहाँ तक कि गणित और कोडिंग जैसे कठिन कार्यों में भी।

निचोड़ (The Bottom Line)

हाइब्रिड पॉलिसी डिस्टिलेशन एक छात्र को स्मार्ट, अनुकूलन योग्य ट्यूटर देने जैसा है।

यदि छात्र अनिश्चित है, तो ट्यूटर उसे संभावनाओं की पूरी रेंज दिखाता है ताकि वह कुछ भी मिस न करे।
यदि छात्र गलती करता है, तो ट्यूटर उसे तीव्रता से सुधारता है और उस सुधार का उपयोग उसे सही उत्तर की ओर धकेलने के लिए करता है।
और यह यह सब बिना छात्र को हर बार अभ्यास के दौरान पूरा भोजन बनाने के लिए कहे करता है।

यह विशाल AI दिमागों को छोटे, पोर्टेबल दिमागों में बदलने का एक अधिक कुशल, स्थिर और शक्तिशाली तरीका है।

यहाँ शोध पत्र "Hybrid Policy Distillation for LLMs" का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) उत्कृष्ट प्रदर्शन प्राप्त करते हैं लेकिन अत्यधिक गणनात्मक (computational) और भंडारण (storage) लागत भी वहन करते हैं। नॉलेज डिस्टिलेशन (KD) इन मॉडल्स को कंप्रेस करने की एक प्राथमिक विधि है, फिर भी मौजूदा दृष्टिकोण तीन परस्पर जुड़े हुए डिज़ाइन अक्षों (design axes) द्वारा नियंत्रित महत्वपूर्ण ट्रेड-ऑफ का सामना करते हैं:

डाइवर्जेंस दिशा (Divergence Direction):
- फॉरवर्ड KL (FKLD): यह "मोड कवरेज" (यह सुनिश्चित करना कि छात्र सभी टीचर मोड को कवर करे) को बढ़ावा देता है, लेकिन अक्सर ओवर-स्मूदन और लो-कॉन्फिडेंस प्रेडिक्शन्स की ओर ले जाता है।
- रिवर्स KL (RKLD): यह "मोड-सीकिंग" (उच्च-संभाव्यता वाले टीचर मोड पर ध्यान केंद्रित करना) को बढ़ावा देता है, लेकिन जब स्टूडेंट-टीचर के बीच का अंतर बड़ा होता है, तो यह ट्रेनिंग अस्थिरता और कोलैप्स (collapse) का कारण बन सकता है।
ऑप्टिमाइज़ेशन रणनीति (Optimization Strategy): क्या डाइवर्जेंस को एक डायरेक्ट लॉस के रूप में माना जाता है या एक रिवॉर्ड सिग्नल के रूप में, जिससे अलग-अलग ग्रेडिएंट डायनेमिक्स उत्पन्न होते हैं।
डेटा रिजीम (Data Regime):
- ऑफ-पॉलिसी (Off-policy): स्टेटिक टीचर डेटा का उपयोग करता है (कुशल है लेकिन इसमें ट्रेन-इन्फरेंस मिसमैच की समस्या होती है)।
- ऑन-पॉलिसी (On-policy): स्टूडेंट पॉलिसी से सैंपल लेता है (बेहतर अलाइनमेंट लेकिन फुल रोलआउट्स के कारण गणनात्मक रूप से महंगा है)।

वर्तमान विधियाँ आमतौर पर एक दिशा (FKLD या RKLD) और एक रिजीम चुनती हैं, जो दोनों के पूरक लाभों को संतुलित करने या स्थिरता और प्रदर्शन के बीच के ट्रेड-ऑफ को कुशलतापूर्वक संभालने में विफल रहती हैं।

2. कार्यप्रणाली: हाइब्रिड पॉलिसी डिस्टिलेशन (HPD)

लेखक हाइब्रिड पॉलिसी डिस्टिलेशन (HPD) प्रस्तावित करते हैं, जो एक एकीकृत ढांचा है जो FKLD और RKLD के लाभों को एकीकृत करता है और ऑफ-पॉलिसी डेटा को लाइटवेट ऑन-पॉलिसी सैंपलिंग के साथ जोड़ता है।

A. एकीकृत सैद्धांतिक दृष्टिकोण (Unified Theoretical View)

शोध पत्र पहले KD को टोकन स्तर पर एक रीवेटेड लॉग-लाइक्लिहुड ऑब्जेक्टिव (reweighted log-likelihood objective) के रूप में पुनर्गठित करता है:
$\mathcal{L}(\theta) = \min_{\theta} -\mathbb{E}_{(s_t, a_t) \sim D_\pi} [w(a_t | s_t) \log q_\theta(a_t | s_t)]$
यहाँ, $w(a_t | s_t)$ एक रीवेटिंग सिग्नल के रूप में कार्य करता है। लेखक विश्लेषण करते हैं कि विभिन्न विधियाँ (SFT, FKLD, RKLD) इस वेट के विशिष्ट विकल्पों के अनुरूप कैसे हैं। वे प्रदर्शित करते हैं कि नेगेटिव वेट्स (जो रिवर्स KL की विशेषता है) सक्रिय रूप से सैंपल्ड टोकन को दबाते हैं और अन्य टोकन में प्रोबेबिलिटी मास को पुनर्वितरित करते हैं, जबकि पॉजिटिव वेट्स टोकन को सुदृढ़ (reinforce) करते हैं।

B. HPD एल्गोरिदम

HPD एक ऑफलाइन डेटासेट में प्रत्येक स्टेट $s_t$ के लिए एक एसिमेट्रिक टोकन-लेवल डिज़ाइन पर कार्य करता है:

एक्सपर्ट टोकन प्रोसेसिंग (ग्राउंड ट्रुथ/टीचर आउटपुट):
- एक्सपर्ट टोकन $a^*_t$ के लिए एक नेगेटिव रिवर्स KL ( $k_1$ ) एस्टिमेटर की गणना करता है: $k_1 = q_\theta(a^*_t|s_t) [\log p(a^*_t|s_t) - \log q_\theta(a^*_t|s_t)]$ .
- तर्क:
  - यदि $k_1 > 0$ (स्टूडेंट एक्सपर्ट को कम आंक रहा है): टोकन को सुदृढ़ करने के लिए फॉरवर्ड KL वेट ( $p(a^*_t|s_t) + k_1$ ) लागू करें।
  - यदि $k_1 \le 0$ (स्टूडेंट ओवरएस्टिमेट कर रहा है): कॉन्फ्लिक्टिंग ग्रेडिएंट्स को रोकने के लिए फॉरवर्ड KL घटक को मास्क करें, और केवल नेगेटिव सिग्नल पर निर्भर रहें।
स्टूडेंट-सैंपल्ड टोकन प्रोसेसिंग (ऑन-पलीसी):
- स्टूडेंट एक नॉन-एक्सपर्ट टोकन $a_t \sim q_\theta(\cdot|s_t)$ सैंपल करता है जहाँ $a_t \neq a^*_t$ है।
- इस सैंपल्ड टोकन के लिए $k'_1$ गैप की गणना करता है।
- तर्क:
  - यदि $k'_1 < 0$ (स्टूडेंट एक नॉन-एक्सपर्ट टोकन को ओवरएस्टिमेट कर रहा है): इस अनुचित व्यवहार को दबाने के लिए एक नेगेटिव वेट ( $k'_1$ ) लागू करें।
  - महत्वपूर्ण रूप से, यदि स्टूडेंट एक नॉन-एक्सपर्ट टोकन को ओवरएस्टिमेट करता है ( $k'_1 < 0$ ) और एक्सपर्ट को अंडरएस्टिमेट करता है ( $k_1 > 0$ ), तो एक्सपर्ट टोकन के लिए वेट को डबल ( $2p(a^*_t|s_t) + k_1$ ) कर दिया जाता है। यह स्पष्ट रूप से खराब सैंपल से दबाए गए प्रोबेबिलिटी मास को सही एक्सपर्ट एक्शन की ओर पुनर्निर्देशित करता है।
लॉस फंक्शन (Loss Function):
अंतिम ऑब्जेक्टिव इन वेटेड टर्म्स को जोड़ता है:
$\mathcal{L}_{HPD} = \mathbb{E} [ -w^*_t \log q_\theta(a^*_t | s_t) - w_t \log q_\theta(a_t | s_t) ]$
यह दृष्टिकोण वन-हॉट सुपरविजन (SFT) की कम्प्यूटेशनल दक्षता को बनाए रखता है जबकि KL डाइवर्जेंस के डेंस डिस्ट्रिब्यूशनल गाइडेंस को शामिल करता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत दृष्टिकोण: एक रीवेटेड लॉग-लाइक्लिहुड फ्रेमवर्क स्थापित किया जो SFT, FKLD और RKLD को जोड़ता है, जिससे यह स्पष्ट होता है कि डाइवर्जेंस दिशा और डेटा रिजीम कैसे इंटरैक्ट करते हैं।
HPD एल्गोरिदम: एक नया तरीका प्रस्तावित किया जो फॉरवर्ड और रिवर्स KL सिग्नल्स को हाइब्रिडाइज करता है। यह खराब स्टूडेंट सैंपल्स को दबाने और एक्सपर्ट टोकन्स को डायनामिक रूप से सुदृढ़ करने के लिए नेगेटिव KL एस्टिमेटर्स को रिवॉर्ड सिग्नल के रूप में उपयोग करता है, जो प्रभावी रूप से मोड कवरेज और मोड-सीकिंग के बीच संतुलन बनाता है।
दक्षता (Efficiency): प्योर ऑन-पॉलिसी डिस्टिलेशन (OPD) के विपरीत, जिसमें महंगे फुल-सीक्वेंस रोलआउट की आवश्यकता होती है, HPD स्टूडेंट से लाइटवेट, सिंगल-टोकन सैंपलिंग का उपयोग करता है, जिससे कम्प्यूटेशनल ओवरहेड काफी कम हो जाता है।
मजबूत इनिशियलाइजेशन (Strong Initialization): प्रदर्शित किया गया कि HPD, आगामी ऑन-पॉलिसी डिस्टिलेशन या डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) के लिए एक बेहतर इनिशियलाइजेशन प्रदान करता है, जिससे आगे के प्रदर्शन में वृद्धि होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डोमेन में HPD को मान्य किया: मैथ रीजनिंग (लॉन्ग-जेनरेशन), डायलॉग (शॉर्ट-जेनरेशन), और कोड जनरेशन।

मैथ रीजनिंग (ऑफ-पॉलिसी):
- Qwen2.5 और LLaMA3 परिवारों पर परीक्षण किया गया (जैसे, 7B टीचर $\to$ 1.5B/3B स्टूडेंट)।
- परिणाम: HPD ने SFT, SeqKD, RKLD और JSD की तुलना में काफी बेहतर प्रदर्शन किया। विशेष रूप से, HPD ने मानक बेसलाइन्स की तुलना में Qwen2.5 3B की रीजनिंग क्षमताओं में 41% और LLaMA3 3B में 78% का सुधार किया।
- डायनेमिक्स: HPD ने स्थिर ट्रेनिंग एंट्रॉपी बनाए रखी (कोलैप्स से बचते हुए) और SFT के विपरीत, जो स्थिर हो गया था, धीरे-धीरे टीचर और स्टूडेंट के बीच KL डाइवर्जेंस गैप को कम किया।
डायलॉग और कोड (ऑफ-पॉलिसी):
- डायलॉग: HPD ने मल्टी-टर्न डायलॉग बेंचमार्क्स (MT-Bench) और अलाइनमेंट मेट्रिक्स (AlpacaEval, Arena-Hard) पर उच्चतम स्कोर प्राप्त किया, जो बेहतर कोहेरेंस और कॉन्टेक्स्ट रिटेंशन दिखाता है।
- कोड: HPD ने HumanEval और MBPP पर सर्वश्रेष्ठ औसत pass@1 स्कोर प्राप्त किया, जो KD और JSD में देखी गई उच्च परिवर्तनशीलता (variance) की तुलना में अधिक स्थिर सुधार प्रदर्शित करता है।
ऑन-पॉलिसी और DPO इंटीग्रेशन:
- जब इसे OPD के लिए इनिशियलाइजेशन के रूप में उपयोग किया गया, तो HPD + OPD ने SFT + OPD बेसलाइन्स को पछाड़ दिया।
- DPO अलाइनमेंट कार्यों में, HPD द्वारा इनिशियलाइज किए गए मॉडल्स ने SFT या RKLD इनिशियलाइजेशन की तुलना में DPO के बाद बड़े प्रदर्शन लाभ ( $\Delta$ ) दिखाए, जिससे सिद्ध हुआ कि HPD एक बेहतर "स्ट्रॉन्ग-टू-वीक" फाउंडेशन बनाता है।

5. महत्व (Significance)

अंतराल को पाटना (Bridging the Gap): HPD SFT/फॉरवर्ड KL की स्थिरता और रिवर्स KL/ऑन-पॉलिसी मेथड्स की अलाइनमेंट सटीकता के बीच लंबे समय से चले आ रहे ट्रेड-ऑफ को हल करता है।
स्केलेबिलिटी (Scalability): फुल रोलआउट्स से बचकर और एक लाइटवेट टोकन-लेवल सैंपलिंग रणनीति का उपयोग करके, HPD उच्च-गुणवत्ता वाले डिस्टिलेशन को संसाधन-बाधित वातावरणों के लिए व्यवहार्य बनाता है।
सामान्यीकरण (Generalizability): यह विधि मॉडल-अग्नोस्टिक है और विविध कार्यों (रीजनिंग, डायलॉग, कोडिंग) और विभिन्न मॉडल स्केल्स में प्रभावी है, जो इसे कुशल LLM डिप्लॉयमेंट की अगली पीढ़ी के लिए एक मजबूत प्रतिमान बनाती है।
भविष्य का प्रभाव: शोध पत्र सुझाव देता है कि HPD को प्रशिक्षण पाइपलाइन में पहले (जैसे, मिड-ट्रेनिंग या प्री-ट्रेनिंग) भी लागू किया जा सकता है ताकि LLM दक्षता को और बढ़ाया जा सके।