🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

यह शोध पत्र नियर-पॉलिसी डिस्टिलेशन (NPD) का प्रस्ताव करता है, जो एक एसिंक्रोनस फ्रेमवर्क है जो जनरेशन को ट्रेनिंग से अलग करके और पॉलिसी विलंब (policy delay) को कम करने के लिए $\Delta$ -IFD फ़िल्टरिंग का उपयोग करके ऑन-पॉलिसी नॉलेज डिस्टिलेशन को तेज़ करता है, जिससे मानक SFT और बड़े मॉडलों की तुलना में 8.1 गुना गति और बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Near-Policy Distillation" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "शिक्षक-छात्र" का अंतर (The "Teacher-Student" Discrepancy)

कल्प Imagine कीजिए कि आप एक छात्र (एक छोटा AI मॉडल) को एक मास्टर टीचर (एक विशाल AI मॉडल) की नकल करके निबंध लिखना सिखा रहे हैं।

पुराना तरीका (Standard Distillation): आप छात्र को उन निबंधों की एक सूची देते हैं जो टीचर ने पहले ही लिख लिए हैं। छात्र उन्हें रट लेता है। हालाँकि, जब छात्र अपनी परीक्षा देता है, तो उसे शून्य से शुरुआत करनी होती है। चूँकि उसने केवल टीचर के सटीक उत्तरों को याद किया है, इसलिए जब उसे अपने खुद के वाक्य बनाने होते हैं, तो वह भ्रमित हो जाता है। यह एक ऐसे छात्र की तरह है जो एक स्क्रिप्ट तो सुना सकता है, लेकिन जब उससे बिना तैयारी के बोलने को कहा जाता है, तो वह जम जाता है।
"On-Policy" वाला तरीका (महंगा समाधान): इसे ठीक करने के लिए, छात्र पहले अपने स्वयं के निबंध लिखता है और फिर उन्हें सुधार के लिए टीचर को दिखाता है। यह शानदार काम करता है क्योंकि छात्र अपनी गलतियों से सीखता है। हालाँकि, यह बहुत धीमा है। हर बार जब छात्र एक वाक्य लिखता है, तो टीचर को रुकना पड़ता है, उसे पढ़ना पड़ता है, उसका मूल्यांकन करना पड़ता है और फीडबैक देना पड़ता है, इससे पहले कि छात्र अगला वाक्य लिखने के लिए स्वतंत्र हो सके। यह एक ऐसे ट्यूटर की तरह है जो छात्र को एक भी शब्द लिखने देने से पहले पिछले वाक्य का मूल्यांकन करने से मना कर देता है।

समाधान: Near-Policy Distillation (NPD)

लेखक Near-Policy Distillation नामक एक नई विधि प्रस्तावित करते हैं। इसे एक हाई-स्पीड असेंबली लाइन के रूप में कल्पना करें जो "On-Policy" विधि के लाभों को उसकी सुस्ती के बिना बनाए रखती है।

यह कैसे काम करता है, यहाँ तीन भागों में दिया गया है:

1. एसिंक्रोनस असेंबली लाइन (Decoupling)

टीचर और स्टूडेंट के बीच एक धीमी, एक-से-एक बातचीत के बजाय, NPD उन्हें अलग कर देता है।

छात्र का कार्य: छात्र मॉडल एक कंप्यूटर पर तेज़ी से चलता है और एक साथ हज़ारों निबंध (प्रतिक्रियाएं) उत्पन्न करता है, जैसे कि एक फैक्ट्री सामानों का उत्पादन करती है। वह टीचर का इंतज़ार नहीं करता।
टीचर का कार्य: एक बार जब छात्र के पास निबंधों का एक बड़ा ढेर जमा हो जाता है, तो टीचर मॉडल उन सभी की एक साथ समीक्षा करता है। चूँकि टीचर छात्र के टाइप करने का इंतज़ार नहीं कर रहा है, इसलिए वे उन्हें "बैचेस" (batches) में प्रोसेस कर सकते हैं (जैसे कि पेज दर पेज पढ़ने के बजाय एक बार में पूरी किताब का अध्याय पढ़ना)।
परिणाम: यह पुराने धीमे तरीके की तुलना में 8.1 गुना तेज़ है क्योंकि कंप्यूटर फीडबैक के लिए खाली नहीं बैठा रहता।

2. "सेफ्टी फ़िल्टर" (The ∆-IFD Mechanism)

यहाँ एक पेच है। चूँकि छात्र टीचर द्वारा मूल्यांकन किए जाने से पहले ही निबंध बना लेता है, इसलिए छात्र अपने ही विचारों के "नशे" में आ सकता है। वह बकवास या ऐसी चीज़ें लिखना शुरू कर सकता है जो पूरी तरह से गलत हैं क्योंकि उनकी "पॉलिसी" (सोचने का तरीका) टीचर से दूर भटक गई है।

इसे ठीक करने के लिए, पेपर एक इंटेलिजेंट फ़िल्टर पेश करता है जिसे ∆-IFD कहा जाता है।

उपमा: कल्पना कीजिए कि छात्र एक नौसिखिया रसोइया है और टीचर एक मिशेलिन-स्टार शेफ है। छात्र कई व्यंजन बनाता है।
- ज़ोन 1 (Degenerate): छात्र कुछ इतना सरल और अजीब बनाता है (जैसे कि सादा पानी का कटोरा) कि टीचर भी सोचता है कि यह बहुत ही साधारण है, लेकिन छात्र भ्रमित है। फ़िल्टर इसे हटा देता है।
- ज़ोन 2 (Cognitive Decoupling): छात्र एक ऐसा व्यंजन बनाता है जिसमें वह बहुत आश्वस्त है, लेकिन मिशेलिन शेफ उसे बेकार मानता है। यह खतरनाक है क्योंकि छात्र अपनी गलती पर अड़ा हुआ है। फ़िल्टर इसे हटा देता है।
- ज़ोन 3 (The Proximal Learning Zone): छात्र कुछ ऐसा बनाता है जो उसके कौशल स्तर से थोड़ा ऊपर है, और टीचर भी सहमत है कि यह अच्छा और मददगार है। छात्र केवल इसी ज़ोन से सीखता है।

यह फ़िल्टर यह सुनिश्चित करता है कि छात्र केवल "गोल्डिलॉक्स" (Goldilocks) उदाहरणों से सीखे—न बहुत आसान, न बहुत कठिन, और न ही खतरनाक रूप से गलत। यह प्रशिक्षण को स्थिर रखता है भले ही छात्र और टीचर वास्तविक समय (real time) में संवाद नहीं कर रहे हों।

3. "स्पार्स अपडेट" (The Occasional Reset)

आमतौर पर, इन तेज़ असेंबली लाइनों के साथ, छात्र के विचार समय के साथ टीचर की शैली से बहुत दूर भटक सकते हैं।

समाधान: पूरी फैक्ट्री को हर एक सेकंड में सिंक्रोनाइज़ करने के लिए रोकने के बजाय (जो कि धीमा है), NPD लाइन को केवल कभी-कभार रोकने के लिए उपयोग करता है ताकि छात्र के दिमाग को टीचर की वर्तमान शैली के अनुसार रीसेट किया जा सके।
परिणाम: पेपर ने पाया कि पूरे प्रशिक्षण के दौरान सब कुछ सही रखने के लिए ऐसे "रीसेट" की आवश्यकता केवल एक या दो बार होती है, जिससे बहुत सारा समय बचता है।

ग्रैंड फिनाले: एक सुपर-स्टूडेंट

पेपर दिखाता है कि यह विधि न केवल छात्र को तेज़ी से प्रशिक्षित करती है, बल्कि उसे स्मार्ट भी बनाती है।

परिणाम: उन्होंने एक छोटा 1-बिलियन पैरामीटर वाला मॉडल (एक "छोटा" AI) लिया और इस विधि के साथ उसे प्रशिक्षित किया।
तुलना: इस नन्हे मॉडल ने NPD और कुछ अतिरिक्त Reinforcement Learning के बाद एक कठिन रीजनिंग टेस्ट पर 68.73% प्राप्त किया।
चौंकाने वाला तथ्य: इसने एक बहुत बड़े, प्रसिद्ध मॉडल Qwen3-1.7B (जिसके 1.7 बिलियन पैरामीटर्स हैं) को भी मात दे दी, जिसने 63.69% प्राप्त किया था।

सारांश

Near-Policy Distillation एक हाई-स्पीड फैक्ट्री की तरह है जहाँ एक छात्र टीचर के फीडबैक से सीखता है, बिना लाइन में लगे इंतज़ार किए। यह खराब उदाहरणों को हटाने के लिए एक इंटेलिजेंट फ़िल्टर का उपयोग करता है और छात्र को सही रास्ते पर रखने के लिए कभी-कभार रीसेट का उपयोग करता है। परिणाम स्वरूप, एक छोटा AI बनता है जो बड़े मॉडलों की तुलना में तेज़ी से, सस्ते में और अधिक स्मार्ट तरीके से सीखता है।

तकनीकी सारांश: नियर-पॉलिसी डिस्टिलेशन (NPD)

1. समस्या विवरण

ऑटोरेग्रेसिव लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए मानक नॉलेज डिस्टिलेशन (KD) एक मौलिक वितरणात्मक असंतुलन (distributional imbalance) का सामना करता है: स्टूडेंट मॉडल को टीचर-फोर्स्ड सीक्वेंस पर प्रशिक्षित किया जाता है, लेकिन वे इन्फरेंस के दौरान ऑटोरेग्रेसिव सीक्वेंस जनरेट करते हैं। जबकि ऑन-पॉलिसी विधियाँ (जैसे GKD, DistiLLM) स्टूडेंट-जेनरेटेड आउटपुट्स (SGOs) पर ट्रेनिंग करके इसे कम करती हैं, वे गणनात्मक रूप से गहन, रिइन्फोर्समेंट-लर्निंग-जैसे (RL) फ्रेमवर्क पर निर्भर करती हैं। ये फ्रेमवर्क टीचर और स्टूडेंट के बीच सिंक्रोनस इन्फरेंस की आवश्यकता रखते हैं, जो सीक्वेंस पैकिंग (Sequence Packing) के उपयोग को रोकता है, जिससे टोकन उपयोग दर कम हो जाती है और ट्रेनिंग थ्रूपुट धीमा हो जाता है। इसके विपरीत, मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) सीक्वेंस पैकिंग का समर्थन तो करता है, लेकिन इन्फरेंस के समय वितरण संबंधी बदलाव (distributional shift) को ठीक करने में विफल रहता है, जिसके परिणामस्वरूप एक्सपोज़र बायस और एरर एक्यूमुलेशन होता है।

2. कार्यप्रणाली: नियर-पॉलिसी डिस्टिलेशन (NPD)

लेखक नियर-पॉलिसी डिस्टिलेशन (NPD) का प्रस्ताव करते हैं, जो एक एसिंक्रोनस फ्रेमवर्क है जो स्टूडेंट जेनरेशन को ट्रेनिंग लूप से अलग (decouple) कर देता है। यह पुनर्गठन सिस्टम को ऑन-पॉली डिस्टिलेशन के डिस्ट्रीब्यूशन-मैचिंग लाभों को प्राप्त करने की अनुमति देता है, जबकि ऑफ-पॉली SFT के उच्च थ्रूपुट को भी बनाए रखता है।

मुख्य आर्किटेक्चर

NPD पाइपलाइन में तीन एसिंक्रोनस चरण शामिल हैं:

स्टूडेंट-ड्रिवन जेनरेशन: वर्तमान स्टूडेंट मॉडल एक प्रॉम्प्ट डेटासेट के लिए रिस्पॉन्स जेनरेट करता है। ये सीक्वेंस हाई-थ्रूपुट बैचों (जैसे vLLM का उपयोग करके) में जेनरेट किए जाते हैं।
पैक्ड पैरेलल प्रीफिल के माध्यम से टीचर एनोटेशन: उन ऑन-पॉलिसी विधियों के विपरीत जिन्हें सिंक्रोनस ऑटोरेग्रेसिव डिकोडिंग की आवश्यकता होती है, NPD कई स्टूडेंट रिस्पॉन्स को फिक्स्ड सीक्वेंस में जोड़ता (concatenate) है। टीचर मॉडल इन सीक्वेंस को एक पैरेलल प्रीफिल (Prefill) स्टेप के माध्यम से प्रोसेस करता है ताकि लॉजिट्स (logits) जेनरेट किए जा सकें। मेमोरी आवश्यकताओं और सुपरविजन क्वालिटी के बीच संतुलन बनाने के लिए केवल टॉप- $k$ लॉजिट्स को रिकॉर्ड किया जाता है।
कंबाइंड ऑप्टिमाइजेशन: स्टूडेंट मॉडल को एक कंबाइंड लॉस फंक्शन के साथ मानक SFT आर्किटेक्चर का उपयोग करके अपडेट किया जाता है:
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
जहाँ $L_{KD}$ केवल टीचर के हाई-कॉन्फिडेंस प्रेडिक्शंस पर कैलकुलेट किया गया टॉप- $k$ KL डायवर्जेंस है।

पॉलिसी लैग को संबोधित करना: $\Delta$ -IFD और स्पार्स अपडेट्स

NPD की एसिंक्रोनस प्रकृति से पॉलिसी लैग (Policy Lag) उत्पन्न होता है, जहाँ डेटा जेनरेशन रणनीति वर्तमान ट्रेनिंग रणनीति से विचलित हो जाती है, जो संभावित रूप से शोर (noise) पेश कर सकती है। NPD इसे दो तंत्रों के साथ काउंटर करता है:

$\Delta$ -IFD फ़िल्टरिंग: इंस्ट्रक्शन-फॉलोइंग डिफिकल्टी (IFD) मीट्रिक के आधार पर सैंपल सिलेक्शन के लिए एक ह्यूरिस्टिक मैकेनिज्म। यह डिफरेंशियल डिफिकल्टी की गणना करता है: $\Delta IFD = IFD_{Teacher} - IFD_{Student}$ $Δ I F D = I F D_{T e a c h er} - I F D_{S t u d e n t}$ ।
- डिजेनरेट ज़ोन ( $\Delta IFD < 0$ ): वे सैंपल्स जहाँ टीचर स्टूडेंट की तुलना में अधिक कॉन्फिडेंट है (अक्सर मामूली या अर्थहीन पैटर्न), उन्हें हटा दिया जाता है।
- कॉग्निटिव डिस्कनेक्ट ज़ोन ( $\Delta IFD > \tau$ ): वे सैंपल्स जहाँ स्टूडेंट कॉन्फिडेंट है लेकिन टीचर अत्यधिक अनिश्चित है (जो गंभीर त्रुटियों को दर्शाता है), उन्हें हटा दिया जाता है।
- प्रॉक्सिमल लर्निंग ज़ोन ( $0 \le \Delta IFD \le \tau$ ): केवल वे सैंपल्स जहाँ टीचर बेसलाइन क्वालिटी की पुष्टि करता है और कठिनाई का अंतर मध्यम है, उन्हें बरकरार रखा जाता है। यह सुनिश्चित करता है कि अपडेट एक "सुरक्षित प्रॉक्सिमल लर्निंग ज़ोन" के भीतर रहें।
स्पार्स स्टूडेंट अपडेट्स: जेनरेशन रणनीति को महत्वपूर्ण रूप से विचलित होने से रोकने के लिए, स्टूडेंट मॉडल को निरंतर के बजाय समय-समय पर (जैसे हर 10 एपॉक्स में एक बार) अपडेट किया जाता है। यह पॉलिसी सिंक्रोनाइज़ेशन की कम्प्यूटेशनल लागत को कम करता है और "नियर-पॉलिसी" स्थिति को बनाए रखता है।

रिइन्फोर्समेंट लर्निंग (RL) के साथ सिनर्जी

NPD आगामी RL (जैसे GRPO) के लिए एक बेहतर इनिशियलाइजेशन के रूप में कार्य करता है। विशेष रूप से हाई-क्वालिटी, फिल्टर्ड डेटा पर ट्रेनिंग करके, स्टूडेंट का प्रोबेबिलिटी मास लॉजिकली सही ट्राजेक्टरीज के मैनिफोल्ड पर केंद्रित हो जाता है। यह प्रभावी रूप से आगामी RL चरण के लिए एक्सप्लोरेशन स्पेस को संकुचित (narrow) करता है, जिससे यह अक्षम स्टोकेस्टिक एक्सप्लोरेशन को बायपास करने और फाइन-ग्रेन्ड ऑप्टिमाइजेशन पर ध्यान केंद्रित करने में सक्षम होता है।

3. मुख्य योगदान

NPD फ्रेमवर्क: एक एसिंक्रोनस डिस्टिलेशन फ्रेमवर्क जो जेनरेशन को ट्रेनिंग से अलग करता है, सीक्वेंस पैकिंग को सक्षम बनाता है, और ऑन-पॉलिकी बेसलाइन्स की तुलना में 8.1x स्पीडअप प्राप्त करते हुए उनके प्रदर्शन लाभों को बनाए रखता है।
स्टेबिलाइजेशन मैकेनिज्म: स्पार्स अपडेट्स और $\Delta$ -IFD फ़िल्टरिंग मैकेनिज्म का एकीकरण पॉलिसी लैग और सैंपल नॉइज़ को प्रभावी ढंग से कम करता है। यह शोर को ग्रेडिएंट्स पर हावी होने से रोकता है और एम्पिरिकली ऑप्टिमाइजेशन ट्राजेक्टरी को स्थिर करता है, जिससे KL डायवर्जेंस 0.10 से नीचे रहता है।
RL इनिशियलाइजेशन: यह कार्य प्रदर्शित करता है कि NPD-ट्रेन्ड मॉडल्स RL के लिए एक बेहतर शुरुआती बिंदु प्रदान करते हैं, सर्च स्पेस को संकुचित करते हैं और उच्च एसिम्प्टोटिक परफॉरमेंस को सक्षम करते हैं।

4. प्रयोगात्मक परिणाम

प्रयोग openPangu-Embedded-7B को टीचर और openPangu-Embedded-1B को स्टूडेंट के रूप में उपयोग करते हुए, और Qwen2.5-Math मॉडल्स के साथ तुलना करते हुए किए गए।

डिस्टिलेशन परफॉरमेंस: NPD ने एक बड़े पैमाने के औद्योगिक डेटासेट (1.2 मिलियन सैंपल्स) पर मानक SFT से 8.09% और मानक SeqKD दृष्टिकोण से 4.83% बेहतर प्रदर्शन किया।
दक्षता: स्टेट-ऑफ-द-आर्ट ऑन-पॉलिसी मेथड DistiLLM-2 की तुलना में, NPD ने GSM8K और MATH-500 बेंचमार्क पर 8.1x कम ट्रेनिंग टाइम (प्रति एपॉक्स 1.48 NPU-घंटे बनाम 12.00 NPU-घंटे) के साथ बेहतर सटीकता प्राप्त की।
RL सिनर्जी: GRPO के रूप में इनिशियलाइजेशन के रूप में, NPD मॉडल ने 11 बेंचमार्क्स में औसतन 68.73% एंडपॉइंट स्कोर प्राप्त किया।
स्टेट-ऑफ-द-आर्ट के साथ तुलना: अंतिम openPangu-Embedded-1B-RL मॉडल (1 बिलियन पैरामीटर्स) ने Qwen3-1.7B (63.69%) के मुकाबले 68.73% के स्कोर के साथ बेहतर प्रदर्शन किया। इसने GSM8K (87.60%) और MATH-500 (84.76%) पर भी अग्रणी स्कोर हासिल किया।

5. महत्व और दावे

यह कार्य दावा करता है कि NPD एज डिवाइसेस पर सर्वव्यापी बुद्धिमत्ता (ubiquitous intelligence) की ओर एक स्केलेबल मार्ग प्रदान करता है, जो हाई-परफॉरमेंस AI को एज कंस्ट्रेंट्स के साथ संरेखित करता है। उच्च-प्रदर्शन वाले AI को एज बाधाओं के साथ संरेखित करके और कुशल सीक्वेंस पैकिंग को सक्षम करके, यह फ्रेमवर्क प्रदर्शित करता है कि उन्नत ट्रेनिंग और अलाइनमेंट विधियाँ केवल मॉडल साइज स्केलिंग की तुलना में अधिक प्रभावी हो सकती हैं। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण बेहतर-अलाइन्ड छोटे मॉडल्स को ट्रेन करने और तैनात करने की लागत को कम करता है, जिससे शक्तिशाली LLMs वास्तविक दुनिया के परिदृश्यों के लिए अधिक सुलभ हो जाते हैं जहाँ लो लेटेंसी और डेटा प्राइवेसी की आवश्यकता होती है।

कार्य निष्कर्ष निकालता है कि हालांकि NPD, टीचर के डिस्ट्रीब्यूशन द्वारा सीमित है, इसकी $\Delta$ -IFD के माध्यम से सिस्टमैटिक एरर्स को फिल्टर करने और स्पार्स अपडेट्स के माध्यम से ट्रेनिंग को स्थिर करने की क्षमता इसे ऑटोरेग्रेसिव मॉडल्स में कुशल नॉलेज ट्रांसफर के लिए एक मजबूत समाधान बनाती है।