💻 computer science

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models

यह शोध पत्र ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जहाँ एक एकल लार्ज लैंग्वेज मॉडल विशेषाधिकार प्राप्त रीजनिंग ट्रेसेस (privileged reasoning traces) का लाभ उठाकर अपनी ही कमजोर पॉलिसी को सुपरवाइज करने के लिए शिक्षक और छात्र दोनों के रूप में कार्य करता है, जिससे पारंपरिक ऑफ-पॉलिसी डिस्टिलेशन और रिइन्फोर्समेंट लर्निंग विधियों की तुलना में बेहतर गणितीय तर्क प्रदर्शन और काफी अधिक टोकन दक्षता प्राप्त होती है।

मूल लेखक: Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On-Policy Self-Distillation for Large Language Models" (OPSD) के पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

मुख्य विचार: उत्तर कुंजी (Answer Key) को देखते हुए खुद को सिखाना

कल्पना कीजिए कि आप एक बहुत कठिन गणित की परीक्षा दे रहे हैं। आप एक सवाल पर अटक गए हैं।

पुराना तरीका (Reinforcement Learning/GRPO): आप एक उत्तर का अनुमान लगाते हैं। यदि वह गलत है, तो आपको एक बड़ा लाल "X" मिलता है और आपको फिर से शुरू करना पड़ता है। आपको एक सही उत्तर खोजने के लिए 100 अलग-अलग अनुमान लगाने पड़ सकते हैं। यह अंधेरे में तीर चलाने जैसा है, इस उम्मीद में कि एक भी निशाने पर लगेगा। इसमें बहुत समय और ऊर्जा लगती है।
नया तरीका (OPSD): आपको समस्या को हल करते वही उत्तर कुंजी (answer key) देखने की अनुमति है। आप केवल अंतिम संख्या नहीं देखते; आप वह चरण-दर-चरण तर्क (logic) भी देखते हैं जिसका उपयोग शिक्षक ने किया है। आप खुद समस्या हल करने की कोशिश करते हैं, लेकिन हर बार जब आप एक कदम उठाते हैं, तो आप उत्तर कुंजी से जाँचते हैं कि क्या आपका तर्क शिक्षक के तर्क से मेल खाता है। यदि आप पटरी से उतर जाते हैं, तो उत्तर कुंजी आपको धीरे से वापस सही रास्ते पर लाती है।

यह पेपर On-Policy Self-Distillation (OPSD) नामक एक विधि पेश करता है। यह एक तरीका है जिससे एक अकेला AI मॉडल अपनी सोचने की प्रक्रिया को बेहतर बनाने के लिए "उत्तर कुंजी" (सही समाधान) का उपयोग करके खुद को सिखा सकता है।

हमारी कहानी के पात्र

यह समझने के लिए कि यह कैसे काम करता है, आइए कल्पना करें कि AI मॉडल के पास एक ही समय में दो "व्यक्तित्व" या "टोपियाँ" हैं जिन्हें वह पहनता है:

छात्र (The Student - सीखने वाला): AI का यह संस्करण केवल गणित की समस्या देखता है। इसे शून्य से उत्तर ढूंढना होता है, ठीक वैसे ही जैसे एक मानव छात्र। यह गलतियाँ करता है और चरण-दर-चरण समाधान बनाता है।
शिक्षक (The Teacher - मार्गदर्शक): यह बिल्कुल वही AI मॉडल है, लेकिन इसके पास एक गुप्त लाभ है: इसकी जेब में उत्तर कुंजी (सही समाधान और तर्क के चरण) है।

जादुई ट्रिक: शिक्षक वास्तव में नया समाधान नहीं लिखता है। इसके बजाय, वह देखता है कि छात्र ने अभी क्या लिखा है और कहता है, "हे, अगर मेरे पास उत्तर कुंजी होती, तो मैं वहीं से इस तरह आगे बढ़ता जहाँ तुम अभी रुके हो।"

छात्र फिर अपने अगले कदम की तुलना शिक्षक के "आदर्श" अगले कदम से करता है। यदि वे मेल खाते हैं, तो बहुत अच्छा! यदि वे नहीं मिलते, तो छात्र अपने सोचने के तरीके को शिक्षक जैसा बनाने के लिए खुद को ढालना सीखता है।

यह गेम-चेंजर क्यों है

यह पेपर इस नए तरीके की तुलना सीखने के दो मुख्य तरीकों से करता है:

1. "अंधा अनुमान" लगाने की विधि (Reinforcement Learning / GRPO)

यह कैसे काम करती है: AI एक समस्या को हल करने की कोशिश करता है। यदि उसे सही उत्तर मिलता है, तो उसे एक इनाम (cookie) मिलता है। यदि वह गलत है, तो उसे कोई इनाम नहीं मिलता।
समस्या: AI को कई बार (अक्सर 8 या अधिक) अनुमान लगाना पड़ता है ताकि एक सही उत्तर मिल सके। यह तिजोरी के डायल को तब तक घुमाने जैसा है जब तक कि वह क्लिक न कर दे, बस अंधेरे में हाथ-पैर मारने जैसा। यह धीमा, महंगा और बर्बादी भरा है।
OPSD का लाभ: OPSD को 8 बार अनुमान लगाने की आवश्यकता नहीं है। इसे केवल एक प्रयास की आवश्यकता है। क्योंकि इसके पास हर कदम पर मार्गदर्शन करने के लिए उत्तर कुंजी है, यह बहुत तेजी से सीखता है। पेपर कहता है कि यह अनुमान लगाने वाली विधि की तुलना में 8 से 12 गुना अधिक कुशल है।

2. "रटने" की विधि (Supervised Fine-Tuning / SFT)

यह कैसे काम करता है: AI को बार-बार समस्या और उसका आदर्श समाधान दिखाया जाता है। यह पैटर्न को रटने की कोशिश करता है।
समस्या: यह एक छात्र द्वारा अभ्यास टेस्ट के उत्तर रटने जैसा है लेकिन वास्तविक परीक्षा में असफल होने जैसा, क्योंकि प्रश्न थोड़े अलग होते हैं। AI भ्रमित हो जाता है यदि वह शुरुआत में एक छोटी सी गलती करता है और उसे पता नहीं चलता कि कैसे सुधारा जाए।
OPSD का लाभ: OPSD उस छात्र की तरह है जो उत्तर कुंजी देखते हुए काम कर रहा है। यह सीखता है कि गलतियों से कैसे उबरना है और समस्या को कैसे सुलझाना है, न कि केवल अंतिम परिणाम को रटना।

"सेल्फ-डिस्टिलेशन" (Self-Distillation) की अवधारणा

"डिस्टिलेशन" (Distillation) शब्द का अर्थ आमतौर पर एक बड़े, बुद्धिमान शिक्षक से ज्ञान लेकर एक छोटे छात्र में डालना होता है।

इस पेपर में, AI खुद को डिस्टिल (distill) कर रहा है।

यह अपने "स्मार्ट" पक्ष (शिक्षक जिसके पास उत्तर कुंजी है) का उपयोग अपने "सीखने" वाले पक्ष (छात्र जिसके पास कुंजी नहीं है) को प्रशिक्षित करने के लिए करता है।
यह किसी पहेली के समाधान को पढ़ने, किताब बंद करने और फिर उसे फिर से हल करने की कोशिश करने जैसा है, जबकि आप काम करते समय समाधान के साथ अपने काम की जाँच करते हैं। वे खुद को बेहतर सोचने के लिए सिखा रहे हैं।

पेपर के मुख्य निष्कर्ष

आपको एक पर्याप्त स्मार्ट दिमाग चाहिए: यह ट्रिक तभी काम करती है जब AI पहले से ही तर्क करने में काफी अच्छा हो। यदि मॉडल बहुत छोटा या बहुत "मूर्ख" है, तो वह सीखने के लिए उत्तर कुंजी को ठीक से समझ नहीं पाएगा। यह एक बच्चे को टेक्स्टबुक का उपयोग करके कैलकुलस सिखाने जैसा है; बच्चा उसे समझ ही नहीं पाएगा। पेपर ने पाया कि कम से कम 4 बिलियन पैरामीटर्स वाले मॉडल ने अच्छा काम किया, लेकिन एक बहुत छोटा 1.7 बिलियन मॉडल संघर्ष करता रहा।
अधिक चरण = बेहतर सीखना: AI को उत्तर कुंजी की जाँच करते हुए जितना अधिक सोचने (अधिक टोकन जेनरेट करने) की अनुमति दी जाती है, वह उतना ही बेहतर होता जाता है। उसे केवल मंजिल नहीं, बल्कि पूरी यात्रा देखने की आवश्यकता होती है।
यह पैसा बचाता है: क्योंकि यह तेजी से सीखता है और इसे प्रशिक्षित करने के लिए कम कंप्यूटर चक्रों (cycles) की आवश्यकता होती है, इसलिए कंपनियों के लिए उपयोग करने में यह विधि वर्तमान "अनुमान लगाने" वाली विधियों की तुलना में बहुत सस्ती है।

निचोड़ (The Bottom Line)

यह पेपर AI को गणित और तर्क में अच्छा बनाने के लिए एक स्मार्ट और तेज़ तरीका प्रस्तावित करता है। AI को अंधेरे में भाग्य के भरोसे हाथ-पैर मारने देने या केवल उत्तर रटने के लिए मजबूर करने के बजाय, OPSD को एक हाथ में उत्तर कुंजी पकड़कर समस्या हल करने का अभ्यास करने देता है।

यह इनके बीच का अंतर है:

पुराना तरीका: "100 बार कोशिश करो जब तक कि तुम सही न हो जाओ।"
नया तरीका: "एक बार कोशिश करो, लेकिन हर एक कदम पर समाधान के विरुद्ध अपने काम की जाँच करो।"

परिणाम? एक ऐसा AI जो बेहतर, तेज़ और कम कंप्यूटिंग पावर के साथ तर्क करना सीखता है।

यहाँ शोध पत्र "On-Policy Self-Distillation for Large Language Models" (OPSD) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को तर्क करने की क्षमता (reasoning capabilities) बढ़ाने के लिए प्रभावी पोस्ट-ट्रेनिंग विधियों की आवश्यकता होती है। वर्तमान प्रमुख दृष्टिकोण विशिष्ट सीमाओं का सामना करते हैं:

सत्यापनीय पुरस्कारों के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR): GRPO जैसी विधियाँ स्पार्स (sparse), सीक्वेंस-लेवल बाइनरी रिवॉर्ड्स (सही/गलत) पर निर्भर करती हैं। इससे उच्च विचरण (high variance), जब सभी सैम्पल्ड रिस्पॉन्स गलत होते हैं तो वैनिशिंग ग्रेडिएंट्स, और प्रति प्रॉम्प्ट कई रोलआउट्स की आवश्यकता के कारण उच्च कम्प्यूटेशनल लागत होती है।
सुपरवाइज्ड फाइन-ट्यूनिंग (Supervised Fine-Tuning - SFT): हालांकि यह कुशल है, लेकिन SFT 'एक्सपोज़र बायस' (exposure bias) और ट्रेनिंग डेटा तथा इन्फरेंस-टाइम जनरेशन के बीच वितरण विसंगति (distribution mismatch) से ग्रस्त है।
पारंपरिक ऑन-पॉलिसी डिस्टिलेशन (Traditional On-Policy Distillation): यह दृष्टिकोण एक छात्र (student) को एक शिक्षक (teacher) से प्राप्त डेंस (dense) टोकन-लेवल सुपरविजन का उपयोग करके अपने स्वयं के जनरेट किए गए ट्राजेक्टरीज पर प्रशिक्षित करता है। हालाँकि, इसके लिए एक अलग, अक्सर बड़े, बाहरी शिक्षक मॉडल की आवश्यकता होती है, जिससे इंफ्रास्ट्रक्चर की लागत और जटिलता बढ़ जाती है।
अंतराल (The Gap): एक ऐसी विधि की आवश्यकता है जो ऑन-पॉलिसी ट्रेनिंग की सैंपल दक्षता (sample efficiency), डिस्टिलेशन के डेंस फीडबैक (dense feedback), और बिना किसी बाहरी शिक्षक के लागत-प्रभावशीलता (cost-effectiveness) को जोड़ सके, जबकि रीजनिंग डेटासेट्स में उपलब्ध ग्राउंड-ट्रुथ समाधानों का स्पष्ट रूप से लाभ उठा सके।

2. कार्यप्रणाली: ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (Methodology: On-Policy Self-Distillation - OPSD)

OPSD का मूल अंतर्ज्ञान यह है कि एक पर्याप्त सक्षम LLM एक सही समाधान (ग्राउंड ट्रुथ) को "तर्कसंगत" (rationalize) बना सकता है और उस समझ का उपयोग अपने ही कमजोर स्वरूप (वह संस्करण जिसके पास ग्राउंड ट्रुथ तक पहुँच नहीं है) को सिखाने के लिए कर सकता है।

मुख्य ढांचा (Core Framework)

OPSD एक एकल LLM ( $p_\theta$ ) को कंडीशनिंग कॉन्टेक्स्ट को बदलकर, एक शिक्षक (Teacher) और एक छात्र (Student) दोनों के रूप में स्थापित करता है:

टीचर पॉलिसी ( $p_T$ ): यह समस्या $x$ $x$ और विशेषाधिकार प्राप्त ग्राउंड-ट्रुथ समाधान $y^\star$ $y^{⋆}$ (जैसे कि सही उत्तर या रेफरेंस चेन-ऑफ-थॉट) पर आधारित होती है।
- $p_T(\cdot | x, y^\star) \equiv p_\theta(\cdot | x, y^\star)$
स्टूडेंट पॉलिसी ( $p_S$ ): यह केवल समस्या $x$ $x$ पर आधारित होती है, जो इन्फरेंस-टाइम परिदृश्य की नकल करती है।
- $p_S(\cdot | x) \equiv p_\theta(\cdot | x)$

प्रशिक्षण प्रक्रिया (Training Process)

ऑन-पॉलिसी सैंपलिंग: छात्र एक ट्राजेक्टरी $\hat{y} \sim p_S(\cdot | x)$ जनरेट करता है।
मूल्यांकन (Evaluation): शिक्षक और छात्र दोनों इस छात्र-जनरेटेड ट्राजेक्टरी का मूल्यांकन करते हैं। प्रत्येक टोकन पोजीशन $n$ $n$ पर, वे छात्र के प्रीफिक्स $\hat{y}_{<n}$ $\overset{y}{^}_{< n}$ पर आधारित अगले-टोकन डिस्ट्रीब्यूशन (next-token distributions) उत्पन्न करते हैं:
- छात्र: $p_S(\cdot | x, \hat{y}_{<n})$
- शिक्षक: $p_T(\cdot | x, y^\star, \hat{y}_{<n})$
उद्देश्य (Objective): मॉडल छात्र के अपने रोलआउट्स पर शिक्षक और छात्र के डिस्ट्रीब्यूशन के बीच प्रति-टोकन विचलन (per-token divergence) को कम करता है।
- लॉस फंक्शन (Loss Function): $L_{OPSD}(\theta) = \mathbb{E}_{(x,y^\star)} \mathbb{E}_{\hat{y} \sim p_S} \left[ \sum_{n=1}^{|\hat{y}|} D(p_T(\cdot | x, y^\star, \hat{y}_{<n}) \parallel p_S(\cdot | x, \hat{y}_{<n})) \right]$
- डाइवर्जेंस मेजर (Divergence Measure): लेखक मुख्य रूप से जनरलाइज्ड जेन्सन-शैनन डाइवर्जेंस (Generalized Jensen-Shannon Divergence - JSD) का उपयोग करते हैं, हालांकि KL-डाइवर्जेंस भी लागू है।
- ग्रेडिएंट फ्लो (Gradient Flow): ग्रेडिएंट्स केवल छात्र पॉलिसी के लॉजिट्स (logits) के माध्यम से बैकप्रोपैगेट किए जाते हैं। शिक्षक एक फिक्स्ड टारगेट डिस्ट्रीब्यूशन के रूप में कार्य करता है जो विशेषाधिकार प्राप्त जानकारी पर आधारित होता है।

वैकल्पिक उद्देश्य (Alternative Objectives)

पेपर एक सैम्पल्ड-टोकन पॉलिसी ग्रेडिएंट (Sampled-Token Policy Gradient) दृष्टिकोण भी तलाशता है (Lu & Lab, 2025 के समान), जहाँ एडवांटेज की गणना पूरे वोकैबुलरी डिस्ट्रीब्यूशन के बजाय केवल सैम्पल्ड टोकन पर की जाती है। हालाँकि, प्रयोगों से पता चलता है कि फुल-वोकैबुलरी डाइवर्जेंस बेहतर प्रदर्शन देता है।

3. मुख्य योगदान (Key Contributions)

नया ढांचा (Novel Framework): OPSD का परिचय, एक सेल्फ-डिस्टिलेशन फ्रेमवर्क जहाँ एक ही मॉडल शिक्षक और छात्र दोनों के रूप में कार्य करता है, जिससे बाहरी शिक्षक मॉडल्स की आवश्यकता समाप्त हो जाती है।
डेंस टोकन-लेवल सुपरविजन: RLVR के विपरीत जो स्पार्स सीक्वेंस-लेवल रिवॉर्ड प्रदान करता है, OPSD छात्र के जनरेशन को शिक्षक के डिस्ट्रीब्यूशन के साथ मैच करके डेंस, टोकन-लेवल फीडबैक प्रदान करता है।
दक्षता (Efficiency): यह विधि RL विधियों की तुलना में महत्वपूर्ण टोकन दक्षता प्राप्त करती है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रतियोगिता-स्तर के गणितीय बेंचमार्क (AIME, HMT, AMO-Bench) पर व्यापक मूल्यांकन, जो दर्शाता है कि OPSD, SFT से बेहतर प्रदर्शन करता है और कम संसाधनों के साथ GRPO के प्रदर्शन के बराबर या उससे अधिक है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OpenThoughts का उपयोग करके Qwen3 मॉडल परिवार (1.7B, 4B, और 8B पैरामीटर्स) पर OPSD का मूल्यांकन किया।

प्रदर्शन (Performance):
- OPSD ने लगातार मानक SFT बेसलाइन्स को पछाड़ दिया।
- 4B और 8B मॉडल्स पर, OPSD ने GRPO (Group Relative Policy Optimization) के प्रदर्शन के बराबर या उससे अधिक प्रदर्शन किया।
- स्केल डिपेंडेंसी (Scale Dependency): OPSD ने 1.7B मॉडल पर घटते रिटर्न या अस्थिरता दिखाई, जो सुझाव देता है कि सफल सेल्फ-डिस्टिलेशन के लिए एक ऐसे मॉडल की आवश्यकता है जिसमें ग्राउंड-ट्रुथ को "तर्कसंगत" बनाने के लिए पर्याप्त क्षमता हो।
टोकन दक्षता (Token Efficiency):
- OPSD ने GRPO की तुलना में 8–12× अधिक टोकन दक्षता प्राप्त की।
- जबकि GRPO को प्रति प्रॉम्प्ट 8 रिस्पॉन्स और लंबे जनरेशन बजट (16k टोकन) की आवश्यकता होती है, OPSD 1 रिस्पॉन्स और छोटे जनरेशन बजट (1k टोकन) के साथ तुलनीय परिणाम प्राप्त करता है।
- यह डेंस फीडबैक सिग्नल के कारण है, जो मॉडल को अंतिम सीक्वेंस-लेवल रिवॉर्ड की प्रतीक्षा करने के बजाय हर टोकन से सीखने की अनुमति देता है।
एब्लेशन स्टडीज (Ablation Studies):
- जनरेशन लेंथ (Generation Length): ऑन-पॉलिसी सैंपलिंग चरण के दौरान लंबी जनरेशन लंबाई (2048/4096 टोकन) ने छोटी लंबाई (1024) की तुलना में बेहतर प्रदर्शन किया, क्योंकि वे छात्र को अधिक टीचर सिग्नल्स के संपर्क में लाती हैं।
- उद्देश्य (Objective): फुल-वोकैबुलरी लॉजिट डिस्टिलेशन ने सैम्पल्ड-टोकन पॉलिसी ग्रेडिएंट उद्देश्यों की तुलना में बेहतर प्रदर्शन किया।

5. महत्व और प्रभाव (Significance and Impact)

लागत में कमी: OPSD बाहरी शिक्षक मॉडल्स की आवश्यकता को हटाकर और प्रति प्रॉम्प्ट आवश्यक रोलआउट्स की संख्या को कम करके रीजनिंग मॉडल्स की कम्प्यूटेशनल लागत को काफी कम कर देता है।
SFT और RL के बीच का सेतु: यह स्पार्स रिवॉर्ड्स की वेरिएंस समस्याओं के बिना, डेंस, ऑन-पॉलिसी सुपरविजन प्रदान करके सुपरवाइज्ड लर्निंग की स्थिरता और रीइन्फोर्समेंट लर्निंग के सामान्यीकरण (generalization) के बीच के अंतर को प्रभावी ढंग से पाटता है।
स्केलेबिलिटी (Scalability): यह विधि LLMs में रीजनिंग सुधारने के लिए एक स्केलेबल मार्ग प्रदान करती है, बशर्ते बेस मॉडल में ग्राउंड-ट्रुथ समाधानों को समझने और तर्कसंगत बनाने की पर्याप्त क्षमता हो।
भविष्य की दिशाएं: लेखक नोट करते हैं कि विधि मॉडल की विशेषाधिकार प्राप्त जानकारी का उपयोग करने की क्षमता पर निर्भर करती है; भविष्य के कार्य मॉडल के बेहतर होने के साथ समस्या की कठिनाई को धीरे-धीरे बढ़ाने के लिए करिकुलम लर्निंग (curriculum learning) का पता लगा सकते हैं।

संक्षेप में, OPSD वर्तमान RL-आधारित रीजनिंग ट्रेनिंग के लिए एक अत्यधिक कुशल विकल्प प्रस्तुत करता है, जो मॉडल की अपनी सही उत्तरों को समझने की क्षमता का उपयोग करके खुद को सिखाने की प्रक्रिया को निर्देशित करता है, और बहुत कम कम्प्यूटेशनल लागत के साथ स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।