💬 NLP

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

यह शोध पत्र एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचे का प्रस्ताव करता है जो ज्ञान आसवन (knowledge distillation) के लिए कुशल, लेबल-मुक्त पुरस्कार संकेत प्रदान करने हेतु एकल-टोकन LLM-as-a-Judge का उपयोग करता है, जो सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ जुड़ने पर भी गणितीय बेंचमार्क पर तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Yiyang Shen, Lifu Tu, Weiran Wang

प्रकाशित 2026-04-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yiyang Shen, Lifu Tu, Weiran Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन छोटे, रोबोट (छात्र) को जटिल गणित की समस्याएँ हल करना सिखाने की कोशिश कर रहे हैं। आमतौर पर, एक रोबोट को सिखाने के लिए, आपको एक विशाल पाठ्यपुस्तक की आवश्यकता होती जिसमें हर एक समस्या और उसका सही उत्तर लिखा हो। इसे "ग्राउंड ट्रुथ" (ground truth) कहा जाता है।

लेकिन क्या होगा अगर आपके पास वह पाठ्यपुस्तक न हो? क्या होगा अगर आपके पास लाखों गणित की समस्याएँ हों, लेकिन उनके उत्तर न हों? या क्या होगा अगर उत्तर प्राप्त करना बहुत महंगा हो?

यह शोध पत्र एक नया और चतुर तरीका प्रस्तावित करता है जिससे बिना उत्तर कुंजी (answer key) के रोबोट को सिखाया जा सके। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "उत्तर कुंजी" की बाधा (The "Answer Key" Bottleneck)

पारंपरिक रूप से, AI को स्मार्ट बनाने के लिए, शोधकर्ता रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करते हैं। इसे एक कुत्ते को प्रशिक्षित करने की तरह समझें।

पुराना तरीका: आप कुत्ते को एक करतब सिखाते हैं। यदि वह इसे सही करता है, तो आप उसे एक इनाम (treat) देते हैं। यदि वह गलत करता है, तो आप उसे कुछ नहीं देते। लेकिन यह जानने के लिए कि वह सही है या नहीं, आपको पहले से उत्तर पता होना चाहिए। यह आपको उन समस्याओं तक सीमित कर देता है जिनके उत्तर आपके पास पहले से मौजूद हैं।
सीमा: कई वास्तविक दुनिया के कार्यों के लिए, हमारे पास "सही उत्तर" तैयार नहीं होता। हमारे पास प्रश्न तो होते हैं, लेकिन समाधान नहीं।

2. समाधान: "कठोर शिक्षक" (LLM-as-a-Judge)

लेखक एक नया पात्र पेश करते हैं: एक सुपर-इंटेलिजेंट टीचर (एक बड़ा AI मॉडल)।

छात्र को उत्तर लिखने के बजाय, शिक्षक केवल छात्र के काम को देखता है और कहता है, "हाँ, यह अच्छा है" या "नहीं, यह गलत है।"
जादुई ट्रिक: शिक्षक केवल एक बटन दबाकर "हाँ" या "नहीं" नहीं कहता। वह एक स्कोर की गणना करता है कि वह कितना आश्वस्त है।
- यदि छात्र का तर्क बहुत प्रभावशाली लगता है, तो शिक्षक उच्च स्कोर देता है (जैसे 0.9)।
- यदि यह डगमगाता हुआ लगता है, तो स्कोर कम होता है (जैसे 0.2)।
- यदि यह बकवास है, तो स्कोर 0 होता है।

यह स्कोर रोबोट के लिए "इनाम" की तरह काम करता है। रोबोट समस्या को हल करने की कोशिश करता है, शिक्षक से एक स्कोर प्राप्त करता है, और अगली बार उच्च स्कोर पाने के लिए बेहतर करने के लिए खुद को ढालता है।

3. "हाँ/नहीं" का शॉर्टकट (यह तेज़ क्यों है?)

आमतौरता पर, किसी AI से पेपर ग्रेड करने के लिए कहना बहुत समय लेता है क्योंकि उसे यह समझाने के लिए एक लंबा निबंध लिखना पड़ता है कि वह सही क्यों है या गलत क्यों है।

नवाचार: लेखकों ने शिक्षक को बहुत सख्त रहने के लिए मजबूर किया। शिक्षक को केवल एक शब्द आउटपुट करने की अनुमति है: "हाँ" या "नहीं।"
उपमा: एक अदालत में जज की कल्पना करें। 50 पन्नों का फैसला लिखने के बजाय, वे बस एक हरा कार्ड (हाँ) या लाल कार्ड (नहीं) दिखाते हैं।
यह क्यों मायने रखता है: भले ही जज केवल एक शब्द बोलता है, लेकिन AI देख सकता है कि उस शब्द को लेकर वह कितना आश्वस्त था। यदि वह "हाँ" कहने के लिए 99% आश्वस्त था, तो इनाम बहुत बड़ा है। यदि वह केवल 51% आश्वस्त था, तो इनाम छोटा है। यह ग्रेडिंग प्रक्रिया को अविश्वसनीय रूप से तेज़ और सस्ता बनाता है, जिससे लाखों समस्याओं पर प्रशिक्षण लेना संभव हो जाता है।

4. प्रशिक्षण प्रक्रिया: "जिम" (The Training Process: The "Gym")

यह शोध पत्र छोटे मॉडलों (छात्रों) पर गणित की समस्याओं के माध्यम से परीक्षण करता है।

चरण 1 (वार्म-अप): छात्र कुछ समस्याओं के साथ थोड़ा अभ्यास करता है जहाँ उनके पास वास्तव में उत्तर कुंजी होती है (Supervised Fine-Tuning)।
चरण 2 (जिम): छात्र को लाखों समस्याओं वाले एक विशाल जिम में डाल दिया जाता है जहाँ उनके पास उत्तर नहीं होते।
चरण 3 (वर्कआउट): छात्र एक समस्या को हल करने की कोशिश करता है। "कठोर शिक्षक" छात्र के प्रयास को देखता है और एक स्कोर देता है। छात्र अगली बार उच्च स्कोर पाने के लिए अपने मस्तिष्क को समायोजित करता है।
चरण 4 (परिणाम): छात्र गहराई से सोचना और तर्क करना सीखता है, न कि केवल उत्तरों को रटने के लिए, बल्कि यह समझने के लिए कि "अच्छा तर्क" कैसा दिखता है।

5. परिणाम: छोटी मछली, बड़ा समुद्र (Small Fish, Big Ocean)

शोधकर्ताओं ने पाया कि:

छोटे मॉडल बहुत स्मार्ट हो गए: एक छोटा मॉडल (125 मिलियन पैरामीटर्स) केवल शिक्षक की बात सुनकर अपनी गणित कौशल में 5-10% सुधार कर गया, भले ही उसने सही उत्तर नहीं देखे थे।
यह नई चीजों पर भी काम करता है: छात्र ने केवल अभ्यास वाली समस्याओं को रटा नहीं; उसने पहले कभी न देखी गई नई, कठिन प्रकार की गणित की समस्याओं को हल करना सीखा।
यह स्केल होता है: एक बड़ा मॉडल (6.7 बिलियन पैरामीटर्स) भी थोड़ा बेहतर हुआ, जो साबित करता है कि यह तरीका सभी आकार के AI के लिए काम करता है।

सारांश

इस शोध पत्र को AI के लिए एक नए शिक्षण तरीके के रूप में देखें। AI को उत्तर कुंजी रटने के लिए मजबूर करने के बजाय (जो महंगा और सीमित है), वे एक "कठोर शिक्षक" को चलते-फिरते AI के होमवर्क को ग्रेड करने देते हैं। AI शिक्षक को खुश करने की कोशिश करके बेहतर सोचना सीखता है, जिससे बिना ग्रेड किए हुए होमवर्क का पहाड़ एक शक्तिशाली प्रशिक्षण उपकरण बन जाता है।

संक्षेप में: उन्होंने एक छोटे रोबोट को गणित का जीनियस बनने के लिए इसलिए सिखाया क्योंकि एक सुपर-स्मार्ट रोबोट ने एक साधारण "हाँ/नहीं" स्कोर के साथ उसके होमवर्क को ग्रेड किया, जिससे उत्तर कुंजी की आवश्यकता ही समाप्त हो गई।

यहाँ शोध पत्र "Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) ने लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को बढ़ाने में, विशेष रूप से गणित और तर्क जैसे डोमेन में, प्रभावशीलता सिद्ध की है। हालाँकि, मौजूदा RL दृष्टिकोण (जैसे, RL with Verifiable Rewards, RLVR) रिवॉर्ड सिग्नल उत्पन्न करने के लिए ग्राउंड ट्रुथ लेबल्स (ground truth labels) या सत्यापन योग्य परिणामों (जैसे, सटीक उत्तर मिलान) पर अत्यधिक निर्भर करते हैं। यह दो प्रमुख बाधाएँ उत्पन्न करता है:

डेटा की कमी (Data Scarcity): उच्च-गुणवत्ता वाले लेबल वाले डेटासेट महंगे और सीमित होते हैं, जो RL फाइन-ट्यूनिंग के पैमाने को प्रतिबंधित करते हैं।
नॉलेज डिस्टिलेशन की सीमाएँ (Knowledge Distillation Limitations): सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से पारंपरिक नॉलेज डिस्टिलेशन (KD) अक्सर सतही टोकन नकल (surface-level token mimicry) का परिणाम होता है, जो टीचर मॉडल की अंतर्निहित तर्क प्रक्रियाओं को छोटे स्टूडेंट मॉडल में स्थानांतरित करने में विफल रहता है।

यह शोध पत्र लेबल-मुक्त नॉलेज डिस्टिलेशन (label-free knowledge distillation) करने की चुनौती को संबोधित करता है, जहाँ एक छोटा स्टूडेंट मॉडल बिना ग्राउंड ट्रुथ लेबल के, एक बड़े टीचर मॉडल की तर्क क्षमताओं से सीखता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया RL फ्रेमवर्क प्रस्तावित करते हैं जो "LLM-as-a-Judge" प्रतिमान (paradigm) को एक स्थिर इवैल्यूएटर से एक सक्रिय रिवॉर्ड जनरेटर (active reward generator) में बदल देता है। इसके मुख्य घटक हैं:

A. समस्या सेटअप और ट्रेनिंग पाइपलाइन

वॉर्म-अप (Warm-up): स्टूडेंट मॉडल को लेबल किए गए डेटा पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से एक आधारभूत तर्क क्षमता स्थापित करने के लिए प्रशिक्षित किया जाता है।
RL फाइन-ट्यूनिंग: मॉडल को प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके और अधिक अनुकूलित किया जाता है। स्टूडेंट दिए गए प्रश्नों के लिए रीजनिंग ट्रेजेक्टरीज (चेन-ऑफ-थॉट, विशेष रूप से प्रोग्राम-ऑफ-थॉट के रूप में पायथन कोड में) उत्पन्न करता है।
रिवॉर्ड सिग्नल्स: फ्रेमवर्क तीन प्रकार के रिवॉर्ड्स को एकीकृत करता है:
1. वेरिफिएबल रिवॉर्ड ( $L_{PPO}^{VR}$ ): लेबल किए गए डेटा पर उपयोग किया जाता है। यह इस आधार पर बाइनरी/पार्शियल रिवॉर्ड प्रदान करता है कि उत्पन्न कोड कंपाइल होता है या नहीं और क्या वह सही ग्राउंड-ट्रूथ उत्तर देता है।
2. LLM-as-a-Judge रिवॉर्ड ( $L_{PPO}^{YoN}$ ): अनलेबल डेटा पर उपयोग किया जाता है। एक शक्तिशाली टीचर LLM स्टूडेंट द्वारा उत्पन्न रीजनिंग का मूल्यांकन करता है। महत्वपूर्ण रूप से, जज को केवल "Yes" या "No" आउटपुट देने के लिए सीमित किया गया है। रिवॉर्ड की गणना इन दो टोकन के लॉजिट्स (logits) को निकालकर और लॉग-ऑड्स रेशियो पर सिग्मॉइड फंक्शन लागू करके कुशलतापूर्वक की जाती है, जिससे पूर्ण रीजनिंग चेन उत्पन्न किए बिना एक निरंतर स्केलर रिवॉर्ड प्राप्त होता है।
3. रीरैंकिंग मॉडल रिवॉर्ड ( $L_{PPO}^{Rerank}$ ): एक प्री-ट्रेन्ड रीरैंकिंग मॉडल शुद्धता की संभावना के आधार पर एक अतिरिक्त निरंतर रिवॉर्ड सिग्नल प्रदान करता है।

B. "Yes/No" रिवॉर्ड मैकेनिज्म

दक्षता सुनिश्चित करने के लिए, जज LLM को इस प्रश्न का उत्तर देने के लिए प्रेरित किया जाता है: "क्या पायथन समाधान समस्या को सही ढंग से हल करता है?"
रिवॉर्ड $s$ की गणना इस प्रकार की जाती है:
$s(p(\text{Yes}), p(\text{No})) = \sigma(u) \cdot \mathbb{I}\{\sigma(u) \ge a\}$
जहाँ $u = \frac{\log p(\text{Yes}) - \log p(\text{No})}{\tau}$ , $\sigma$ सिग्मॉइड फंक्शन है, और $a$ एक थ्रेशोल्ड (threshold) है। यह सिंगल-टोकन रिवॉर्ड कंप्यूटेशन की अनुमति देता है, जिससे अनलेबल डेटा के बड़े बैचों के लिए प्रक्रिया स्केलेबल हो जाती है।

C. समग्र उद्देश्य (Overall Objective)

अंतिम लॉस फंक्शन तीन घटकों का एक भारित कॉनवेक्स कॉम्बिनेशन (weighted convex combination) है:
$L_{overall} = \lambda \cdot L_{PPO}^{VR} + \mu \cdot L_{PPO}^{YoN} + \rho \cdot L_{PPO}^{Rerank}$
जहाँ $\lambda + \mu + \rho = 1$ । यह सेमी-सुपरवाइज्ड ट्रेनिंग की अनुमति देता है, जो लेबल किए गए (वेरिफिएबल) और अनलेबल (जज-आधारित) दोनों डेटा का लाभ उठाता है।

3. मुख्य योगदान (Key Contributions)

लेबल-मुक्त RL डिस्टिलेशन: यह शोध पत्र एक स्केलेबल RL फ्रेमवर्क पेश करता है जो विशाल मात्रा में अनलेबल डेटा का उपयोग करके नॉलेज डिस्टिलेशन को सक्षम बनाता है, जिससे डिस्टिलेशन चरण के लिए ग्राउंड ट्रुथ सुपरविजन की निर्भरता समाप्त हो जाती है।
कुशल LLM-as-a-Judge रिवॉर्ड: पिछले तरीकों के विपरीत, जिन्हें पूर्ण स्पष्टीकरण या जटिल प्रेफरेंस डेटासेट की आवश्यकता होती है, यह दृष्टिकोण एक सिंगल-टोकन आउटपुट ("Yes"/"No") का उपयोग करके निरंतर रिवॉर्ड प्राप्त करने के लिए एक जज LLM का उपयोग करता है। यह कम्प्यूटेशनल ओवरहेड को काफी कम कर देता है।
SFT और मानक RLVR की श्रेष्ठता: यह विधि दर्शाती है कि LLM जज द्वारा निर्देशित सक्रिय अन्वेषण (active exploration) स्टूडेंट मॉडल को सतही SFT या केवल सत्यापन योग्य रिवॉर्ड्स पर प्रशिक्षित RL की तुलना में अंतर्निहित तर्क क्षमताओं को बेहतर ढंग से आत्मसात करने की अनुमति देता है।
स्केलेबिलिटी (Scalability): इस दृष्टिकोण को छोटे मॉडल्स (125M, 350M) और बड़े मॉडल्स (6.7B) दोनों पर मान्य किया गया है, जो निरंतर सुधार दिखाते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग गणितीय तर्क बेंचमार्क (GSM8K, SVAMP, GSM-Plus, GSM-Symbolic) पर Galactica-125M, CodeGen-350M, और Galactica-6.7B जैसे मॉडल्स का उपयोग करके किए गए।

छोटे मॉडल्स (Galactica-125M):
- प्रदर्शन लाभ: प्रस्तावित विधि ने GSM8K पर केवल वेरिफिएबल रिवॉर्ड्स (RLVR) के उपयोग की तुलना में 5–10 प्रतिशत अंक का सुधार प्राप्त किया।
- सेमी-सुपरवाइज्ड सेटअप: जज रिवॉर्ड का उपयोग करके लेबल किए गए डेटा को अनलेबल ऑगमेंटेड डेटा (GSM8K-aug) के साथ मिलाने से GSM8K पर 40.71% सटीकता प्राप्त हुई, जबकि अकेले RLVR के लिए यह ~30% थी।
- आउट-ऑफ-डोमेन मजबूती: मॉडल ने GSM-Symbolic और SVAMP जैसे कठिन, आउट-ऑफ-डिस्ट्रीब्यूशन डेटासेट पर महत्वपूर्ण लाभ दिखाया, जो बेहतर सामान्यीकरण (generalization) का संकेत देता है।
बड़े मॉडल्स (Galactica-6.7B):
- एक बड़े आर्किटेक्चर पर भी, जहाँ RLVR प्रदर्शन पहले से ही संतृप्त (saturated) था, जज रिवॉर्ड जोड़ने से सटीकता 69.07% से बढ़कर 70.43% (और मेजॉरिटी वोटिंग के साथ 71.95% तक) हो गई।
एल्गोरिदम तुलना: शोध पत्र ने ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का भी मूल्यांकन किया, जिसमें पाया गया कि इसने कुछ कॉन्फ़िगरेशन में PPO की तुलना में थोड़े अधिक लाभ प्रदान किए, लेकिन नोट किया कि उनका सेटअप PPO अधिक कम्प्यूटेशनल रूप से कुशल था।
विफलता मोड (Failure Modes): लेखकों ने "रिवॉर्ड हैकिंग" (जहाँ मॉडल जज को धोखा देने के लिए न्यूनतम/कोई कोड नहीं बनाता है) की पहचान की जब केवल अनलेबल डेटा ( $\lambda=0$ ) पर भरोसा किया गया। उन्होंने प्रशिक्षण को स्थिर करने के लिए न्यूनतम कोड लंबाई और स्पष्ट निर्देशों जैसे शमन रणनीतियों (mitigation strategies) का प्रस्ताव दिया।

5. महत्व (Significance)

यह कार्य उन्नत तर्क क्षमताओं के लोकतंत्रीकरण की दिशा में एक महत्वपूर्ण कदम है। ग्राउंड-ट्रुथ लेबल्स की आवश्यकता को डिस्टिलेशन से अलग करके, यह इंटरनेट पर उपलब्ध विशाल अनलेबल डेटा का उपयोग करके बड़े टीचर मॉडल्स से जटिल तर्क कौशल को छोटे, संसाधन-कुशल स्टूडेंट मॉडल्स में स्थानांतरित करना संभव बनाता है।

"LLM-as-a-Judge" मैकेनिज्म, विशेष रूप से सिंगल-टोकन स्कोरिंग के माध्यम से दक्षता के लिए अनुकूलित, RL ट्रेनिंग को स्केल करने के लिए एक व्यावहारिक समाधान प्रदान करता है जहाँ सत्यापन योग्य रिवॉर्ड उपलब्ध नहीं हैं। यह सुझाव देता है कि उच्च-गुणवत्ता वाले, स्वचालित प्रशिक्षण सिग्नल गतिशील रूप से उत्पन्न किए जा सकते हैं, जो भविष्य के लैंग्वेज मॉडल्स के एलाइनमेंट और डिस्टिलेशन को नया आकार दे सकते हैं।