🤖 machine learning

Restoring the Sweet Spot: Pass-Rate Weighted Self-Distillation for LLM Reasoning

यह शोध पत्र SC-SDPO को प्रस्तुत करता है, जो सेल्फ-डिस्टिलेशन पॉलिसी ऑप्टिमाइज़ेशन का एक नवीन संस्करण है जो प्रशिक्षण प्रश्नों को उनके अनुमानित पास-रेट वेरिएंस के वर्गमूल द्वारा गतिशील रूप से भारित करता है ताकि अंतर्निहित रूप से एक कठिनाई-जागरूक पाठ्यक्रम बनाया जा सके, जिससे तर्क और टूल-उपयोग बेंचमार्क पर स्थिर प्रशिक्षण गतिकी बनाए रखते हुए निरंतर प्रदर्शन लाभ प्राप्त किया जा सके।

मूल लेखक: Zehao Liu, Yuanpu Cao, Jinghui Chen, Vasant G. Honavar

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zehao Liu, Yuanpu Cao, Jinghui Chen, Vasant G. Honavar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: एक रोबोट को बेहतर सोचने के लिए सिखाना

कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) को कठिन पहेलियाँ, जैसे गणित के सवाल या विज्ञान के प्रश्न, हल करने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि रोबोट तर्क करने (reasoning) में बेहतर हो जाए।

वर्तमान में, इस रोबोट को सिखाने के दो मुख्य तरीके हैं, और दोनों में एक कमी है:

"पास/फेल" कोच (GRPO): यह कोच रोबोट को एक पहेली के 8 प्रयास देता है। यदि रोबोट 4 सही और 4 गलत करता है, तो कोच कहता है, "बहुत अच्छा! तुम बीच के क्षेत्र (middle zone) में हो; चलो इससे सीखते हैं।" लेकिन यदि रोबोट के सभी 8 प्रयास सही या सभी 8 गलत होते हैं, तो कोच कहता है, "यहाँ सीखने के लिए कुछ नहीं है," और फीडबैक देना बंद कर देता है।
- कमी: यह कोच यह जानने में बहुत अच्छा है कि सीखने के लिए कौन सी पहेलियाँ सही कठिनाई वाली हैं (जिसे "स्वीट स्पॉट" कहा जाता है), लेकिन यह उत्तर के हर एक शब्द के साथ एक जैसा व्यवहार करता है। यह रोबोट को यह नहीं बताता कि कौन सा विशिष्ट शब्द गलत था।
"स्व-शिक्षक" कोच (SDPO): यह कोच अधिक स्मार्ट है। यह रोबोट के उत्तर को देखता है और कहता है, "तुमने सही उत्तर दिया, लेकिन तुमने यहाँ गलत शब्द का उपयोग किया। चलो उस विशिष्ट शब्द को ठीक करते हैं।" यह शब्द-दर-शब्द विस्तृत फीडबैक देता है।
- कमी: यह कोच शब्दों को ठीक करने में इतना केंद्रित हो जाता है कि यह भूल जाता है कि पहेली कितनी कठिन थी। यह उस पहेली के साथ भी वैसा ही व्यवहार करता है जिसे रोबोट ने 100% सही हल किया है, जैसा कि उस पहेली के साथ जिसे रोबोट 100% गलत हल करता है। यह उन पहेलियों को "सिखाने" में समय बर्बाद करता है जिन्हें रोबोट पहले ही मास्टर कर चुका है या जो वर्तमान में असंभव हैं।

समस्या: "स्वीट स्पॉट" गायब है

लेखकों ने महसूस किया कि सबसे अच्छा सीखना "स्वीट स्पॉट" में होता है: ऐसी पहेलियाँ जहाँ रोबोट 50% सही और 50% गलत होता है।

यदि रोबोट सब कुछ सही करता है, तो वह ऊब जाता है (सीखने के लिए कुछ नहीं)।
यदि वह सब कुछ गलत करता है, तो वह भ्रमित हो जाता है (सीखने के लिए कुछ नहीं)।
यदि वह बीच में है, तो वह सबसे अधिक सीख रहा है।

"पास/फेल" कोच स्वाभाविक रूप से इस स्वीट स्पॉट पर ध्यान केंद्रित करता है। "स्व-शिक्षक" कोच इसे अनदेखा कर देता है। लेखक "स्व-शिक्षक" की शब्द-स्तर की विस्तृत जानकारी को "पास/फेल" कोच की कठिनाई जागरूकता के साथ जोड़ना चाहते थे।

समाधान: SC-SDPO ("गोल्डिलॉक्स" वेटिंग)

लेखकों ने एक नई विधि बनाई जिसे SC-SDPO कहा जाता है। इसे स्व-शिक्षक के फीडबैक में एक साधारण वॉल्यूम नॉब (आवाज़ कम-ज्यादा करने वाला बटन) जोड़ने के रूप में समझें।

यह इस प्रकार काम करता है:

स्कोर की जाँच करें: रोबोट द्वारा एक पहेली को 8 बार आज़माने के बाद, सिस्टम जाँचता है: "उसने कितनी बार इसे सही किया?"
वॉल्यूम को एडजस्ट करें:
- यदि रोबोट ने इसे 0 बार सही किया या 8 बार सही किया (बहुत आसान या बहुत कठिन), तो सिस्टम वॉल्यूम को जीरो (शून्य) तक कम कर देता है। "यहाँ समय बर्बाद न करें।"
- यदि रोबोट ने इसे लगभग 4 बार सही किया (स्वीट स्पॉट), तो सिस्टम वॉल्यूम को अधिकतम (मैक्सिमम) तक बढ़ा देता है। "यहाँ पूरी एकाग्रता से ध्यान दें!"
गुप्त नुस्खा (गणित): लेखकों ने यह गणना करने के लिए कुछ गणित किया कि वॉल्यूम को कितना बढ़ाना है। उन्होंने पाया कि केवल "वेरिएंस" (एक फैंसी शब्द जिसका अर्थ है मिश्रित परिणाम) के आधार पर वॉल्यूम बढ़ाना पूरी तरह सही नहीं था। उन्होंने पाया कि एक विशिष्ट गणितीय वक्र (वर्गमूल का उपयोग करके) सबसे अच्छा काम करता है। यह सुनिश्चित करता है कि रोबोट एक स्थिर, निरंतर गति से सीखे बिना अभिभूत हुए या बिना उत्तेजना के।

यह विशेष क्यों है: "फ्री लंच" (मुफ्त का लाभ)

आमतौर पर, यह जानने के लिए कि पहेली कितनी कठिन है, आपको रोबोट का अलग से परीक्षण करना पड़ता है, जिसमें अतिरिक्त समय और पैसा लगता है।

लेकिन यह नई विधि चतुर है: इसे यह जानकारी मुफ्त में मिल जाती है।
क्योंकि रोबोट अपने सामान्य प्रशिक्षण के दौरान पहेली को 8 बार आज़मा ही रहा है, सिस्टम बस उन परिणामों को देखकर वॉल्यूम नॉब की सेटिंग तय करता है। इसे किसी अतिरिक्त काम की आवश्यकता नहीं है। यह एक शिक्षक द्वारा छात्र के होमवर्क को ग्रेड देने और तुरंत यह महसूस करने जैसा है, "ओह, यह छात्र इस विशिष्ट प्रकार की समस्या के साथ संघर्ष कर रहा है," बिना किसी अलग टेस्ट के।

परिणाम: क्या यह काम करता है?

उन्होंने दो अलग-अलग रोबोट दिमागों (Qwen और OLMo) पर विज्ञान के सवालों और टूल-यूज़ कार्यों का परीक्षण किया।

विजेता: नई विधि (SC-SDPO) ने पुराने स्व-शिक्षक पद्धति को लगातार मात दी।
लाभ: Qwen मॉडल पर, इसने औसत रूप से लगभग 3 से 4 अंक का सुधार किया। OLMo मॉडल पर, इसने लगभग 2 से 3 अंक का सुधार किया।
स्थिरता: प्रशिक्षण सुचारू रहा। रोबोट भ्रमित या अनियंत्रित नहीं हुआ; वह बस अधिक कुशलता से सीख गया।

सारांश उपमा (Analogy)

कल्पना कीजिए कि आप एक संगीत शिक्षक हैं।

पुरानी विधि (SDPO): आप छात्र द्वारा बजाए गए हर गलत नोट को सुधारते हैं, चाहे वह कोई ऐसा गाना हो जिसे वह पहले से ही पूरी तरह जानता है या कोई ऐसा गाना जिसे वह पढ़ भी नहीं सकता। आप उन गानों के नोट्स सुधारने में समय बर्बाद करते हैं जिन्हें उन्होंने मास्टर कर लिया है।
नई विधि (SC-SDPO): आप छात्र को सुनते हैं। यदि वह एक ऐसा गाना बजा रहा है जिसे वह पूरी तरह जानता है, तो आप कहते हैं, "अच्छा काम, आगे बढ़ो।" यदि वह एक ऐसा गाना बजा रहा है जिसे वह पढ़ नहीं सकता, तो आप कहते हैं, "फिलहाल इसे छोड़ दें।" लेकिन यदि वह एक ऐसा गाना बजा रहा है जहाँ उसे आधे नोट्स सही मिलते हैं, तो आप कहते हैं, "रुको! यह अभ्यास के लिए एकदम सही गाना है। आइए इन विशिष्ट नोट्स को ठीक करते हैं।"

यह पेपर सिद्ध करता है कि केवल "परफेक्टली डिफिकल्ट" (बिल्स सटीक कठिन) गानों पर अपनी ऊर्जा केंद्रित करके, छात्र तेजी से सीखता है और समग्र रूप से एक बेहतर संगीतकार बनता है।

तकनीकी सारांश: पास-रेट वेटेड सेल्फ-डिस्टिलेशन के माध्यम से 'स्वीट स्पॉट' को पुनर्स्थापित करना

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को कोड और गणित जैसे डोमेन के लिए वेरिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) का उपयोग करके तेजी से प्रशिक्षित किया जा रहा है। हालांकि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) जैसी RLVR विधियों ने सफलता दिखाई है, लेकिन वे "क्रेडिट-असाइनमेंट बॉटलनेक" से ग्रस्त हैं, जहाँ प्रति प्रयास एक एकल स्केलर रिवॉर्ड यह संकेत देने में विफल रहता है कि मॉडल कहाँ या क्यों विफल हुआ।

सेल्फ-डिस्टिलेशन पॉलिसी ऑप्टिमाइजेशन (SDPO) इसे संबोधित करने के लिए मॉडल का ही उपयोग एक शिक्षक के रूप में करता है, जो विशेषाधिकार प्राप्त जानकारी (जैसे रनटाइम एरर या सही समाधान) पर आधारित होता है, ताकि सघन (dense), टोकन-स्तरीय पर्यवेक्षण प्रदान किया जा सके। हालाँकि, लेखक एक महत्वपूर्ण ट्रेड-ऑफ की पहचान करते हैं:

GRPO में एक अंतर्निहित "कठिनाई जागरूकता" (difficulty awareness) होती है। इसका ग्रुप-रिलेटिव एडवांटेज नॉर्मलाइजेशन स्वाभाविक रूप से सीखने को एक "स्वीट स्पॉट" (मध्यवर्ती-कठिनाई वाले प्रश्नों, जहाँ पास रेट $p \approx 0.5$ हो) पर केंद्रित करता है, और उन प्रश्नों पर सीखने को दबा देता है जो बहुत आसान ( $p \approx 1$ ) या बहुत कठिन ( $p \approx 0$ ) हैं।
SDPO, हालांकि बेहतर सघन क्रेडिट असाइनमेंट प्रदान करता है, इसमें इस कठिनाई जागरूकता का अभाव है। इसका KL-आधारित लॉस सभी प्रश्नों के साथ समान व्यवहार करता है, जिससे सबसे अधिक सूचनात्मक मध्यवर्ती-कठिनाई वाले नमूनों पर सीखने का सिग्नल कम हो जाता है और अनइंफॉर्मेटिव (सभी सही या सभी गलत) समूहों को दबाने में विफल रहता है।

मुख्य समस्या यह है कि SDPO, सघन क्रेडिट असाइनमेंट प्राप्त करने के लिए GRPO की लाभकारी "स्वीट स्पॉट" एकाग्रता का त्याग कर देता है, जिसके परिणामस्वरूप उप-इष्टतम (suboptimal) लर्निंग दक्षता होती है।

2. कार्यप्रणाली: SC-SDPO

लेखक स्केल-कंसिस्टेंट SDPO (SC-SDPO) का प्रस्ताव करते हैं, जो एक वेरिएंट है जो बाहरी शिक्षकों की आवश्यकता के बिना, SDPO में कठिनाई-जागरूक "स्वीट स्पॉट" को पुनर्स्थापित करता है।

सैद्धांतिक आधार

यह पेपर Bae et al. [2026] के लर्नैबिलिटी फ्रेमवर्क को नॉर्मलाइज्ड रिवॉर्ड्स के लिए विस्तारित करता है।

रॉ बनाम नॉर्मलाइज्ड रिवॉर्ड्स: रॉ बाइनरी रिवॉर्ड्स के तहत, पॉलिसी इम्प्रूवमेंट $p(1-p)$ वेरिएंस द्वारा लोअर-बाउंडेड होता है। हालाँकि, GRPO ग्रुप-रिलेटिव नॉर्मलाइजेशन का उपयोग करता है: $\hat{A}_i = (r_i - \bar{r}) / \text{std}(\{r_i\})$ ।
स्केलिंग फैक्टर: लेखक प्रदर्शित करते हैं कि यह नॉर्मलाइजेशन $p(1-p)$ वेरिएस टर्म को अवशोषित कर लेता है, जिससे सभी प्रश्नों के लिए लीडिंग-ऑर्डर लर्नैबिलिटी समान हो जाती है। फलस्वरूप, GRPO में अवशेष प्रति-प्रश्न ग्रेडिएंट मैग्नीट्यूड $p(1-p)$ के बजाय $\sqrt{p(1-p)}$ के रूप में स्केल होता है।
आदर्श ऑब्जेक्टिव: SDPO के सघन टोकन-स्तरीय एडवांटेज को GRPO के डिफिकल्टी मॉड्यूलेशन के साथ संयोजित करने के लिए, आदर्श प्रति-प्रश्न ग्रेडिएंट को $[\hat{p}(1-\hat{p})]^{1/2}$ के कारक द्वारा स्केल किया जाना चाहिए।

एल्गोरिद्मिक कार्यान्वयन

SC-SDPO एक प्रति-प्रश्न स्केलर वेट $\bar{w}_j$ पेश करके SDPO लॉस फंक्शन को संशोधित करता है:
$\mathcal{L}_{\text{SC-SDPO}}(\theta) := \sum_{j=1}^{M} \bar{w}_j \sum_{i \in G_j} \sum_{t} \text{KL}(\pi_\theta(\cdot | x_j, y_{i,<t}) \parallel \text{sg}(\pi_\theta(\cdot | x_j, f_i, y_{i,<t})))$

वेटिंग स्कीम के मुख्य घटक:

वेट फंक्शन: अननॉर्मलाइज्ड वेट $w_j = [\hat{p}_j(1-\hat{p}_j)]^\alpha$ है, जहाँ $\hat{p}_j$ एक बैच के भीतर प्रश्न $j$ के लिए एम्पिरिकल पास रेट है। लेखक सैद्धांतिक व्युत्पत्ति के आधार पर $\alpha = 1/2$ सेट करते हैं।
बैच-एडेप्टिव नॉर्मलाइजेशन: प्रशिक्षण के दौरान पास रेट के वितरण में बदलाव के कारण होने वाली अस्थिरता को रोकने के लिए, वेट्स को बैच के भीतर नॉर्मलाइज किया जाता है: $\bar{w}_j = w_j / \text{mean}(\{w_l\}_{l \in S})$ , जहाँ $S$ गैर-डिजेनरेट प्रश्नों का सेट है।
जीरो-कॉस्ट बायप्रोडक्ट: चूंकि SDPO एक ऑन-पॉलिसी एल्गोरिदम है जो पहले से ही प्रति प्रश्न कई रोलआउट्स सैंपल करता है, इसलिए पास रेट $\hat{p}_j$ मौजूदा ट्रेनिंग लूप का एक मुफ्त बायप्रोडक्ट है। इसके लिए किसी अतिरिक्त रोलआउट या ऑफलाइन पास की आवश्यकता नहीं है।

3. प्रमुख योगदान

सैद्धांतिक विश्लेषण: पेपर पहचानता है कि GRPO का एडवांटेज नॉर्मलाइजेशन $p(1-p)$ वेरिएंस टर्म को अवशोषित करता है, जिससे ग्रेडिएंट मैग्नीट्यूड के लिए नेचुरल स्केलिंग फैक्टर $\sqrt{p(1-p)}$ बचता है। यह पिछले अनुमान को सुधारता है कि स्केलिंग वेरिएंस के साथ रैखिक होनी चाहिए।
SC-SDPO एल्गोरिदम: एक सरल, सिंगल-स्केलर संशोधन जो SDPO में कठिनाई जागरूकता को बहाल करता है। यह उनके विकसित होते पास रेट के आधार पर प्रश्नों को गतिशील रूप से वेट देता है, जिससे एक अंतर्निहित करिकुलम बनता है जो मॉडल की क्षमता को ट्रैक करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि सघन क्रेडिट असाइनमेंट (SDPO) को डिफिकल्टी-अवेयर वेटिंग (SC-SDPO) के साथ संयोजित करने से अकेले किसी भी तंत्र का उपयोग करने की तुलना में बेहतर प्रदर्शन मिलता है।

4. प्रयोगात्मक परिणाम

वैज्ञानिक तर्क (रसायन विज्ञान, भौतिकी, जीव विज्ञान, पदार्थ विज्ञान) और टूल-यूज़ बेंचमार्क पर Qwen3-8B और OLMo-3-7B पर प्रयोग किए गए।

प्रदर्शन लाभ:
- Qwen3-8B पर, SC-SDPO ( $\alpha=0.5$ ) ने अनवेटेड SDPO बेसलाइन की तुलना में औसतन +3.2 (mean@16) और +4.3 (maj@16) का सुधार किया।
- OLMo-3-7B पर, इसने +1.8 (mean@16) और +3.0 (maj@16) का सुधार किया।
- SC-SDPO ने लगातार GRPO, SDPO और अन्य बेसलाइन्स (PACED, Hard Filter, SRPO) को पछाड़ दिया।
एक्सपोनेंट विश्लेषण: $\alpha=0.5$ (स्केल-कंसिस्टेंट) का चुनाव लगातार $\alpha=1$ (वेरिएंस-बेस्ड) से बेहतर रहा, जो इस सैद्धांतिक दावे की पुष्टि करता है कि $\alpha=1$ लर्निंग सिग्नल को अत्यधिक दबा देता है।
ट्रेनिंग डायनेमिक्स:
- SC-SDPO ने अनवेटेड SDPO बेसलाइन के समान स्थिर ग्रेडिएंट नॉर्म बनाए रखा, जबकि स्टैटिक वेटिंग (PACED) ने ग्रेडिएंट स्पाइक्स पैदा किए और हार्ड फिल्टरिंग ने ग्रेडिएंट्स को बहुत अधिक दबा दिया।
- विधि ने शुरुआती प्रशिक्षण के दौरान मध्यवर्ती-कठिनाई वाले नमूनों के उच्च अंश ("स्वीट स्पॉट") को सफलतापूर्वक बनाए रखा, जिससे कौशल अधिग्रहण में तेजी आई।
- रिस्पॉन्स लेंथ SDPO बेसलाइन की तुलना में अधिक रही, जो यह सुझाव देती है कि मॉडल को छोटे उत्तरों तक सीमित होने के बजाय मध्यवर्ती-कठिनाई वाले प्रश्नों पर विस्तार करने के लिए प्रोत्साहित किया गया।

5. महत्व और दावे

पेपर का दावा है कि SC-SDPO LLM पोस्ट-ट्रेनिंग में सघन क्रेडिट असाइनमेंट और कठिनाई जागरूकता के बीच मौलिक तनाव को हल करता है। नॉर्मलाइज्ड रिवॉर्ड्स के सैद्धांतिक विश्लेषण के माध्यम से सही स्केलिंग फैक्टर ( $\sqrt{p(1-p)}$ ) को व्युत्पन्न करके, लेखक एक "सरल नुस्खा" प्रदान करते हैं जो सेल्फ-डिस्टिलेशन में "स्वीट स्पॉट" को पुनर्स्थापित करता है।

इसका महत्व निम्नलिखित में निहित है:

दक्षता: यह बिना किसी बाहरी टीचर मॉडल या अतिरिक्त कंप्यूटेशनल ओवरहेड (जीरो-कॉस्ट पास-रेट एस्टीमेशन) के स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।
मजबूती (Robustness): बैच-एडेप्टिव नॉर्मलाइजेशन स्थिर ट्रेनिंग डायनेमिक्स सुनिश्चित करता है, जिससे स्टैटिक या फ्रोजन वेटिंग स्कीम्स के नुकसान से बचा जा सकता है।
सामान्यीकरण (Generalizability): यह विधि विभिन्न मॉडल परिवारों (Qwen और OLMo) और कार्य प्रकारों (रीजनिंग और टूल यूज़) में काम करती है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि विधि बाइनरी रिवॉर्ड्स और डिस्क्रीट पास-रेट ग्रैनुलैरिटी (रोलआउट्स की संख्या $G$ पर निर्भर) पर निर्भर करती है, और ओपन-एंडेड जनरेशन कार्यों या काफी बड़े मॉडल स्केल पर इसकी प्रभावकारिता के लिए और अधिक सत्यापन की आवश्यकता है।