🤖 machine learning

RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

यह शोध पत्र RLCSD का प्रस्ताव करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो सही और गलत संकेतों के बीच अंतर करके 'प्रिविलेज-इंड्यूस्ड स्टाइल ड्रिफ्ट' (privilege-induced style drift) को कम करती है ताकि सीखने के संकेतों को कार्य-भारित टोकन (task-bearing tokens) पर केंद्रित किया जा सके, जिससे मौजूदा दृष्टिकोणों की तुलना में गणितीय और तार्किक तर्क कार्यों में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

प्रकाशित 2026-06-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक जटिल गणितीय समस्या हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक "शिक्षक" (एक स्मार्ट AI मॉडल) है और एक "छात्र" (वह मॉडल जिसे आप प्रशिक्षित कर रहे हैं) है।

अतीत में, शोधकर्ताओं ने On-Policy Self-Distillation (OPSD) नामक एक विधि का परीक्षण किया था। विचार सरल था: छात्र को एक समस्या हल करने दें। फिर, शिक्षक को एक "चीट शीट" (सही उत्तर) दें और शिक्षक से उसी समस्या को फिर से हल करने के लिए कहें। छात्र फिर शिक्षक की सोचने की प्रक्रिया की नकल करने की कोशिश करता है।

समस्या: "स्टाइल ड्रिफ्ट" (शैली का विचलन)

इस शोध पत्र ने इस पद्धति में एक छिपे हुए दोष की खोज की। जब शिक्षक सही उत्तर (चीट शीट) देखता है, तो वह केवल गणित के बारे में स्मार्ट नहीं होता; बल्कि वह अपना व्यक्तित्व भी बदल देता है।

पुराना तरीका: सही उत्तर जानकर, शिक्षक बहुत आत्मविश्वासी और सीधा (blunt) हो जाता है। वह "हम्म, मुझे सोचने दो..." या "रुको, शायद..." कहना बंद कर देता है और सीधे "इसलिए, उत्तर 5 है" पर कूद जाता है।
गलती: छात्र इस नए, सीधे व्यक्तित्व की नकल करने की कोशिश करता है। वह सोचना बंद करने लगता है और बस उत्तर चिल्लाना सीख जाता है। वह उत्तर के वास्तविक गणित के बजाय उत्तर की शैली (छोटा, सीधा, आत्मविश्वासी) पर ध्यान केंद्रित करता है।
परिणाम: छात्र भ्रमित हो जाता है। कभी-कभी वह बहुत बड़े, अराजक निबंध लिखने लगता है (क्योंकि वह आत्मविश्वासी दिखने की बहुत कोशिश कर रहा होता है), और कभी-कभी वह अपने उत्तरों को इतना छोटा कर देता है कि वह कठिन समस्याओं के लिए आवश्यक गहन सोच को छोड़ देता है।

लेखक इसे "Privilege-Induced Style Drift" कहते हैं। यह ऐसा है जैसे एक छात्र शिक्षक की लिखावट की इतनी बारीकी से नकल करता है कि वह वास्तव में सबक सीखना ही भूल जाता है।

समाधान: RLCSD (एक "कॉन्ट्रास्टिव" दृष्टिकोण)

इसे ठीक करने के लिए, लेखकों ने RLCSD बनाया। उन्होंने महसूस किया कि शिक्षक की "सीधापन" (bluntness) तब भी होती है जब संकेत सही या गलत हो। शिक्षक बस आत्मविश्वासी दिखना चाहता है।

इसलिए, उन्होंने खेल बदल दिया:

सेटअप: वे शिक्षक को एक ही समय में दो चीट शीट देते हैं।
- एक सही समाधान (सही उत्तर)।
- एक गलत समाधान (एक गलत उत्तर, लेकिन बिल्कुल उसी प्रारूप में)।
तुलना: वे शिक्षक से पूछते हैं: "जब मैं सही उत्तर देखता हूँ बनाम जब मैं गलत उत्तर देखता हूँ, तो मेरी सोच कैसे बदलती है?"
जादू: क्योंकि शिक्षक दोनों सही और गलत उत्तरों के लिए "सीधा" और "आत्मविश्वासी" व्यवहार करता है, इसलिए इन दोनों को घटाने पर "सीधापन" (bluffness) कट जाता है।
- सही पर आत्मविश्वास घटा गलत पर आत्मविश्वास = शून्य आत्मविश्वास पूर्वाग्रह (Zero Confidence Bias)।
- अब क्या बचा? केवल वह हिस्सा जो वास्तव में गणित के बारे में है।

इसे "नॉइज़-कैंसलिंग हेडफ़ोन" की तरह समझें। "शैली" (शोर) दोनों कानों में एक जैसी है, इसलिए वह रद्द हो जाती है। जो आप स्पष्ट रूप से सुनते हैं, वह है "कार्य" (संगीत)।

यह व्यवहार में कैसे काम करता है

केवल छात्र को यह बताने के बजाय कि "शिक्षक की नकल करो," RLCSD कहता है:

"सही उत्तर और गलत उत्तर के प्रति शिक्षक की प्रतिक्रिया के बीच के अंतर को देखो।"
"केवल उन हिस्सों से सीखो जहाँ शिक्षक वास्तव में गणित की परवाह करता है, न कि उन हिस्सों से जहाँ वह केवल आत्मविश्वासी होने का दिखावा कर रहा है।"

वे इसे एक "वेरिफायर" (एक सख्त ग्रेडर जो जांचता है कि अंतिम उत्तर सही है या नहीं) के साथ जोड़ते हैं। ग्रेडर छात्र को बताता है कि किस दिशा में जाना है (ऊपर या नीचे), और यह नया "कॉन्ट्रास्टिव सिग्नल" छात्र को बताता है कि विशिष्ट चरणों पर कितनी ज़ोर से दबाव डालना है।

परिणाम

पत्रकारों ने गणित और तर्क संबंधी पहेलियों के साथ कई AI मॉडलों (Qwen और Olmo) पर इसका परीक्षण किया।

पुरानी विधियाँ: मॉडल या तो पागल हो जाते थे (अंतहीन, निरर्थक टेक्स्ट लिखना) या बहुत जल्दी हार मान लेते थे (बहुत छोटे, आलसी उत्तर लिखना)।
RLCSD: मॉडल शांत रहे। वे लंबे, विस्तृत तर्क चरणों को लिखना जारी रखते हैं (जो कठिन समस्याओं के लिए अच्छा है) और परीक्षणों पर काफी बेहतर स्कोर करते हैं।

सारांश उपमा

कल्प lना कीजिए कि एक कुकिंग क्लास (खाना पकाने की कक्षा) है।

पुराना तरीका: शेफ (शिक्षक) सूप चखता है, रेसिपी देखता है, और कहता है, "यह एकदम सही है!" छात्र शेफ के बोलने के लहजे की नकल करने की कोशिश करता है। छात्र आत्मविश्वासी दिखना तो सीख जाता है, लेकिन वह सूप में मसाला (seasoning) डालना नहीं सीख पाता।
RLCSlyC: शेफ सही रेसिपी के साथ सूप चखता है, फिर गलत रेसिपी (बहुत अधिक नमक) के साथ चखता है। शेफ के बोलने का लहजा दोनों मामलों में थोड़ा बदलता है, लेकिन स्वाद में अंतर स्पष्ट है। छात्र केवल स्वाद के अंतर (नमक) पर ध्यान केंद्रित करना सीखता है, शेफ की आवाज़ को अनदेखा करता है।

केवल सही चीज़ की नकल करने के बजाय, सही और गलत के बीच के अंतर पर ध्यान केंद्रित करके, छात्र वास्तविक कौशल सीखता है बिना शिक्षक के व्यवहार से विचलित हुए।

तकनीकी सारांश: RLCSD – कंट्रास्टिव ऑन-पॉलिसी सेल्फ-डिस्टिलेशन के साथ सुदृढीकरण सीखना (Reinforcement Learning with Contrastive On-Policy Self-Distillation)

1. समस्या विवरण: प्रिविलेज-इंड्यूस्ड स्टाइल ड्रिफ्ट (Privilege-Induced Style Drift)

यह शोध पत्र ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) में एक महत्वपूर्ण विकृति (pathology) की पहचान करता है, जो एक ऐसी कार्यप्रणाली है जहाँ एक ही मॉडल शिक्षक और छात्र दोनों के रूप में कार्य करता है, जिसमें शिक्षक को "प्रिविलेज्ड कॉन्टेक्स्ट" (जैसे कि एक सत्यापित समाधान) तक पहुँच प्राप्त होती है जो छात्र के पास उपलब्ध नहीं होती।

जबकि मौजूदा OPSD विधियाँ (जैसे OPSD, SDPO, SRPO, RLSD) टास्क-बेयरिंग टोकन (जैसे गणितीय ऑपरेटरों) पर शिक्षक की सटीकता को बढ़ाने के लिए छात्र और प्रिविलेज्ड शिक्षक के बीच वितरण अंतराल (distributional gap) को कम करके सघन, टोकन-स्तरीय पर्यवेक्षण प्रदान करने का लक्ष्य रखती हैं, लेखक प्रदर्शित करते हैं कि यह लर्निंग सिग्नल मौलिक रूप से त्रुटिपूर्ण है। वे इस दोष को प्रिविलेज-इंड्यूस्ड स्टाइल ड्रिफ्ट कहते हैं।

तंत्र (The Mechanism): सत्यापित समाधान (प्रिविलेज्ड कॉन्टेक्स्ट) पर शिक्षक को कंडीशन करने से टास्क-बेयरिंग टोकन पर इसकी पुष्टि (confidence) तो तेज होती है। हालाँकि, यह साथ ही साथ जनरेटिव व्यवहार में एक व्यवस्थित, शुद्धता-ऑर्थोगोनल (correctness-orthogonal) बदलाव भी प्रेरित करता है। प्रिविलेज्ड शिक्षक अक्सर छोटे, अधिक मुखर आउटपुट उत्पन्न करने की प्रवृत्ति रखता है, अन्वेषणात्मक हेजेज (exploratory hedges) को दबा देता है, और फॉर्मेटिंग एवं डिस्कोर्स टोकन (जैसे "Wait," "Therefore," "\n\n") की ओर संभाव्यता द्रव्यमान (probability mass) को पुनर्वितरित करता है।
परिणाम (The Consequence): इसके परिणामस्वरूप होने वाला लर्निंग सिग्नल ( $e_{c,t}$ ) उत्तर निर्धारित करने वाले टास्क-बेयरिंग टोकन के बजाय इन स्टाइल टोकन्स द्वारा हावी हो जाता है।
देखी गई विकृतियाँ (Observed Pathologies): यह सिग्नल स्क्यू (skew) प्रशिक्षण में दो अलग-अलग विफलता मोड की ओर ले जाता है:
1. एन्ट्रॉपी विस्फोट और अस्थिरता (Entropy Explosion and Instability): OPSD और SDPO जैसी विधियाँ अनबाउंडेड एन्ट्रॉपी वृद्धि से ग्रस्त होती हैं, जिससे रिस्पॉन्स-लेंथ विस्फोट और ट्रेनिंग कोलैप्स होता है।
2. समयपूर्व लंबाई संकुचन (Premature Length Shrinkage): RLSD जैसी विधियाँ रिस्पॉन्स की लंबाई में भारी कमी दिखाती हैं, जो मॉडल की लॉन्ग-होरिज़न रीजनिंग करने की क्षमता को सीमित करती है।

2. कार्यप्रणाली: RLCSD

प्रिविलेज-इंड्यूस्ड स्टाइल ड्रिफ्ट को संबोधित करने के लिए, लेखक RLCSD (Reinforcement Learning with Contrastive On-Policy Self-Distillation) का प्रस्ताव करते हैं। मुख्य अंतर्दृष्टि यह है कि समान प्रॉम्प्ट टेम्पलेट्स के तहत प्रस्तुत किए जाने पर, प्रिविलेज्ड कॉन्टेक्स्ट द्वारा प्रेरित शैलीगत परिवर्तन (stylistic shifts) सही और गलत दोनों संकेतों (hints) में साझा होते हैं। एक सही संकेत की एक गलत संकेत के विरुद्ध कंट्रास्ट (विभेद) करके, साझा शैलीगत घटक को रद्द किया जा सकता है, जिससे सिग्नल टास्क की शुद्धता पर केंद्रित हो जाता है।

RLCSD पाइपलाइन तीन चरणों से मिलकर बनी है:

चरण 1: रोलआउट सैंपलिंग और विभाजन (Rollout Sampling and Partitioning)

एक दिए गए क्वेरी $x$ के लिए, स्टूडेंट पॉलिसी $\pi_S$ रोलआउट्स का एक समूह $G$ सैंपल करती है। एक रूल-बेस्ड वेरीफायर इन्हें एक सही उपसमूह ( $\mathcal{G}^+$ ) और एक गलत उपसमूह ( $\mathcal{G}^-$ ) में विभाजित करता है। वे समूह जिनमें परिणाम एकसमान होते हैं (सभी सही या सभी गलत) उन्हें हटा दिया जाता है क्योंकि वे मानक GRPO नॉर्मलाइजेशन के तहत शून्य एडवांटेज देते हैं।

चरण 2: कंट्रास्टिव टोकन-लेवल सिग्नल का निर्माण

एक एकल प्रिविलेज्ड हिंट के बजाय, RLCSD एक कंट्रास्टिव सिग्नल $e_{ctr,t}$ का निर्माण करता है:

पॉजिटिव हिंट ( $y_c^*$ ): $\mathcal{G}^+$ से लिया गया।
नेगेटिव हिंट्स ( $y_{w,k}^*$ ): $\mathcal{G}^-$ से लिए गए $K$ हिंट्स।
सिमेट्रिक प्रॉम्पटिंग (Symmetric Prompting): दोनों हिंट्स को एक ही प्रॉम्प्ट टेम्पलेट (Problem + Reference Solution + Answer) में लपेटा जाता है। यह सुनिश्चित करता है कि शिक्षक दोनों को ग्राउंड-ट्रुथ रेफरेंस के रूप में मानता है, जिससे प्रेरित शैलीगत बदलाव (stylistic shifts) समान रहते हैं।
सिग्नल: कंट्रास्टिव सिग्नल की गणना सही हिंट के तहत लॉग-प्रोबेबिलिटी गैप और $K$ नेगेटिव हिंट्स के औसत लॉग-प्रोबेबिलिटी गैप के बीच के अंतर के रूप में की जाती है:
$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$
सुधार (Refinements): विधि विषम त्रुटि प्रकारों (heterogeneous error types) के विरुद्ध सिग्नल को स्थिर करने के लिए नेगेटिव हिंट्स पर K-मार्गीनालाइजेशन (K-marginalization) का उपयोग करती है और शिक्षक को अपने स्वयं के जेनरेशन में अत्यधिक आत्मविश्वासी होने से रोकने के लिए टारगेट रोलआउट को हिंट पूल से बाहर रखती है।

चरण 3: वेरीफायर-एंकर मॉड्यूलेशन और लॉस

कंट्रास्टिव सिग्नल $e_{ctr,t}$ का उपयोग स्टैंडअलोन रिवॉर्ड के रूप में नहीं, बल्कि GRPO से प्राप्त आउटकम-लेवल एडवांटेज ( $A_{ORM}$ ) के मॉड्यूलेशन के रूप में किया जाता है।

मॉड्यूलेशन (Modulation): $e_{ctr,t}$ को सॉफ्ट-नॉर्मलाइज (via $\tanh$ ) और रीस्केल किया जाता है ताकि एक टोकन-लेवल मॉड्यूलेशन टर्म $r_t$ बनाया जा सके।
साइन-प्रिजर्विंग क्लैंप (Sign-Preserving Clamp): मॉड्यूलेशन को $A_{ORM}$ में जोड़ा जाता है, लेकिन परिणाम को क्लैंप किया जाता है ताकि यह सुनिश्चित हो सके कि अपडेट की दिशा कभी भी वेरीफायर के आउटकम सिग्नल का विरोध न करे।
टू-पाथ लॉस (Two-Path Loss): अंतिम ऑब्जेक्टिव एक टू-पाथ PPO-स्टाइल क्लिप्ड लॉस को एकत्रित करता है:
1. उन टोकन के लिए एक अनमॉड्यूलेटेड पाथ जहाँ कंट्रास्टिव सिग्नल कमजोर (शोर/noise) है।
2. एक मॉड्यूलेटेड पाथ जहाँ सिग्नल मजबूत है।
  महत्वपूर्ण रूप से, इन पथों को प्रत्येक रोलआउट के भीतर स्वतंत्र रूप से नॉर्मलाइज किया जाता है ताकि मॉड्यूलेटेड सिग्नल को अनमॉड्यूलेटेड टोकन के बहुमत द्वारा पतला (dilute) न किया जा सके।

3. मुख्य योगदान

प्रिविलेज-इंड्यूस्ड स्टाइल ड्रिफ्ट का लक्षण वर्णन: शोध पत्र OPSD में एक व्यवस्थित पूर्वाग्रह (bias) की पहचान और मात्रा निर्धारित करता है जहाँ प्रिविलेज्ड कंडीशनिंग लर्निंग सिग्नल को शैलीगत टोकन की ओर स्थानांतरित कर देती है, जिससे प्रशिक्षण अस्थिरता या समयपूर्व लंबाई संकुचन होता है।
RLCSD एल्गोरिदम: एक नवीन विधि जो सही और गलत प्रिविलेज्ड हिंट्स के बीच सिमेट्रिक कंट्रास्टिव कैंसिलेशन के माध्यम से इस ड्रिफ्ट को कम करती है। यह एक क्लीन किए गए सिग्नल को वेरीफिएबल रिवार्ड्स के साथ सुदृढीकरण सीखने (RLVR) में एक वेरीफायर-एंकरed टोकन-लेवल मॉड्यूलेशन के रूप में एकीकृत करती है।
कंट्रास्टिव सिद्धांत की सामान्यता (Generalizability): लेखक प्रदर्शित करते हैं कि कंट्रास्टिव निर्माण एक मेथड-अग्नोस्टिक घटक है। इसे मौजूदा OPSD बेसलाइन्स (जैसे OPSD और RLSD) में बेहतर स्थिरता और प्रदर्शन के लिए प्लग किया जा सकता है, जो सुझाव देता है कि यह सिद्धांत ऑन-पॉलिसी डिस्टिलेशन पर व्यापक रूप से लागू होता है।
क्रॉस-मॉडल डिस्टिलेशन का विस्तार: शोध पत्र क्रॉस-मॉडल ऑन-पॉलिसी डिस्टिलेशन (OPD) में इस अंतर्दृष्टि को विस्तारित करता है, यह दिखाते हुए कि कैसे टास्क-बेयरिंग बनाम सरफेस-स्टाइल टोकन का समान अपघटन यह समझाता है कि क्यों शैलीगत रूप से संरेखित लेकिन कमजोर शिक्षक कभी-कभी मजबूत लेकिन शैलीगत रूप से भिन्न शिक्षकों से बेहतर प्रदर्शन कर सकते हैं।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3 (1.7B, 4B, 8B) और Olmo-3-7B-Think पर गणितीय तर्क (AMC23, AIME24, AIME25) और तार्किक तर्क (Knights & Knaves) पर किए गए।

प्रदर्शन: RLCSD लगातार सभी बेंचमार्क पर GRPO और पूर्ववर्ती OPSD विधियों (OPSD, SDPO, SRPO, RLSD) से बेहतर प्रदर्शन करता है।
- Qwen3-8B पर, RLCSD ने AMC23 पर 90.8 का mean@12 प्राप्त किया (GRPO के 90.1 के मुकाबले) और AIME24 पर 77.5 प्राप्त किया।
- लॉजिकल रीजनिंग (OOD) पर, RLCSD ने महत्वपूर्ण लाभ दिखाया, Knights & Knaves (4-8 भूमिकाओं) पर 81.8 का pass@1 प्राप्त किया और 9-रोल OOD स्प्लिट पर 79.0 तक पहुँचा, जो GRPO से काफी बेहतर है।
प्रशिक्षण स्थिरता: प्रतिस्पर्धी OPSD विधियों के विपरीत, जो एन्ट्रॉपी विस्फोट या रिस्पॉन्स-लेंथ संकुचन प्रदर्शित करती थीं, RLCSD ने GRPO के समान पूरे प्रशिक्षण के दौरान स्थिर एन्ट्रॉपी और रिस्पॉन्स लेंथ बनाए रखी।
एब्लेशन अध्ययन (Ablation Studies):
- कंट्रास्टिव तंत्र को हटाने (केवल एक-तरफा हिंट्स का उपयोग करने) से प्रदर्शन में 3.0–5.4 अंकों की गिरावट आई, जो कंट्रास्ट की आवश्यकता की पुष्टि करता है।
- K-मार्गीनालाइजेशन को हटाने या हिंट पूल में सेल्फ-रोलआउट्स को शामिल करने से प्रदर्शन कम हो गया, जो डिज़ाइन रिफाइनमेंट्स को प्रमाणित करता है।
- टू-पाथ लॉस एग्रीगेशन को हटाने (एक वैश्विक औसत का उपयोग करने) से प्रदर्शन काफी कम हो गया, जो मॉड्यूलेटेड टोकन को अलग करने की आवश्यकता को सिद्ध करता है।

5. महत्व और दावे

शोध पत्र का दावा है कि RLCSD ऑन-पॉलिसी सेल्फ-डिस्टिलेशन में व्याप्त अस्थिरता के लिए एक मजबूत समाधान प्रदान करता है। प्रिविलेज्ड कंडीशनिंग में निहित "टास्क-बेयरिंग" सिग्नल को "स्टाइल" शोर से अलग करके, RLCSD एक अलग टीचर मॉडल के मेमोरी ओवरहेड के बिना रीजनिंग मॉडल्स के स्थिर, उच्च-प्रदर्शन प्रशिक्षण को सक्षम बनाता है।

लेखक विनम्रतापूर्वक दावा करते हैं कि कंट्रास्टिव सिद्धांत ऑन-पॉलिसी डिस्टिलेशन के लिए एक सामान्य अंतर्दृष्टि है। यह न केवल विशिष्ट RLCSD एल्गोरिदम में सुधार करता है, बल्कि क्रॉस-मॉडल डिस्टिलेशन सेटिंग्स में टीचर चुनने के लिए एक डायग्नोस्टिक टूल के रूप में भी कार्य करता है, जहाँ रीजनिंग स्टाइल का संरेखण कच्ची क्षमता (raw capability) से अधिक महत्वपूर्ण हो सकता है। यह कार्य सुझाव देता है कि भविष्य के डिस्टिलेशन विधियों को प्रिविलेज्ड कॉन्टेक्स्ट द्वारा प्रेरित परजीवी शैलीगत बदलावों (parasitic stylistic shifts) को ध्यान में रखना चाहिए और उन्हें कम करना चाहिए।