Self-Distilled Policy Gradient
यह शोधपत्र SDPG का प्रस्ताव करता है, जो एक सेल्फ-डिस्टिल्ड पॉलिसी ग्रेडिएंट फ्रेमवर्क है जो स्पार्स-रिवॉर्ड रिइन्फोर्समेंट लर्निंग की स्थिरता और प्रदर्शन को बढ़ाने के लिए फुल-वोकैबुलरी रिवर्स KL लॉस के माध्यम से ऑन-पॉलिसी सेल्फ-डिस्टिलेशन को ग्रुप-रिलेटिव वेरिफायर एडवांटेज और रेफरेंस-पॉलिसी रेगुलराइजेशन के साथ एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: एक छात्र को बेहतर सोचना सिखाना
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (AI मॉडल) को कठिन गणित के सवाल हल करने के लिए प्रशिक्षित कर रहे हैं। छात्र बुद्धिमान है, लेकिन वे अक्सर अपने स्वयं के तर्क के चरणों में खो जाते हैं।
वर्तमान में, इन छात्रों को प्रशिक्षित करने का मानक तरीका Reinforcement Learning with Verifiable Rewards (RLVR) है। इसे एक "पास/फेल" परीक्षा के रूप में सोचें। छात्र एक पूरा समाधान लिखता है, और एक सख्त निरीक्षक (Verifier) अंतिम उत्तर की जाँच करता है।
- यदि उत्तर सही है: छात्र को एक स्वर्ण स्टार (+1) मिलता है।
- यदि उत्तर गलत है: उन्हें एक लाल 'X' (0) मिलता है।
समस्या: यह "पास/फेल" प्रणाली बहुत अस्पष्ट है। यदि छात्र उत्तर गलत देता है, तो उसे यह नहीं पता चलता कि किस विशिष्ट चरण ने त्रुटि पैदा की। क्या उन्होंने चरण 3 में बीजगणित (algebra) में गलती की? या चरण 7 में तर्क (logic) में? क्योंकि फीडबैक बहुत कम (केवल अंत में) है, छात्र धीरे-धीरे सीखता है और कभी-कभी भ्रमित हो जाता है, जिससे प्रशिक्षण अस्थिर हो जाता है।
समाधान: "सेल्फ-डिस्टिल्ड" (Self-Distilled) ट्यूटर
लेखक एक नई विधि प्रस्तावित करते हैं जिसे SDPG कहा जाता है। केवल अंतिम ग्रेड का इंतज़ार करने के बजाय, छात्र को समाधान लिखते समय एक "चीट शीट" या "विशेषाधिकार प्राप्त दृश्य" (privileged view) मिलता है।
यहाँ बताया गया है कि SDPG कैसे काम करता है, जिसे तीन भागों में विभाजित किया गया है:
1. दो भूमिकाएँ: छात्र और शिक्षक
पारंपरिक शिक्षण में, आपको एक छोटे छात्र को पढ़ाने के लिए एक बड़े, महंगे प्रोफेसर (शिक्षक) की आवश्यकता होती है। यह कठिन है क्योंकि आपको एक साथ दो विशाल कंप्यूटर चलाने पड़ते हैं।
Self-Distillation में, छात्र दो भूमिकाएँ निभाता है:
- छात्र की भूमिका (Student Hat): मॉडल केवल प्रश्न का उपयोग करके (बिना किसी संकेत के) समस्या को हल करने का प्रयास करता है।
- शिक्षक की भूमिका (Teacher Hat): वही मॉडल फिर से समस्या को हल करने का प्रयास करता है, लेकिन इस बार उसके पास एक "विशेषाधिकार प्राप्त संदर्भ" (एक संकेत, समाधान पथ, या Gemini जैसे शक्तिशाली AI द्वारा उत्पन्न तर्क मार्ग) होता है।
मॉडल यह सीखने की कोशिश करता है कि उसका "छात्र की भूमिका" वाला अनुमान उसके "शिक्षक की भूमिका" वाले अनुमान से मेल खाए। यह एक संगीतकार के अभ्यास करने जैसा है: वे एक आदर्श रिकॉर्डिंग (शिक्षक) सुनते हैं और फिर अपने स्वयं के वादन (छात्र) को नोट-दर-नोट मिलाने का प्रयास करते हैं। यह केवल अंतिम ग्रेड के बजाय घना, चरण-दर-चरण फीडबैक देता है।
2. सुरक्षा जाल: "अच्छा विचार" फ़िल्टर
यहाँ एक जोखिम है। यदि छात्र पूरी तरह से गलत रास्ते पर है (उदाहरण के लिए, वे पूरी तरह से गलत समस्या हल कर रहे हैं), तो "शिक्षक की भूमिका" उन्हें गलत समस्या के लिए भी एक आदर्श समाधान दे सकती है। यदि छात्र आँख मूंदकर नकल करता है, तो वे बस गलत होने में बेहतर हो जाएंगे।
SDPG इसे Positive Advantage Gating के साथ हल करता है।
- उपमा: एक कोच की कल्पना करें जो छात्र को देख रहा है। यदि छात्र मैदान से बाहर जा रहा है (वे Verifier से खराब स्कोर प्राप्त कर रहे हैं), तो कोच कहता है, "रुको! अभी आदर्श समाधान को मत सुनो, क्योंकि तुम गलत चीज़ हल कर रहे हो।"
- सिस्टम छात्र को "शिक्षक की भूमिका" से तभी सीखने की अनुमति देता है जब "छात्र की भूमिका" ने पहले ही एक ऐसा पथ बनाया हो जिसे Verifier आशाजनक (सकारात्मक इनाम) मानता है। यह सुनिश्चित करता है कि छात्र केवल अच्छी तर्क प्रक्रिया को ही आत्मसात करे, न कि केवल सही उत्तरों को।
3. वार्म-अप और कूल-डाउन
लेखकों ने यह भी महसूस किया कि आप छात्र को तुरंत या हमेशा शिक्षक को सुनने के लिए मजबूर नहीं कर सकते।
- वार्म-अप (Warm-up): शुरुआत में, छात्र शिक्षक से सीखने के लिए बहुत भ्रमित होता है। इसलिए, वे केवल "पास/फेल" परीक्षा के साथ शुरू करते हैं। एक बार जब वे कुछ उत्तर सही देने लगते हैं, तो वे धीरे-धीरे "शिक्षक की भूमिका" के पाठ चालू कर देते हैं।
- कूल-डाउन (Cool-down): प्रशिक्षण के अंत के करीब, छात्र ने पाठों को आत्मसात कर लिया होता है। यदि वे बहुत अधिक शिक्षक को सुनते रहते हैं, तो वे खुद सोचना बंद कर सकते हैं (इसे "मोड कोलैप्स" कहा जाता है)। इसलिए, सिस्टम धीरे-धीरे शिक्षक की आवाज़ को बंद कर देता है, जिससे छात्र अपने स्वयं के कौशल पर भरोसा कर सके।
परिणाम
अंतिम ग्रेड (Verifier से) और चरण-दर-चरण मार्गदर्शन (Self-Teacher से) को मिलाकर, लेकिन इसे फ़िल्टर करके ताकि छात्र केवल अच्छे पथों से सीखे, AI बनता है:
- अधिक स्थिर: यह प्रशिक्षण के दौरान क्रैश नहीं होता या भ्रमित नहीं होता।
- अधिक स्मार्ट: यह बेहतर तर्क करना सीखता है क्योंकि इसे हर एक चरण पर फीडबैक मिलता है, न कि केवल अंत में।
- तेज़: यह पिछले तरीकों की तुलना में कम प्रशिक्षण चरणों में उच्च प्रदर्शन स्तर तक पहुँच जाता है।
संक्षेप में, SDPG एक ऐसे ट्यूटर को देने जैसा है जो केवल तभी बोलता है जब छात्र सही रास्ते पर होता है, और फिर एक बार जब छात्र विषय में महारत हासिल कर लेता है, तो उसे अकेले परीक्षा देने के लिए धीरे-धीरे छोड़ देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।