EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance
यह शोध पत्र EP-GRPO को प्रस्तुत करता है, जो एक विस्तारित ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) फ्रेमवर्क है, जो इंट्रिन्सिक एंट्रॉपी (intrinsic entropy) और पॉलिसी डायवर्जेंस (policy divergence) का लाभ उठाकर GRPO की क्रेडिट असाइनमेंट त्रुटियों को संबोधित करता है ताकि सघन, स्व-पर्यवेक्षित टोकन-स्तरीय नियंत्रण प्रदान किया जा सके, जिससे गणितीय तर्क कार्यों में बेहतर सटीकता और दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र (एक AI) को जटिल गणितीय समस्याओं को हल करना सिखा रहे हैं। आप उसे एक कार्य देते हैं, वह चरण-दर-चरण एक लंबा समाधान लिखता है, और फिर आप अंतिम उत्तर की जाँच करते हैं।
पुराना तरीका (GRPO): "सब कुछ या कुछ भी नहीं" वाला रिपोर्ट कार्ड
वर्तमान में, मानक विधि (जिसे GRPO कहा जाता है) एक बहुत ही रूखे शिक्षक की तरह काम करती है।
- समस्या: यदि छात्र अंतिम उत्तर गलत देता है, तो शिक्षक पूरे निबंध को फेल कर देता है। छात्र द्वारा लिखे गए हर एक शब्द को "खराब" के रूप में चिह्नित किया जाता है, भले ही पहले तीन पैराग्राफ का तर्क एकदम सटीक रहा हो।
- अच्छी बात: यदि छात्र उत्तर सही देता है, तो शिक्षक पूरे निबंध को स्वर्ण पदक (गोल्ड स्टार) देता है। हर शब्द की प्रशंसा की जाती है, भले ही छात्र ने कहीं कोई छोटी सी गलती की हो या अनुमान लगाया हो।
- "खाली शीट" वाली समस्या: कभी-कभी शिक्षक कक्षा को कोई समस्या हल करने के लिए कहता है, और इसमें सभी गलत उत्तर देते हैं। इस स्थिति में, शिक्षक कहता है, "चूंकि सभी फेल हो गए, इसलिए किसी को ग्रेड नहीं मिलेगा।" छात्र इससे कुछ नहीं सीख पाते क्योंकि उनके बीच तुलना करने के लिए कोई अंतर नहीं रह जाता।
यह लेख बताता है कि यह अक्षम है क्योंकि यह गलत उत्तरों के अच्छे हिस्सों को बर्बाद करता है और सही उत्तरों के बुरे हिस्सों को प्रशंसा देता है।
नया तरीका (EP-GRPO): "स्मार्ट कोच"
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे EP-GRPO कहा जाता है। इसे एक स्मार्ट कोच के रूप में सोचें जो वास्तविक समय में छात्र की विचार प्रक्रिया का अवलोकन करता है और हर एक शब्द पर विशिष्ट फीडबैक प्रदान करता है, न कि केवल अंतिम स्कोर पर।
यहाँ इस नए कोच के तीन मुख्य "सुपरपावर्स" के कार्य करने का तरीका दिया गया है, जिन्हें सरल उपमाओं का उपयोग करके समझाया गया है:
1. "स्पॉटलाइट" (एन्ट्रॉपी-ड्रिवन मॉड्यूलेशन)
- समस्या: एक लंबे गणितीय समाधान में, कुछ शब्द केवल उबाऊ, स्वचालित गणनाएँ होते हैं (जैसे "2 + 2 = 4")। अन्य महत्वपूर्ण निर्णय बिंदु होते हैं जहाँ छात्र को दो अलग-अलग रास्तों में से एक को चुनना होता है (जैसे "क्या मुझे बीजगणित का उपयोग करना चाहिए या ज्यामिति का?")। पुराने तरीके ने दोनों प्रकार के शब्दों के साथ बिल्कुल एक जैसा व्यवहार किया।
- समाधान: नया कोच एक "स्पॉटलाइट" का उपयोग करता है। जब छात्र एक उबाऊ, स्वचालित चरण पर होता है, तो कोच रोशनी कम कर देता है और कहता है, "चलते रहो, लेकिन ज्यादा चिंता मत करो।" लेकिन जब छात्र एक महत्वपूर्ण निर्णय बिंदु पर पहुँचता है (जहाँ वह अनिश्चित है और गहनता से सोच रहा है), तो कोच एक चमकदार स्पॉटलाइट चमकाता है।
- परिणाम: AI बहुत तेज़ी से सीखता है क्योंकि वह सरल, दोहराव वाले हिस्सों में समय बर्बाद करने के बजाय कठिन, महत्वपूर्ण निर्णयों पर अपनी ऊर्जा केंद्रित करता है।
2. "कंपास" (इम्प्लिसिट प्रोसेस सिग्नल्स)
- समस्या: पुराना तरीका केवल अंतिम लक्ष्य को देखता था। यदि छात्र ने गलत मोड़ लिया लेकिन फिर भी संयोग से सही गंतव्य तक पहुँच गया, तो पुराने तरीके ने गलत मोड़ की प्रशंसा की। यदि उन्होंने सही रास्ता चुना लेकिन अंत में भटक गए, तो पुराने तरीके ने सही रास्ते को दंडित किया।
- समाधान: नए कोच के पास एक कंपास (दिशा सूचक) है। वे छात्र की वर्तमान सोच की तुलना एक "रेफरेंस मॉडल" (AI का एक आधार संस्करण) से करते हैं।
- यदि छात्र रेफरेंस मॉडल से इस तरह दूर जाता है जो दिखता है कि वह कुछ समझ रहा है, तो कोच कहता है, "सही दिशा!"
- यदि वे इस तरह से आगे बढ़ते हैं जो भ्रम या त्रुटि जैसा दिखता है, तो कोच कहता है, "रुको, यह गलत रास्ता है।"
- महत्वपूर्ण रूप से, यह कंपास तब भी काम करता है जब अंतिम उत्तर गलत होता है। यह छात्र को बताता है, "आप पहले आधे भाग के लिए सही रास्ते पर थे, लेकिन आप यहाँ से भटक गए।" यह "सब कुछ या कुछ भी नहीं" वाली समस्या को ठीक करता है।
3. "लाइफबोट" (जीरो-वैरिएंस कोलैप्स)
- समस्या: याद है "खाली शीट" वाली समस्या? यदि सभी गलत उत्तर देते हैं, तो पुराना शिक्षक पढ़ाना बंद कर देता है।
- समाधान: नए कोच के पास एक लाइफबोट (जीवन रक्षक नौका) है। भले ही सभी अंतिम उत्तर गलत हों (तो तुलना करने के लिए कोई "विजेता" नहीं है), कोच अभी भी प्रक्रिया को देखता है।
- "ठीक है, सभी फेल हो गए, लेकिन छात्र A ने छात्र B की तुलना में अधिक स्मार्ट रास्ता चुना।"
- कोच "कंपास" (चरण 2 से) का उपयोग करके निर्देश देना जारी रखता है। वे कहते हैं, "भले ही हमें सही उत्तर नहीं मिला, लेकिन छात्र A का तर्क बेहतर था, इसलिए हम उससे सीखते हैं।" यह सुनिश्चित करता है कि AI कभी सीखना बंद न करे, भले ही चीजें वास्तव में कठिन क्यों न हों।
परिणाम
लेखकों ने गणितीय समस्याओं पर इस "स्मार्ट कोच" का परीक्षण किया।
- बेहतर ग्रेड: AI ने कठिन गणित परीक्षणों पर पुराने तरीके की तुलना में काफी उच्च स्कोर प्राप्त किया।
- स्मार्टर थिंकिंग: AI ने अधिक विस्तृत 'चेन ऑफ थॉट' लिखना शुरू कर दिया क्योंकि वह विभिन्न रास्तों को तलाशने से नहीं डरता था (उसे पता था कि कोच प्रक्रिया पर फीडबैक देगा, न कि केवल परिणाम पर)।
- कोई अतिरिक्त लागत नहीं: सबसे अच्छी बात यह है कि इस नए तरीके को हर चरण का मूल्यांकन करने के लिए मानव शिक्षक या सुपरकंप्यूटर को नियुक्त करने की आवश्यकता नहीं थी। इसने "स्पॉटलाइट" और "कंपास" जैसे ट्रिक्स का उपयोग करके खुद का मूल्यांकन करने का तरीका खोज लिया।
सारांश:
पुराना तरीका एक टेस्ट को केवल अंतिम उत्तर पत्रक देखकर ग्रेड देने जैसा था। नया तरीका (EP-GRPO) एक ट्यूटर की तरह है जो छात्र के साथ चलता है, कठिन निर्णयों को उजागर करता है, गलत मोड़ों को सुधारता है, और तब भी निर्देश जारी रखता है जब अंतिम उत्तर गलत होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।