From Reasoning to Code: GRPO Optimization for Underrepresented Languages
यह शोध पत्र एक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) फ्रेमवर्क का प्रस्ताव करता है जो प्रोलॉग (Prolog) और लिस्प (Lisp) जैसी कम प्रतिनिधित्व वाली प्रोग्रामिंग भाषाओं के लिए बड़े भाषा मॉडलों (LLMs) में कोड जनरेशन और रीजनिंग क्षमताओं को बढ़ाने के लिए निष्पादन-संचालित फीडबैक (execution-driven feedback) को एकीकृत करता है, जो प्रभावी रूप से दुर्लभ प्रशिक्षण डेटा की सीमाओं को दूर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "दुर्लभ भाषा" का अंतर (The "Rare Language" Gap)
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक AI) को कोड लिखना सिखाने की कोशिश कर रहे हैं। वह छात्र पायथन (Python) या जावास्क्रिप्ट (JavaScript) जैसी लोकप्रिय भाषाओं में कोड लिखने में माहिर है क्योंकि उसने इनके बारे में लाखों किताबें और उदाहरण पढ़े हैं।
हालाँकि, जब आप उस छात्र से प्रोलॉग (Prolog) या लिसप (Lisp) (पुरानी, तर्क-आधारित भाषाएँ) में कोड लिखने के लिए कहते हैं, तो वह संघर्ष करता है। क्यों? क्योंकि ये भाषाएँ दुर्लभ बोलियों की तरह हैं। AI के पढ़ने के लिए उपलब्ध किताबें (ट्रेनिंग डेटा) बहुत कम हैं। पर्याप्त उदाहरणों के बिना, AI अंदाज़ा लगाने लगता है। वह ऐसा कोड लिख सकता है जो देखने में तो सही लगता है लेकिन वास्तव में काम नहीं करता, या वह ऐसे नियम बना लेता है जो अस्तित्व में ही नहीं हैं।
समाधान: करके सीखना (सिर्फ पढ़कर नहीं)
इस पेपर के लेखकों ने AI को और अधिक किताबें खिलाने की कोशिश करना बंद कर दिया। इसके बजाय, उन्होंने AI को "गलती और सुधार" (trial and error) के माध्यम से सीखना सिखाया, जिसमें एक "कोच" तुरंत काम की जाँच करता है।
उन्होंने GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) नामक एक विधि का उपयोग किया। इसे एक कुकिंग कॉम्पिटिशन (खाना पकाने की प्रतियोगिता) की तरह समझें:
- AI को गणित की एक शब्द समस्या (word problem) हल करने के लिए कहा जाता है।
- केवल एक उत्तर देने के बजाय, AI एक ही समय में चार अलग-अलग समाधान बनाने की कोशिश करता है।
- एक "जज" (एक कंप्यूटर इंटरप्रेटर) उन चारों समाधानों को चलाकर देखता है।
- जज एक स्कोर देता है: "यह वाला पूरी तरह से काम कर गया (+1 पॉइंट)," "इसमें एक सिंटैक्स एरर था (-0.5 पॉइंट)," या "इसका उत्तर गलत था (-1 पॉइंट)।"
- AI सीखता है कि कौन सा "नुस्खा" (recipe) सबसे अच्छा काम कर रहा था और अगली बार वैसा ही करने की कोशिश करता है।
असली मंत्र: "रीज़निंग कॉन्ट्रैक्शन" की समस्या (The "Reasoning Contraction" Problem)
शुरुआत में, शोधकर्ताओं ने मानक नियमों का उपयोग करके AI को सिखाने की कोशिश की। उन्होंने AI को कहा, "जिस तरह से तुम आमतौर पर बात करते हो, उससे बहुत दूर मत जाओ।" यह एक सख्त शिक्षक की तरह है जो एक रचनात्मक छात्र से कहता है, "किताब के उदाहरणों पर ही टिके रहो।"
उन्होंने एक समस्या खोजी जिसे वे "रीज़निंग कॉन्ट्रैक्शन" (Reasoning Contraction) कहते हैं।
- क्या हुआ: AI गहराई से सोचने से डरने लगा। वह बहुत छोटे, सरल उत्तर देने लगा जो सुरक्षित तो दिखते थे लेकिन वास्तव में गलत थे। उसने अपने तर्क (logic) को समझाने की कोशिश करना बंद कर दिया क्योंकि उसे गलती करने का डर था।
- समाधान: शोधकर्ताओं ने "सख्त शिक्षक" (एक तकनीकी नियम जिसे KL पेनाल्टी कहा जाता है) को हटा दिया और एक नया नियम जोड़ा: "मुझे अपनी कहानी सुनाओ।" उन्होंने AI को अतिरिक्त अंक दिए यदि उसने कोड देने से पहले अपनी सोच का एक लंबा और विस्तृत विवरण लिखा।
परिणाम: "औसत" से "मास्टर" तक
AI को लंबे समय तक सोचने देने और सामान्य से भटकने के डर को हटाने से, परिणाम नाटकीय रहे:
- दौड़े हुए खिलाड़ी की जीत: इस नई विधि से प्रशिक्षित एक छोटा AI मॉडल (7 बिलियन "मस्तिष्क कोशिकाएं") बहुत बड़े और प्रसिद्ध मॉडलों (जैसे 70-बिलियन कोशिका वाले मॉडल) की तुलना में लॉजिक पहेलियों को हल करने में बेहतर बन गया।
- सफलता दोगुनी: कठिन लॉजिक कार्यों के लिए, AI की सफलता दर दोगुनी से अधिक हो गई।
- यह अन्य भाषाओं पर भी काम करता है: उन्होंने इसका परीक्षण लिसप (Lisp) (एक अन्य दुर्लभ भाषा) पर भी किया, और यह वहां भी सफल रहा। AI इसमें 'ठीक-ठाक' से बढ़कर 'उत्कृष्ट' स्तर पर पहुँच गया।
उपमा: शिक्षक के रूप में "इंटरप्रेटर"
आमतौरता तौर पर, AI मानव-लिखित उदाहरणों से सीखता है। लेकिन दुर्लभ भाषाओं के लिए, पर्याप्त मानव उदाहरण मौजूद नहीं हैं।
इस पेपर की सफलता कंप्यूटर इंटरप्रेटर का उपयोग स्वयं एक शिक्षक के रूप में करने में है।
- कल्पना कीजिए कि आप जग्लिंग (juggling) सीख रहे हैं। किसी मास्टर जग्लर का वीडियो देखने के बजाय, आप बस जग्लिंग करने की कोशिश करते रहते हैं।
- यदि आप गेंद गिरा देते हैं, तो फर्श (इंटरप्रेटर) आपको बताता है, "आउच, यह फेल हो गया।"
- यदि आप गेंदों को हवा में बनाए रखते हैं, तो फर्श कहता है, "बहुत बढ़िया!"
- AI भाषा के नियमों को किताब रटकर नहीं, बल्कि कंप्यूटर के "फर्श" को महसूस करके सीखता है कि क्या काम करता है और क्या नहीं।
सारांश
यह पेपर दिखाता है कि कठिन और दुर्लभ प्रोग्रामिंग भाषाओं के लिए, आपको एक बड़ा AI या अधिक किताबों की आवश्यकता नहीं है। आपको बस अभ्यास करने का एक स्मार्ट तरीका चाहिए: AI को कई समाधान आज़माने दें, एक कंप्यूटर को तुरंत उनका निर्णय लेने दें, और AI को उसके चरणों को विस्तार से सोचने के लिए प्रोत्साहित करें। यह एक संघर्षरत छात्र को एक शीर्ष प्रदर्शन करने वाले में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।