GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero
यह शोध पत्र GRLO को पेश करता है, जो एक अत्यधिक कुशल सुदृढीकरण शिक्षण (reinforcement learning) दृष्टिकोण है जो गणित और कोडिंग जैसे विविध डोमेन में मजबूत सामान्यीकरण प्राप्त करने के लिए ओपन-एंडेड संवादात्मक इंटरैक्शन के एक छोटे सेट पर मॉडलों को शून्य से प्रशिक्षित करता है, जो पारंपरिक इन-डोमेन RLVR विधियों की तुलना में डेटा और कंप्यूट आवश्यकताओं को काफी कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान छात्र (एक लार्ज लैंग्वेज मॉडल) है जिसने अपने "प्री-ट्रेनिंग" चरण के दौरान लाखों किताबें पढ़ ली हैं। वे बहुत कुछ जानते हैं, लेकिन निर्देशों का पालन करने, पहेलियाँ सुलझाने या कोड लिखने में थोड़े अनाड़ी हैं। उन्हें एक शीर्ष-स्तरीय विशेषज्ञ बनाने के लिए, हमें आमतौर पर उन्हें एक "पोस्ट-ट्रेनिंग" कोर्स देना पड़ता है।
पारंपरिक रूप से, इस कोर्स को चलाने के दो तरीके हैं:
विशेषज्ञ ट्यूटर (RLVR): आप एक ट्यूटर को काम पर रखते हैं जो केवल गणित या कोडिंग सिखाता है। वे हर एक चरण को ग्रेड करने के लिए एक सख्त उत्तर कुंजी (एक "वेरिफायर") का उपयोग करते हैं। यदि छात्र गणित का प्रश्न सही हल करता है, तो उसे एक गोल्ड स्टार मिलता है। यदि वह गलत होता है, तो उसे एक रेड X मिलता है। यह गणित के लिए अविश्वसनीय रूप से अच्छा काम करता है, लेकिन छात्र सामान्य बातचीत करना या रचनात्मक कहानी लिखना भूल जाता है क्योंकि उन्होंने केवल परीक्षा के लिए अभ्यास किया था।
सामान्य चैट कोच (RLHF): आप एक कोच को काम पर रखते हैं जो छात्र को सामान्य बातचीत में विनम्र, सहायक और आकर्षक होना सिखाता है। वे मानव फीडबैक (जैसे "यह उत्तर अच्छा था") का उपयोग करते हैं, न कि किसी सख्त उत्तर कुंजी का।
समस्या:
"विशेषज्ञ ट्यूटर" दृष्टिकोण महंगा है और इसके लिए भारी कंप्यूटिंग पावर की आवश्यकता होती है। यह छात्र को गणित में तो महान बनाता है लेकिन चैटिंग में बुरा बना देता है। "सामान्य चैट कोच" सस्ता है लेकिन यह साबित नहीं हुआ है कि यह छात्र को गणित या कोडिंग जैसे कठिन तर्क कार्यों (reasoning tasks) में बेहतर बनाता है।
नया विचार: GRLO ("ओपन-एंडेड जिम")
लेखक इस नए प्रशिक्षण पद्धति का प्रस्ताव करते हैं जिसे GRLO कहा जाता है। उन्हें छात्र को केवल गणित वाले बूट कैंप या जेनेरिक चैट क्लास में भेजने के बजाय, एक ओपन-एंडेड चुनौतियों वाले जिम में भेजते हैं।
कल्पना कीजिए कि एक जिम है जहाँ उपकरण केवल एक ट्रेडमिल (गणित) या पंचिंग बैग (चैट) नहीं हैं। इसके बजाय, छात्र को 5,000 विविध, पेचीदा और ओपन-एंडेड प्रश्न दिए जाते हैं जैसे:
- "चंद्रमा के दक्षिणी ध्रुव के इतिहास का विश्लेषण करें।"
- "व्याख्या करें कि एक विशिष्ट दर्शन आधुनिक राजनीति से कैसे जुड़ता है।"
- "विदेशी पालतू जानवरों को रखने के लिए एक मार्गदर्शिका तैयार करें।"
इन प्रश्नों का कोई एक "सही" उत्तर नहीं है जिसे आप कंप्यूटर से जांच सकें। इसके बजाय, छात्र को उनके लंबे, विस्तृत उत्तरों के कितने सुव्यवस्थित, तार्किक और सहायक होने के आधार पर फीडबैक मिलता है।
बड़ी हैरानी (द "ज़ीरो" मैजिक)
पेपर दावा करता है कि कुछ आश्चर्यजनक हुआ: केवल इस "ओपन-एंडेड जिम" में अभ्यास करके, छात्र गणित, कोडिंग और चैटिंग, तीनों में काफी बेहतर हो गया।
- परिणाम: उन्होंने एक बेस मॉडल (Qwen3-4B) लिया और उसे डेटा की एक छोटी मात्रा (5,000 प्रॉम्प्ट्स) पर केवल 22.7 घंटे के लिए प्रशिक्षित किया।
- तुलना: इस छोटे से प्रशिक्षण ने मॉडल के औसत प्रदर्शन को 24.1 से बढ़ाकर 63.1 कर दिया।
- दक्षता: यह पारंपरिक "विशेषist ट्यूटर" (RLVR) विधियों की तुलना में 46 गुना कम डेटा और 68 गुना कम कंप्यूटिंग पावर का उपयोग करके किया गया था, जो समान परिणाम प्राप्त करने के लिए आवश्यक होते हैं।
- ट्रांसफर: मॉडल ने केवल बेहतर चैट करना ही नहीं सीखा; इसने अप्रत्यक्ष रूप से बेहतर सोचना भी सीख लिया, जिससे इसे गणित के सवालों को हल करने और कोड लिखने में मदद मिली, भले ही इसने इस विशिष्ट प्रशिक्षण चरण के दौरान एक भी गणित का सवाल या कोडिंग कार्य नहीं देखा था।
आगे क्या होगा?
लेखकों ने ओपन-एंडेड जिम के बाद थोड़ा सा "स्पेशलिस्ट ट्यूटर" प्रशिक्षण (गणित-विशिष्ट) जोड़ने की कोशिश की। इसने बहुत कम मदद की, और वह भी केवल सबसे कठिन, प्रतियोगिता-स्तर के गणित के सवालों पर। मुख्य उछाल पूरी तरह से ओपन-एंडेड प्रशिक्षण से आया था।
मुख्य निष्कर्ष (The Takeaway)
यह पेपर सुझाव देता है कि आपको एक स्मार्ट, रीजनिंग वाला AI प्राप्त करने के लिए एक विशाल, महंगे, गणित-विशिष्ट प्रशिक्षण पाइपलाइन की आवश्यकता नहीं है। यदि आप एक मजबूत बेस मॉडल को ओपन-एंडेड बातचीत के एक छोटे, विविध सेट पर प्रशिक्षित करते हैं जहाँ उसे गहराई से सोचने और अपने विचारों को व्यवस्थित करने की आवश्यकता होती है, तो वह स्वाभाविक रूप से अन्य सभी चीजों में बेहतर हो जाता है, जिसमें कठिन तर्क कार्य भी शामिल हैं। यह कहने जैसा है कि, "यदि आप एक एथलीट को एक बहुमुखी, अनुकूलन योग्य ऑल-राउंडर बनाने के लिए प्रशिक्षित करते हैं, तो वह स्वाभाविक रूप से दौड़ने, कूदने और फेंकने में बेहतर हो जाएगा, भले ही आपने उसे कभी उन विशिष्ट खेलों का अभ्यास करने के लिए न कहा हो।"
संक्षेप में: थोड़ा सा स्मार्ट, ओपन-एंडेड कन्वर्सेशन ट्रेनिंग एक मॉडल की रीजनिंग और कोडिंग की छिपी हुई क्षमता को अनलॉक कर सकता है, जो पारंपरिक तरीकों की तुलना में बहुत सारा पैसा और समय बचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।