RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments
यह शोध पत्र RLVE को प्रस्तुत करता है, जो 400 प्रक्रियात्मक रूप से जनरेट किए गए, अनुकूलन योग्य सत्यापन योग्य वातावरणों (RLVE-Gym) के एक बड़े सूट का उपयोग करके भाषा मॉडलों के लिए सुदृढीकरण शिक्षण (reinforcement learning) को स्केल करता है, जिससे समस्या की कठिनाई को गतिशील रूप से समायोजित किया जाता है, और इस प्रकार पारंपरिक स्थिर डेटा दृष्टिकोणों की तुलना में सामान्यीकरण योग्य तर्क क्षमताओं में महत्वपूर्ण सुधार किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पहेलियाँ सुलझाना सिखा रहे हैं। अतीत में, शोधकर्ता रोबोट को पहेली कार्डों का एक विशाल ढेर दे देते थे। कुछ कार्ड अविश्वसनीय रूप से आसान थे (जैसे "1+1"), और कुछ असंभव रूप से कठिन (जैसे "ब्रह्मांड को हल करें")।
पुरानी पद्धति की समस्या यह है कि रोबोट आसान कार्डों से ऊब जाता है और कठिन कार्डों से निराश हो जाता है। वह सीखना बंद कर देता है क्योंकि या तो उसे पर्याप्त चुनौती नहीं मिल रही होती या वह इतना असफल हो रहा होता है कि समझ नहीं पाता कि सुधार कैसे किया जाए। यह एक छात्र की तरह है जो किंडरगार्टन की गणित की किताब देखकर कैलकुलस सीखने की कोशिश कर रहा है, या जोड़ने का ज्ञान होने से पहले ही पीएचडी थीसिस हल करने की कोशिश कर रहा है।
यह शोध पत्र एक नई पद्धति पेश करता है जिसे RLVE (रिनफोर्समेंट लर्निंग विद एडेप्टिव वेरीफिएबल एनवायरनमेंट्स) कहा जाता है। RLVE को स्थिर कार्डों के ढेर के रूप में नहीं, बल्कि एक स्मार्ट, जीवित वीडियो गेम के रूप में सोचें जो वास्तविक समय में खुद को समायोजित करता है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. "स्मार्ट जिम" (एडेप्टिव वेरीफिएबल एनवायरनमेंट्स)
निश्चित समस्याओं की एक सूची के बजाय, शोधकर्ताओं ने एक "जिम" बनाया जिसमें 400 अलग-अलग प्रकार की व्यायाम मशीनें (जैसे संख्याओं को क्रम में लगाना, सुडोकू हल करना, या कोड लिखना) हैं।
- जादू: यह जिम जीवित है। यह देखता है कि रोबोट कैसा प्रदर्शन कर रहा है।
- समायोजन: यदि रोबोट "आसान" स्तर को आसानी से पार कर रहा है, तो जिम स्वचालित रूप से कठिनाई को बढ़ा देता है। यदि रोबोट संघर्ष कर रहा है, तो यह कठिनाई को स्थिर रखता है या इसे थोड़ा कम कर देता है।
- लक्ष्य: जिम हमेशा रोबोट को "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) में रखता है—न बहुत आसान, न बहुत कठिन, बल्कि बिल्कुल सही ताकि वह सीखते रहे।
2. "अनंत पहेली जनरेटर"
आमतौर पर, रोबोट को प्रशिक्षित करने के लिए, मनुष्यों को लाखों विशिष्ट समस्याएं लिखनी पड़ती हैं और उनके उत्तरों की जांच करनी पड़ती है। यह धीमा और महंगा है।
- RLVE की तरकीब: शोधकर्ताओं ने "जनरेटर" बनाए हैं। कल्पना कीजिए कि एक ऐसी मशीन है जो चलते-फिरते अनंत संख्या में अद्वितीय सुडोकू पहेलियाँ या गणित की समस्याएं बना सकती है।
- वेरिफायर (सत्यापनकर्ता): महत्वपूर्ण रूप से, इस मशीन में एक अंतर्निहित "उत्तर कुंजी" भी है जो तुरंत जांच सकती है कि रोबोट का उत्तर सही है या नहीं। इसे ग्रेड देने के लिए किसी इंसान की जरूरत नहीं है; वातावरण इसे स्वचालित रूप से और तुरंत करता है।
3. कठिनाई का "स्लाइडिंग विंडो" (Sliding Window)
पेपर कठिनाई को प्रबंधित करने के एक चतुर तरीके का वर्णन करता है। एक रूलर (पैमाने) पर स्लाइडिंग विंडो की कल्पना करें।
- रोबोट नीचे (आसान) से शुरू करता है।
- जैसे-जैसे वह बेहतर होता जाता है, विंडो ऊपर की ओर खिसकती जाती है।
- लेकिन विंडो का एक आकार सीमा होती है। यह तुरंत सबसे कठिन समस्याओं पर नहीं कूदता; यह उन समस्याओं और उन समस्याओं का मिश्रण रखता है जिन्हें रोबोट अभी-अभी महारत हासिल करना शुरू कर रहा है और जिन्हें वह पहले ही सिद्ध कर चुका है। यह सुनिश्चित करता है कि रोबोट हमेशा अपनी क्षमता के "किनारे" (edge) का अभ्यास कर रहा है।
4. परिणाम: विविधता, न कि केवल अधिक डेटा
शोधकर्ताओं ने कई भाषा मॉडलों (AI मस्तिष्क) पर परीक्षण किया। उन्होंने दो बड़ी चीजें पाईं:
- "ऊब" की सीमा को हराना: जब उन्होंने एक बहुत ही स्मार्ट मॉडल को उसी पुराने डेटा पर प्रशिक्षित करने की कोशिश की, तो मॉडल में सुधार रुक गया (वह एक दीवार से टकरा गया)। लेकिन जब उन्होंने RLVE "जिम" का उपयोग किया जिसमें 400 अनुकूल वातावरण थे, तो मॉडल और भी स्मार्ट होता गया।
- मात्रा से अधिक गुणवत्ता: उन्होंने पाया कि अधिक प्रकार की पहेलियों का होना (वातावरणों को बढ़ाना) एक ही पहेली की अधिक कॉपियों से अधिक महत्वपूर्ण था। यह कहने जैसा है कि एक शेफ एक ही व्यंजन को 10,000 बार बनाने के बजाय 400 अलग-अलग प्रकार के व्यंजन बनाना सीखकर बेहतर बनता है।
निचोड़
पेपर का दावा है कि एक ऐसा सिस्टम बनाकर जहाँ "शिक्षक" (वातावरण) छात्र के वर्तमान कौशल स्तर के अनुसार पाठ योजना को लगातार बदलता रहता है, और जहाँ स्वचालित रूप से उत्पन्न विविध पहेलियों का उपयोग किया जाता है, हम AI को पहले की तुलना में बहुत बेहतर तर्क करने के लिए प्रशिक्षित कर सकते हैं।
उन्होंने इसका परीक्षण एक ऐसे मॉडल पर किया जो पहले से ही तर्क करने में बहुत अच्छा था। इस नए "एडेप्टिव जिम" पद्धति को अपनाकर, उन्होंने विभिन्न तर्क और गणित परीक्षणों में इसके प्रदर्शन में 3.37% का सुधार किया। इसकी तुलना में, पुरानी, स्थिर पद्धति से और अधिक प्रशिक्षण निकालने की कोशिश करने पर, तीन गुना अधिक कंप्यूटर शक्ति का उपयोग करने के बावजूद, केवल 0.49% का सुधार हुआ।
संक्षेप में: AI को केवल एक ही चीज़ अधिक न दें; इसे एक स्मार्ट, परिवर्तनशील पाठ्यक्रम दें जो इसके साथ विकसित हो सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।