Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards
यह शोध पत्र "कॉन्टेक्स्टुअल रोलआउट बैंडिट्स" (Contextual Rollout Bandits) का प्रस्ताव करता है, जो एक एकीकृत न्यूरल शेड्यूलिंग फ्रेमवर्क है जो रोलआउट्स को कॉन्टेक्स्टुअल बैंडिट आर्म्स के रूप में मानता है ताकि उच्च-मूल्य वाले ऐतिहासिक डेटा को अनुकूल रूप से चुनने और पुन: उपयोग करने के लिए, बड़े भाषा मॉडलों के लिए सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) में सैंपल दक्षता और प्रदर्शन में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े अराजक छात्र (एक लार्ज लैंग्वेज मॉडल) को कठिन गणितीय समस्याओं को हल करने के लिए प्रशिक्षित कर रहे हैं। आप छात्र को एक समस्या देते हैं, और वे उत्तर तक पहुँचने के लिए विचारों की एक लंबी श्रृंखला लिखते हैं। विचारों की इस श्रृंखला को "रोलआउट" (rollout) कहा जाता है।
AI प्रशिक्षण की वर्तमान स्थिति में, शिक्षक (प्रशिक्षण एल्गोरिदम) छात्र द्वारा किए गए प्रत्येक प्रयास को समान रूप से महत्वपूर्ण मानता है। यदि छात्र एक समस्या को हल करने के 8 अलग-अलग तरीके आजमाता है, तो शिक्षक उन सभी 8 को देखता है, भले ही उनमें से 5 निरर्थक हों, 2 तुक्के से सही हुए अनुमान हों, और केवल 1 शानदार, तार्किक समाधान हो। और शिक्षक अपने पिछले प्रयासों को एक बार उपयोग करने के बाद तुरंत फेंक देता है, कभी पीछे मुड़कर नहीं देखता।
आपके द्वारा प्रदान किया गया पेपर, "कॉन्टेक्स्टुअल रोलआउट बैंडिट्स" (Contextual Rollout Bandits), इस प्रशिक्षण प्रक्रिया को प्रबंधित करने का एक स्मार्ट तरीका प्रस्तावित करता है। यह एक CBS (कॉन्टेक्स्टुअल बैंडिट शेड्यूलर) पेश करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "शोर भरा क्लासरूम" (The Noisy Classroom)
वर्तमान में, प्रशिक्षण प्रक्रिया एक ऐसे क्लासरूम की तरह है जहाँ शिक्षक हर होमवर्क प्रयास को समान रूप से ग्रेड देता है, चाहे उसकी गुणवत्ता कैसी भी हो।
- शोर (The Noise): कुछ छात्र उत्तर "अनुमान से सही" (उन्होंने सही संख्या प्राप्त की लेकिन तर्क गलत था) या "दोहराव वाले" (वे चक्कर काट रहे थे) होते हैं। ये "खराब सेबों" की तरह हैं जो शिक्षक को भ्रमित करते हैं और सीखने की गति को धीमा कर देते हैं।
- बर्बादी (The Waste): शिक्षक एक बार देखने के बाद अच्छे होमवर्क को फेंक देता है। यदि छात्र ने मंगलवार को एक आदर्श समाधान लिखा था, तो शिक्षक बुधवार को उसे अनदेखा कर देता है, भले ही वह अभी भी उपयोगी हो सकता था।
2. समाधान: "स्मार्ट कोच" (The Smart Coach - CBS)
लेखक छात्र के चयन को एक "कॉन्टेक्स्टुअल बैंडिट" नामक खेल के रूप में देखते हैं। इसे एक स्मार्ट कोच के रूप में सोचें जिसे यह तय करना है कि छात्र के किन अभ्यास प्रयासों पर ध्यान केंद्रित करना है।
हर प्रयास को अंधाधुंध देखने के बजाय, कोच हर एक प्रयास के लिए एक 10-आयामी "रिपोर्ट कार्ड" का उपयोग करता है। यह रिपोर्ट कार्ड इन चीजों को ट्रैक करता है:
- छात्र कितना आत्मविश्वासी था? (एन्ट्रॉपी/Entropy)
- इस उत्तर ने स्कोर सुधारने में कितनी मदद की? (एडवांटेज/Advantage)
- उत्तर कितना लंबा था?
- क्या हमने इस विशिष्ट प्रयास को पहले देखा है? (उपयोग गणना/Usage count)
इस रिपोर्ट कार्ड के आधार पर, कोच एक छोटे, तेज़ AI (एक न्यूरल नेटवर्क) का उपयोग करके भविष्यवाणी करता है: "यदि हम इस विशिष्ट प्रयास का अध्ययन करते हैं, तो क्या छात्र बेहतर होगा?"
3. कोच की दो महाशक्तियाँ (Two Superpowers of the Coach)
महाशक्ति A: "क्वालिटी फ़िल्टर" (इंट्रा-ग्रुप सिलेक्शन)
जब छात्र एक गणित की समस्या के लिए 8 उत्तर उत्पन्न करता है, तो कोच उन सभी 8 को नहीं देखता। इसके बजाय, वह तेज़ी से "रिपोर्ट कार्ड" को स्कैन करता है और केवल शीर्ष 3 या 4 सर्वश्रेष्ठ को चुनता है।
- उपमा: एक टैलेंट शो की कल्पना करें। हर ऑडिशन देखने और उन सभी की आलोचना करने के बजाय, कोच तुरंत शीर्ष 3 गायकों को पहचान लेता है और जजों को केवल उन पर ध्यान केंद्रित करने के लिए कहता है। इससे समय बचता है और जजों को खराब गायकों से भ्रमित होने से रोका जा सकता है।
महाशक्ति B: "टाइम ट्रैवलर" (ग्लोबल रियूज)
अधिकांश प्रशिक्षण विधियाँ केवल होमवर्क के नवीनतम बैच को देखती हैं। CBS अलग है। यह एक रीप्ले बफर (replay buffer) रखता है—छात्र के पिछले प्रयासों का एक विशाल डिजिटल फाइलिंग कैबिनेट।
- उपमा: एक ऐसे कोच की कल्पना करें जो न केवल आज के अभ्यास को देखता है, बल्कि पिछले सप्ताह, पिछले महीने और पिछले वर्ष के छात्र के सर्वश्रेष्ठ प्रदर्शनों का एक 'हाइलाइट रील' भी रखता है। जब छात्र फंस जाता है, तो कोच एक बेहतरीन पुराना उदाहरण निकालता है और उसे दिखाता है, "याद करो कि तुमने इस प्रकार की समस्या को पहले कैसे हल किया था?" यह छात्र को तेज़ी से सीखने में मदद करता है क्योंकि वे अपने सबसे अच्छे क्षणों को भूल नहीं रहे होते हैं।
4. परिणाम: तेज़ और स्मार्ट
पेपर ने छह अलग-अलग गणितीय बेंचमार्क (जैसे AIME और MATH) पर इस "स्मार्ट कोच" का परीक्षण किया।
- बेहतर ग्रेड: CBS के साथ प्रशिक्षित मॉडलों ने गणित की समस्याओं पर लगातार उच्च स्कोर प्राप्त किया।
- तेज़ सीखना: क्योंकि कोच ने "खराब सेबों" को फ़िल्टर किया और "अच्छे सेबों" का पुन: उपयोग किया, इसलिए प्रशिक्षण प्रक्रिया में लगभग 50% कम समय लगा। कंप्यूटर को बेकार डेटा प्रोसेस करने में ऊर्जा बर्बाद नहीं करनी पड़ी।
- स्थिरता (Stability): इस सिस्टम ने छात्र को "अनुमान लगाने वाले" उत्तरों या एक ही गलती को दोहराने से भ्रमित होने से रोका, जिससे सीखने का रास्ता स्थिर बना रहा।
सारांश
संक्षेप में, यह पेपर कहता है: सभी AI प्रशिक्षण डेटा को एक जैसा न मानें।
प्रत्येक उत्पन्न उत्तर का अंधाधुंध उपयोग करने और उसे तुरंत फेंक देने के बजाय, शोर को फ़िल्टर करने और सर्वोत्तम उदाहरणों का पुन: उपयोग करने के लिए एक स्मार्ट, अनुकूलन योग्य प्रणाली का उपयोग करें। यह एक ऐसे शिक्षक से अपग्रेड करने जैसा है जो नैपकिन पर लिखे हर निशान को ग्रेड देता है, बनाम एक ऐसे कोच से जो छात्र को जीतने का तरीका सिखाने के लिए एक सटीक 'हाइलाइट रील' तैयार करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।