Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards
यह शोध पत्र सत्यापन योग्य पुरस्कारों (RLVR) वाले सुदृढीकरण शिक्षण (reinforcement learning) में विचरण-जागरूक बेसलाइन (variance-aware baselines) और अनुकूलन योग्य लर्निंग रेट्स के लिए एक सैद्धांतिक ढांचा स्थापित करता है, जो एक इष्टतम ग्रेडिएंट-भारित बेसलाइन और सिग्नल-टू-नॉइज़ अनुपात-आधारित लर्निंग-रेट शेड्यूल व्युत्पन्न करता है जो सामूहिक रूप से नीति अनुकूलन प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए OBLR-PO पद्धति का निर्माण करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अराजक (chaotic) रोबोट को जटिल गणितीय पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। आपके पास कोई शिक्षक नहीं है जो उसके हर कदम पर खड़ा होकर उसकी गलतियों को सुधार सके; इसके बजाय, आपको केवल उसके प्रयास के अंत में एक साधारण "हाँ" या "नहीं" मिलता है। यह Reinforcement Learning with Verifiable Rewards (RLVR) की दुनिया है। यह विशाल AI दिमागों को बेहतर ढंग से तर्क करने के लिए प्रशिक्षित करने का एक लोकप्रिय तरीका है। रोबोट एक समाधान आज़माता है, एक स्कोर प्राप्त करता है, और फिर अगली बार बेहतर करने के लिए अपने मस्तिष्क में बदलाव करता है।
हालाँकि, एक समस्या है: रोबोट की सीखने की प्रक्रिया एक ऐसे जहाज को चलाने जैसी है जो एक अस्थिर कंपास का उपयोग करके घने कोहरे वाले तूफान के बीच से रास्ता खोजने की कोशिश कर रहा है। "हाँ" या "नहीं" के स्कोर को समझने के लिए, रोबोट को दो चीजों की आवश्यकता होती है: एक बेसलाइन (एक संदर्भ बिंदु यह जानने के लिए कि क्या एक स्कोर वास्तव में अच्छा है या केवल औसत है) और एक लर्निंग रेट (यह तय करने के लिए कि उसे उस स्कोर के आधार पर कितना बड़ा कदम उठाना चाहिए)। वर्तमान में, इंजीनियर इन सेटिंग्स को अनुमान लगाकर या पुराने नियमों का पालन करके चुनते हैं, जिससे अक्सर रोबोट को कोहरे में भटकना पड़ता है, वह बहुत धीरे सीखता है या इतने बड़े कदम उठा लेता है कि वह जो कुछ भी अभी सीखा था उसे भूल जाता है।
यह शोध पत्र, जिसका शीर्षक "Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards" है, उस जहाज के लिए एक नए, उच्च-तकनीकी नेविगेशन सिस्टम की तरह काम करता है। लेखकों, ज़िक्सुन हुआंग, जियाई शेंग और ज़ेयु झेंग ने अनुमान लगाना बंद करने का निर्णय लिया। उन्होंने यह पता लगाने के लिए एक गणितीय मानचित्र बनाया कि सबसे अच्छा संदर्भ बिंदु कैसे चुना जाए और रोबोट के लिए एकदम सही कदम का आकार कैसे निर्धारित किया जाए। उन्होंने पाया कि स्कोर का औसत निकालने का पुराना तरीका बहुत अनाड़ी है। इसके बजाय, उन्होंने खोजा कि रोबोट को अपने अनुभवों को इस आधार पर तौलना चाहिए कि प्रत्येक अनुभव में कितनी "मेहनत" (गणितीय रूप से, ग्रेडिएंट मैग्नीट्यूड) लगी थी। इसके अलावा, उन्होंने महसूस किया कि जब संकेत स्पष्ट हो तो रोबोट को बड़े, आत्मविश्वासी कदम उठाने चाहिए और जब संकेत शोर भरा (noisy) हो तो छोटे, सतर्क कदम उठाने चाहिए। इन दोनों अंतर्दृष्टि को जोड़कर, उन्होंने एक नई विधि बनाई जिसे OBLR-PO (Optimal Baseline and Learning-Rate Policy Optimization) कहा जाता है। जब उन्होंने एक गणित हल करने वाले AI, Qwen3-4B-Base पर इसका परीक्षण किया, तो इसने पिछले सर्वोत्तम तरीकों की तुलना में तेजी से सीखा और अधिक समस्याओं को सही ढंग से हल किया, जिससे यह सिद्ध हुआ कि AI प्रशिक्षण के अराजक माहौल को नियंत्रित करने के लिए थोड़ा सा गणित बहुत काम आ सकता है।
समस्या: कोहरे में स्टीयरिंग करना
AI को प्रशिक्षित करना एक कुत्ते को चीज़ें लाना सिखाने जैसा है। यदि कुत्ता एक छड़ी लाता है, तो आप कहते हैं "अच्छा!" यदि वह एक पत्थर लाता है, तो आप कहते हैं "नहीं।" लेकिन क्या होगा यदि कुत्ता एक ऐसी छड़ी लाता है जो कीचड़ में आधी दबी हुई है? क्या वह "अच्छा" है या "नहीं"? AI की दुनिया में, यह बेसलाइन की समस्या है। आपको यह जानने के लिए एक "सामान्य" प्रदर्शन की आवश्यकता है कि क्या कोई विशिष्ट प्रयास वास्तविक सफलता थी या केवल एक इत्तेफाक।
अधिकांश वर्तमान विधियाँ एक साधारण औसत का उपयोग करती हैं। वे कहती हैं, "पिछली बार कुत्ते को एक छड़ी, एक पत्थर और एक जूता मिला था। औसत एक 'मध्यम' इनाम है, इसलिए आइए आज की छड़ी की तुलना उससे करें।" लेकिन यह एक मैराथन धावक के प्रदर्शन को शहर के सभी लोगों के औसत वेग से आंकने जैसा है, जिसमें किराने की दुकान तक पैदल चलने वाले लोग भी शामिल हैं। यह इस बात पर ध्यान नहीं देता कि धावक ने वास्तव में कितनी मेहनत की।
फिर आता है लर्निंग रेट। यह उस कदम का आकार है जो AI सीखने के बाद उठाता है। यदि AI 100% आश्वस्त है कि उसने अच्छा किया है, तो उसे एक बड़ा कदम उठाना चाहिए। यदि AI भ्रमित है और डेटा अव्यवस्थित है, तो उसे एक छोटा, सावधानी भरा कदम उठाना चाहिए। अधिकांश विधियाँ एक निश्चित कदम के आकार का उपयोग करती हैं, जैसे कि एक रोबोट जो चिकके फुटपाथ पर भी उसी गति से चलता है जैसे कि मलबे के ढेर पर। इससे अक्सर AI या तो बहुत धीरे सीखता है या लड़खड़ाकर गिर जाता है।
समाधान: एक स्मार्ट कंपास
इस शोध पत्र के लेखकों ने दो सरल प्रश्न पूछे: "सफलता मापने के लिए एकदम सही संदर्भ बिंदु क्या है?" और "अगला कदम कितना बड़ा होना चाहिए?"
उन्होंने AI के "ब्रेन अपडेट्स" के पीछे के गणित को देखकर शुरुआत की। उन्होंने पाया कि बेसलाइन की गणना करने का पुराना तरीका एक महत्वपूर्ण जानकारी को छोड़ रहा था: प्रत्येक विशिष्ट उदाहरण ने सीखने को कितना प्रभावित किया। कुछ उदाहरण आसान होते हैं; अन्य कठिन होते हैं। "कठिन" उदाहरण सीखने की प्रक्रिया में अधिक भार (weight) रखते हैं।
नया बेसलाइन: भारित औसत (Weighted Average)
एक साधारण औसत के बजाय, लेखकों ने एक वेरिएंस-ऑप्टिमल बेसलाइन का प्रस्ताव दिया। कल्पना कीजिए कि आप छात्रों की एक कक्षा को ग्रेड दे रहे हैं। एक साधारण औसत सभी अंकों को जोड़ता है और उन्हें छात्रों की संख्या से विभाजित करता है। लेकिन नई विधि कहती है, "आइए उन छात्रों को अधिक महत्व दें जिन्होंने सबसे अधिक मेहनत की।" AI के मामले में, यह पुरस्कारों को "ग्रेडिएंट मैग्नीट्यूड" के आधार पर तौलता है—जो एक शानदार तरीका है यह बताने का कि "इस विशिष्ट उदाहरण को सीखने के लिए कितनी मेहनत की आवश्यकता थी।"
उन्होंने एक सुरक्षा जाल भी जोड़ा जिसे KL रेगुलराइजेशन कहा जाता है। यह एक "अपनी जड़ों को न भूलें" नियम की तरह है। यह AI को सीखते समय अपने व्यक्तित्व को बहुत अधिक नाटकीय रूप से बदलने से रोकता है। लेखकों ने दिखाया कि जब आप इस "अपनी जड़ों को न भूलें" नियम को "भारित प्रयास" (weighted effort) बेसलाइन के साथ मिलाते हैं, तो आपको सफलता मापने का एक बहुत अधिक स्थिर और सटीक तरीका मिलता है।
नया लर्निंग रेट: सिग्नल-टू-नॉइज़ रेशियो (Signal-to-Noise Ratio)
कदम के आकार के लिए, लेखकों ने सिग्नल-टू-नॉइज़ रेशियो (SNR) की अवधारणा पेश की। कल्पना कीजिए कि आप एक भीड़ भरे कमरे में अपने दोस्त की आवाज़ सुनने की कोशिश कर रहे हैं।
- उच्च सिग्नल (High Signal): आपका दोस्त स्पष्ट रूप से चिल्ला रहा है। आप उनकी बात पर भरोसा कर सकते हैं और तुरंत प्रतिक्रिया दे सकते हैं (बड़ा कदम उठाएं)।
- उच्च शोर (High Noise): कमरा शोर से भरा है, और आप उन्हें मुश्किल से सुन पा रहे हैं। आपको रुकना चाहिए, ध्यान से सुनना चाहिए, और शायद केवल सिर हिलाना चाहिए (छोटा कदम उठाएं)।
शोध पत्र गणितीय रूप से सिद्ध करता है कि सबसे अच्छा लर्निंग रेट सीधे तौर पर इस SNR से जुड़ा हुआ है। यदि AI का ग्रेडिएंट (वह दिशा जिसमें वह आगे बढ़ना चाहता है) स्पष्ट और मजबूत है, तो लर्निंग रेट बढ़ जाता है। यदि ग्रेडिएंट अव्यवस्थित और शोर भरा है, तो लर्निंग रेट कम हो जाता है। यह केवल एक निश्चित संख्या चुनने और उस पर टिके रहने वाले पुराने तरीके से एक बहुत बड़ा बदलाव है।
परिणाम: OBLR-PO
लेखकों ने इन दोनों विचारों को एक एकल, शक्तिशाली विधि में संयोजित किया जिसे OBLR-PO कहा जाता है।
- बेसलाइन: यह पुरस्कारों के "ग्रेडिएंट-वेटेड" औसत का उपयोग करता है, जिसका अर्थ है कि यह उन उदाहरणों पर विशेष ध्यान देता है जिन्हें सीखना सबसे कठिन था।
- लर्निंग रेट: यह गतिशील रूप से कदम के आकार को इस आधार पर समायोजित करता है कि सीखने का संकेत कितना स्पष्ट है।
उन्होंने परीक्षण के लिए एक 4-बिलियन पैरामीटर वाले AI मॉडल (Qwen3-4B-Base) का उपयोग किया जिसे गणित की समस्याओं पर प्रशिक्षित किया गया था। परिणाम प्रभावशाली थे।
- अपने आप में, नए बेसलाइन ने AI को PPO, ReMax और RLOO जैसे मानक तरीकों की तुलना में अधिक सटीक बनाया।
- अपने आप में, नए लर्निंग रेट नियम ने उन सभी अलग-अलग तरीकों के प्रदर्शन में सुधार किया जिनका परीक्षण किया गया था।
- साथ मिलकर, उन्होंने सबसे मजबूत प्रदर्शन करने वाला सिस्टम बनाया। GSM8K (एक गणितीय तर्क परीक्षण) जैसे बेंचमार्क पर, नई विधि ने 87.19% सटीकता प्राप्त की, जो पिछले सर्वश्रेष्ठ 85.60% (GRPO) और 83.93% (RLOO) को पीछे छोड़ देती है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र केवल एक मामूली बदलाव का सुझाव नहीं देता है; यह एक सैद्धांतिक प्रमाण प्रदान करता है कि ये परिवर्तन कुछ स्थितियों के तहत इष्टतम (optimal) हैं। लेखकों ने दिखाया कि उनकी विधि सीखने की प्रक्रिया में "शोर" को कम करती है, जिससे AI का बुद्धिमत्ता की ओर मार्ग अधिक सुचारू और सीधा हो जाता है।
उन्होंने यह भी प्रदर्शित किया कि ये दो सुधार मॉड्यूलर हैं। आप नए लर्निंग रेट नियम का उपयोग किसी भी मौजूदा AI प्रशिक्षण पद्धति के साथ कर सकते हैं, और यह संभवतः इसे बेहतर बना देगा। आप नए बेसलाइन का उपयोग अन्य विधियों के साथ भी कर सकते हैं। लेकिन जब आप उन्हें एक साथ रखते हैं, तो आपको नए सिस्टम की पूरी शक्ति मिलती है।
संक्षेप में, लेखकों ने गणित की समस्याओं को हल करने के लिए AI को प्रशिक्षित करने की अराजक, अनुमान-आधारित प्रक्रिया को एक सटीक, गणितीय रूप से ठोस रणनीति से बदल दिया। उन्होंने दिखाया कि प्रत्येक उदाहरण के "प्रयास" को सुनकर और यह देखकर कि संकेत कितना स्पष्ट है, हम AI को बेहतर, तेज़ और अधिक विश्वसनीय तरीके से तर्क करना सिखा सकते हैं। यह एक याद दिलाता है कि कभी-कभी, आगे बढ़ने का सबसे अच्छा तरीका अनुमान लगाना बंद करना और शोर को मापना शुरू करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।