💻 computer science

Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards

यह शोधपत्र VIP को प्रस्तुत करता है, जो एक वेरियंस-इन्फॉर्म्ड प्रेडिक्टिव एलोकेशन रणनीति है जो ग्रेडिएंट वेरियंस को कम करने और सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ ऑनलाइन सुदृढीकरण शिक्षण (online reinforcement learning) में सैंपलिंग दक्षता को महत्वपूर्ण रूप से सुधारने के लिए गॉसियन प्रोसेस-आधारित वेरियंस अनुमान का उपयोग करके प्रशिक्षण प्रॉम्प्ट्स के बीच रोलआउट वितरण को गतिशील रूप से अनुकूलित करती है।

मूल लेखक: Hieu Trung Nguyen, Bao Nguyen, Wenao Ma, Yuzhi Zhao, Ruifeng She, Viet Anh Nguyen

प्रकाशित 2026-03-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hieu Trung Nguyen, Bao Nguyen, Wenao Ma, Yuzhi Zhao, Ruifeng She, Viet Anh Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (AI) को जटिल गणितीय समस्याओं को हल करने या सर्च इंजन जैसे टूल्स का उपयोग करने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। आपके पास सीमित "कक्षा का समय" (कंप्यूटेशनल बजट) और अभ्यास प्रश्नों का एक ढेर है।

अतीत में, मानक विधि (जिसे GRPO कहा जाता था) प्रत्येक प्रश्न के साथ बिल्कुल एक जैसा व्यवहार करती थी। आप कहते, "ठीक है, इस ढेर के हर प्रश्न के लिए, छात्र को इसे 16 बार हल करने का मौका मिलेगा।"

समस्या:
यह अविश्वसनीय रूप से अक्षम है।

बहुत आसान: कुछ प्रश्न इतने सरल होते हैं कि छात्र पहली कोशिश में ही उन्हें सही हल कर लेता है। उन्हें 16 बार और प्रयास करने के लिए कहना समय की बर्बादी है।
बहुत कठिन: कुछ प्रश्न इतने असंभव होते हैं कि छात्र के वर्तमान स्तर के लिए, वे चाहे कितनी भी कोशिश कर ले, हर बार गलत ही होते हैं। यहाँ 16 प्रयास बर्बाद करना भी समय की बर्बादी है।
बिल्कुल सही: वे प्रश्न जो चुनौतीपूर्ण लेकिन हल करने योग्य हैं, वे ही हैं जहाँ छात्र सबसे अधिक सीखता है। लेकिन पुरानी विधि को यह नहीं पता था कि वे कौन से प्रश्न थे, इसलिए इसने "प्रयासों" को पूरे बोर्ड पर समान रूप से फैला दिया।

समाधान: VIP (वेरिएंस-इन्फॉर्म्ड प्रेडिक्टिव एलोकेशन)
लेखक इस पेपर में एक नई रणनीति पेश करते हैं जिसे VIP कहा जाता है। VIP को एक "स्मार्ट, सहज शिक्षण सहायक" के रूप में सोचें जो छात्र को करीब से देखता है और वास्तविक समय में पाठ योजना को गतिशील रूप से समायोजित करता है।

VIP इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "क्रिस्टल बॉल" (गौसियन प्रोसेस)

छात्र द्वारा प्रश्नों के नए बैच शुरू करने से पहले, VIP एक "क्रिस्टल बॉल" (एक गणितीय मॉडल जिसे गौसियन प्रोसेस कहा जाता है) का उपयोग यह अनुमान लगाने के लिए करता है कि छात्र के प्रत्येक विशिष्ट प्रश्न को सही हल करने की कितनी संभावना है।

यह छात्र के पिछले प्रदर्शन को देखता है।
यह देखता है कि नए प्रश्न पुराने प्रश्नों के कितने समान हैं।
यह भविष्यवाणी करता है: "यह प्रश्न शायद बहुत आसान है (सफलता की 99% संभावना), यह वाला बहुत कठिन है (1% संभावना), और यह वाला बिल्कुल सही है (50% सफलता की संभावना)।"

2. "बजट मैनेजर" (ऑप्टिमाइज़ेशन)

अब, VIP के पास पूरी कक्षा के लिए खर्च करने के लिए "प्रयासों" (रोलआउट्स) की एक निश्चित संख्या है। सबको 16 प्रयास देने के बजाय, VIP एक चतुर बजट मैनेजर की तरह कार्य करता है:

आसान प्रश्न: "आप इसमें पहले से ही अच्छे हैं। मैं केवल 3 प्रयास दूँगा ताकि आप पुष्टि कर सकें कि आप इसे जानते हैं।" (संसाधन बचाएं!)
असंभव प्रश्न: "यह वर्तमान में आपकी क्षमता से बाहर है। मैं आपको 3 प्रयास दूँगा ताकि यह देखा जा सके कि क्या आप भाग्यशाली होते हैं, लेकिन मैं और अधिक समय बर्बाद नहीं करूँगा।" (संसाधन बचाएं!)
"बिल्कुल सही" प्रश्न: "यहीं आप सीखते हैं! मैं आपको 25 प्रयास दूँगा ताकि आप इसे हल करने के विभिन्न तरीकों का पता लगा सकें और अवधारणा में वास्तव में महारत हासिल कर सकें।" (सीखने को अधिकतम करें!)

3. लक्ष्य: "शोर" (Noise) को कम करना

AI की भाषा में, लक्ष्य वैरिएंस (या शोर) को कम करना है।

यदि आप एक आसान प्रश्न पर बेतरतीब ढंग से अनुमान लगाते हैं, तो आपका उत्तर आपको कुछ भी नया नहीं सिखाता है।
यदि आप एक कठिन प्रश्न पर बेतरतीब ढंग से अनुमान लगाते हैं, तो आपका उत्तर केवल शोर है।
लेकिन यदि आप अपना ध्यान उन "अनिश्चित" प्रश्नों पर केंद्रित करते हैं (जो छात्र के लिए कठिन निर्णय लेने वाले क्षण हैं), तो प्रत्येक प्रयास AI के सीखने के लिए एक स्पष्ट, उच्च-गुणवत्ता वाला संकेत प्रदान करता है।

यह एक बड़ी बात क्यों है?

पेपर दिखाता है कि VIP का उपयोग करके, AI उसी मात्रा में कंप्यूटर पावर का उपयोग करके तेजी से और बेहतर सीखता है।

उपमा: कल्पना कीजिए कि आपके पास पानी की एक बाल्टी (आपकी कंप्यूटिंग शक्ति) है। पुरानी विधि ने पूरे खेत में पानी समान रूप से डाला, जिससे कुछ जगह सूखी रह गईं और कुछ जगह बाढ़ आ गई। VIP एक माली की तरह कार्य करता है जो जानता है कि किन पौधों को पानी की आवश्यकता है और वह पानी केवल वहीं डालता है, जिसके परिणामस्वरूप समान मात्रा में पानी के साथ बहुत स्वस्थ बगीचा प्राप्त होता है।

सारांश में:
VIP सभी AI प्रशिक्षण समस्याओं को एक जैसी कठिनाई के रूप में मानना बंद करता है। यह एक स्मार्ट भविष्यवाणी प्रणाली का उपयोग करता है ताकि यह पता लगाया जा सके कि वर्तमान में सीखने के लिए कौन से प्रश्न सबसे मूल्यवान हैं, और यह अपनी अधिकांश कंप्यूटिंग शक्ति उन्हीं विशिष्ट समस्याओं पर लगा देता है। परिणाम स्वरूप, एक स्मार्ट AI प्राप्त होता है जिसे कम समय में प्रशिक्षित किया जा सकता है।

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards" (VIP) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वेरिफिएबल रिवॉर्ड्स के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR), जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) और इसके वेरिएंट (RLOO, Dr. GRPO) में, प्रशिक्षण दक्षता अक्सर हर ट्रेनिंग प्रॉम्प्ट के लिए कई "रोलआउट्स" (उम्मीदवार प्रतिक्रियाओं) को उत्पन्न करने की कम्प्यूटेशनल लागत के कारण बाधित होती है।

वर्तमान सीमा: मौजूदा विधियाँ आमतौर पर प्रत्येक ट्रेनिंग बैच के प्रत्येक प्रॉम्प्ट के लिए एक निश्चित, समान संख्या में रोलआउट्स (जैसे, $n=16$ ) आवंटित करती हैं।
त्रुटि: यह समान आवंटन यह मान लेता है कि सभी प्रॉम्प्ट समान रूप से सूचनात्मक हैं। हालाँकि, वे प्रॉम्प्ट जहाँ मॉडल की सफलता की संभावना बहुत अधिक या बहुत कम होती है, वे ग्रेडिएंट सिग्नल में बहुत कम योगदान देते हैं (कम वेरिएंस), जबकि वे प्रॉम्प्ट जिनकी सफलता की संभावना मध्यम होती है, वे महत्वपूर्ण योगदान देते हैं। समान आवंटन "आसान" या "असंभव" प्रॉम्प्ट्स पर कम्प्यूटेशनल बजट बर्बाद करता है और "कठिन लेकिन सीखने योग्य" प्रॉम्प्ट्स के लिए संसाधनों को कम आवंटित करता है।
लक्ष्य: एक निश्चित कम्प्यूटेशनल बजट (कुल रोलआउट्स) को एक मिनी-बैच के प्रॉम्प्ट्स के बीच इस तरह गतिशील रूप से आवंटित करने के लिए एक सिद्धांत-आधारित रणनीति विकसित करना, जिससे पॉलिसी अपडेट के अपेक्षित ग्रेडिएंट वेरिएंस (expected gradient variance) को न्यूनतम किया जा सके, जिससे सैंपलिंग दक्षता को अधिकतम किया जा सके।

2. कार्यप्रणाली: VIP (Variance-Informed Predictive)

लेखक VIP प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो ग्रेडिएंट वेरिएंस विश्लेषण और एक प्रेडिक्टिव एलोकेशन रणनीति को जोड़ता है। यह वर्कफ़्लो प्रत्येक ट्रेनिंग इटरेशन में दो मुख्य चरणों में संचालित होता है:

A. ग्रेडिएंट वेरिएंस का सैद्धांतिक विश्लेषण (Theoretical Analysis of Gradient Variance)

पेपर पहले ग्रुप-आधारित RL एल्गोरिदम और प्रॉम्प्ट की सफलता की संभावना ( $p$ ) के बीच ग्रेडिएंट वेरिएस के संबंध को व्युत्पन्न करता है।

Dr. GRPO: सफलता की संभावना $p$ और रोलआउट काउंट $n$ वाले प्रॉम्प्ट के लिए ग्रेडिएंट एस्टिमेटर का वेरिएंस $\frac{n-1}{n^2} p(1-p)$ के समानुपाती है।
RLOO: वेरिएंस $\frac{1}{n-1} p(1-p)$ के समानुपाती है।
मुख्य अंतर्दृष्टि: वेरिएंस तब अधिकतम होता है जब $p \approx 0.5$ (अनिश्चित प्रॉम्प्ट्स) और तब न्यूनतम होता है जब $p \approx 0$ या $p \approx 1$ (निश्चित प्रॉम्प्ट्स) होता है। कुल बैच वेरिएंस को कम करने के लिए, सिस्टम को उन प्रॉम्प्ट्स को अधिक रोलआउट्स आवंटित करने चाहिए जिनका $p$ 0.5 के करीब है, और उन प्रॉम्प्ट्स को कम जो 0 या 1 के करीब हैं।

B. प्रेडिक्टिव मॉडलिंग (Gaussian Process)

चूँकि रोलआउट्स उत्पन्न करने से पहले वास्तविक सफलता की संभावना $p$ अज्ञात होती है, VIP इसे अनुमानित करने के लिए गाऊसी प्रोसेस (Gaussian Process - GP) का उपयोग करता है।

इनपुट: प्रॉम्प्ट एम्बेडिंग्स (जैसे, एक सेंटेंस ट्रांसफॉर्मर से)।
मॉडल: एक लेटेंट फंक्शन $g(x)$ सफलता के लॉग-ऑड्स को मॉडल करता है, जहाँ $p = \text{sigmoid}(g(x))$ है।
रिकर्सिव अपडेट्स: GP सफलता की संभावनाओं पर एक पोस्टीरियर डिस्ट्रीब्यूशन बनाए रखता है। जैसे-जैसे मॉडल प्रशिक्षित होता है और नए रोलआउट परिणाम (रिवॉर्ड्स) देखे जाते हैं, GP पूरे डेटासेट के लिए अपने विश्वास (मीन और वेरिएंस) को अपडेट करता है, जो विकसित होती पॉलिसी $\pi_\theta$ के अनुकूल होता है।
लाभ: साधारण ह्यूरिस्टिक्स (जैसे, मूविंग एवरेज) के विपरीत, GP प्रॉम्प्ट्स के बीच समानता संरचना को कैप्चर करता है और प्रशिक्षण प्रक्रिया की नॉन-स्टेशनरी प्रकृति (जहाँ मॉडल में सुधार के साथ $p$ बदलता है) को संभालता है।

C. एडेप्टिव बजट एलोकेशन (Convex Optimization)

एक बार जब GP वर्तमान मिनी-बैच के प्रत्येक प्रॉम्प्ट $q$ के लिए सफलता की संभावना $\hat{p}_q$ का अनुमान लगा लेता है, तो VIP प्रत्येक प्रॉम्प्ट के लिए रोलआउट की संख्या $n_q$ निर्धारित करने के लिए एक ऑप्टिमाइज़ेशन समस्या को हल करता है।

उद्देश्य: बैच में अनुमानित ग्रेडिएंट वेरिएस के योग को कम करना।
बाधाएं (Constraints):
- कुल बजट: $\sum n_q = C$ (निश्चित कुल रोलआउट्स)।
- सीमाएँ: $L \le n_q \le U$ (स्थिरता सुनिश्चित करने और ओवरफिटिंग को रोकने के लिए प्रति प्रॉम्प्ट न्यूनतम और अधिकतम रोलआउट्स)।
समाधान: लेखक सिद्ध करते हैं कि इस समस्या का कंटीन्यूअस रिलैक्सेशन 'कॉन्वेक्स' (convex) है। वे लैग्रेंज मल्टीप्लायर्स (बाइसेक्शन मेथड) का उपयोग करके एक सटीक समाधान व्युत्पन्न करते हैं और एक ग्रीडी राउंडिंग ह्यूरिस्टिक (greedy rounding heuristic) का प्रस्ताव करते हैं ताकि निरंतर समाधान को एक पूर्णांक (integer) आवंटन में बदला जा सके जो हार्ड बजट बाधा को पूरा करता हो।

3. मुख्य योगदान (Key Contributions)

ग्रेडिएंट वेरिएंस विश्लेषण: Dr. GRPO और RLOO के लिए ग्रेडिएंट वेरिएस का कठोर व्युत्पन्न, जो वेरिएंस, रोलआउट काउंट और सफलता की संभावना के बीच सीधा गणितीय संबंध स्थापित करता है।
वेरिएंस-इन्फॉर्म्ड प्रेडिक्शन: प्रॉम्प्ट एम्बेडिंग्स का लाभ उठाते हुए और नॉन-स्टेशनरी ट्रेनिंग डायनेमिक्स को संभालने के लिए रिकर्सिव बायेसियन अपडेट्स का उपयोग करते हुए, सफलता की संभावनाओं को गतिशील रूप से अनुमानित करने के लिए एक GP-आधारित फ्रेमवर्क का परिचय।
ऑप्टिमल एलोकेशन एल्गोरिदम: रोलआउट एलोकेशन के लिए कंस्ट्रेंड कॉन्वेक्स ऑप्टिमाइज़ेशन समस्या को हल करने के लिए एक कुशल एल्गोरिदम का विकास, जो निरंतर रिलैक्सेशन के लिए सटीक समाधान और पूर्णांक बाधाओं के लिए एक व्यावहारिक ह्यूरिस्टिक प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न बेंचमार्क और मॉडल साइज पर कई कार्यों (जैसे गणितीय तर्क और टूल-ऑगमेंटेड रीजनिंग) का उपयोग करके यह प्रदर्शित करना कि VIP लगातार यूनिफॉर्म और ह्यूरिस्टिक एलोकेशन रणनीतियों से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न बैकबोन मॉडल्स (Qwen2.5-Math-1.5B/7B, Llama-3.2-3B) का उपयोग करके गणितीय तर्क (DAPO-MATH-17k, AIME2024/2025 पर मूल्यांकित) और टूल-ऑगमेंटेड रीजनिंग (MuSiQue, Bamboogle) कार्यों पर VIP का मूल्यांकन किया।

प्रदर्शन लाभ:
- मैथ रीजनिंग: VIP ने लगातार Pass@32 और Mean@32 मेट्रिक्स में सुधार किया। उदाहरण के लिए, $8 \times Q$ के बजट के साथ Qwen2.5-Math-1.5B पर, RLOO+VIP ने मानक RLOO की तुलना में Pass@32 में +12.3% का सुधार किया।
- टूल-ऑगमेंटेड रीजनिंग: Bamboogle बेंचमार्क पर, Dr. GRPO+VIP ने सटीक मिलान (Exact Match - EM) को 20% से बढ़ाकर 23.2% कर दिया, जबकि साथ ही रिट्रीवल क्वालिटी (F1@5 और Precision@5) में भी सुधार किया।
- मॉडल साइज संवेदनशीलता: सापेक्ष लाभ छोटे मॉडल्स (1.5B, 3B) के लिए अधिक स्पष्ट थे, जो सुझाव देते हैं कि VIP कमजोर बैकबोन्स को रोलआउट बजट का अधिक प्रभावी ढंग से उपयोग करने में मदद करता है।
दक्षता: GP प्रेडिक्शन और ऑप्टिमाइज़ेशन का कम्प्यूटेशनल ओवरहेड नगण्य है (कुल ट्रेनिंग समय में केवल ~0.8% से 1.1% जोड़ता है), क्योंकि कर्नेल कंप्यूटेशन कैश किया जाता है और ऑप्टिमाइज़ेशन तेज़ है।
एब्लेशन स्टडीज: GP प्रेडिक्टर को हटाने (Ridge Regression से बदलने) या एडेप्टिव एलोकेटर को हटाने (Inverse Accuracy/Variance ह्यूरिस्टिक्स से बदलने) के परिणामस्वरूप प्रदर्शन में महत्वपूर्ण गिरावट आई, जिससे पुष्टि हुई कि अनिश्चितता-जागरूक भविष्यवाणी (uncertainty-aware prediction) और वेरिएंस-मिनिमाइजिंग एलोकेशन दोनों महत्वपूर्ण हैं।

5. महत्व (Significance)

संसाधन दक्षता: VIP, यह सुनिश्चित करके RLVR की उच्च कम्प्यूटेशनल लागत को संबोधित करता है कि प्रत्येक उत्पन्न टोकन लर्निंग सिग्नल में अधिकतम योगदान दे। यह RL ट्रेनिंग को बड़े मॉडल्स और डेटासेट्स तक स्केल करने के लिए महत्वपूर्ण है जहाँ कंप्यूट एक प्राथमिक बाधा है।
सिद्धांत-आधारित दृष्टिकोण: पिछले "करिकुलम लर्निंग" या "कठिनाई-आधारित" तरीकों के विपरीत, जो ह्यूरिस्टिक्स या प्री-सैंपलिंग पर निर्भर करते हैं, VIP ग्रेडिएंट वेरिएंस को कम करने के लिए एक सैद्धांतिक रूप से ठोस (theoretically grounded) विधि प्रदान करता है, जो सीधे अभिसरण (convergence) की स्थिरता और गति को अनुकूलित करता है।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क मॉडल-अज्ञेय (model-agnostic) है और विभिन्न ग्रुप-आधारित RL एल्गोरिदम (GRPO, RLOO, Dr. GRPO) के साथ संगत है और इसे निरंतर रिवॉर्ड सेटिंग्स में विस्तारित किया जा सकता है।
भविष्य का प्रभाव: यह कार्य बड़े भाषा मॉडल्स (LLMs) के लिए अधिक अनुकूल और संसाधन-कुशल प्रशिक्षण पाइपलाइन के लिए मार्ग प्रशस्त करता है, जो संभावित रूप से मॉडल्स को मानवीय इरादों या जटिल कार्यों के साथ संरेखित करने की लागत और कार्बन फुटप्रिंट को कम कर सकता है।