📊 statistics

On the optimization dynamics of RLVR: Gradient gap and step size thresholds

यह शोध पत्र "ग्रेडिएंट गैप" (Gradient Gap) को पेश करके 'वेरिफिएबल रिवार्ड्स के साथ रिइन्फोर्समेंट लर्निंग' (RLVR) के लिए एक सैद्धांतिक आधार स्थापित करता है ताकि अभिसरण गतिकी (convergence dynamics) की व्याख्या की जा सके और एक महत्वपूर्ण स्टेप-साइज़ थ्रेशोल्ड (step-size threshold) को व्युत्पन्न किया जा सके जो यह निर्धारित करता है कि सीखना सफल होगा या विफल, जिससे लेंथ नॉर्मलाइजेशन (length normalization) जैसे व्यावहारिक ह्यूरिस्टिक्स और सफलता दरों के ठहराव के लिए एक सिद्धांत-आधारित स्पष्टीकरण प्राप्त होता है।

मूल लेखक: Joe Suk, Yaqi Duan

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joe Suk, Yaqi Duan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बुद्धिमान लेकिन थोड़े अनाड़ी रोबोट को गणित की समस्याएँ हल करना सिखा रहे हैं। आपके पास कोई ऐसा शिक्षक नहीं है जो हर कदम पर उसके ऊपर खड़ा होकर विस्तृत फीडबैक दे सके। इसके बजाय, आप उसे अंत में केवल एक सरल "हाँ" (1) या "नहीं" (0) देते हैं: "क्या आपको सही उत्तर मिला?"

यह RLVR (वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग) की दुनिया है। यह बड़े AI मॉडल्स को बिना हर प्रयास के लिए मानव न्यायाधीशों की आवश्यकता के, तर्क करने में बेहतर बनाने का तरीका है।

यह शोध पत्र यह समझने की कोशिश करता है कि इसका "सीक्रेट सॉस" (गुप्त नुस्खा) क्या है—यह क्यों काम करता है, यह कभी-कभी बुरी तरह से क्यों विफल होता है, और रोबोट को क्रैश होने से बचाने के लिए इसकी सीखने की गति को कैसे ट्यून किया जाए।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. मुख्य समस्या: "बाइनरी" फीडबैक लूप

आमतौर पर, जब आप कुछ सीखते हैं, तो आपको एक स्कोर मिलता है जैसे "85/100"। RLVR में, स्कोर केवल 1 (सही) या 0 (गलत) होता है।

चुनौती: यदि रोबोट को "0" मिलता है, तो उसे यह नहीं पता चलता कि वह क्यों विफल हुआ। उसे बस इतना पता है कि उसे बदलाव करने की आवश्यकता है। यदि वह बहुत अधिक बदलाव करता है, तो वह "पूरी तरह से गलत" से बदलकर "एक अलग तरीके से पूरी तरह से गलत" हो सकता है, या यहाँ तक कि चलना भी भूल सकता है।

2. नई अवधारणा: "ग्रेडिएंट गैप" (द компаस/दिशा-सूचक)

लेखक एक नया विचार पेश करते हैं जिसे ग्रेडिएंट गैप कहा जाता है। इसे एक कंपास के रूप में सोचें।

कल्पना करें कि रोबोट एक अंधेरे कमरे में है जो फर्नीचर (गलत उत्तरों) से भरा हुआ है और एक अकेला खुला दरवाजा (सही उत्तर) है।
"ग्रेडिएंट गैप" वह वेक्टर है जो फर्नीचर से सीधे दरवाजे की ओर इशारा करता है।
पेपर यह सिद्ध करता है कि रोबोट के सीखने के लिए, उसके अपडेट्स (उसके कदम) इस कंपास के साथ संरेखित (align) होने चाहिए। यदि रोबोट उस दिशा में चलने की कोशिश करता है जो इस कंपास के साथ संरेखित नहीं है, तो वह दरवाजे के करीब नहीं पहुचेगा, चाहे वह कितनी भी कोशिश क्यों न करे।

3. खतरा क्षेत्र: "स्टेप साइज" (गति/ताल)

यह इस शोध पत्र की सबसे महत्वपूर्ण खोज है। रोबोट को सीखने के लिए कदम उठाने की आवश्यकता होती है, लेकिन उन कदमों का आकार सीखने की प्रक्रिया के लिए जीवन और मृत्यु का मामला है।

गोल्डिलॉक्स ज़ोन (Goldilocks Zone): सीखने के लिए एक विशिष्ट "सुरक्षित गति" होती है।
- बहुत धीमा: रोबोट सीखता है, लेकिन इसमें बहुत समय लगता है।
- बिल्कुल सही: रोबोट लगातार दरवाजे की ओर बढ़ता है और अंततः उसे ढूंढ लेता है।
- बहुत तेज़ ("ओवरशूट"): यह इस पेपर की बड़ी चेतावनी है। यदि रोबोट बहुत बड़ा कदम उठाता है, तो वह केवल दरवाजे को मिस नहीं करता; वह दरवाजे के पार निकल जाता है, दीवार से टकरा जाता है, और वहीं पहुँच जाता है जहाँ से उसने शुरू किया था, बल्कि उससे भी बदतर स्थिति में।
- "कोलैप्स" (पतन): यह पेपर गणितीय रूप से सिद्ध करता है कि यदि स्टेप साइज बहुत बड़ा है, तो रोबोट का प्रदर्शन केवल रुकता नहीं है; यह सक्रिय रूप से बदतर होता जाता है जब तक कि यह 0% सफलता तक नहीं पहुँच जाता। यह एक स्कीयर (skier) की तरह है जो ढलान से नीचे जा रहा है और बहुत तेज़ गति से बहुत तीखा मुड़ने की कोशिश करता है और पलट जाता है।

4. लंबाई का महत्व (लंबी पैदल यात्रा की उपमा)

पेपर यह भी देखता है कि रोबोट का उत्तर कितना लंबा है।

छोटा उत्तर: एक छोटा उत्तर एक छोटी पैदल यात्रा की तरह है। आप अपना संतुलन खोए बिना अपेक्षाकृत बड़ा कदम उठा सकते हैं।
लंबा उत्तर: एक लंबा उत्तर (जैसे कई चरणों वाला एक जटिल गणितीय प्रमाण) एक लंबी, घुमावदार हाइकिंग की तरह है।
खोज: उत्तर जितना लंबा होगा, स्टेप साइज उतना ही छोटा होना चाहिए।
वास्तविक दुनिया से संबंध: यह समझाता है कि लोकप्रिय AI ट्रिक्स जैसे "लेंथ नॉर्मलाइजेशन" (उत्तर की लंबाई से लर्निंग सिग्नल को विभाजित करना) क्यों काम करते हैं। वे अनिवार्य रूप से रोबोट को कह रहे हैं: "हे, यह उत्तर लंबा है, इसलिए छोटे, सुरक्षित कदम उठाएं।" इसके बिना, रोबोट एक लंबे रास्ते पर बड़े कदम उठाने की कोशिश करता है और खाई में गिर जाता है।

5. "स्टैग्नेशन" (ठहराव) का जाल

भले ही रोबोट क्रैश न हो, वह फंस भी सकता है।

यदि रोबोट के कदम बहुत छोटे हैं, या यदि वह गलत दिशा में चल रहा है (ग्रेडिएंट गैप के साथ संरेखित नहीं है), तो वह एक "सीलिंग" (सीमा) से टकरा जाएगा।
पेपर दिखाता है कि एक निश्चित लर्निंग रेट के साथ, रोबोट बहुत अच्छा (मान लीजिए 90% सही) हो सकता है, लेकिन फिर ठहराव (stagnate) का शिकार हो जाता है और कभी 100% तक नहीं पहुँच पाता। वह एक पठार (plateau) पर फंस जाता है क्योंकि "स्टेप साइज" लक्ष्य के करीब आने के साथ अनुकूलित नहीं हो रहा है।

6. उन्होंने इसका परीक्षण कैसे किया

लेखकों ने केवल कागज पर गणित नहीं किया। उन्होंने:

सिमुलेशन किया: उन्होंने अपने स्टेप साइज और एलाइनमेंट के बारे में गणित को सिद्ध करने के लिए सरल कंप्यूटर गेम (जैसे 100 बटनों वाली स्लॉट मशीन) बनाए।
वास्तविक दुनिया का परीक्षण: उन्होंने एक वास्तविक, शक्तिशाली गणित हल करने वाले AI (Qwen2.5-Math-7B) को कठिन गणितीय समस्याओं पर प्रशिक्षित किया। उन्होंने "ग्रेडिएंट गैप" और "स्टेप साइज" को वास्तविक समय में देखा और पुष्टि की कि उनके सिद्धांत ने ठीक उसी समय भविष्यवाणी की जब मॉडल तेजी से सीख रहा था, कब वह रुक गया था, और कब वह क्रैश हो गया था।

सारांश

यह पेपर तब AI ट्रेनिंग को ट्यून करने के लिए "इंस्ट्रक्शन मैनुअल" प्रदान करता है जब आपके पास केवल एक सरल Yes/No रिवॉर्ड हो।

कंपास: आपको यह सुनिश्चित करना होगा कि रोबोट सही दिशा में बढ़ रहा है (ग्रेडिएंट गैप)।
ताल (Pace): आपको उत्तर की लंबाई के आधार पर स्टेप साइज को समायोजित करना होगा।
चेतावनी: यदि आप बहुत तेज़ी से चलते हैं, तो रोबोट क्रैश हो जाएगा और सब कुछ भूल जाएगा। यदि आप बहुत धीरे चलते हैं या गलत दिशा में चलते हैं, तो आप फंस जाएंगे।

यह AI ट्रेनिंग के "ब्लैक बॉक्स" को स्थिरता के स्पष्ट, गणितीय नियमों के सेट में बदल देता है।

तकनीकी सारांश: RLVR के अनुकूलन गतिकी (Optimization Dynamics) पर

समस्या विवरण

वेरिफिएबल रिवॉर्ड्स के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) गणितीय तर्क और कोड जनरेशन जैसे कार्यों के लिए बड़े भाषा मॉडलों (LLMs) के पोस्ट-ट्रेनिंग हेतु एक प्रमुख प्रतिमान (paradigm) के रूप में उभरा है। पारंपरिक मानव फीडबैक से सुदृढीकरण शिक्षण (RLHF) के विपरीत, RLVR सीखे गए रिवॉर्ड मॉडल या मानवीय प्राथमिकताओं के बजाय विरल (sparse), बाइनरी सफलता/विफलता संकेतों पर निर्भर करता है। जबकि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) और इसके वेरिएंट (जैसे DAPO, Dr. GRPO) ने महत्वपूर्ण अनुभवजन्य सफलता प्रदर्शित की है, उनके अनुकूलन गतिकी (optimization dynamics) की सैद्धांतिक समझ सीमित है। अभ्यासकर्ता अक्सर प्रशिक्षण को स्थिर करने के लिए ह्यूरिस्टिक्स (heuristics)—जैसे कि लेंथ नॉर्मलाइजेशन या वेरिएंस-आधारित रिवॉर्ड स्केलिंग—पर निर्भर करते हैं, फिर भी वे स्थितियाँ जिनमें ये विधियाँ अभिसरण (converge) करती हैं, रुक जाती हैं (stagnate), या विनाशकारी रूप से विफल (catastrophically fail) हो जाती हैं, उन्हें कठोरता से परिभाषित नहीं किया गया है। यह शोध पत्र बाइनरी रिवॉर्ड्स के तहत पॉलिसी ग्रेडिएंट विधियों के अभिसरण गारंटी का विश्लेषण करके अनुभवजन्य प्रदर्शन और सैद्धांतिक समझ के बीच के अंतर को संबोधित करता है।

कार्यप्रणाली (Methodology)

लेखक RLVR के प्रशिक्षण गतिकी का विश्लेषण करने के लिए दो स्तरों की सूक्ष्मता (granularity) पर एक सैद्धांतिक ढांचा विकसित करते हैं: ट्रैजेक्टरी स्तर (पूरे रिस्पॉन्स को एक एकल इकाई के रूप में मानना) और टोकन स्तर (ऑटोरेग्रेसिव जनरेशन प्रक्रिया को ध्यान में रखना)।

मुख्य अवधारणाएं

ग्रेडिएंट गैप (Gradient Gap): शोध पत्र एक नवीन मात्रा, ग्रेडिएंट गैप ( $g^+_q - g^-_q$ ) पेश करता है, जिसे सही प्रतिक्रियाओं के स्थान ( $O^+_q$ ) और गलत प्रतिक्रियाओं के स्थान ( $O^-_q$ ) पर अपेक्षित स्कोर फंक्शन्स (लॉग-प्रोबेबिलिटी ग्रेडिएंट्स) के बीच का अंतर माना गया है। यह गैप उस वास्तविक दिशा को औपचारिक रूप देता है जो नीति को कम-रिवॉर्ड से उच्च-रिवॉर्ड वाले क्षेत्रों की ओर स्थानांतरित करने के लिए आवश्यक है।
गैप एलाइनमेंट (Gap Alignment): लेखक गैप एलाइनमेंट ( $\Delta\mu_q$ ) को वास्तविक अपडेट दिशा ( $w_k$ ) और ग्रेडिएंट गैप के बीच के इनर प्रोडक्ट के रूप में परिभाषित करते हैं। यह मीट्रिक मात्रात्मक रूप से मापता है कि एल्गोरिदम का अपडेट वास्तविक उद्देश्य के साथ कितनी अच्छी तरह संरेखित (align) है।
संचयी गैप एलाइनमेंट (Cumulative Gap Alignment): दीर्घकालिक व्यवहार को चरित्रित करने के लिए, शोध पत्र एक संचयी मीट्रिक ( $M_q(K)$ ) को परिभाषित करता है जो स्टेप साइज द्वारा भारित (weighted) होकर प्रशिक्षण पुनरावृत्तियों (iterations) पर एलाइनमेंट सिग्नल को एकत्रित करता है।

सैद्धांतिक विश्लेषण

यह विश्लेषण पॉलिसी स्कोर फंक्शन की स्मूथनेस और बाउंडेडनेस (Assumptions 1 and 2) और रिस्पॉन्स लेंथ की सब-एक्सपोनेंशियल प्रकृति (Assumption 3) के संबंध में मानक रेगुलेरिटी धारणाओं पर आधारित है।

ट्रैजेक्टरी-स्तरीय विश्लेषण: लेखक प्रत्येक अपडेट स्टेप पर सफलता दर के लॉग-ऑड्स ( $J_q$ ) में परिवर्तन के लिए बाउंड्स (bounds) प्राप्त करते हैं। वे स्थापित करते हैं कि प्रथम-क्रम (first-order) का सुधार गैप एलाइनमेंट द्वारा संचालित होता है, जबकि द्वितीय-क्रम के वेरिएंस टर्म्स (विशेष रूप से नेगेटिव स्पेस का वेरिएंस) अस्थिरता पैदा कर सकते हैं यदि स्टेप साइज बहुत बड़ा हो।
टोकन-स्तरीय विश्लेषण: ग्रेडिएंट को टोकन-वार योगदानों में विभाजित करके, लेखक अभिसरण बाउंड्स को परिष्कृत करते हैं। यह विश्लेषण स्पष्ट रूप से रिस्पॉन्स लेंथ ( $T_\infty, T_{\psi_1}$ ) को शामिल करता है, जिससे पता चलता है कि विचलन (divergence) को रोकने के लिए प्रभावी स्टेप साइज को अनुक्रम लंबाई (sequence length) के व्युत्क्रमानुपाती (inversely proportional) होना चाहिए।

मुख्य योगदान

1. RLVR के लिए एकीकृत सैद्धांतिक ढांचा

शोध पत्र एक सिद्धांत-आधारित ढांचा प्रदान करता है जो बाइनरी रिवॉर्ड्स के तहत काम करने वाले किसी भी पॉलिसी-ग्रेडिएंट आधारित मेथड (REINFORCE, GRPO, और Dr. GRPO सहित) पर लागू होता है। यह इन एल्गोरिदम के विश्लेषण को ग्रेडिएंट गैप और गैप एलाइनमेंट के माध्यम से एकीकृत करता है।

2. शार्प स्टेप-साइज़ थ्रेशोल्ड (Sharp Step-Size Thresholds)

एक केंद्रीय सैद्धांतिक योगदान एक शार्प स्टेप-साइज़ थ्रेशोल्ड का व्युत्पत्ति है जो अभिसरण (convergence) और विचलन (divergence) को अलग करता है।

अभिसरण (Convergence): शोध पत्र सिद्ध करता है कि यदि स्टेप साइज ( $\eta_k$ ) को गैप एलाइनमेंट के समानुपाती और वेरिएंस एवं रिस्पॉन्स लेंथ के व्युत्क्रमानुपाती होने के लिए अनुकूलित (adaptively scaled) किया जाता है, तो पॉलिसी इष्टतम समाधान ( $J_q \to 1$ ) की ओर अभिसरित होती है।
विनाशकारी विफलता (Catastrophic Failure): इसके विपरीत, लेखक सिद्ध करते हैं कि यदि स्टेप साइज एक विशिष्ट सीमा से अधिक हो जाता है (भले ही अपडेट दिशा पूरी तरह से संरेखित हो), तो अनुकूलन प्रक्रिया ओवरशूट (overshoot) कर जाएगी, जिससे सफलता दर घट जाएगी और शून्य की ओर अभिसरित होगी। यह अभ्यास में देखे जाने वाले "कोलैप्स" (collapse) की घटनाओं की व्याख्या करता है।

3. व्यावहारिक ह्यूरिस्टिक्स की व्याख्या

यह सिद्धांत सामान्य इंजीनियरिंग प्रथाओं के लिए एक कठोर औचित्य प्रदान करता है:

लेंथ नॉर्मलाइजेशन (Length Normalization): टोकन-स्तरीय विश्लेषण दर्शाता है कि प्रभावी लर्निंग रेट रिस्पॉन्स की लंबाई बढ़ने के साथ कम होनी चाहिए। यह इस बात का सैद्धांतिक आधार प्रदान करता है कि क्यों लेंथ नॉर्मलाइजेशन (जो GRPO में उपयोग किया जाता है) प्रशिक्षण को स्थिर करता है, जबकि इस नॉर्मलाइजेशन की कमी वाले तरीके (जैसे Dr. GRPO के कुछ स्वरूप) लंबी अनुक्रमों के साथ संघर्ष कर सकते हैं।
स्थगन (Stagnation): शोध पत्र बताता है कि क्यों फिक्स्ड लर्निंग रेट्स 100% से कम सफलता दर पर स्थगन (stagnation) की ओर ले जा सकते हैं। जैसे-जैसे पॉलिसी में सुधार होता है, वेरिएंस संरचना बदल जाती है, और एक फिक्स्ड स्टेप साइज अंततः अभिसरण थ्रेशोल्ड का उल्लंघन कर सकता है, जिससे एल्गोरिदम रुक जाता है या दोलन (oscillate) करने लगता है।

4. अनुभवजन्य सत्यापन (Empirical Validation)

सैद्धांतिक भविष्यवाणियों को निम्नलिखित के माध्यम से मान्य किया गया है:

कॉन्टेक्स्टुअल बैंडिट सिमुलेशन: सिंथेटिक बैंडिट समस्याओं पर प्रयोगों ने सटीकता और संचयी गैप एलाइनमेंट के बीच लॉजिस्टिक संबंध को प्रदर्शित किया, जो अलग-अलग अभिसरण और स्थगन व्यवस्थाओं (regimes) की पुष्टि करता है।
LLM प्रयोग: लेखकों ने Qwen2.5-Math-7B मॉडल को GRPO का उपयोग करके GSM8K, DeepScaleR, और DAPO-17k डेटासेट पर फाइन-ट्यून किया। अनुभवजन्य डेटा संचयी गैप एलाइनमेंट और मॉडल की सटीकता के बीच एक मजबूत सहसंबंध दिखाता है, जो सैद्धांतिक निचले बाउंड्स (lower bounds) के करीब है।

परिणाम

अभिसरण गारंटी: शोध पत्र स्थापित करता है कि यदि संचयी गैप एलाइनमेंट अनंत की ओर जाता है ( $M_q(K) \to \infty$ ), तो पूर्ण प्रदर्शन की ओर अभिसरण की गारंटी है।
स्थगन बाउंड्स: यदि एलाइनमेंट सिग्नल कमजोर है या स्टेप साइज बहुत बड़ा है, तो प्रदर्शन 1 से काफी नीचे सीमित रहता है, जिससे मॉडल 100% सटीकता तक नहीं पहुँच पाता।
विफलता मोड: लेखक विशिष्ट समस्या उदाहरणों का निर्माण करते हैं जहाँ एक स्थिर स्टेप साइज, सकारात्मक एलाइनमेंट के बावजूद, निरंतर प्रदर्शन गिरावट (monotonic performance decay) की ओर ले जाता है, जो "विनाशकारी विफलता" के शासन की पुष्टि करता है।
ग्रेडिएंट नॉर्म बनाम रिवॉर्ड: शोध पत्र नोट करता है कि पॉलिसी ग्रेडिएंट नॉर्म का योग अभिसरण हो सकता है भले ही रिवॉर्ड न हो, जो यह सुझाव देता है कि मानक ग्रेडिएंट-आधारित अभिसरण मानदंड RLVR के लिए अपर्याप्त हैं; गैप एलाइनमेंट मीट्रिक रिवॉर्ड सुधार के लिए एक अधिक सटीक संकेतक है।

महत्व

यह शोध पत्र दावा करता है कि यह RLVR की अनुकूलन गतिकी के लिए पहला कठोर सैद्धांतिक आधार प्रदान करता है। ब्लैक-बॉक्स अनुभवजन्य अवलोकनों से आगे बढ़ते हुए, यह ग्रेडिएंट गैप को सीखने के मौलिक चालक और स्टेप-साइज़ थ्रेशोल्ड को स्थिरता के लिए महत्वपूर्ण नियंत्रण पैरामीटर के रूप में पहचानता है।

इसका महत्व इसकी क्षमता में निहित है:

RLVR को स्पष्ट करना: यह समझाता है कि क्यों कुछ एल्गोरिदम (जैसे लेंथ नॉर्मलाइजेशन के साथ GRPO) काम करते हैं जबकि अन्य विफल हो जाते हैं, जिससे क्षेत्र को अंतर्ज्ञान-आधारित ट्यूनिंग से सिद्धांत-निर्देशित डिजाइन की ओर ले जाता है।
हाइपरपैरामीटर ट्यूनिंग का मार्गदर्शन करना: यह स्टेप-साइज़ चयन के लिए ठोस, गणितीय रूप से व्युत्पन्न स्थितियाँ प्रदान करता है, जो विनाशकारी पतन और स्थगन से बचने का मार्ग प्रदान करता है।
एल्गोरिदम व्यवहार को चरित्रित करना: यह फिक्स्ड लर्निंग रेट की सीमाओं और रिस्पॉन्स लेंथ तथा कार्य की कठिनाई के सापेक्ष अनुकूलित स्केलिंग की आवश्यकता को स्पष्ट करता है, जो वर्तमान RLVR पाइपलाइनों में देखे गए सुधार दरों के स्थगन की सैद्धांतिक व्याख्या प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा लोकप्रिय दृष्टिकोणों की गतिकी को चरित्रित करता है और विविध प्रॉम्प्ट वितरणों में स्थिरता और अभिसरण को बढ़ाने के लिए प्रॉम्प्ट-अनुकूली अपडेट और करिकुलम-आधारित प्रशिक्षण जैसे भविष्य के दिशा-निर्देशों का सुझाव देता है।