🤖 machine learning

Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward

यह शोधपत्र VIGOR को प्रस्तुत करता है, जो एक वर्िफायर-मुक्त (verifier-free) सुदृढीकरण लर्निंग (reinforcement learning) विधि है जो बाहरी वर्िफायर या गोल्ड लेबल पर निर्भर हुए बिना गणितीय तर्क और कोड जनरेशन में LLM के प्रदर्शन को प्रभावी ढंग से सुधारने के लिए स्वयं पॉलिसी मॉडल से प्राप्त आंतरिक ग्रेडिएंट-नॉर्म रिवार्ड्स का लाभ उठाता है।

मूल लेखक: Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन छात्र (AI) को जटिल पहेलियाँ, जैसे गणित के सवाल या कंप्यूटर कोड लिखना, सिखा रहे हैं।

आमतौर पर, इस छात्र को सिखाने के लिए, आपको एक सख्त शिक्षक (एक "वेरिफायर") की आवश्यकता होती है जो हर उत्तर की जाँच करता है। यदि उत्तर सही है, तो छात्र को एक गोल्ड स्टार मिलता है। यदि वह गलत है, तो उसे एक लाल 'X' मिलता है। यह गणित और कोडिंग के लिए बहुत अच्छा काम करता है क्योंकि वहाँ स्पष्ट सही और गलत उत्तर होते हैं।

समस्या:
क्या होता है जब आप चाहते हैं कि छात्र एक कविता लिखे, सलाह दे, या ऐसी समस्या को हल करे जहाँ कोई एक एकल "सही" उत्तर नहीं होता? आप हर कार्य के लिए एक सख्त शिक्षक को काम पर नहीं रख सकते क्योंकि आपके पास उत्तर पहले से मौजूद नहीं होते। बिना शिक्षक के, छात्र को यह पता नहीं चलेगा कि वह अच्छा काम कर रहा है या नहीं, और वह बस बेतरतीब ढंग से अनुमान लगाने लगेगा या अटक जाएगा।

समाधान: VIGOR ("स्व-अनुभूति" वाला पुरस्कार)
यह शोध पत्र एक नई विधि पेश करता है जिसे VIGOR कहा जाता है। एक बाहरी शिक्षक द्वारा काम को ग्रेड देने का इंतज़ार करने के बजाय, VIGOR छात्र से यह पूछता है कि उनका उत्तर कितना "सुचारू" (smooth) महसूस होता है, यानी उनके अपने आंतरिक भावों को सुनने के लिए कहता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "खड़ी ढलान" बनाम "सपाट घाटी"

कल्पना कीजिए कि छात्र का मस्तिष्क पहाड़ियों और घाटियों का एक परिदृश्य है।

एक बुरा उत्तर एक खड़ी, पथरीली चट्टान पर खड़े होने जैसा है। यदि छात्र अपनी सोच में थोड़ा सा भी बदलाव करने की कोशिश करता है, तो वह हिंसक रूप से नीचे फिसल जाएगा। गणितीय शब्दों में, यह एक "लार्ज ग्रेडिएंट" (एक बड़ा, अस्थिर परिवर्तन) है।
एक अच्छा उत्तर एक सपाट, शांत घाटी में खड़े होने जैसा है। यदि छात्र अपनी सोच में थोड़ा बदलाव करता है, तो वह वहीं बना रहता है। यह एक "स्मॉल ग्रेडिएंट" (एक सुचारू, स्थिर परिवर्तन) है।

VIGOR का नियम: AI को उन उत्तरों को पसंद करने के लिए कहा जाता है जो सपाट घाटी (छोटे ग्रेडिएंट) जैसा महसूस होते हैं, न कि खड़ी ढलान (बड़े ग्रेडिएंट) जैसा। तर्क यह है: "यदि मेरा उत्तर स्थिर महसूस होता है और इसे समझने के लिए किसी बड़े मानसिक झटके की आवश्यकता नहीं है, तो यह संभवतः एक अच्छा उत्तर है।"

2. "लंबाई का जाल" (क्यों एक सुधार की आवश्यकता थी)

शोधकर्ताओं ने एक चालाकी भरी तरकीब देखी। यदि छात्र केवल एक बहुत लंबा उत्तर लिखता है, तो लंबी दूरी पर ढलान फैल जाने के कारण "खड़ी ढलान" स्वाभाविक रूप से छोटी दिखने लगती है। छात्र उच्च स्कोर प्राप्त करने के लिए बहुत लंबे, निरर्थक निबंध लिखकर "बेईमानी" करने की कोशिश कर सकता है।

सुधार ( $\sqrt{T}$ सुधार):
शोध पत्र एक सरल गणितीय "रूलर" (पैमाना) जोड़ता है। यह कहता है, "हम ढलान को मापेंगे, लेकिन हम स्कोर को इस आधार पर समायोजित करेंगे कि उत्तर कितना लंबा है।" यह छात्र को अधिक शब्द लिखकर बेईमानी करने से रोकता है। यह सुनिश्चित करता है कि स्कोर केवल टेक्स्ट की लंबाई को नहीं, बल्कि सोचने की गुणवत्ता को दर्शाता है।

3. "कक्षा का मतदान" (रैंकिंग)

कभी-कभी, स्थिरता का "एहसास" अलग-अलग सवालों के बीच बहुत भिन्न होता है। एक सवाल बहुत स्थिर महसूस हो सकता है, जबकि दूसरा बहुत अस्थिर, जिससे उनकी सीधे तुलना करना कठिन हो जाता है।

सुधार (रैंकिंग):
एक कच्चा स्कोर देने के बजाय, VIGOR AI को एक ही प्रश्न के लिए कुछ अलग-अलग उत्तर उत्पन्न करने के लिए कहता है, और फिर उन्हें एक-दूसरे के विरुद्ध रैंक (क्रमबद्ध) करता है।

"इन 8 उत्तरों में से कौन सा सबसे अधिक स्थिर महसूस होता है?" -> उसे उच्चतम पुरस्कार मिलता है।
"कौन सा सबसे अधिक अस्थिर महसूस होता है?" -> उसे निम्नतम पुरस्कार मिलता है।
यह प्रशिक्षण को निष्पक्ष और स्थिर रखता है, चाहे विशिष्ट प्रश्न कितना भी कठिन क्यों न हो।

जब उन्होंने इसे आजमाया तो क्या हुआ?

शोधकर्ताओं ने इसका परीक्षण Qwen2.5, जो एक लोकप्रिय AI मॉडल है, पर किया।

गणित और कोडिंग: उन्होंने इस "स्व-एहसास" वाले पुरस्कार (बिना किसी उत्तर कुंजी के) का उपयोग करके गणित के सवालों पर AI को प्रशिक्षित किया। AI गणित में काफी बेहतर हो गया।
क्रॉस-ट्रेनिंग: आश्चर्यजनक रूप से, जब उन्होंने इस विधि का उपयोग करके AI को केवल गणित पर प्रशिक्षित किया, तो वह कोडिंग में भी बेहतर हो गया, भले ही उसने प्रशिक्षण के दौरान कोडिंग का एक भी सवाल नहीं देखा था।
स्थिरता: अन्य विधियाँ जो "आत्मविश्वास" का अनुमान लगाने की कोशिश करती हैं, अक्सर AI को पागल कर देती हैं और कुछ समय बाद उसे खुद को दोहराने या बकवास लिखने पर मजबूर कर देती हैं। VIGO ने प्रशिक्षण को सुचारू और स्थिर रखा, एक उग्र तूफान के बजाय एक शांत नदी की तरह।

सारांश में

VIGOR एक ऐसा तरीका है जिससे बिना शिक्षक के AI को सिखाया जा सकता है। यह AI को बताता है: "केवल अनुमान न लगाएं; उस उत्तर को खोजें जो आपके अपने मन में सबसे अधिक स्थिर और सुचारू महसूस होता है।" कुछ तकनीकी खामियों (जैसे लंबाई की ट्रिक) को ठीक करके, उन्होंने इस "स्व-जाँच" को इतना शक्तिशाली बना दिया कि यह एक बुनियादी AI को एक बहुत अधिक स्मार्ट तर्क करने वाले (reasoner) में बदल देता है, और वह भी बिना पहले से सही उत्तर जाने।

तकनीकी सारांश: इंट्रिन्सिक ग्रेडिएंट-नॉर्म रिवॉर्ड (VIGOR) के माध्यम से LLMs के लिए वेरिफायर-फ्री RL

1. समस्या विवरण

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) एलएलएम (LLMs) के लिए एक शक्तिशाली पोस्ट-ट्रेनिंग प्रतिमान के रूप में उभरा है, विशेष रूप से गणित और कोडिंग जैसे तर्क (reasoning) कार्यों में। हालाँकि, RLVR बाहरी, डोमेन-विशिष्ट वेरिफायर (जैसे कि गणितीय उत्तरों के लिए सटीक-मिलान चेकर या कोड के लिए यूनिट टेस्ट) पर अत्यधिक निर्भर है। यह निर्भरता नए कार्यों या उन डोमेन में स्केलेबिलिटी को सीमित करती है जहाँ ऐसे वेरिफायर उपलब्ध नहीं हैं या उन्हें बनाना कठिन है।

मौजूदा वेरिफायर-फ्री विकल्प महत्वपूर्ण चुनौतियों का सामना करते हैं:

बहुमत मतदान विधियाँ (Majority Voting Methods): ये कई नमूनों (samples) के बीच सर्वसम्मति से छद्म-लेबल (pseudo-labels) प्राप्त करते हैं। वे अक्सर यह मान लेते हैं कि अंतिम उत्तरों को विश्वसनीय रूप से निकाला और सामान्यीकृत किया जा सकता है, जो ओपन-एंडेड जनरेशन के लिए उनकी प्रयोज्यता को सीमित करता है।
इंट्रिन्सिक सिग्नल विधियाँ (Intrinsic Signal Methods): ये आंतरिक मॉडल संकेतों जैसे एंट्रॉपी या आत्म-निश्चितता (self-certainty) का उपयोग करती हैं। हालांकि आशाजनक, ये प्रशिक्षण के दौरान भंगुर (brittle) हो सकती हैं, जिससे रिवॉर्ड डिजनरेशन, अस्थिरता और प्रदर्शन पतन होता है।

मुख्य चुनौती एक ऐसा वेरिफायर-फ्री रिवॉर्ड सिग्नल विकसित करना है जो मुक्त-रूप (free-form) आउटपुट के लिए व्यापक रूप से लागू हो सके, रीइन्फोर्समेंट लर्निंग के दौरान स्थिर रहे, और सहायक घटकों के बिना केवल पॉलिसी मॉडल पर ही निर्भर हो।

2. कार्यप्रणाली: VIGOR

लेखक VIGOR (वेरिफायर-फ्री इंट्रिन्सिक ग्रेडिएंट-नॉर्म रिवॉर्ड) प्रस्तावित करते हैं, जो केवल पॉलिसी मॉडल की आंतरिक प्रशिक्षण गतिशीलता (internal training dynamics) का उपयोग करके रिवॉर्ड की गणना करता है।

मुख्य अंतर्ज्ञान (Core Intuition)

यह विधि प्रथम-क्रम अनुकूलन सिद्धांत (first-order optimization theory) पर आधारित है। एक लॉस लैंडस्केप में, एक छोटा ग्रेडिएंट नॉर्म आमतौर पर यह संकेत देता है कि वर्तमान पैरामीटर्स एक स्टेशनरी क्षेत्र के करीब हैं, जिसका अर्थ है मृदु अपडेट और सुचारू प्रशिक्षण गतिशीलता। VIGOR का तर्क है कि वे पूर्णताएँ (completions) जो टीचर-फोर्स्ड नेगेटिव लॉग-लाइक्लीहुड (NLL) के $\ell_2$ नॉर्म के छोटे मान उत्पन्न करती हैं, वर्तमान पॉलिसी के साथ अधिक संरेखित (aligned) हैं और उन्हें उच्च रिवॉर्ड मिलना चाहिए।

एल्गोरिदम चरण

एक दिए गए प्रॉम्प्ट $x$ के लिए, पॉलिसी $\pi_\theta$ $G$ पूर्णताओं $\{y_i\}_{i=1}^G$ का एक समूह नमूना लेती है। रिवॉर्ड गणना इस प्रकार आगे बढ़ती है:

ग्रेडिएंट नॉर्म गणना: प्रत्येक पूर्णता $y$ के लिए, औसत टोकन-स्तरीय $\ell_{mean}(x, y)$ की गणना की जाती है। वर्तमान पैरामीटर्स $\theta$ के सापेक्ष ग्रेडिएंट $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ की गणना की जाती है (मॉडल को अपडेट किए बिना)। ग्रेडिएंट को गणना ग्राफ से अलग (detach) कर दिया जाता है ताकि इसे एक स्केलर सिग्नल के रूप में उपयोग किया जा सके।
लंबाई सुधार ( $\sqrt{T}$ स्केलिंग): कच्चा ग्रेडिएंट नॉर्म $\|g\|_2$ एक व्यवस्थित पूर्वाग्रह प्रदर्शित करता है जहाँ अनुक्रम लंबाई $T$ बढ़ने के साथ यह सिकुड़ जाता है, भले ही गुणवत्ता में सुधार न हुआ हो। इस "लेंथ हैकिंग" का मुकाबला करने के लिए, सिग्नल को $\sqrt{T}$ द्वारा स्केल किया जाता है:
$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$
ऋणात्मक चिह्न ग्रेडिएंट नॉर्म के न्यूनीकरण (minimization) को रिवॉर्ड मैक्सिमाइजेशन ऑब्जेक्टिव में बदल देता है।
रैंक-आधारित सामान्यीकरण (Rank-Based Normalization): विभिन्न प्रॉम्प्ट्स के बीच रिवॉर्ड स्केल को स्थिर करने और तुलनात्मक बनाने के लिए, संकेतों को एक समूह के भीतर सॉर्ट किया जाता है और रैंक-आधारित रिवॉर्ड $R_{GN} \in [-1, +1]$ में मैप किया जाता है। सबसे खराब पूर्णता (उच्चतम ग्रेडिएंट नॉर्म) $-1 $प्राप्त करती है, और सबसे अच्छी (सबसे कम ग्रेडिएंट नॉर्म)$ +1$ प्राप्त करती है।
पॉलिसी ऑप्टिमाइज़ेशन: इन रैंक-सामान्यीकृत रिवॉर्ड्स का उपयोग ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) फ्रेमवर्क के भीतर समूह-सापेक्ष लाभ $\hat{A}_i$ की गणना करने के लिए किया जाता है। पॉलिसी को इस उद्देश्य को अधिकतम करने के लिए अपडेट किया जाता है, जो कम ग्रेडिएंट नॉर्म वाली पूर्णताओं को प्रोत्साहित करता है।

3. मुख्य योगदान

VIGOR फ्रेमवर्क: एक नवीन वेरिफायर-फ्री इंट्रिन्सिक रिवॉर्ड तंत्र जो पॉलिसी एलाइनमेंट और प्रशिक्षण स्थिरता के प्रॉक्सी के रूप में टीचर-फोर्स्ड ग्रेडिएंट्स के $\ell_2$ नॉर्म का उपयोग करता है।
लंबाई सुधार (Length Correction): औसत टोकन-स्तरीय ग्रेडिएंट नॉर्म्स में निहित व्यवस्थित लंबाई पूर्वाग्रह को बेअसर करने के लिए $\sqrt{T}$ स्केलिंग फैक्टर का परिचय, जो मॉडल को रिवॉर्ड मैक्सिमाइज करने के लिए लंबाई बढ़ाने (length hacking) से रोकता है।
रैंक-आधारित शेपिंग (Rank-Based Shaping): पूर्ण ग्रेडिएंट मैग्नीट्यूड के बजाय समूह-भीतर सापेक्ष क्रम पर भरोसा करके प्रॉम्प्ट्स के बीच रिवॉर्ड स्केल को स्थिर करने वाली एक सामान्यीकरण तकनीक।
अनुभवजन्य सत्यापन (Empirical Validation): गणितीय तर्क और कोड जनरेशन बेंचमार्क पर INTUITOR बेसलाइन की तुलना में VIGOR के बेहतर प्रदर्शन को प्रदर्शित करने वाले व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen2.5-3B-Base और Qwen2.5-7B-Base मॉडल्स पर किए गए, जिन्हें क्रमशः MATH और CodeContests डेटासेट पर प्रशिक्षित किया गया था।

गणित पर प्रदर्शन (MATH पर प्रशिक्षित)

Qwen2.5-7B: VIGOR ने INTUITOR बेसलाइन पर औसत गणित सटीकता में +3.31% का सुधार किया। विशेष रूप से, इसने MATH500 पर 76.20% और AMC पर 44.42% प्राप्त किया।
क्रॉस-डोमेन ट्रांसफर: केवल गणित डेटा पर प्रशिक्षित होने पर भी, VIGOR ने औसत कोड सटीकता में INTUITOR बेसलाइन पर +1.91% का सुधार किया, जो प्रभावी क्रॉस-डोमेन ट्रांसफर को दर्शाता है।
स्थिरता: INTUITOR के विपरीत, जो सटीकता में देर से होने वाले पतन (late-stage regression) को दर्शाता है, VIGOR ने प्रशिक्षण के दौरान स्थिर सुधार बनाए रखा।

कोड पर प्रदर्शन (CodeContests पर प्रशिक्षित)

Qwen2.5-3B: VIGOR ने औसत कोड प्रदर्शन को 16.98% से बढ़ाकर 23.64% कर दिया।
क्रॉस-डोमेन ट्रांसफर: कोड डेटा पर प्रशिक्षण ने गणित के औसत को 48.34% से बढ़ाकर 56.57% कर दिया।
नोट: CodeAvg मेट्रिक पर, VIGOR (23.64%) INTUITOR (25.43%) से थोड़ा पीछे रहा, विशेष रूप से CRUX बेंचमार्क पर। लेखक इसका कारण प्रतिस्पर्धी प्रोग्रामिंग की प्रकृति को बताते हैं, जहाँ शुद्धता अक्सर असतत एल्गोरिथम विकल्पों पर निर्भर करती है जो ग्रेडिएंट स्मूथनेस द्वारा पूरी तरह से कैप्चर नहीं किए जाते हैं।

प्रशिक्षण गतिशीलता विश्लेषण

स्थिरता: INTUITOR की तुलना में VIGOR ने अधिक स्थिर प्रशिक्षण गतिशीलता प्रदर्शित की, जो रिवॉर्ड डिजनरेशन (जहाँ उच्च-रिवॉर्ड वाले नमूने समय के साथ शुद्धता से कम संरेखित हो जाते हैं) से ग्रस्त था।
लंबाई नियंत्रण: VIGOR ने लंबाई वृद्धि (length inflation) को प्रभावी ढंग से रोका। जहाँ INTUITOR ने जनरेशन लंबाई में स्पष्ट वृद्धि दिखाई, वहीं VIGOR ने काफी छोटे आउटपुट दिए, जिससे अनुकूलन का ध्यान लंबाई हैकिंग के बजाय तर्क की गुणवत्ता पर केंद्रित हुआ।
रैंक-सटीकता एकदिष्टता (Rank-Accuracy Monotonicity): विश्लेषण ने ग्रेडिएंट-नॉर्म रैंकिंग और कार्य सटीकता के बीच एक मजबूत एकदिष्ट संबंध की पुष्टि की; VIGOR द्वारा उच्च रैंक प्राप्त करने वाली पूर्णताएं लगातार उच्च सटीकता प्राप्त करती हैं।

एब्लेशन अध्ययन (Ablation Studies)

$\sqrt{T}$ सुधार के बिना: इस घटक को हटाने से विनाशकारी गिरावट आई, विशेष रूप से 3B मॉडल में, जिसके परिणामस्वरूप शून्य के करीब सटीकता और गंभीर लेंथ हैकिंग हुई।
रैंक शेपिंग के बिना: रैंक सामान्यीकरण को हटाने से अस्थिरता आई, विशेष रूप से 7B मॉडल में, जिससे कच्चे ग्रेडिएंट मैग्नीट्यूड के चरम आउटलेर्स के प्रभाव के कारण MMLU-Pro प्रदर्शन में भारी गिरावट (8.90%) आई।

5. महत्व और सीमाएं

महत्व:
लेख दावा करता है कि VIGOR एक मजबूत, वेरिफायर-फ्री विकल्प प्रदान करता है जो बाहरी लेबल या सहायक मॉडलों पर निर्भर नहीं है। इसकी लॉस लैंडस्केप की आंतरिक ज्यामिति (ग्रेडिएंट नॉर्म्स) का लाभ उठाकर, यह पॉलिसी ऑप्टिमाइज़ेशन के लिए एक स्थिर सिग्नल प्रदान करता है जो विभिन्न डोमेन (गणित से कोड और इसके विपरीत) में सामान्य होता है और वहां स्थिरता बनाए रखता है जहाँ अन्य इंट्रिन्सिक विधियां विफल हो जाती हैं।

सीमाएं:

कार्य का दायरा: अध्ययन मुख्य रूप से सत्यापन योग्य तर्क कार्यों को लक्षित करता है। लेखक नोट करते हैं कि यह स्पष्ट नहीं है कि VIGOR अतिरिक्त बाधाओं के बिना अधिक ओपन-एंडेड जनरेशन सेटिंग्स (जैसे लंबी लेखनी या संवाद) में कितनी अच्छी तरह से ट्रांसफर होगा।
कंप्यूटेशनल लागत: VIGOR को ऑटोमैटिक डिफरेंशिएशन के माध्यम से प्रति-नमूना ग्रेडिएंट-नॉर्म गणना की आवश्यकता होती है, जो केवल फॉरवर्ड-ओनली सिग्नल्स (जैसे लाइक्लीहुड या एंट्रॉपी) की तुलना में गैर-मामूली ओवरहेड पेश करता है।
प्रॉक्सी प्रकृति: ग्रेडिएंट नॉर्म एक प्रॉक्सी ऑब्जेक्टिव है। लेखक स्वीकार करते हैं कि यह लगातार डाउनस्ट्रीम उपयोगिता (utility) को ट्रैक नहीं कर सकता है, जिससे संभावित मिसअलाइनमेंट या रिवॉर्ड एक्सप्लॉइटेशन की गुंजाइश बनी रहती है।