🤖 machine learning

Sharpness-Guided Group Relative Policy Optimization via Probability Shaping

यह शोध पत्र शार्पनेस-गाइडेड GRPO (GRPO-SG) का प्रस्ताव करता है, जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (Group Relative Policy Optimization) का एक टोकन-वेटेड वेरिएंट है, जो शार्पनेस को कम करने और प्रशिक्षण को स्थिर करने के लिए बड़े ग्रेडिएंट्स उत्पन्न करने वाले टोकन्स को डाउनवेट करके, सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ सुदृढीकरण शिक्षण (reinforcement learning) में सामान्यीकरण (generalization) में सुधार करता है।

मूल लेखक: Tue Le, Linh Ngo Van, Trung Le

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tue Le, Linh Ngo Van, Trung Le

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल) को कठिन पहेलियाँ, जैसे गणित के सवाल या तर्क संबंधी पहेलियाँ हल करना सिखा रहे हैं। आप उन्हें हर एक कदम पर ग्रेड देने के लिए कोई शिक्षक नहीं देते; इसके बजाय, आप अंत में एक "चेकलिस्ट" देते हैं। यदि अंतिम उत्तर सही है, तो उन्हें एक गोल्ड स्टार (इनाम) मिलता है। यदि यह गलत है, तो उन्हें कुछ नहीं मिलता। इसे रिनफोर्समेंट लर्निंग विद वेरिफिएबल रिवार्ड्स (RLVR) कहा जाता है।

वर्तमान में, इस बुद्धिमान छात्र को सिखाने का सबसे लोकप्रिय तरीका GRPO है। GRPO को एक कोच की तरह समझें जो कहता है, "ठीक है, इस समस्या को हल करने के 5 अलग-अलग तरीके आजमाओ। वे जिन्हें गोल्ड स्टार मिला, वे अच्छे हैं; वे जो विफल रहे, वे बुरे हैं। आइए छात्र के मस्तिष्क को विजेताओं जैसा बनाने और हारने वालों से कम करने के लिए इसे एडजस्ट करें।"

समस्या: "अति-उत्साही" छात्र

पेपर का तर्क है कि जबकि GRPO अच्छी तरह से काम करता है, यह कभी-कभी थोड़ा अधिक आक्रामक हो सकता है। कल्पना कीजिए कि छात्र सीखने की कोशिश कर रहा है। जब वह किसी विशिष्ट शब्द या चरण में गलती करता है, तो कोच उसे सुधारने के लिए बहुत ज़ोर से चिल्ला सकता है। गणित के शब्दों में, यह एक "शार्प" अपडेट बनाता है—छात्र के मस्तिष्क में एक बहुत बड़ा, झटकेदार बदलाव।

हालांकि यह तत्काल गलती को ठीक कर सकता है, लेकिन यह छात्र को अस्थिर बना सकता है। वे उन समान समस्याओं को हल करने का तरीका भूल सकते हैं जिन्हें वे पहले से जानते थे, या वे उन छोटी बारीकियों पर अत्यधिक प्रतिक्रिया दे सकते हैं जो महत्वपूर्ण नहीं हैं। पेपर की भाषा में, इसे हाई शार्पनेस (high sharpness) कहा जाता है, जिससे खराब जनरलाइजेशन (generalization) होता है (अनदेखी, नई समस्याओं को संभालने की क्षमता)।

समाधान: "कॉन्फिडेंस मीटर" (GRPO-SG)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे GRPO-SG (शार्पनेस-गाइडेड GRPO) कहा जाता है।

यहाँ सरल उपमा दी गई है:
कल्पना कीजिए कि छात्र एक कहानी लिख रहा है।

उच्च-विश्वास वाले शब्द (High-Confidence Words): ये वे शब्द हैं जिनमें छात्र 100% आश्वस्त है, जैसे "the" या "and," या महत्वपूर्ण गणितीय प्रतीक जैसे "+" या "="। छात्र जानता है कि वाक्य को अर्थपूर्ण बनाने के लिए ये अत्यंत महत्वपूर्ण हैं।
कम-विश्वास वाले शब्द (Low-Confidence Words): ये वे शब्द हैं जिनका छात्र अनुमान लगा रहा है, जैसे कोई फैंसी विशेषण या कोई विशिष्ट संख्या जिसके बारे में वह सुनिश्चित नहीं है।

पुराने तरीके (GRPO) में, यदि छात्र एक कम-विश्वास वाले शब्द का अनुमान लगाता है और गलत हो जाता है, तो कोच चिल्लाता है, "नहीं! अपने पूरे मस्तिष्क को बदल डालो!" इससे एक बड़ा, "शार्प" अपडेट होता है जो अन्य चीजों को तोड़ सकता है।

GRPO-SG एक बुद्धिमान कोच की तरह कार्य करता है जो छात्र के "कॉन्फिडेंस मीटर" को देखने के बाद ही चिल्लाता है।

यदि छात्र अनिश्चित है (कम विश्वास) और गलती करता है, तो कोच धीरे से कहता है, "ठीक है, अगली बार थोड़ा अधिक सावधान रहने की कोशिश करते हैं," लेकिन कोई बड़ा बदलाव नहीं करता है। यह छात्र को घबराने और अत्यधिक सुधार करने से रोकता है।
यदि छात्र निश्चित है (उच्च विश्वास) और सही होता है, तो कोच उस अच्छी आदत को पुख्ता करने के लिए एक मजबूत सकारात्मक धक्का देता है।

यह कैसे काम करता है (प्रॉबेबिलिटी शेपिंग)

पेपर प्रॉबेबिलिटी शेपिंग (Probability Shaping) नामक एक गणितीय ट्रिक का उपयोग करता है।

सिस्टम यह जांचता है कि मॉडल ने अभी जो शब्द चुना है उसके बारे में वह कितना आश्वस्त है (यह "लॉगिट" के आधार पर होता है, जो केवल एक स्कोर है कि उस शब्द की कितनी संभावना है)।
यदि स्कोर कम है (मॉडल अनुमान लगा रहा है), तो सिस्टम सबक के महत्व को डाउनवेट (downweight) कर देता है। यह कहता है, "इस एक गलती को अपनी पूरी नींव को हिलाने न दें।"
यदि स्कोर उच्च है (मॉडल आश्वस्त है), तो सिस्टम सबक को अपवेट (upweight) करता है। यह कहता है, "यह एक ठोस कदम है; आइए सुनिश्चित करें कि हम इसे करते रहें।"

परिणाम: सुगम यात्रा

पेपर ने इस नए तरीके का परीक्षण तीन प्रकार की चुनौतियों पर किया:

गणित: ओलंपियाड-स्तर की गणित की समस्याओं को हल करना।
तर्क (Logic): "नाइट्स एंड केव्स" (Knights and Knaves) पहेलियों को हल करना (जहाँ कुछ लोग हमेशा झूठ बोलते हैं और कुछ हमेशा सच बोलते हैं)।
टूल यूज़ (Tool Use): उत्तर खोजने के लिए सर्च इंजन का उपयोग करने के लिए AI को कहना।

क्या हुआ?

बेहतर स्कोर: नया तरीका (GRPO-SG) इन सभी परीक्षणों पर पुराने तरीके (GRPO) की तुलना में लगातार उच्च स्कोर प्राप्त करता है। उदाहरण के लिए, तर्क पहेलियों पर, सफलता दर काफी बढ़ गई।
सुचारू शिक्षण: यदि आप "ग्रेडिएंट नॉर्म" (छात्र के मस्तिष्क में होने वाले बदलाव का एक माप) को देखते, तो नया तरीका बहुत सुचारू था। इसमें अत्यधिक सुधार के वे जंगली स्पाइक्स (spikes) नहीं थे। यह शीर्ष तक पहुँचने के लिए एक स्थिर, शांत यात्रा थी।

सारांश

पेपर का दावा है कि केवल AI को कम-विश्वास वाले अनुमानों के "पैनिक" को अनदेखा करने और उच्च-विश्वास वाले कदमों को पुख्ता करने पर ध्यान केंद्रित करने के लिए कहकर, हम स्मार्ट, अधिक स्थिर और अधिक जनरलाइज़ेबल रीजनिंग मॉडल को प्रशिक्षित कर सकते हैं। यह एक छात्र को यह सिखाने जैसा है कि वह जो जानता है उस पर अपने अंतर्ज्ञान पर भरोसा करे और उन चीजों के लिए घबराए नहीं जिनके बारे में वह अभी भी केवल अनुमान लगा रहा है।

तकनीकी सारांश: संभाव्यता शेपिंग (Probability Shaping) के माध्यम से शार्पनेस-गाइडेड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO-SG)

समस्या विवरण

गणितीय, तार्किक और टूल-ऑगमेंटेड प्रश्न उत्तर जैसे डोमेन में लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने की क्षमताओं को सुधारने के लिए 'वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग' (RLVR) एक प्राथमिक चालक के रूप में उभरा है। ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) अपनी सरलता और स्पष्ट वैल्यू फंक्शन पर निर्भरता की कमी के कारण इस सेटिंग में प्रमुख ऑप्टिमाइज़र है। हालांकि, वर्तमान RLVR कार्यान्वयन अक्सर सामान्यीकरण (generalization) पर मजबूत नियंत्रण की कमी प्रदर्शित करते हैं। लेखक पहचानते हैं कि प्रशिक्षण के दौरान "शार्प" अपडेट—अर्थात बड़े, अस्थिर ग्रेडिएंट स्टेप्स—हो सकते हैं, जो सैद्धांतिक रूप से खराब सामान्यीकरण प्रदर्शन से संबंधित हैं। मुख्य समस्या यह है कि बिना किसी जटिल आर्किटेक्चरल बदलाव या लर्निंग सिग्नल को खोए, GRPO प्रशिक्षण को कैसे स्थिर किया जाए और सामान्यीकरण में सुधार किया जाए।

कार्यप्रणाली: GRPO-SG

यह शोध पत्र शार्पनेस-गाइडेड GRPO (GRPO-SG) का प्रस्ताव करता है, जो GRPO का एक टोकन-वेटेड वेरिएंट है जिसे अपडेट की शार्पनेस को कम करने के लिए डिज़ाइन किया गया है। यह कार्यप्रणाली एक सैद्धांतिक सामान्यीकरण दृष्टिकोण पर आधारित है और इसे कॉन्फिडेंस-आधारित संभाव्यता शेपिंग तंत्र के माध्यम से लागू किया गया है।

सैद्धांतिक आधार

लेखक GRPO को मजबूती-आधारित (robustness-based) सामान्यीकरण लेंस के माध्यम से देखते हैं। वे स्थापित करते हैं कि सामान्यीकरण लॉस (generalization loss), एम्पिरिकल ट्रेनिंग लॉस और ग्रेडिएंट नॉर्म द्वारा मापे गए शार्पनेस सरोगेट के योग द्वारा ऊपरी रूप से सीमित (upper-bounded) है (थ्योरम 3.3)।

मुख्य अंतर्दृष्टि: छोटे ग्रेडिएंट नॉर्म कम शार्प अपडेट से संबंधित होते हैं, जिसका अर्थ है बेहतर सामान्यीकरण।
व्युत्पत्ति: एम्पिरिकल लॉस के ग्रेडिएंट का विश्लेषण करके, लेखक दिखाते हैं कि ग्रेडिएंट नॉर्म टोकन-स्तरीय भार (weights) से प्रभावित होता है। विशेष रूप से, एक टोकन वेट ( $w_{i,t}$ ) और टर्म $(1 - \pi_\theta(o_{i,t})$ (जो अनिश्चितता को दर्शाता है) का गुणनफल सीधे ग्रेडिएंट के परिमाण को प्रभावित करता है।

एल्गोरिदम कार्यान्वयन

GRPO-SG मानक GRPO को एक टोकन वेट $w_{i,t}$ पेश करके संशोधित करता है जो एक कॉन्फिडेंस सिग्नल के रूप में कार्य करता है।

कॉन्फिडेंस सिग्नल: यह वेट वर्तमान पॉलिसी द्वारा उत्पन्न सिलेक्टेड-टोकन लॉजिट ( $h_{i,t}$ ) से प्राप्त होता है। यह लॉजिट मॉडल के उस टोकन में विश्वास (confidence) के प्रॉक्सी के रूप में कार्य करता जिसे उसने चुना है।
संभाव्यता शेपिंग (Probability Shaping): एक मोनोटोन, कॉन्फिडेंस-अवेयर मैपिंग फंक्शन $\omega(\cdot)$ $ω (\cdot)$ को लॉजिट पर लागू किया जाता है ताकि वेट जनरेट किया जा सके। विशिष्ट फॉर्मूलेशन (Eq. 20) है:
$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$
- $\text{sg}[\cdot]$ एक स्टॉप-ग्रेडिएंट ऑपरेटर है ताकि मॉडल वेट्स के साथ गेमिंग न कर सके।
- $\sigma$ एक सिग्मॉइड फंक्शन है, और $\tau, \mu, \alpha, L, U$ स्मूथनेस और बाउंड्स को नियंत्रित करने वाले हाइपरपैरामीटर हैं।
तंत्र (Mechanism):
- उच्च-विश्वास वाले टोकन (High-Confidence Tokens): उच्च लॉजिट वाले टोकन (उच्च विश्वास) उच्च वेट प्राप्त करते हैं, जिससे महत्वपूर्ण तर्क चरणों (reasoning steps) पर लर्निंग सिग्नल सुरक्षित रहता है।
- कम-विश्वास वाले टोकन (Low-Confidence Tokens): कम लॉजिट वाले टोकन कम वेट प्राप्त करते हैं। चूंकि कम-विश्वास वाले टोकन अक्सर बड़े ग्रेडिएंट उत्पन्न करते हैं ( $(1-\pi)$ टर्म के कारण), उन्हें डाउनवेट करने से उन "शार्प" अपडेट्स को दबा दिया जाता है जो प्रशिक्षण को अस्थिर कर सकते हैं।
एकीकरण: इन वेट्स को सीधे GRPO सरोगेट ऑब्जेक्टिव में एकीकृत किया जाता है, जो प्रभावी रूप से उन टोकन्स को डाउनवेट करता है जो अत्यधिक बड़े ग्रेडिएंट का कारण बन सकते हैं, जबकि मानक PPO-स्टाइल क्लिपिंग और एडवांटेज नॉर्मलाइजेशन को बनाए रखता है।

मुख्य योगदान

GRPO का सामान्यीकरण दृष्टिकोण: यह पेपर RLVR प्रशिक्षण और एक रोबस्ट सामान्यीकरण ऑब्जेक्टिव के बीच एक सैद्धांतिक लिंक प्रदान करता है, जो शार्पनेस सरोगेट (ग्रेडिएंट नॉर्म) के माध्यम से सामान्यीकरण को कैरेक्टराइज़ करता है।
GRPO-SG एल्गोरिदम: यह GRPO में एक सरल, प्रभावी संशोधन पेश करता है जो टोकन कॉन्फिडेंस (सिलेक्टेड-टोकन लॉजिट्स) का उपयोग करके अपडेट मैग्नीट्यूड को आकार देता है, जिससे बिना किसी अतिरिक्त मॉडल या जटिल रिवॉर्ड शेपिंग के शार्पनेस कम हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): इस पद्धति को विविध RLVR बेंचमार्क पर मान्य किया गया है, जो मानक GRPO और अन्य टोकन-स्तरीय नियंत्रण बेसलाइन्स (जैसे 80/20, AR, Lopti) की तुलना में निरंतर सुधार प्रदर्शित करता है।

प्रयोगात्मक परिणाम

तीन अलग-अलग RLVR सेटिंग्स पर प्रयोग किए गए: गणितीय तर्क (Mathematical Reasoning), एजेंटिक प्रश्न उत्तर (टूल-ऑगमेंटेड), और लॉजिक पजल्स (Knights & Knaves)।

गणितीय तर्क (Mathematical Reasoning): OlympiadBench, Minerva, और MATH-500 जैसे बेंचमार्क पर, GRPO-SG ने मानक GRPO पर औसतन +2.7% से +6.0% का सुधार हासिल किया। उदाहरण के लिए, Qwen2.5-7B के साथ DSR ट्रेनिंग रेसिपी पर औसत लाभ 6.0% था।
एजेंटिक QA (Agentic QA): ज्ञान-संवर्धित QA कार्यों (VT-Search का उपयोग करके) में, GRPO-SG ने Qwen2.5-3B मॉडल के लिए सटीक-मैच सटीकता को लगभग दोगुना (13.84 से 27.29) कर दिया और Qwen3-4B मॉडल पर महत्वपूर्ण लाभ प्रदान किया।
लॉजिक पजल्स (Logic Puzzles): K&K लॉजिक पजल्स बेंचमार्क पर, GRPO-SG ने Qwen2.5-3B की औसत सटीकता को 0.42 से बढ़ाकर 0.63 (50% सापेक्ष लाभ) और Qwen2.5-7B को 0.75 से बढ़ाकर 0.91 कर दिया।
प्रशिक्षण गतिशीलता (Training Dynamics): सटीकता के अलावा, GRPO-SG ने GRPO की तुलना में स्मूथ ग्रेडिएंट-नॉर्म ट्रेजेक्टरीज और कम आउटलेयर स्पाइक्स प्रदर्शित किए (चित्र 1), जो शार्पनेस को कम करने के सैद्धांतिक लक्ष्य के अनुरूप है। प्रशिक्षण रिवॉर्ड भी अधिक और स्थिर थे।

महत्व और दावे

शोध पत्र का दावा है कि GRPO-SG, RLVR के लिए GRPO का एक सरल और प्रभावी सामान्यीकरण-उन्मुख अपग्रेड है।

सरलता: इस पद्धति के लिए किसी अतिरिक्त वैल्यू मॉडल, मानव लेबल, या जटिल आर्किटेक्चरल बदलावों की आवश्यकता नहीं है; यह केवल मौजूदा GRPO ऑब्जेक्टिव के भीतर टोकन वेटिंग को संशोधित करती है।
स्थिरता: टोकन कॉन्फिडेंस के माध्यम से अपडेट शार्पनेस को स्पष्ट रूप से नियंत्रित करके, यह विधि प्रशिक्षण प्रक्रिया को स्थिर करती है, जिससे अधिक मजबूत तर्क क्षमताएं मिलती हैं।
व्यापकता (Generality): सुधार विभिन्न मॉडल आकारों (3B से 7B+), विभिन्न मॉडल परिवारों (Qwen, Mistral, LLaMA), और विविध तर्क डोमेन (गणित, तर्क, एजेंटिक सर्च) में सुसंगत हैं।

लेखक निष्कर्ष निकालते हैं कि कॉन्फिडेंस-आधारित टोकन वेटिंग के माध्यम से अपडेट शार्पनेस को स्पष्ट रूप से नियंत्रित करना, RL-प्रशिक्षित LLMs की स्थिरता और प्रदर्शन को बेहतर बनाने के लिए एक व्यवहार्य रणनीति है, जो वेरिफिएबल रिवॉर्ड सेटिंग्स में बेहतर सामान्यीकरण के लिए एक व्यावहारिक मार्ग प्रदान करती है।