💬 NLP

MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following

यह शोध पत्र MDP-GRPO को प्रस्तुत करता है, जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (Group Relative Policy Optimization) का एक स्थिर संस्करण है, जो डिस्क्रीट (discrete), लो-डिस्पर्शन रिवॉर्ड सेटिंग्स में अस्थिरता को दूर करने के लिए मल्टी-टेम्परेचर सैंपलिंग, ड्यूल-एंकर एडवांटेज, प्रॉस्पेक्ट-थ्योरेटिक शेपिंग और एसिमेट्रिक KL रेगुलराइजेशन का उपयोग करता है, जिससे मल्टी-कन्स्ट्रेंट इंस्ट्रक्शन फॉलोइंग प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े अराजक शेफ (AI) को एक बहुत ही विशिष्ट रेसिपी का पालन करना सिखा रहे हैं। वह रेसिपी केवल "केक बनाएं" जैसी नहीं है; यह नियमों की एक सख्त सूची है: "ठीक 3 अंडे उपयोग करें," "चॉकलेट का उपयोग न करें," "निर्देशों को सभी बड़े अक्षरों (ALL CAPS) में लिखें," और "नोट को 'Bon Appétit' वाक्यांश के साथ समाप्त करें।"

AI की दुनिया में, इसे Multi-Constraint Instruction Following कहा जाता है। समस्या यह है कि मानक AI प्रशिक्षण विधियां अक्सर भ्रमित हो जाती हैं जब नियम इतने सख्त होते हैं।

यहाँ पेपर के समाधान, MDP-GRPO का रोजमर्रा के उदाहरणों का उपयोग करते हुए एक सरल विवरण दिया गया है।

समस्या: "ग्रुप ग्रेड" का जाल (The "Group Grade" Trap)

पेपर यह समझाते हुए शुरू करता है कि वर्तमान AI प्रशिक्षण (जिसे GRPO कहा जाता है) कैसे काम करता है। कल्पना कीजिए कि एक शिक्षक 8 छात्रों (AI के प्रयासों) के एक समूह को एक साथ क्विज़ दे रहा है। प्रत्येक छात्र को एक आदर्श मानक के विरुद्ध ग्रेड देने के बजाय, शिक्षक उन्हें एक-दूसरे के सापेक्ष ग्रेड देता है।

यदि 7 छात्रों को "C" मिलता है और 1 छात्र को "B" मिलता है, तो "B" वाले छात्र को बहुत बड़ा बोनस मिलता है, और "C" वाले छात्रों को बहुत बड़ी पेनल्टी मिलती है।
द ग्लिच (The Glitch): सख्त नियम पालन में, यह आम है कि समूह में सभी को एक ही स्कोर मिले (उदाहरण के लिए, सभी ने "all caps" नियम का पालन करने में विफल रहे)।
- जीरो-वैरिएंस कोलैप्स (Zero-Variance Collapse): यदि सभी को "0" मिलता है, तो शिक्षक के पास यह बताने का कोई तरीका नहीं है कि किसने बेहतर किया। "ग्रेड" सभी के लिए शून्य हो जाता है, और AI कुछ भी नहीं सीख पाता।
- मीन-सेंटरिंग ब्लाइंडनेस (Mean-Centering Blindness): यदि छात्रों का एक समूह बुरी तरह विफल होता है, और दूसरे समूह का भी बुरी तरह विफल होता है, तो शिक्षक उन्हें समान मानता है क्योंकि वे अपने स्वयं के समूह के सापेक्ष "समान रूप से बुरे" हैं। AI को पता नहीं चलता कि उसने कौन सा विशिष्ट नियम तोड़ा है।
- लो-वैरिएंस एम्प्लीफिकेशन (Low-Variance Amplification): यदि स्कोर 99, 100, 100, 100 हैं, तो 99 और 100 के बीच के मामूली अंतर को बहुत बड़ा बना दिया जाता है, जिससे AI अत्यधिक प्रतिक्रिया करता है और अस्थिर हो जाता है।

समाधान: MDP-GRPO

लेखक इन ग्लिच को ठीक करने के लिए चार "उपकरणों" के साथ एक नया प्रशिक्षण तरीका प्रस्तावित करते हैं। इसे शिक्षक के ग्रेडिंग सिस्टम को अपग्रेड करने के रूप में समझें।

1. "फ्लेवर मिक्सर" (Multi-Temperature Sampling)

समस्या: यदि आप AI को एक कहानी के 8 संस्करण लिखने के लिए कहते हैं, तो वह 8 लगभग एक जैसे ही संस्करण लिख सकता है। यदि वे सभी समान हैं, तो उन सभी को एक ही स्कोर मिलेगा, और प्रशिक्षण रुक जाएगा।
समाधान: लेखक AI को ये 8 कहानियाँ अलग-अलग "रचनात्मकता स्तरों" (creativity levels) का उपयोग करके लिखने के लिए कहते हैं। कुछ बहुत ही सख्त (low temperature) तरीके से लिखी जाती हैं, और कुछ बहुत ही जंगली और रचनात्मक (high temperature) तरीके से।
परिणाम: यह सुनिश्चित करता है कि भले ही नियम कठिन हों, 8 प्रयास इतने अलग होंगे कि उनके स्कोर अलग-अलग हों। यह "सभी को शून्य मिला" वाली समस्या को रोकता है।

2. "दो-एंकर" प्रणाली (Dual-Anchor Advantages)

समस्या: जब समूह अस्त-व्यस्त होता है (सब विफल हो जाते हैं), तो "सापेक्ष ग्रेडिंग" प्रणाली टूट जाती है।
समाधान: छात्रों की आपस में तुलना करने के बजाय, शिक्षक एक निश्चित, काल्पनिक "तटस्थ छात्र" (Neutral Student) के साथ भी उनकी तुलना करता है।
- कल्पना कीजिए कि एक "तटस्थ छात्र" जो भाग्यवश नियमों के 50% को सही करता है।
- यदि AI का समूह इस तटस्थ छात्र से भी खराब प्रदर्शन कर रहा है, तो AI को एक स्पष्ट संकेत मिलता है: "आप औसत से भी खराब कर रहे हैं, और मेहनत करें!"
- यह AI को एक लर्निंग सिग्नल देता है भले ही पूरा समूह विफल हो रहा हो, जिससे "पूर्ण प्रदर्शन के प्रति अंधापन" दूर होता है।

3. "मानवीय नुकसान का डर" (Prospect-Theoretic Shaping)

समस्या: मानक प्रशिक्षण एक छोटी जीत और एक छोटे नुकसान को समान लेकिन विपरीत मानता है। लेकिन वास्तविक जीवन में, मनुष्य जीतने की खुशी से कहीं अधिक हारने के दर्द को महसूस करते हैं।
समाधान: लेखक अर्थशास्त्र की एक अवधारणा प्रॉस्पेक्ट थ्योरी (Prospect Theory) का उपयोग करते हैं। वे AI को इस तरह प्रोग्राम करते हैं कि वह नियम तोड़ने के "दर्द" को नियम का पालन करने की "खुशी" की तुलना में बहुत अधिक तीव्रता से महसूस करे।
- यदि AI एक नियम तोड़ता है, तो दंड बहुत बड़ा और तीखा होता है।
- यदि AI एक नियम का पालन करता है, तो इनाम सीमित और सौम्य होता है।
- यह AI को बहुत लापरवाह होने से रोकता है और उसे सख्त बाधाओं के प्रति बहुत सावधान रहने के लिए मजबूर करता है।

4. "असिमेट्रिक सीटबेल्ट" (Asymmetric KL Regularization)

समस्या: कभी-कभी, नियमों का पालन करने के प्रयास में, AI सामान्य रूप से बोलना भूल जाता है या बहुत अधिक कठोर हो जाता है।
समाधान: वे AI के बदलावों पर एक "सीटबेल्ट" लगाते हैं।
- यदि AI सुधार कर रहा है (नियमों का बेहतर पालन कर रहा है), तो सीटबेल्ट ढीली होती है, जिससे बड़े बदलावों की अनुमति मिलती है।
- यदि AI खराब हो रहा है (नियम तोड़ रहा है), तो सीटबेल्ट तुरंत कस जाती है, जिससे बड़ी और हानिकारक गलतियों को रोका जा सके।

परिणाम

लेखकों ने Llama-3.2 और Gemma-2 जैसे मॉडलों पर इस नई पद्धति का परीक्षण किया।

नियमों में बेहतर: AI सख्त, बहु-चरणीय निर्देशों का पालन करने में काफी बेहतर हो गया (सख्त सफलता दर में 5% तक सुधार)।
स्थिर शिक्षण: जब AI विफलताओं की दीवार से टकराया, तब भी प्रशिक्षण क्रैश या भ्रमित नहीं हुआ।
अभी भी स्मार्ट: महत्वपूर्ण बात यह है कि इन सख्त नियमों को सीखते समय AI ने अपना सामान्य ज्ञान (जैसे सामान्य ज्ञान के प्रश्नों का उत्तर देना या तर्क पहेलियाँ सुलझाना) नहीं खोया।

सारांश

यह पेपर तर्क देता है कि AI को सख्त, कई नियमों का पालन करना सिखाना एक शेफ को 10 छोटे, विशिष्ट प्रतिबंधों वाली रेसिपी सिखाने जैसा है। मानक विधियां विफल हो जाती हैं क्योंकि वे भ्रमित हो जाती हैं जब पूरी क्लास विफल हो जाती है। MDP-GRPO इसे निम्न प्रकार से ठीक करता है:

अभ्यास प्रयासों को अधिक विविध बनाना।
एक निश्चित संदर्भ बिंदु देना ताकि विफल होने पर भी AI जान सके कि वह कैसा प्रदर्शन कर रहा है।
AI को गलतियों से "डरना" सिखाना बजाय इसके कि वह सफलता को "प्यार" करे।
जब AI फिसल जाए, तो उसे बहुत अधिक नाटकीय बदलाव करने से रोकना।

परिणामस्वरूप, एक ऐसा AI प्राप्त होता है जो अपनी सामान्य बुद्धिमत्ता को खोए बिना जटिल, सख्त निर्देशों का पालन करने में बहुत अधिक विश्वसनीय है।

तकनीकी सारांश: MDP-GRPO

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर बहु-प्रतिबंध निर्देश पालन (multi-constraint instruction following) में संघर्ष करते हैं, जहाँ एक एकल प्रॉम्प्ट के लिए कई स्पष्ट, नियत नियमों (जैसे, विशिष्ट स्वरूपण, वर्जित शब्द, सटीक अंत) का पालन करना आवश्यक होता है। जबकि वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) एक आशाजनक समाधान प्रदान करता है क्योंकि यह नियम-आधारित चेकर का उपयोग करके विश्वसनीय, पक्षपात-मुक्त संकेत देता है, मानक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) इस शासन में अस्थिर हो जाता है।

मुख्य समस्या इसलिए उत्पन्न होती है क्योंकि बहु-प्रतिबंध पुरस्कार विभक्त (discrete) और अक्सर कम-विचरण (low-variance) होते हैं। प्रशिक्षण के शुरुआती चरणों में या सख्त प्रतिबंधों के साथ, पूर्णता (completions) के समूह अक्सर सजातीय पुरस्कार (homogeneous rewards) उत्पन्न करते हैं (सभी नमूने समान प्रतिबंधों को संतुष्ट करते हैं या उल्लंघन करते हैं)। इन स्थितियों में, मानक GRPO का z-score ग्रुप नॉर्मलाइज़ेशन तीन विशिष्ट विकृतियों (pathologies) से ग्रस्त होता है:

कम-विचरण प्रवर्धन (Low-Variance Amplification): मामूली पुरस्कार उतार-चढ़ाव को असमान रूप से बड़े लाभ (advantages) में बढ़ा दिया जाता है, जिससे अपडेट भंगुर (brittle) हो जाते हैं।
मीन-सेंटरिंग अंधापन (Mean-Centering Blindness): Z-score नॉर्मलाइज़ेशन पूर्ण पुरस्कार स्तरों को त्याग देता है, जिससे यह अंतर करना असंभव हो जाता है कि एक समूह जो लगातार विफल हो रहा है और एक समूह जो लगातार सफल हो रहा है, उनके बीच क्या अंतर है, यदि उनके सापेक्ष वितरण समान हैं।
शून्य-विचरण पतन (Zero-Variance Collapse): जब एक समूह के सभी नमूने समान पुरस्कार प्राप्त करते हैं, तो समूह का मानक विचलन ( $\sigma_{group}$ ) शून्य के करीब पहुँच जाता है। इससे एडवांटेज सिग्नल शून्य हो जाता है या अपरिभाषित हो जाता है, जिससे लर्निंग सिग्नल पूरी तरह से समाप्त हो जाता है।

कार्यप्रणाली: MDP-GRPO

इन अस्थिरताओं को दूर करने के लिए, लेखक MDP-GRPO का प्रस्ताव करते हैं, जो तीन पूरक तंत्रों को एकीकृत करने वाला GRPO का एक स्थिर संस्करण है:

1. मल्टी-टेम्परेचर सैंपलिंग (रोकथाम)

सजातीय समूहों के निर्माण को रोकने के लिए, यह विधि $G$ पूर्णताओं के समूह के लिए फिक्स्ड-टेम्परेचर सैंपलिंग के स्थान पर एक टेम्परेचर शेड्यूल ( $T = [\tau_1, \dots, \tau_G]$ ) का उपयोग करती है।

तंत्र: निम्न तापमान दोहन (exploitation - उच्च गुणवत्ता वाले बेसलाइन) को प्रोत्साहित करता है, जबकि उच्च तापमान अन्वेषण (exploration) को प्रेरित करता है।
लक्ष्य: यह एक ही समूह के भीतर उच्च-गुणवत्ता वाली और खोजपूर्ण पूर्णताओं को मिलाता है, जिससे छोटे बैच आकारों के साथ भी पर्याप्त पुरस्कार प्रसार ( $\sigma_{group} > 0$ ) सुनिश्चित होता है, बिना अंतर्निहित RL ऑब्जेक्टिव को बदले।

2. डुअल-एंकर एडवांटेज (सिग्नल की बहाली)

शून्य-विचरण पतन और मीन-सेंटरिंग अंधापन को संबोधित करने के लिए, यह विधि मानक समूह-सापेक्ष एडवांटेज के साथ एक लक्ष्य-जागरूक एंकर (goal-aware anchor) पेश करती है।

तंत्र: एक न्यूट्रल बेसलाइन को एक द्विपद प्रक्रिया (binomial process) के रूप में मॉडल किया गया है जहाँ प्रतिबंधों को $p=0.5$ की प्रायिकता के साथ संतुष्ट किया जाता है। यह एक निश्चित "लक्ष्य-जागरूक" एडवांटेज ( $\delta_i$ ) प्रदान करता है जो प्रतिबंधों की संख्या के साथ स्केल होता है।
एकीकरण: अंतिम एडवांटेज ( $A_i$ ) एक शेप्ड ग्रुप-रिलेटिव एडवांटेज ( $\tilde{z}_i$ ) और एक शेप्ड लक्ष्य-जागरूक एडवांटेज ( $\tilde{\delta}_i$ ) के बीच एक भारित इंटरपोलेशन है:
$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$
लाभ: भले ही समूह का विचरण शून्य हो, लक्ष्य-जागरूक एंकर एक वैध लर्निंग सिग्नल प्रदान करता है, जिससे प्रशिक्षण का ठहराव रुक जाता है।

3. प्रॉस्पेक्ट-थ्योरेटिक शेपिंग (स्थिरीकरण)

प्रॉस्पेक्ट थ्योरी (कैनमैन और ट्वेर्स्की, 1979) से प्रेरित होकर, यह विधि मिश्रण से पहले कच्चे एडवांसेज पर एक बाउंडेड, एसिमेट्रिक शेपिंग फंक्शन लागू करती है।

तंत्र: एक स्केल्ड tanh ट्रांसफॉर्मेशन एडवांसेज को सीमित करता है और लॉस अवर्जन (loss aversion) ( $\lambda_- > \lambda_+$ ) को लागू करता है।
लक्ष्य: यह सुनिश्चित करता है कि प्रतिबंध उल्लंघन (नकारात्मक परिणाम) समान सफलताओं की तुलना में बड़े ग्रेडिएंट अपडेट का परिणाम हों, जिससे प्रतिगमन (regression) को भारी दंड मिलता है। साथ ही, बाउंडिंग फंक्शन कम विचरण के कारण होने वाले अनबाउंडेड ग्रेडिएंट्स को रोकता है, जिससे प्रशिक्षण स्थिर होता है।

4. एसिमेट्रिक KL रेगुलराइजेशन

ऑब्जेक्टिव में एक एसिमेट्रिक KL पेनल्टी शामिल है जहाँ पेनल्टी गुणांक ( $\beta_{high}$ ) तब अधिक होता है जब एडवांटेज नकारात्मक (प्रदर्शन गिरना) होता है और ( $\beta_{low}$ ) जब सकारात्मक होता है, जो प्रतिगमन के दौरान मॉडल को और अधिक नियंत्रित करता है।

मुख्य योगदान

विकृतियों का औपचारिक रूप देना: पेपर ने डिस्क्रीट, लो-डिस्पर्शन रिवॉर्ड रेजीम में ग्रुप-रिलेटिव पॉलिसी अपडेट की तीन विफलता मोडों को पहचाना और औपचारिक रूप दिया: लो-वेरिएंस एम्प्लीफिकेशन, मीन-सेंटरिंग ब्लाइंडनेस, और जीरो-वेरिएंस कोलैप्स।
सैंपलिंग के माध्यम से रोकथाम: छोटे-बैच सेटिंग्स में ऑब्जेक्टिव फंक्शन को बदले बिना कृत्रिम रूप से रिवॉर्ड विविधता बढ़ाने के लिए मल्टी-टेम्परेचर ग्रुप सैंपलिंग का परिचय।
सिग्नल रिकवरी: जीरो-वेरिएंस समूहों में लर्निंग सिग्नल को बहाल करने और मानक नॉर्मलाइजेशन में खोए हुए पूर्ण प्रदर्शन की जानकारी को पुनः प्राप्त करने के लिए डुअल-एंकर एडवांटेज का प्रस्ताव।
मजबूत शेपिंग: अपडेट मैग्नीट्यूड को बाउंड करने और प्रतिबंध उल्लंघनों के सुधार को प्राथमिकता देने के लिए प्रॉस्पेक्ट-थेटिक शेपिंग का अनुप्रयोग।
अनुभवजन्य सत्यापन: यह प्रदर्शन कि ये घटक सामूहिक रूप रूप से सामान्य क्षमताओं को बनाए रखते हुए बहु-प्रतिबंध कार्यों पर स्थिरता और प्रदर्शन में सुधार करते हैं।

प्रयोगात्मक परिणाम

इस पद्धति का मूल्यांकन Gemma-2-2B और Llama-3.2-3B मॉडल्स का उपयोग करके IFEval, FollowBench, और एक क्यूरेटेड मल्टी-कन्स्ट्रेंट डेटासेट पर किया गया।

प्रदर्शन लाभ: MDP-GRPO ने लगातार मानक GRPO और ज़ीरो-शॉट बेसलाइन को पछाड़ दिया। Llama-3.2-3B पर, इसने कस्टम डेटासेट पर स्ट्रिक्ट कंस्ट्रेंटेक्शन सैटिस्फैक्शन (HSR) में 5.0% तक सुधार किया।
छोटे-बैच दक्षता: यह विधि कम समूह आकार ( $G=4$ ) के साथ विशेष रूप से प्रभावी सिद्ध हुई। मल्टी-टेम्परेचर सैंपलिंग ने MDP-GRPO को बड़े समूहों ( $G=8$ ) के साथ प्रशिक्षित मानक GRPO के प्रदर्शन के करीब पहुँचने में सक्षम बनाया, जो सीमित कंप्यूट बजट के तहत इसकी उपयोगिता को दर्शाता है।
कठिनाई स्केलिंग: स्टेबलाइज्ड वेरिएंट्स (विशेष रूप से वे जिनमें डुअल एंकर्स हैं) ने प्रतिबंधों की संख्या बढ़ने के साथ बेसलाइन्स की तुलना में धीमी गति से गिरावट दर्ज की, जिससे जटिल प्रॉम्प्ट्स (डिफिकल्टी 5-6) पर उच्च सफलता दर बनी रही।
सामान्य क्षमताएं: MMLU और ARC पर मूल्यांकन ने पुष्टि की कि निर्देश पालन में लाभ सामान्य तर्क या ज्ञान प्रतिधारण की कीमत पर नहीं आए।
ट्रेनिंग डायनेमिक्स: डायग्नोस्टिक्स ने दिखाया कि प्रस्तावित विधियों ने सफलतापूर्वक जीरो-वेरिएंस समूहों की आवृत्ति को कम किया और मानक GRPO की तुलना में KL डाइवर्जेंस ड्रिफ्ट को नियंत्रित किया।

महत्व और दावे

लेखक दावा करते हैं कि MDP-GRPO बहु-प्रतिबंध सेटिंग्स में RLVR के लिए एक स्थिर और विश्वसनीय ढांचा प्रदान करता है, जहाँ मानक ग्रुप-नॉर्मलाइजेशन विधियाँ अक्सर रिवॉर्ड स्पर्सिटी के कारण विफल हो जाती हैं। z-स्कोर नॉर्मलाइजेशन की गणितीय विकृतियों को स्पष्ट रूप से संबोधित करके, यह विधि सक्षम बनाती है:

छोटे समूह आकार के साथ भी स्थिर अभिसरण (convergence)।
सीखे गए रिवॉर्ड मॉडल्स या मानव प्राथमिकता लेबल की आवश्यकता के बिना, डिस्क्रीट, नियम-आधारित पुरस्कारों से प्रभावी शिक्षण।
मानक GRPO अपडेट की "भंगुरता" के विरुद्ध मजबूती।

पेपर निष्कर्ष निकालता है कि हालांकि यह दृष्टिकोण विशेष रूप से नियत, सत्यापन योग्य बाधाओं के लिए डिज़ाइन किया गया है, इसके मुख्य घटक (डुअल एंकरिंग और प्रॉस्पेक्ट शेपिंग) रिवॉर्ड स्रोत के प्रति तटस्थ (agnostic) हैं और अन्य RL सेटिंग्स में भी अनुकूलित किए जा सकते हैं। हालाँकि, लेखक विनम्रतापूर्वक नोट करते हैं कि यह विधि ऑटोमैटिक चेकर पर निर्भर करती है और बिना सीखे गए रिवॉर्ड मॉडल्स के सीधे व्यक्तिपरक या शैलीगत बाधाओं तक विस्तारित नहीं हो सकती है।