📊 statistics

A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

यह शोध पत्र Pair-GRPO परिवार को प्रस्तुत करता है, जो एक एकीकृत सैद्धांतिक ढांचा है जिसमें Soft-Pair-GRPO और Hard-Pair-GRPO वेरिएंट शामिल हैं जो मुख्यधारा के RLHF में अस्थिरता, उच्च विचरण और अस्पष्टता को हल करने के लिए बाइनरी पेयरवाइज़ वरीयताओं (binary pairwise preferences) और स्पष्ट बाधाओं का लाभ उठाते हैं, जिससे भाषा और निरंतर नियंत्रण (continuous control) दोनों कार्यों में बेहतर संरेखण गुणवत्ता और सामान्यीकरण प्राप्त होता है।

मूल लेखक: Hao Yu

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े अराजक (chaotic) रोबोट को ऐसी कहानियाँ लिखना सिखा रहे हैं जिन्हें इंसान वास्तव में पसंद करें। इस प्रक्रिया को RLHF (Reinforcement Learning from Human Preferences) कहा जाता है। आमतौर पर, आप रोबोट को दो कहानियाँ दिखाते हैं, इंसान से पूछते हैं, "कौन सी बेहतर है?" और फिर रोबोट को "अच्छी" वाली कहानी के लिए और अधिक प्रयास करने और "खराब" वाली से कम प्रयास करने के लिए कहते हैं।

यह पेपर एक नए शिक्षण तरीकों के परिवार का परिचय देता है जिसे Pair-GRPO कहा जाता है। इसे एक नए, अधिक स्थिर तरीके के रूप में सोचें जिससे रोबोट को फीडबैक दिया जाता है। लेखक तर्क देते हैं कि पुराने तरीके थोड़े बहुत शोर भरे भीड़ में निर्देश चिल्लाने जैसे हैं—रोबोट भ्रमित हो जाता है, बहुत धीरे सीखता है, या अजीब व्यवहार करने लगता है।

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

समस्या: "शोर भरा क्लासरूम" (The "Noisy Classroom")

वर्तमान तरीके (जैसे मानक GRPO) रोबोट को हर कहानी के लिए एक जटिल स्कोर देकर सिखाने की कोशिश करते हैं।

समस्या: यह एक शिक्षक की तरह है जो छात्र को एक निबंध के लिए "84.3" और दूसरे के लिए "82.1" का स्कोर देता है। अंतर बहुत मामूली है, और नंबर शोर भरे (noisy) हो सकते हैं। छात्र (रोबोट) इस बात को लेकर भ्रमित हो जाता है कि एक दूसरे से क्यों बेहतर था, जिससे सीखना अस्थिर हो जाता है और व्यवहार में बड़े उतार-चढ़ाव आते हैं।

समाधान: "Pair-GRPO परिवार" (The "Pair-GRPO Family")

लेखक दो नए तरीके प्रस्तावित करते हैं, जिन्हें वे Soft-Pair-GRPO और Hard-Pair-GRPO कहते हैं।

1. Soft-Pair-GRPO: "अंगूठा ऊपर / अंगूठा नीचे" वाला शिक्षक

यह पुराने तरीके का एक सरल अपग्रेड है। जटिल स्कोर (जैसे 84.3) देने के बजाय, शिक्षक केवल बाइनरी फीडबैक देता है: बेहतर कहानी के लिए +1 और खराब कहानी के लिए -1।

जादुई ट्रिक (Gradient Equivalence): आप सोच सकते हैं, "रुको, यदि मैं विस्तृत स्कोर फेंक देता हूँ, तो क्या रोबोट कम सीखेगा?" लेखक गणितीय रूप से सिद्ध करते हैं कि नहीं, वह कम नहीं सीखेगा।
उपमा: कल्पना कीजिए कि आप एक पहाड़ी पर चढ़ रहे हैं। पुराना तरीका आपको 1,000.5 मीटर की सटीक ऊंचाई वाला एक नक्शा देता है। नया तरीका बस कहता है, "आप ऊपर जा रहे हैं।" लेखकों ने सिद्ध किया कि जब तक आप अपनी वर्तमान स्थिति के करीब हैं, "ऊपर जाना" ठीक उसी दिशा को बताता है जो विस्तृत नक्शा बताता है।
परिणाम: सरल फीडबैक (केवल "बेहतर" या "खराब") देकर, रोबोट मामूली और अर्थहीन संख्यात्मक अंतरों से विचलित होना बंद कर देता है। यह तेजी से और अधिक स्थिरता के साथ सीखता है।

2. Hard-Pair-GRPO: "बाड़ के साथ सख्त कोच" (The "Strict Coach with a Fence")

यह उन्नत संस्करण है। जबकि "Soft" केवल फीडबैक को सरल बनाता है, "Hard" एक सख्त नियम पुस्तिका जोड़ता है।

Soft के साथ समस्या: सरल फीडबैक के साथ भी, रोबोट अनजाने में अपने व्यक्तित्व को उन तरीकों से बदल सकता है जिनकी आपने मांग नहीं की थी। यह डायनासोरों के बारे में लिखना शुरू कर सकता है जबकि आपने केवल बिल्लियों के बारे में लिखने के लिए कहा था, क्योंकि गणित थोड़ा ढीला हो गया था।
समाधान: Hard-Pair-GRPO रोबोट के सीखने के चारों ओर एक बाड़ (fence) बनाता है। यह कहता है, "आप केवल उन्हीं दो कहानियों के बारे में अपना विचार बदल सकते हैं जिनकी हम अभी तुलना कर रहे हैं। बाकी सब बिल्कुल वैसा ही रहेगा।"
उपमा: एक मूर्तिकार की कल्पना करें।
- Soft-Pair-GRPO एक मूर्तिकार को यह बताने जैसा है, "इस मूर्ति को अच्छी वाली मूर्ति की तरह बनाओ।" मूर्तिकार चेहरे को ठीक करते समय गलती से मूर्ति के जूते या टोपी भी बदल सकता है।
- Hard-Pair-GRPO मूर्ति के चारों ओर एक कांच का केस लगा देता है। मूर्तिकार केवल चेहरे को छू सकता है। उन्हें जूतों या टोपी को बदलने से शारीरिक रूप से रोका जाता है।
परिणाम: यह "ड्रिफ्ट" (रोबोट का पटरी से उतरना) को समाप्त करता है और सीखने की प्रक्रिया को अविश्वसनीय रूप से सुचारू और अनुमानित बनाता है।

प्रयोग क्या दिखाते हैं

लेखकों ने इन तरीकों का परीक्षण दो बहुत अलग दुनिया में किया:

भाषा मॉडल (LLMs): रोबोट को चैट करने और मददगार होने के लिए सिखाना।
रोबोटिक्स (MuJoCo): एक आभासी चीते (virtual cheetah) को दौड़ना सिखाना।

परिणाम:

बेहतर प्रदर्शन: नए तरीके दोनों में पुराने मानकों (जैसे PPO और DPO) को पछाड़ देते हैं—बेहतर कहानियाँ लिखने और रोबोट को तेज़ी से चलाने में।
स्थिरता: प्रशिक्षण प्रक्रिया बहुत कम "झटका देने वाली" (jittery) थी। यदि आप सीखने की प्रगति का ग्राफ बनाते हैं, तो पुराने तरीके एक टेढ़ी-मेढ़ी रेखा खींचने वाले हाथ की तरह दिखते थे, जबकि नए तरीके (विशेष रूप से Hard-Pair-GRPO) एक चिकने, सीधे तीर की तरह दिखते थे।
सामान्यीकरण (Generalization): तथ्य यह है कि यह लेखन और दौड़ने वाले रोबोट दोनों पर काम करता है, यह साबित करता है कि यह केवल भाषा के लिए एक ट्रिक नहीं है; यह मशीनों द्वारा पसंद से सीखने का एक मौलिक सुधार है।

मुख्य निष्कर्ष (The Big Takeaway)

पेपर का दावा है कि हमें मशीनों को यह सिखाने के लिए जटिल, शोर भरे स्कोर की आवश्यकता नहीं है कि इंसान क्या पसंद करते हैं। हमें बस स्पष्ट रूप से कहना है कि "A, B से बेहतर है" और, यदि हम अतिरिक्त सावधानी बरतना चाहते हैं, तो सख्ती से सीमित करना है कि मशीन अपने व्यवहार को उस विशिष्ट तुलना को ठीक करने के लिए कैसे बदल सकती है।

"जटिल स्कोरिंग" से "सरल तुलना" में स्विच करके और "सख्त सीमाओं" को जोड़कर, उन्होंने एक ऐसा शिक्षण तरीका बनाया है जो तेज़, सुरक्षित और अधिक विश्वसनीय है।

तकनीकी सारांश: एक एकीकृत Pair-GRPO परिवार

समस्या विवरण
मानवीय प्राथमिकताओं से सुसंगत बनाने के लिए रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन प्रिफरेंस (RLHF) एलएलएम (LLMs) को संरेखित करने का मानक है, फिर भी मुख्यधारा के युग्वदार प्राथमिकता शिक्षण प्रतिमान (pairwise preference learning paradigms) चार महत्वपूर्ण सीमाओं से ग्रस्त हैं: अस्थिर नीति अपडेट, अस्पष्ट ग्रेडिएंट दिशाएँ, खराब व्याख्यात्मकता (interpretability), और उच्च ग्रेडिएंट विचरण (variance)। विशेष रूप से, मौजूदा विधियाँ जैसे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), निरंतर, समूह-सामान्यीकृत स्केलर पुरस्कारों (group-normalized scalar rewards) पर निर्भर करती हैं। यह दृष्टिकोण अनावश्यक जानकारी पेश करता है (निरपेक्ष पुरस्कार परिमाण अक्सर मनमाना होता है), अनियंत्रित वैश्विक संभाव्यता बदलावों की अनुमति देता है जो संरेखण संकेतों को कमज़ोर करते हैं, और शोर वाले स्टोकेस्टिक ग्रेडिएंट्स का परिणाम देता है जिनमें दिशात्मक निश्चितता का अभाव होता है।

कार्यप्रणाली: Pair-GRPO परिवार
यह शोध पत्र एक एकीकृत सैद्धांतिक ढांचे का प्रस्ताव करता है जो Pair-GRPO परिवार के केंद्र में है, जो निहित पुरस्कार-भारित अनुकूलन (implicit reward-weighted optimization) और स्पष्ट प्राथमिकता बाधाओं (explicit preference constraints) के बीच के अंतर को पाटता है। यह परिवार दो निकट रूप से जुड़े वेरिएंट्स से बना है:

Soft-Pair-GRPO (निहित बाधाएं):
- तंत्र: मानक GRPO का एक न्यूनतम संशोधन जो निरंतर समूह-सामान्यीकृत पुरस्कारों को बाइनरी युग्वदार प्राथमिकता पुरस्कारों ( $+1$ पसंदीदा प्रतिक्रिया $a_p$ के लिए, $-1 $अस्वीकृत प्रतिक्रिया$ a_r$ के लिए) से बदल देता है।
- संरचना: यह GRPO के क्लिप्ड सरोगेट ऑब्जेक्टिव और KL-रेगुलराइज्ड संरचना को बनाए रखता है।
- सैद्धांतिक अंतर्दृष्टि: लेखक एक ग्रेडिएंट इक्विवेलेंस थ्योरम (Gradient Equivalence Theorem) सिद्ध करते हैं। वर्तमान नीति के आसपास प्रथम-क्रम टेलर विस्तार (first-order Taylor expansion) के तहत, यह दिखाया गया है कि Soft-Pair-GRPO का ग्रेडिएंट मानक GRPO ग्रेडिएंट का एक धनात्मक स्केलर गुणक है। यह स्पष्ट करता है कि निरंतर पुरस्कार परिमाणों को त्यागने से स्थिरता से समझौता नहीं होता है; अनुकूलन संकेत दिशात्मक रूप से GRPO के समान ही रहता है लेकिन कम शोर के साथ।
Hard-Pair-GRPO (स्पष्ट बाधाएं):
- तंत्र: एक उन्नत संस्करण जो स्पष्ट स्थानीय संभाव्यता बाधाएं पेश करता है। केवल पुरस्कार संकेत पर निर्भर रहने के बजाय, यह एक लक्ष्य वितरण $\pi_{tar}$ का निर्माण करता है जो पसंदीदा और अस्वीकृत प्रतिक्रियाओं ( $a_p$ और $a_r$ ) के बीच संभाव्यता द्रव्यमान (probability mass) को सख्ती से स्थानांतरित करता है, और अन्य सभी प्रतिक्रियाओं को फ्रीज कर देता है।
- अनुकूलन: इसे एक ट्रस्ट-रीजन बाधा ( $D_{KL}(\pi_\theta \parallel \pi_{old}) \le \beta$ ) के अधीन एक बाधित KL-फिटिंग समस्या ( $\min D_{KL}(\pi_\theta \parallel \pi_{tar})$ ) के रूप में तैयार किया गया है।
- गतिशीलता: यह दोलन (oscillation) के बिना स्थिर अभिसरण (convergence) सुनिश्चित करने के लिए एक गतिशील रूप से घटते स्टेप साइज ( $\delta_t$ ) का उपयोग करता है।

प्रमुख योगदान

ग्रेडिएंट इक्वलेंस थ्योरम: शोध पत्र स्थापित करता है कि Soft-Pair-GRPO का ग्रेडिएंट प्रथम-क्रम सन्निकटन के तहत मानक GRPO के दिशात्मक रूप से समतुल्य है, जो बाइनरी पुरस्कारों का उपयोग करने के लाभों को खोए बिना GRPO ढांचे के उपयोग के लिए एक सैद्धांतिक आधार प्रदान करता है।
स्पष्ट बाधा सूत्रीकरण: Hard-Pair-GRPO एक नवीन बाधित KL-फिटिंग दृष्टिकोण पेश करता है जो अनुकूलन संकेतों को महत्वपूर्ण प्राथमिकता युग्म तक सीमित करता है, जिससे वैश्विक नीति विचलन (global policy drift) समाप्त हो जाता है।
व्यापक सैद्धांतिक गारंटी: लेखक निम्नलिखित के लिए कठोर प्रमाण प्रदान करते हैं:
- मोनोटोनिक पॉलिसी इम्प्रूवमेंट: ट्रस्ट-रीजन बाधाओं के तहत अपेक्षित रिटर्न में गैर-घटता (non-decrease) गारंटी।
- निश्चित ग्रेडिएंट दिशात्मकता: ग्रेडिएंट लगातार पसंदीदा प्रतिक्रिया की संभाव्यता को ऊपर और अस्वीकृत प्रतिक्रिया को नीचे धकेलता है, जिसमें Hard-Pair-GRPO में अप्रासंगिक प्रतिक्रियाओं के लिए शून्य संकेत होता है।
- ग्रेडिएंट-विचरण न्यूनीकरण: एक सख्त पदानुक्रम सिद्ध किया गया है जहाँ $V_{Hard-Pair-GRPO} < V_{Soft-Pair-GRPO} < V_{GRPO}$ , जो दर्शाता है कि स्पष्ट बाधाएं और युग्वदार तुलनाएं स्टोकेस्टिक शोर को काफी कम कर देती हैं।
- डायनेमिक स्टेप-साइज़ कन्वर्जेंस: यह प्रमाण कि घटता हुआ स्टेप साइज स्थानीय इष्टतम (local optimum) तक स्थिर अभिसरण सुनिश्चित करता है।

प्रायोगिक परिणाम
LLM संरेखण बेंचमार्क (HH-RLHF, UltraFeedback) और सामान्य निरंतर नियंत्रण कार्य HalfCheetah-v4 (MuJoCo) पर व्यापक प्रयोग किए गए।

संरेखण प्रदर्शन: Hard-Pair-GRPO ने स्वचालित संरेखण मेट्रिक्स (उपयोगिता, हानिरहितता) और मानवीय मूल्यांकन स्कोर (सुसंगतता, प्रासंगिकता, समग्र) में अत्याधुनिक बेसलाइनों (Standard GRPO, DPO, ORPO) को लगातार पछाड़ दिया।
प्रशिक्षण स्थिरता: Pair-GRPO परिवार ने बेसलाइनों की तुलना में सख्ती से घटते ग्रेडिएंट विचरण और KL-डाइवर्जेंस मानक विचलन का प्रदर्शन किया। Hard-Pair-GRPO ने सबसे कम विचरण (0.031 ग्रेडिएंट-नॉर्म विचरण बनाम Standard GRPO के लिए 0.087) प्राप्त किया।
सामान्यीकरण: प्रदर्शन पदानुक्रम ( $PPO < GRPO < Soft\text{-}Pair\text{-}GRPO < Hard\text{-}Pair\text{-}GRPO$ ) HalfCheetah-v4 वातावरण में भी सत्य रहा, जो LLMs से परे सामान्य सुदृढीकरण सीखने (reinforcement learning) के लिए इस ढांचे की प्रयोज्यता की पुष्टि करता है।
एब्लेशन अध्ययन: यह सत्यापित किया गया कि डायनेमिक स्टेप-साइज़ डिके, ट्रस्ट-रीजन रेगुलराइजेशन और स्पष्ट स्थानीय बाधाएं उच्च प्रदर्शन और स्थिरता प्राप्त करने के लिए सभी महत्वपूर्ण घटक हैं।

महत्व और दावे
शोध पत्र का दावा है कि यह प्राथमिकता-आधारित RL अनुकूलन के लिए एक एकीकृत सैद्धांतिक आधार स्थापित करता है। यह सिद्ध करके कि स्केलर पुरस्कारों का पूर्ण परिमाण प्राथमिकता शिक्षण के लिए अनावश्यक है, यह कार्य मानक रिवॉर्ड-मॉडलिंग प्रतिमान को चुनौती देता है। यह सुझाव देता है कि RLHF के मूल तंत्र को सापेक्ष युग्वदार क्रम (relative pairwise ordering) में सरल बनाया जा सकता है, जिसे स्पष्ट वितरण संबंधी बाधाओं द्वारा बढ़ाया जा सकता है। लेखक तर्क देते हैं कि Pair-GRPO परिवार डिज़ाइन ट्रेड-ऑफ का एक स्पेक्ट्रम प्रदान करता है: Soft-Pair-GRPO एक स्थिर, न्यूनतम-संशोधन बेसलाइन के रूप में कार्य करता है, जबकि Hard-Pair-GRPO स्पष्ट नियंत्रण के माध्यम से बेहतर स्थिरता और प्रदर्शन प्रदान करता है, जो प्रभावी रूप से निहित और स्पष्ट प्राथमिकता बाधाओं को एक ही, सैद्धांतिक रूप से आधारित ढांचे के भीतर एकीकृत करता है।