💬 NLP

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

यह शोध पत्र SAVE को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो वैल्यू-एंकर वाले ऑन-पॉलिसी फीडबैक का लाभ उठाता है ताकि रिवॉर्ड मॉडल को पॉलिसी रिस्पॉन्स को ग्रेड करने और अस्पष्ट नमूनों को फ़िल्टर करने के माध्यम से स्वयं-पर्यवेक्षण (सेल्फ-सुपरवाइज) करने और अपने प्रशिक्षण में सुधार करने में सक्षम बनाया जा सके, जिससे महंगे मानव प्राथमिकता डेटा पर निर्भरता दूर होती है और विविध बेंचमार्क एवं आरएल (RL) एल्गोरिदम पर बेहतर प्रदर्शन प्रदर्शित होता है।

मूल लेखक: Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बेहतरीन कहानियाँ लिखना सिखा रहे हैं। इसे करने के लिए, आपको एक शिक्षक (पॉलिसी) चाहिए जो कहानियाँ लिखेगा, और एक न्यायाधीश (रिवॉर्ड मॉडल) चाहिए जो उन्हें ग्रेड देगा।

करने का मानक तरीका (जिसे RLHF कहा जाता है) यह है कि न्यायाधीश को पुराने मानवीय नोट्स के एक बड़े ढेर पर प्रशिक्षित किया जाता है, और फिर उसे स्थिर (frozen) कर दिया जाता है। शिक्षक कहानियाँ लिखता है, न्यायाधीश उन्हें ग्रेड देता है, और शिक्षक बेहतर होता जाता है।

समस्या:
जैसे-जैसे शिक्षक अधिक स्मार्ट होता जाता है, वह ऐसी कहानियाँ लिखना शुरू कर देता है जो न्यायाधीश के पुराने नोट्स से बहुत अलग होती हैं जिन पर उसे प्रशिक्षित किया गया था। न्यायाधीश भ्रमित हो जाता है। वह अच्छी कहानियों को बुरा ग्रेड देने लगता है या बुरी कहानियों को अच्छा ग्रेड देने लगता है क्योंकि उसने इस "नई शैली" को पहले नहीं देखा है। इससे शिक्षक "सिस्टम को धोखा देने" (gaming the system) लगता है—ऐसी अजीब, रोबोटिक कहानियाँ लिखना जो न्यायाधीश को उच्च अंक देने के लिए मूर्ख बना दें, भले ही वे वास्तव में अच्छी न हों। इसे "रिवॉर्ड हैकिंग" (reward hacking) कहा जाता है।

आमतौर पर, इसे ठीक करने के लिए, आपको नए कहानियों को ग्रेड देने के लिए अधिक मनुष्यों को काम पर रखना होगा या एक बहुत ही स्मार्ट AI को नया न्यायाधीश बनने के लिए कहना होगा। दोनों ही महंगे और धीमे हैं।

समाधान: SAVE
यह पेपर एक नया फ्रेमवर्क पेश करता है जिसे SAVE कहा जाता है। इसे ऐसे समझें जैसे न्यायाधीश को एक स्व-सुधारने वाली सुपरपावर देना, जो उसे मानवीय मदद के बिना शिक्षक के अपने काम से सीखने की अनुमति देती है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "वैल्यू एंकर" (आधार रेखा/Baseline)

कल्पना कीजिए कि न्यायाधीश के पास एक विशेष उपकरण है: एक वैल्यू एंकर। केवल एक कहानी को देखकर "अच्छा" या "बुरा" कहने के बजाय, एंकर पूछता है: "औसतन, इस विशिष्ट प्रॉम्प्ट के लिए एक कहानी कितनी अच्छी है?"

यदि प्रॉम्प्ट है "बिल्ली के बारे में एक कविता लिखें," तो एंकर जानता है कि औसत बिल्ली की कविता ठीक-ठाक होती है।

यदि शिक्षक एक ऐसी कविता लिखता है जो औसत से बेहतर है, तो न्यायाधीश कहता है, "यह एक सकारात्मक (Positive) नमूना है!"
यदि शिक्षक एक ऐसी कविता लिखता है जो औसत से बदतर है, तो न्यायाधीश कहता है, "यह एक नकारात्मक (Negative) नमूना है!"

यह शिक्षक के अपने आउटपुट को एक स्व-ग्रेडिंग प्रणाली में बदल देता है। न्यायाधीश को "परम सत्य" जानने की आवश्यकता नहीं है; उसे बस यह जानने की आवश्यकता है कि वर्तमान औसत से क्या बेहतर या बदतर है।

2. "एडेप्टिव फ़िल्टर" (गुणवत्ता नियंत्रण)

कभी-कभी, शिक्षक लगभग समान गुणवत्ता की दो कहानियाँ लिखता है। न्यायाधीश भ्रमित हो सकता है और कह सकता है: "हम्म, ये दोनों ही औसत दर्जे की हैं।"

SAVE में एक फ़िल्टर है जो कहता है: "यदि हम अच्छे और बुरे के बीच स्पष्ट अंतर नहीं बता सकते, तो अभी के लिए उस उदाहरण को अनदेखा कर दें।" यह केवल उन उदाहरणों को रखता है जहाँ अंतर स्पष्ट और प्रत्यक्ष है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, यह फ़िल्टर स्मार्ट होता जाता है, जिससे बाद में थोड़े कठिन उदाहरणों का उपयोग किया जा सके।

3. "सेल्फ-सुपरवाइज्ड लूप" (चक्र)

यहाँ जादुई चक्र है:

शिक्षक कहानियों का एक बैच लिखता है।
न्यायाधीश अपने वैल्यू एंकर का उपयोग करके उनकी तुलना करता है। वह उन्हें "औसत से बेहतर" और "औसत से बदतर" में अलग करता है।
न्यायाधीश इन स्पष्ट अंतरों का उपयोग करके स्वयं को अपडेट करता है। वह सीखता है, "आह, मैं समझ गया! जब शिक्षक इस तरह से लिखता है, तो यह वास्तव में अच्छा है, भले ही यह मेरे पुराने प्रशिक्षण डेटा से अलग दिखता हो।"
शिक्षक फिर इस नए, स्मार्ट न्यायाधीश का उपयोग अपने अगले बैच की कहानियों को ग्रेड करने के लिए करता है और और भी बेहतर होता जाता है।

यह एक बड़ी बात क्यों है?

नए मनुष्यों की आवश्यकता नहीं: न्यायाधीश शिक्षक की अपनी गलतियों और सफलताओं से सीखता है, इसलिए आपको लगातार नए डेटा को ग्रेड करने के लिए मनुष्यों को भुगतान करने की आवश्यकता नहीं है।
ताज़ा रहता है: क्योंकि न्यायाधीश शिक्षक की वर्तमान लेखन शैली से सीखता है, इसलिए वह कभी "पुराना" नहीं होता। वह शिक्षक के साथ ही विकसित होता है।
धोखाधड़ी को रोकता है: ग्रेड को प्रदर्शन के औसत से जोड़ने के कारण, शिक्षक के लिए अजीब, निम्न-गुणवत्ता वाले तरीकों से न्यायाधीश को धोखा देना कठिन हो जाता है।

परिणाम

लेखकों ने छह अलग-अलग "परीक्षा बोर्डों" (बेंचमार्क) पर इसका परीक्षण किया जो यह जांचते हैं कि एक न्यायाधीश कितना अच्छा है।

स्कोर: प्रारंभिक न्यायाधीश का स्कोर 76.0 था। SAVE का उपयोग करने के बाद, यह सुधरकर 77.3 हो गया।
शिक्षक: जब उन्होंने इस बेहतर न्यायाधीश का उपयोग करके शिक्षक को प्रशिक्षित किया, तो शिक्षक निर्देशों का पालन करने और उच्च-गुणवत्ता वाली सामग्री लिखने में काफी बेहतर हो गया।

संक्षेप में: SAVE एक शिक्षक के ग्रेडर को एक दर्पण देने जैसा है। पुराने पाठ्यपुस्तकों पर निर्भर रहने के बजाय, ग्रेडर छात्र के वर्तमान कार्य को देखता है, छात्र के अपने औसत से उसकी तुलना करता है, और अंतरों से सीखता है। यह ग्रेडर को स्मार्ट और छात्र को बेहतर बनाता है, और यह सब बिना किसी नए प्रोक्टर को नियुक्त किए किया जाता है।

तकनीकी सारांश: RLHF का दूसरा पहलू (SAVE)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का मानव फीडबैक से सुदृढीकरण शिक्षण (Reinforcement Learning from Human Feedback - RLHF) के माध्यम से संरेखण (alignment), रिवॉर्ड मॉडल (Reward Model - RM) की गुणवत्ता पर अत्यधिक निर्भर करता है। हालाँकि, मजबूत RMs का निर्माण दो प्राथमिक बाधाओं का सामना करता है:

डेटा अधिग्रहण लागत: विविध, उच्च-गुणवत्ता वाले प्रेफरेंस डेटा को प्राप्त करना महंगा है, जिसके लिए महत्वपूर्ण मानव एनोटेशन या अधिक शक्तिशाली, अक्सर अप्राप्य जज मॉडल्स से डिस्टिलेशन की आवश्यकता होती है।
वितरण संबंधी बेमेल (Distributional Mismatch): मानक RMs को स्टैटिक, ऑफलाइन प्रेफरेंस डेटा पर प्रशिक्षित किया जाता है। जैसे-जैसे RL प्रशिक्षण के दौरान पॉलिसी मॉडल विकसित होता है, उसका जनरेशन डिस्ट्रीब्यूशन स्टैटिक ट्रेनिंग सेट से दूर चला जाता है। इससे उन क्षेत्रों में मिसकैलिब्रेशन होता है जहाँ ऑप्टिमाइज्ड पॉलिसी बार-बार जाती है, जिससे "रिवॉर्ड हैकिंग" और ओवर-ऑप्टिमाइज़ेशन (गुडहार्ट्स लॉ) प्रेरित होता है।

पारंपरिक उपचार, जैसे कि नया मानव लेबल एकत्र करना या बाहरी जजों से पुनः प्रश्न पूछना, या तो मूल लागत बाधाओं को दोहराते हैं या बाहरी पर्यवेक्षण पर निर्भरता को बनाए रखते हैं। यह शोध एक महत्वपूर्ण प्रश्न उठाता है: क्या एक रिवॉर्ड मॉडल बिना किसी अतिरिक्त मानव लेबल या बाहरी जज के, RL प्रशिक्षण के दौरान उत्पन्न ऑन-पॉलिसी प्रतिक्रियाओं का उपयोग करके स्वयं में सुधार कर सकता है?

कार्यप्रणाली: SAVE फ्रेमवर्क

लेखक SAVE (वैल्यू-एंकरड ऑन-पॉलिसी फीडबैक के माध्यम से सेल्फ-सुपरवाइज्ड रिवॉर्ड मॉडल इम्प्रूवमेंट) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो ऑन-पॉलिसी प्रतिक्रियाओं को निरंतर RM को रिफाइन करने के लिए सेल्फ-सुपरवाइज्ड फीडबैक के रूप में उपयोग करता है।

मुख्य घटक

वैल्यू-एंकरड रिवॉर्ड मॉडल (Value-Anchored Reward Model):
RM को एक प्रॉम्प्ट-विशिष्ट वैल्यू हेड ( $V(x)$ ) के साथ बढ़ाया गया है, जो मानक रिवॉर्ड हेड ( $R(x, y)$ ) के साथ काम करता है। वैल्यू हेड वर्तमान सैंपलिंग पॉलिसी के तहत प्रॉम्प्ट $x$ के प्रति अपेक्षित रिवॉर्ड का अनुमान लगाता है। यह RM के बैकबोन ( $f_\omega$ ) को साझा करके और एक हल्का वैल्यू हेड ( $v_\psi$ ) जोड़कर प्राप्त किया जाता है।
- RM एडवांटेज: एक विशिष्ट प्रतिक्रिया $y$ का एडवांटेज $a_{RM}(x, y) = R(x, y) - V(x)$ के रूप में परिभाषित किया गया है। यह मापता है कि क्या एक प्रतिक्रिया उस प्रॉम्प्ट के लिए पॉलिसी की औसत अपेक्षा से बेहतर है या बदतर।
एडेप्टिव फीडबैक फ़िल्टरिंग (Adaptive Feedback Filtering):
यह सुनिश्चित करने के लिए कि सेल्फ-सुपरवाइजड सिग्नल विश्वसनीय हो, SAVE एक करिकुलम-ड्रिवन फ़िल्टरिंग तंत्र का उपयोग करता है:
- प्रत्येक प्रॉम्प्ट के लिए, $G$ ऑन-पॉलिसी प्रतिक्रियाओं का एक समूह सैंपल किया जाता है।
- वे प्रतिक्रियाएं जिनका RM एडवांटेज शून्य के करीब (अस्पष्ट नमूने) है, उन्हें एक डायनेमिक थ्रेशोल्ड $\mu(t)$ का उपयोग करके फ़िल्टर कर दिया जाता है जो ट्रेनिंग स्टेप्स के दौरान घटता जाता है।
- केवल वे प्रॉम्प्ट रखे जाते हैं जो सकारात्मक ( $a_{RM} \ge 0$ ) और नकारात्मक ( $a_{RM} < 0$ ) दोनों प्रकार के प्रतिक्रिया उपसमूह प्रदान करते हैं, ताकि एक कंट्रास्टिव सिग्नल मिल सके।
सेल्फ-सुपरवाइजड ऑब्जेक्टिव्स (Self-Supervised Objectives):
फ्रेमवर्क फ़िल्टर किए गए डेटा पर दो अलग-अलग लॉस का उपयोग करके RM को ऑप्टिमाइज़ करता है:
- कंट्रास्टिव रिवॉर्ड लॉस ( $L_R$ ): एक वैल्यू-एंकरड कंट्रास्टिव ऑब्जेक्टिव जो पॉजिटिव एडवांटेज प्रतिक्रियाओं को वैल्यू एंकर से ऊपर और नेगेटिव एडवांटेज प्रतिक्रियाओं को उससे नीचे धकेलता है। यह रिवॉर्ड हेड ( $h_\phi$ ) और बैकबोन ( $f_\omega$ ) को अपडेट करता है।
- वैल्यू कैलिब्रेशन लॉस ( $L_V$ ): एक मीन स्क्वेर्ड एरर (MSE) लॉस जो वैल्यू हेड को सैंपल किए गए समूह के अनबायस्ड एम्पेरिकल मीन रिवॉर्ड की भविष्यवाणी करने के लिए प्रशिक्षित करता है। यह सुनिश्चित करता है कि एंकर एक कैलिब्रेटेड बेसलाइन बना रहे।
मिनिमैक्स फॉर्मूलेशन (Minimax Formulation):
सैद्धांतिक रूप से, SAVE को एक रिवॉर्ड-मॉडल-केंद्रित मिनिमैक्स समस्या के रूप में फ्रेम किया गया है:
$\min_\eta \max_\theta M_t(\eta, \theta)$
जहाँ पॉलिसी ( $\theta$ ) एक एडेप्टिव डेटा जेनरेटर के रूप में कार्य करती है जो स्वाभाविक रूप से उन क्षेत्रों की तलाश करती है जहाँ वर्तमान RM मिसकैलिब्रेटेड है (उसकी कमजोरियों को उजागर करना), और RM ( $\eta$ ) इन चुनौतीपूर्ण नमूनों पर अपने रैंकिंग और कैलिब्रेशन एरर को कम करता है।

प्रमुख योगदान

SAVE फ्रेमवर्क: एक सामान्य, सेल्फ-सुपरवाइज्ड फ्रेमवर्क जो अतिरिक्त मानव एनोटेशन या बाहरी जजों की आवश्यकता के बिना, ऑन-पॉलिसी फीडबैक का उपयोग करके रिवॉर्ड मॉडल्स को निरंतर सुधारता है।
सैद्धांतिक औचित्य: लेखक इस प्रक्रिया को एक मिनिमैक्स समस्या के रूप में औपचारिक रूप देते हैं, जो सैद्धांतिक रूप से प्रदर्शित करता है कि पॉलिसी ऑप्टिमाइज़ेशन स्वाभाविक रूप से RM सुधार के लिए सूचनात्मक डेटा प्रदान करता है क्योंकि यह रिवॉर्ड मॉडल की एपिस्टेमिक त्रुटियों को उजागर करता है।
अनुभवजन्य सत्यापन (Empirical Validation): छह विविध बेंचमार्क और कई RL एल्गोरिदम (GRPO, RLOO, GSPO) और पॉलिसी बैकबोन पर व्यापक प्रयोग।

प्रयोगात्मक परिणाम

शोध पत्र छह रिवॉर्ड मॉडल बेंचमार्क पर SAVE का मूल्यांकन करता है: RewardBench, RewardBench 2, RM-Bench, PPE Preference, PPE Correctness, और JudgeBench।

रिवॉर्ड मॉडल प्रदर्शन:
- एक बेसलाइन RM (Skywork-Reward-V2-Llama-3.2-3B) से शुरू करते हुए, जिसका औसत स्कोर 76.0 था, एक मजबूत पॉलिसी बैकबोन (Qwen3-4B) का उपयोग करते समय SAVE ने औसत को बढ़ाकर 77.3 कर दिया।
- SAVE ने सभी छह बेंचमार्क पर सर्वश्रेष्ठ स्कोर प्राप्त किया, जो निरंतर ऑफलाइन ट्रेनिंग, मीन रिवॉर्ड बेसलाइन्स और HL-BT (Highest-Lowest Bradley-Terry) पद्धति सहित बेसलाइन्स से बेहतर प्रदर्शन करता है।
- एब्लेशन स्टडीज ने पुष्टि की कि करिकुलम फ़िल्टरिंग मैकेनिज्म और डायनेमिक पॉलिसी अपडेट दोनों ही महत्वपूर्ण हैं; पॉलिसी को फ्रीज करने या करिकुलम को हटाने से प्रदर्शन में गिरावट आई।
डाउनस्ट्रीम पॉलिसी प्रदर्शन:
- बेहतर RMs ने बेहतर डाउनस्ट्रीम पॉलिसी प्रदर्शन में योगदान दिया। AlpacaEval 2 पर, लेंथ-कंट्रोल्ड विन रेट 51.68% से बढ़कर 54.24% हो गया।
- Arena-Hard-v2.0 पर, विन रेट 30.2% से बढ़कर 33.9% हो गया।
- बेहतर RM ट्रांसफरेबल साबित हुआ, जिसने उन पॉलिसियों को भी बेहतर बनाया जिन्हें इसके साथ प्रशिक्षित किया गया था, भले ही वे सह-प्रशिक्षित (co-trained) न हों।

महत्व और दावे

शोध पत्र का दावा है कि SAVE रिवॉर्ड मॉडल प्रशिक्षण की "बाधा" के लिए एक स्केलेबल समाधान प्रदान करता है। ऑन-पॉलिसी फीडबैक का उपयोग करके, जो रिवॉर्ड मॉडल के विकास से उत्पन्न होता है, SAVE स्टैटिक ऑफलाइन डेटा और बाहरी जजों पर निर्भरता को तोड़ता है।

लेखक इस बात पर जोर देते हैं कि:

सेल्फ-इम्प्रूवमेंट व्यवहार्य है: रिवॉर्ड मॉडल्स केवल RL प्रक्रिया के दौरान उत्पन्न डेटा का उपयोग करके प्रभावी ढंग से स्वयं में सुधार कर सकते हैं।
वैल्यू एंकरिंग महत्वपूर्ण है: एक सीखा हुआ, प्रॉम्प्ट-विशिष्ट वैल्यू एंकर का उपयोग करना नेइव पेयरवाइज रैंकिंग (जैसे HL-BT) की तुलना में बेहतर है, जो अर्थ संबंधी रूप से समान प्रतिक्रियाओं के बीच सतही संरचनात्मक अंतरों के प्रति ओवरफिट हो सकता है।
मजबूती (Robustness): यह तरीका ऑप्टिमाइज़र-अज्ञेय (optimizer-agnostic) है, जो विभिन्न क्रिटिक-फ्री RL एल्गोरिदम (GRPO, RLOO, GSPO) में निरंतर लाभ दिखाता है।

शोध पत्र निष्कर्ष निकालता है कि ऑन-पॉलिसी फीडबैक रिवॉर्ड मॉडल्स और उनके द्वारा निर्देशित डाउनस्ट्रीम पॉलिसियों दोनों को सुधारने के लिए एक प्रभावी पर्यवेक्षण सिग्नल के रूप में कार्य करता है, जो आइसोलेटेड रिवॉर्ड मॉडलिंग से ऑनलाइन जॉइंट इवोल्यूशन की ओर प्रतिमान (paradigm) को बदल देता है।

सीमाएँ

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं:

मॉडल स्केल: प्रयोग 3B–4B रेंज के मॉडल्स पर किए गए थे; काफी बड़े मॉडल्स के लिए डायनेमिक्स का सत्यापन अभी बाकी है।
मूल्यांकन मेट्रिक्स: ऑटोमैटिक बेंचमार्क और LLM-आधारित जजों पर निर्भरता; मानव प्रेफरेंस अध्ययन अधिक मजबूत साक्ष्य प्रदान करेंगे, विशेष रूप से सुरक्षा-महत्वपूर्ण या व्यक्तिपरक कार्यों के लिए।
कंप्यूटेशनल लागत: प्रति प्रॉम्प्ट कई प्रतिक्रियाओं को सैंपल करने और प्रशिक्षण के दौरान RM को अपडेट करने के कारण SAVE अतिरिक्त गणना पेश करता है, हालांकि मेमोरी वृद्धि की तुलना में समय का ओवरहेड मध्यम बताया गया है।