💬 NLP

Breaking the Self-Confirming Loop: Diagnosing and Mitigating Systemic Reward Bias in Self-Rewarding RL

यह शोध पत्र स्व-पुरस्कृत सुदृढीकरण शिक्षण (self-rewarding reinforcement learning) में एक व्यवस्थित स्व-पुष्टि पूर्वाग्रह (self-confirming bias) की पहचान करता है जहाँ मॉडल उच्च-विश्वास वाली गलतियों को अत्यधिक पुरस्कृत करते हैं, और विविध मॉडल एकत्रीकरण के माध्यम से इस अस्थिरता को कम करने के लिए 'एन्सेम्बल्ड रिवार्ड्स के साथ सुदृढीकरण शिक्षण' (RLER) का प्रस्ताव करता है, जो अनलेबल डेटा पर प्रभावी ढंग से स्केल करते हुए पर्यवेक्षित विधियों (supervised methods) के करीब प्रदर्शन प्राप्त करता है।

मूल लेखक: Chuyi Tan, Peiwen Yuan, Xinglin Wang, Yiwei Li, Shaoxiong Feng, Yueqi Zhang, Jiayi Shi, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chuyi Tan, Peiwen Yuan, Xinglin Wang, Yiwei Li, Shaoxiong Feng, Yueqi Zhang, Jiayi Shi, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: बिना शिक्षक के छात्र को पढ़ाना

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को गणित के सवाल हल करना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (RLVR): आपके पास एक सख्त शिक्षक है जिसके पास उत्तर कुंजी (answer key) है। हर बार जब छात्र उत्तर देता है, तो आप कुंजी से उसकी जाँच करते हैं। यदि वह सही है, तो उसे एक गोल्ड स्टार मिलता है। यदि गलत है, तो उसे लाल 'X' मिलता है। यह बहुत अच्छा काम करता है, लेकिन आप जल्दी ही उत्तर कुंजियों के बिना समाप्त हो जाते हैं क्योंकि उन्हें बनाना महंगा और धीमा है।
"सेल्फ-रिवॉर्डिंग" तरीका (RLIR): पैसे बचाने के लिए, आप छात्र को अपना होमवर्क खुद ग्रेड करने के लिए कहते हैं। "यदि आपको लगता है कि आपका उत्तर सही है, तो खुद को एक गोल्ड स्टार दे दो।" इससे आप असीमित अभ्यास समस्याओं का उपयोग कर सकते हैं।

समस्या: पेपर का तर्क है कि "सेल्फ-रिवॉर्डिंग" तरीके में एक घातक दोष है। यह एक सेल्फ-कन्फर्मिंग लूप (स्व-पुष्टि चक्र) बनाता है।

दोष: अति-आत्मविश्वासी गलती

कल्पना कीजिए कि एक छात्र बहुत आत्मविश्वासी है लेकिन वास्तव में गलत है।

वह एक समस्या को गलत तरीके से हल करता है।
क्योंकि वह अपने उत्तर के बारे में इतना आश्वस्त है, इसलिए वह खुद को एक गोल्ड स्टार देता है।
शिक्षक (लर्निंग एल्गोरिदम) उस गोल्ड स्टार को देखता है और कहता है, "बहुत बढ़िया! ऐसा और करो!"
छात्र अपने गलत तरीके में और भी अधिक आत्मविश्वासी हो जाता है।

पेपर इसे सिस्टमिक रिवॉर्ड बायस (प्रणालीगत पुरस्कार पूर्वाग्रह) कहता है। AI केवल गलतियाँ नहीं कर रहा है; यह अपनी गलतियों में अपने आत्मविश्वास को पुख्ता कर रहा है। यह एक ऐसा फीडबैक लूप बनाता है जहाँ "ज़ोरदार" गलत उत्तरों को पुरस्कृत किया जाता है, जबकि शांत सही उत्तरों को अनदेखा किया जा सकता है। इससे AI अस्थिर हो जाता है और अपनी बुद्धिमत्ता की एक निचली सीमा पर आकर रुक जाता है।

निदान: तीन "वाइटल साइन्स" (महत्वपूर्ण संकेत)

यह साबित करने के लिए, लेखकों ने सेल्फ-ग्रेडिंग सिस्टम की बीमारी को मापने के लिए तीन "वाइटल साइन्स" (मेट्रिक्स) का आविष्कार किया:

रिवॉर्ड नॉइज़ ( $\rho_{noise}$ ): ग्रेडिंग में कितनी "स्टैटिक" (शोर) है? क्या AI रैंडम तरीके से स्टार दे रहा है?
सेल्फ-बायस ( $\rho_{selfbias}$ ): ग्रेड छात्र के आत्मविश्वास से कितनी मजबूती से जुड़ा है? यदि छात्र आत्मविश्वासी है, तो क्या उसे हमेशा अच्छा ग्रेड मिलता है, भले ही वह गलत हो? (पेपर ने पाया कि यह लिंक बहुत मजबूत है)।
स्क्यू ( $\rho_{symbias}$ ): क्या ग्रेडिंग बहुत अधिक स्टार देने (ओवर-रिवॉर्डिंग) या बहुत कम देने की ओर पक्षपाती है? पेपर ने पाया कि सिस्टम गलतियों को ओवर-रिवॉर्ड करने की ओर खतरनाक रूप से पक्षपाती है।

समाधान: RLER ("पैनल ऑफ जजेस")

इसे ठीक करने के लिए, लेखक एक नई विधि प्रस्तावित करते हैं जिसे RLER (एन्सेम्बल रिवॉर्ड्स के साथ सुदृढीकरण सीखना) कहा जाता है। केवल एक छात्र द्वारा खुद को ग्रेड करने के बजाय, वे काम को ग्रेड करने के लिए विविध छात्रों का एक पैनल बनाते हैं।

यहाँ RLER कैसे काम करता है, चरण-दर-चरण:

1. जजों का पैनल (Ensemble)

एक AI द्वारा अपने काम को ग्रेड करने के बजाय, सिस्टम विभिन्न प्रकार के थोड़े अलग AI मॉडलों (एक "एन्सेम्बल") का उपयोग करता है।

उपमा: एक कक्षा की कल्पना करें जहाँ 5 अलग-अलग छात्र एक ही समस्या को हल करते हैं। एक छात्र द्वारा खुद को ग्रेड करने के बजाय, वे सभी अपने पेपर आपस में बदलते हैं और जवाबों को एक साथ देखते हैं।
यह कैसे मदद करता है: यदि एक छात्र आत्मविश्वास के साथ गलत है, तो दूसरे छात्र उस गलती को पकड़ सकते हैं। यह "सेल्फ-कन्फर्मिंग लूप" को तोड़ देता है क्योंकि रिवॉर्ड केवल एक व्यक्ति के आत्मविश्वास पर आधारित नहीं होता है।

2. स्मार्ट ग्रेडर (Adaptive Interpolation)

सिस्टम केवल साधारण बहुमत मत (majority vote) नहीं लेता है। यह एक "स्मार्ट ग्रेडर" का उपयोग करता है जो इस आधार पर अपनी सख्ती को समायोजित करता है कि पैनल के बीच कितनी सहमति है।

उपमा: यदि पूरा पैनल एक उत्तर पर सहमत है, तो ग्रेडर सख्त होता है और एक स्पष्ट "पास" या "फेल" देता है। यदि पैनल भ्रमित है या असहमत है, तो ग्रेडर नरम होता है, यह कहते हुए, "शायद यह आंशिक रूप से सही है," न कि एक सख्त "फेल"।
यह कैसे मदद करता है: यह सिस्टम को उन सही उत्तरों के प्रति बहुत कठोर होने से रोकता है जो थोड़े अलग हैं, और उन आत्मविश्वासी गलत उत्तरों के प्रति बहुत नरम होने से रोकता है जो गलत हैं।

3. "असहमति" फ़िल्टर (Rollout Selection)

यह सबसे चतुर हिस्सा है। सिस्टम विशेष रूप से उन मामलों को देखता है जहाँ पैनल असहमत होता है।

उपमा: यदि 4 छात्र कहते हैं "उत्तर 5 है" और 1 छात्र कहता है "उत्तर 10 है", लेकिन वह 1 छात्र अत्यधिक आत्मविश्वासी है, तो सिस्टम इसे फ्लैग करता है। इसे एहसास होता है, "रुको, यह आत्मविश्वासी आउटलायर एक जाल हो सकता है।" यह इन उच्च-आत्मविश्वास वाली गलतियों को दंडित करता है।
यह कैसे मदद करता है: यह सक्रिय रूप से उन "अति-आत्मविश्वासी गलतियों" को ढूंढ निकालता है जो आमतौर पर सेल्फ-रिवॉर्डिंग सिस्टम को तोड़ देती हैं।

परिणाम: एक स्थिर, बुद्धिमान छात्र

लेखकों ने इस नई विधि (RLER) का परीक्षण पुराने सेल्फ-ग्रेडिंग तरीकों और "सख्त शिक्षक" वाले तरीके (RLVR) के विरुद्ध किया।

प्रदर्शन: RLER सख्त शिक्षक (सर्वश्रेष्ठ संभव स्कोर के 3.6% के भीतर) के लगभग बराबर प्रदर्शन करता है, और पुराने सेल्फ-ग्रेडिंग तरीकों की तुलना में काफी बेहतर (6.2% सुधार) है।
स्थिरता: ट्रेनिंग क्रैश नहीं हुई या बेकाबू नहीं हुई। "वाइटल साइन्स" ने दिखाया कि शोर (noise) कम हो गया, ओवर-रिवॉर्डिंग का पूर्वाग्रह गायब हो गया, और सिस्टम ने अपनी गलतियों को पुख्ता करना बंद कर दिया।
दक्षता: हालांकि उन्होंने प्रशिक्षण के दौरान मॉडलों के एक "पैनल" का उपयोग किया, लेकिन अंत में उन्होंने उन्हें एक एकल मॉडल में मिला दिया। इसलिए, जब आप वास्तव में AI का उपयोग करते हैं, तो यह सामान्य AI की तरह ही तेजी से चलता है, इसमें कोई अतिरिक्त लागत नहीं है।

सारांश

पेपर कहता है कि AI को खुद को ग्रेड करने देना खतरनाक है क्योंकि यह अति-आत्मविश्वासी गलतियों के लूप में फंस जाता है। उनका समाधान यह है कि काम को ग्रेड करने के लिए AI की एक टीम को नियुक्त किया जाए, जो एक स्मार्ट सिस्टम का उपयोग करती है जो यह पहचानता है कि टीम कब असहमत होती है। यह AI को खुद से झूठ बोलने से रोकता है, जिससे वह बिना किसी मानव शिक्षक के बहुत अधिक स्मार्ट और स्थिर बनता है।

तकनीकी सारांश: सेल्फ-रिवॉर्डिंग RL में प्रणालीगत रिवॉर्ड बायस (Systemic Reward Bias) का निदान और शमन

1. समस्या विवरण (Problem Statement)

वेरिफिएबल रिवॉर्ड्स के साथ सुदृढीकरण लर्निंग (RLVR) ने बड़े भाषा मॉडलों (LLMs) की तर्क क्षमता को बढ़ाने के लिए प्रभावी प्रदर्शन किया है, लेकिन यह लेबल किए गए डेटा की कमी से बाधित है। इंट्रिंसिक रिवॉर्ड्स के साथ सुदृढीकरण लर्निंग (RLIR), या सेल्फ-रिवॉर्डिंग, एक स्केलेबल विकल्प प्रदान करता है क्योंकि यह पॉलिसी मॉडल को अपने स्वयं के रिवॉर्ड सिग्नल उत्पन्न करने की अनुमति देता है। हालांकि, RLIR विधियां अक्सर अस्थिरता और RLVR की तुलना में निम्न प्रदर्शन से ग्रस्त होती हैं।

लेखक इस अंतर के मूल कारण को कॉन्फिडेंस-कपल्ड सेल्फ-रिवॉर्डिंग (confidence-coupled self-rewarding) में निहित प्रणालीगत रिवॉर्ड बायस (systemic reward bias) के रूप में पहचानते हैं। मौजूदा RLIR फ्रेमवर्क में, रिवॉर्ड अनुमान पॉलिसी के अपने आत्मविश्वास (confidence) के साथ मजबूती से जुड़ा होता है। यह एक विषम त्रुटि पैटर्न (asymmetric error pattern) बनाता है:

कॉन्फिडेंट करेक्टनेस (Confident Correctness): रिवॉर्ड त्रुटियां छोटी रहती हैं।
कॉन्फिडेंट मिस्टेक्स (Confident Mistakes): रिवॉर्ड त्रुटियां बड़ी हो जाती हैं, जिससे ओवर-रिवॉर्डिंग (over-rewarding) होता है (उन गलत आउटपुट्स को उच्च रिवॉर्ड देना जिनके बारे में मॉडल आश्वस्त/कॉन्फिडेंट है)।

यह विषमता एक सेल्फ-कन्फर्मिंग लूप (self-confirming loop) बनाती है जहाँ पक्षपाती (biased) रिवॉर्ड्स प्रशिक्षण के दौरान संचित होते हैं, जिससे पॉलिसी ओवर-रिवॉर्डिंग की ओर बढ़ती है, अनुकूलन अस्थिरता (optimization instability) पैदा करती है, और प्राप्त होने योग्य प्रदर्शन की ऊपरी सीमा (performance ceiling) को सीमित कर देती है।

2. कार्यप्रणाली: RLER (एन्सेम्बल रिवॉर्ड्स के साथ सुदृढीकरण लर्निंग)

इस प्रणालीगत बायस को कम करने के लिए, लेखक RLER का प्रस्ताव करते हैं, जो एक एकीकृत रिवॉर्ड-एस्टिमेशन स्पेस बनाने के लिए विविध पॉलिसियों को एकत्रित करता है। RLER को तीन वांछनीय गुणों (desiderata) को पूरा करने के लिए डिज़ाइन किया गया है: सटीकता (Accuracy) (कम शोर/noise), निष्पक्षता (Unbiasedness) (कोई दिशात्मक विचलन नहीं), और मजबूती (Robustness) (पॉलिसी कॉन्फिडेंस से अलगाव)।

RLER इसे तीन मुख्य तंत्रों के माध्यम से प्राप्त करता है:

A. एन्सेम्बल-आधारित यूनिफाइड रिवॉर्डिंग (Ensemble-Based Unified Rewarding)

एक एकल पॉलिसी द्वारा स्वयं को रिवॉर्ड देने के बजाय, RLER $K$ विविध स्रोत पॉलिसियों के एक एन्सेम्बल का उपयोग करता है।

एकत्रीकरण (Aggregation): सभी पॉलिसियों से रोलआउट (rollouts) लिए जाते हैं, और उनके उत्तर वितरण (answer distributions) को एक एकीकृत एन्सेम्बल वितरण $\bar{p}_j$ बनाने के लिए पूल किया जाता है।
बहुमत सहमति (Majority Consensus): एक एकल मॉडल के आउटपुट के बजाय, एन्सेम्बल वितरण से एक एकीकृत बहुमत लेबल $m_{EC}$ प्राप्त किया जाता है।
लाभ: यह किसी भी एकल पॉलिसी के कॉन्फिडेंस पर निर्भरता को कम करता है, जिससे रिवॉर्ड शोर ( $\rho_{noise}$ ) और पॉलिसी-रिवॉर्ड कपलिंग ( $\rho_{selfbias}$ ) कम हो जाती है।

B. एडेप्टिव सॉफ्ट-रिवॉर्ड इंटरपोलेशन (Adaptive Soft-Reward Interpolation)

हार्ड रिवॉर्ड्स (बाइनरी 0/1) के उच्च विचलन (high variance) और सॉफ्ट रिवॉर्ड्स (संभाव्य/probabilistic) के निम्न-कॉन्फिडेंस बायस के बीच संतुलन बनाने के लिए, RLER एक एडेप्टिव इंटरपोलेशन रणनीति पेश करता है।

तंत्र: अंतिम रिवॉर्ड $r_i^{(\alpha)}$ एक हार्ड एन्सेम्बल निर्णय ( $r^H$ ) और एक सॉफ्ट यूनिफाइड प्रोबेबिलिटी ( $r^S$ ) का भारित मिश्रण (weighted blend) है:
$r_i^{(\alpha)} = (1 - \alpha)r^S_i + \alpha r^H_i$
एडेप्टिव गेट (Adaptive Gate): भार $\alpha(x)$ को एन्सेम्बल के यूनिफाइड कॉन्फिडेंस द्वारा गतिशील रूप से नियंत्रित किया जाता है। उच्च कॉन्फिडेंस हार्ड रिवॉर्ड पर निर्भरता बढ़ाता है, जबकि कम कॉन्फिडेंस सॉफ्ट रिवॉर्ड पर निर्भरता बढ़ाता है ताकि संभावित अल्पसंख्यक (minority) उत्तरों के बारे में जानकारी सुरक्षित रहे।
कैलिब्रेशन (Calibration): विधि विभिन्न कठिनाई स्तरों के विरुद्ध मजबूती सुनिश्चित करने के लिए टोकन-लेवल कॉन्फिडेंस और बैच-वाइज मिन-मैक्स नॉर्मलाइजेशन को शामिल करती है।

C. डिसएग्रीमेंट-अवेयर रोलआउट सिलेक्शन (Disagreement-Aware Rollout Selection)

यह तंत्र स्पष्ट रूप से एन्सेम्बल डिसएग्रीमेंट (असहमति) के आधार पर अपडेट को फ़िल्टर करके ओवर-रिवॉर्ड स्क्यू ( $\rho_{symbias}$ ) को लक्षित करता है।

रणनीति: सिस्टम सहमति की विश्वसनीयता के आधार पर अपडेट बजट आवंटित करता है।
- उच्च सहमति (Majority): अपडेट को $\alpha(x)$ द्वारा स्केल किया जाता है, केवल तभी अपडेट पर जोर देता है जब एन्सेיםबल विश्वसनीय हो।
- असहमति (Tail): अपडेट सॉफ्ट टर्म $(1-\alpha)r^S$ पर निर्भर करते हैं। यह उन अल्पसंख्यक उत्तरों के आक्रामक दमन को रोकता है जो सही हो सकते हैं, जबकि निम्न-आवृत्ति वाले शोर को स्वाभाविक रूप से कम करता है।
परिणाम: उच्च-कॉन्फिडेंस फॉल्स पॉजिटिव्स (FPs) को आक्रामक रूप से फ़िल्टर किया जाता है, जबकि फॉल्स नेगेटिव्स (FNs) को रिकवर किया जाता है, जिससे ओवर-रिवॉर्ड की ओर झुकाव ठीक होता है।

D. एन्सेम्बल-टू-सिंगल कंसोलिडेशन (Ensemble-to-Single Consolidation)

अतिरिक्त अनुमान लागत (inference costs) के बिना व्यावहारिक तैनाती सुनिश्चित करने के लिए, $K$ प्रशिक्षित पॉलिसियों को Ties-Merging का उपयोग करके एक एकल मॉडल में मर्ज किया जाता है। यह सिस्टम को प्रशिक्षण के दौरान एन्सेम्बल लाभों का लाभ उठाने और एक कुशल एकल पॉलिसी को तैनात करने की अनुमति देता है।

3. प्रमुख योगदान और डायग्नोस्टिक्स

यह पेपर तीन मेट्रिक्स का उपयोग करके RLIR के विफलता मोड को मापने के लिए एक डायग्नोस्टिक फ्रेमवर्क पेश करता है:

रिवॉर्ड नॉइज़ मैग्नीट्यूड ( $\rho_{noise}$ ): ऑरेकल (oracle) से रिवॉर्ड अनुमानों के पूर्ण विचलन को मापता है।
पॉलिसी-रिवॉर्ड कपलिंग ( $\rho_{selfbias}$ ): यह मापता है कि रिवॉर्ड अनुमान पॉलिसी के अपने कॉन्फिडेंस से कितनी मजबूती से जुड़े हैं।
सिमेट्री बायस रेट ( $\rho_{symbias}$ ): ओवर-रिवॉर्ड (FP) और अंडर-रिवॉर्ड (FN) के बीच दिशात्मक झुकाव को मापता है।

नियंत्रित प्रयोगों से मुख्य निष्कर्ष:

ओवर-रिवॉर्ड, अंडर-रिवॉर्ड की तुलना में अधिक हानिकारक है: प्रयोग दिखाते हैं कि FP-प्रधान शोर (noise), FN-प्रधान शोर की तुलना में अधिक गंभीर प्रदर्शन गिरावट का कारण बनता है।
कपलिंग त्रुटियों को बढ़ाता है: उच्च $\rho_{selfbias}$ , कॉन्फिडेंस-कंडीशन्ड त्रुटियों को सुदृढ़ करता है, जिससे अस्थिर प्रशिक्षण गतिशीलता (training dynamics) होती है।
डिकपलिंग (Decoupling) आवश्यक है: पॉलिसी और उसके रिवॉर्ड सिग्नल के बीच कपलिंग को कम करना स्थिरता के लिए महत्वपूर्ण है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मैथ-स्टाइल रीजनिंग कार्यों (Arithmetic, DAPO-MATH-17K) और क्रॉस-मॉडल/डेटासेट सामान्यीकरण (LLaMA, Qwen, Big-Math, WebInstruct) पर व्यापक प्रयोग किए गए।

प्रदर्शन: RLER सबसे अच्छे RLIR बेसलाइन (जैसे, Co-rewarding, INTUITOR) पर +6.2% का सुधार करता है और RLVR अपर बाउंड (ऑरेकल-लेबल) के 3.6% के भीतर प्रदर्शन प्राप्त करता है।
स्थिरता: RLER प्रशिक्षण सेट के आकार (8k से 1M सैंपल तक) के बढ़ने के साथ सुचारू और सुसंगत स्केलिंग प्रदर्शित करता है, जबकि मानक RLIR बेसलाइन अस्थिर स्केलिंग और प्रदर्शन पठार (plateaus) दिखाते हैं।
मेट्रिक सुधार: RLER $\rho_{noise}$ , $\rho_{selfbias}$ , और $\rho_{symbias}$ को महत्वपूर्ण रूप से कम करता है, जिससे सेल्फ-कन्फर्मिंग लूप प्रभावी रूप से टूट जाता है।
एब्लेशन स्टडीज (Ablation Studies): किसी भी घटक (Ensemble, Interpolation, या Selection) को हटाने से प्रदर्शन में गिरावट आती है, जो पुष्टि करता है कि तीनों तंत्र सामूहिक रूप से बायस शमन में योगदान देते हैं।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि RLER उन अनलेबल सेटिंग्स में सुदृढीकरण लर्निंग के लिए एक व्यावहारिक, स्केलेबल समाधान प्रदान करता है जहाँ मानवीय पर्यवेक्षण दुर्लभ है। अनलेबल डेटा के माध्यम से बायस का निदान और समाधान करके, RLER:

बाहरी रिवॉर्ड मॉडल की आवश्यकता के बिना बड़े अनलेबल कॉर्पोरा पर स्थिर स्केलिंग को सक्षम बनाता है।
सेल्फ-रिवॉर्डिंग (RLIR) और ऑरेकल-लेबल (RLVR) विधियों के बीच प्रदर्शन अंतर को पाटता है।
मॉडल मर्जिंग के माध्यम से एक डिप्लॉयमेंट-फ्रेंडली दृष्टिकोण प्रदान करता है, जिससे कोई अतिरिक्त अनुमान ओवरहेड नहीं होता है।

लेखक निष्कर्ष निकालते हैं कि RLER LLMs के लिए टिकाऊ, स्व-सुधारने वाली रीजनिंग सिस्टम की दिशा में एक महत्वपूर्ण कदम है, विशेष रूप से उन डोमेन में जहाँ प्रचुर मात्रा में अनलेबल डेटा है लेकिन ग्राउंड ट्रुथ (ground truth) दुर्लभ है।