🤖 machine learning

The Hidden Bias of Process Reward Models:PRISM for Rewarding the Right Reasoning

यह शोध पत्र डेटा असंतुलन के कारण प्रोसेस रिवॉर्ड मॉडल्स (PRMs) में एक छिपे हुए पूर्वाग्रह की पहचान करता है जो गलत चरणों को अत्यधिक श्रेय देने की ओर ले जाता है, और PRISM प्रस्तावित करता है, जो एक कंट्रास्टिव ट्रेनिंग फ्रेमवर्क है जो पॉइंटवाइज लेबल फिटिंग के बजाय विश्वसनीय सापेक्ष तुलनाओं को प्राथमिकता देकर फॉल्स पॉजिटिव्स को काफी कम करता है और डाउनस्ट्रीम कार्यों में रीजनिंग सटीकता में सुधार करता है।

मूल लेखक: Aakriti Agrawal, Souradip Chakraborty, Armin Saghafian, Nihal Sharma, Rizal Fathony, Nam H Nguyen, C. Bayan Bruss, Amrit Singh Bedi, Furong Huang

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aakriti Agrawal, Souradip Chakraborty, Armin Saghafian, Nihal Sharma, Rizal Fathony, Nam H Nguyen, C. Bayan Bruss, Amrit Singh Bedi, Furong Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "The Hidden Bias of Process Reward Models: PRISM for Rewarding the Right Reasoning" का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विवरण दिया गया है।

बड़ी समस्या: "दोषपूर्ण शिक्षक" (The "Flawed Teacher")

कल्पना कीजिए कि आप एक छात्र (AI) को एक जटिल गणित की समस्या हल करना सिखा रहे हैं। केवल अंतिम उत्तर की जाँच करने के बजाय, आप एक "प्रोसेस रिवॉर्ड मॉडल" (PRM) का उपयोग करते हैं ताकि छात्र द्वारा उठाए गए हर एक कदम (step) को ग्रेड दे सकें। यह एक बहुत ही सहायक शिक्षक होने के लिए है जो तुरंत फीडबैक देता है।

हालाँकि, लेखकों ने इन शिक्षकों में एक छिपे हुए पूर्वाग्रह (hidden bias) की खोज की है। वे बहुत अधिक "दयालु" हैं।

क्योंकि प्रशिक्षण डेटा असंतुलित है (डेटासेट में "सही दिखने वाले" कदमों की तुलना में "गलत" कदमों की संख्या बहुत कम है), ये AI शिक्षक आलसी हो जाते हैं। वे उन कदमों को उच्च ग्रेड देने लगते हैं जो दिखने में प्रवाहपूर्ण और तर्कसंगत लगते हैं, लेकिन वास्तव में गणितीय रूप से गलत होते हैं।

उपमा (Analogy): कल्पना कीजिए कि एक छात्र निबंध लिख रहा है। वह एक ऐसा वाक्य लिखता है जो सुनने में बहुत स्मार्ट लगता है और जिसमें बड़े शब्दों का प्रयोग किया गया है, लेकिन उसका तर्क पूरी तरह से टूटा हुआ है। एक मानक AI शिक्षक इसे सिर्फ इसलिए "A" ग्रेड दे सकता है क्योंकि यह अच्छा सुनाई देता है।
परिणाम: यदि AI को एक गलत कदम के लिए उच्च स्कोर मिलता है, तो वह सोचता है, "बढ़िया! मैं सही रास्ते पर हूँ!" और गलत रास्ते पर ही आगे बढ़ता रहता है। इसे ओवरक्रेडिट बायस (overcredit bias) कहा जाता है। यह एक ऐसे GPS की तरह है जो आपको बार-बार दीवार में मुड़ने के लिए कहता रहता है क्योंकि सड़क दिखने में वैसी ही लग रही है जैसी होनी चाहिए।

यह क्यों मायने रखता है: "एक खराब सेब" का प्रभाव (The "One Bad Apple" Effect)

पेपर बताता है कि ये गलतियाँ केवल छोटी त्रुटियाँ नहीं हैं; ये खतरनाक हैं क्योंकि AI इनका उपयोग कैसे करता है।

फॉल्स नेगेटिव (False Negatives - एक अच्छे कदम को छोड़ देना): यदि शिक्षक एक अच्छे कदम को पहचानने में चूक जाता है, तो AI बस अधिक प्रयास करता है या अधिक खोज करता है। यह कष्टप्रद है, लेकिन घातक नहीं।
फॉल्स पॉजिटिव (False Positives - एक गलत कदम को पुरस्कृत करना): यही असली खतरा है। यदि शिक्षक एक गलत कदम को पुरस्कृत करता है, तो AI सक्रिय रूप से खुद को उस गलत रास्ते की ओर ले जाता है।
उपमा: "बेस्ट-ऑफ-एन" (Best-of-N) चयन (जहाँ AI 10 अलग-अलग समाधानों को आज़माता है और सबसे अच्छा चुनता है) के बारे में सोचें। यदि शिक्षक एक गलत समाधान को उच्च स्कोर देता है क्योंकि वह "सही" लगता है, तो AI सही समाधान के ऊपर उस गलत समाधान को चुन लेगा। यह एक जज की तरह है जो एक नकली पेंटिंग को इसलिए चुन लेता है क्योंकि वह चमकदार दिखती है, और असली उत्कृष्ट कृति (masterpiece) को अनदेखा कर देता है।

समाधान: PRISM (The "Strict Coach")

इसे ठीक करने के लिए, लेखकों ने PRISM (Precision Ranking for Improved Step Modeling) नामक एक नई प्रशिक्षण विधि बनाई है। केवल यह पूछने के बजाय कि "क्या यह कदम सही है या गलत?" (जिससे पूर्वाग्रह पैदा होता है), PRISM खेल बदल देता है: "क्या यह कदम उस दूसरे कदम से बेहतर है?"

PRISM कैसे काम करता है, इसके तीन सरल तरीके यहाँ दिए गए हैं:

1. "टेस्ट ऑफ टेस्ट" (Step-Contrastive Learning)

कदमों को अलग-थलग करके ग्रेड देने के बजाय, PRISM मॉडल को दो कदमों की आमने-सामने तुलना करने के लिए मजबूर करता है।

उपमा: एक खाद्य समीक्षक से यह पूछने के बजाय कि "क्या यह बर्गर अच्छा है?" (जहाँ वे एक औसत दर्जे के बर्गर को भी अच्छा कह सकते हैं), आप पूछते हैं, "कौन सा बेहतर है: यह बर्गर या यह पत्थर?"
परिणाम: मॉडल "तर्कसंगत लेकिन गलत" और "वास्तव में सही" के बीच अंतर करना सीख जाता है। यह उन चीजों को उच्च स्कोर देना बंद कर देता है जो केवल अच्छी दिखती हैं।

2. "टाइम ट्रैवल" ट्रिक (Temporal Lookahead)

लेखकों को मॉडल को सिखाने के लिए "कठिन" गलत उत्तरों के अधिक उदाहरणों की आवश्यकता थी। उन्होंने नए लेबल के लिए मनुष्यों से नहीं पूछा (जो महंगा है)। इसके बजाय, उन्होंने एक चतुर तरीका अपनाया: उन्होंने समाधान के बाद के हिस्से से एक कदम लिया और उसे वर्तमान क्षण के लिए एक "गलत" कदम के रूप रूप में माना।

उपमा: कल्पना कीजिए कि एक छात्र गणित की समस्या हल कर रहा है। वह बीजगणित (algebra) करने से पहले ही आगे जाकर अंतिम उत्तर लिख देता है।
- क्या अंतिम उत्तर गलत है? नहीं, यह सही है!
- क्या यह अभी के लिए सही कदम है? नहीं! यह क्रम से बाहर है।
- PRISM का कदम: यह उस भविष्य के उत्तर को लेता है और कहता है, "यह वर्तमान कदम के लिए एक 'हार्ड नेगेटिव' है।" यह AI को सिखाता है कि भले ही एक उत्तर सही हो, लेकिन यदि वह बहुत जल्दी आ जाता है, तो वह भी एक गलती है।

3. "क्रमिक कठिनाई" की सीढ़ी (Curriculum Learning)

इन ट्रिकी तुलनाओं पर प्रशिक्षण कठिन है। यदि आप AI के सामने तुरंत सबसे कठिन समस्याएँ रख देंगे, तो वह भ्रमित हो जाएगा।

उपमा: आप एक नौसिखिए धावक को सीधे मैराथन में नहीं डालते। आप 5K से शुरू करते हैं, फिर 10K, फिर हाफ मैराथन।
PRISM का कदम: यह आसान तुलनाओं (जहाँ सही उत्तर स्पष्ट रूप से बेहतर है) से शुरू होता है और धीरे-धीरे "टाइम ट्रैवल" वाले कठिन नेगेटिव्स की ओर बढ़ता है। यह मॉडल को बिना अभिभूत हुए, त्रुटियों को पहचानने की मजबूत "मांसपेशी" बनाने में मदद करता है।

परिणाम: एक सुरक्षित, स्मार्ट AI

पेपर ने गणित की समस्याओं और कोडिंग कार्यों पर इस नई विधि का परीक्षण किया।

कम गलतियाँ: नए मॉडल (PRISM) ने "फॉल्स पॉजिटिव" त्रुटियों (गलत कदमों को उच्च स्कोर देना) को काफी कम कर दिया। इसने इन त्रुटियों को लगभग 22% कम कर दिया।
बेहतर प्रदर्शन: AI के सोचने के तरीके को निर्देशित करने (जैसे "बेस्ट-ऑफ-एन" चयन या गाइडेड डिकोडिंग में) के लिए उपयोग किए जाने पर, AI ने अधिक समस्याओं को सही ढंग से हल किया।
- कुछ परीक्षणों में, गाइडेड डिकोडिंग के लिए सटीकता 22% और बेस्ट-ऑफ-एन चयन के लिए 33% बढ़ गई।
निष्कर्ष: पेपर निष्कर्ष निकालता है कि AI के भरोसेमंद होने के लिए, हमें केवल उन कदमों को पुरस्कृत नहीं करना चाहिए जो सही दिखते हैं। हमें सही कारणों के लिए सही तर्क को पुरस्कृत करने की आवश्यकता है। PRISM बिल्कुल यही करता है—यह AI को एक सख्त, अधिक सटीक निर्णायक बनने की शिक्षा देकर।

तकनीकी सारांश: प्रोसेस रिवॉर्ड मॉडल्स का छिपा हुआ पूर्वाग्रह: सही तर्क को पुरस्कृत करने के लिए PRISM

1. समस्या का निरूपण और प्रेरणा

प्रोसेस रिवॉर्ड मॉडल्स (PRMs) आधुनिक रीजनिंग सिस्टम्स का एक अभिन्न अंग बन गए हैं, जो गणित, प्रोग्राम सिंथेसिस और प्लानिंग जैसे दीर्घकालिक कार्यों (long-horizon tasks) में क्रेडिट असाइनमेंट को बेहतर बनाने के लिए स्टेप-लेवल फीडबैक प्रदान करते हैं। हालाँकि, यह पेपर वर्तमान PRMs में एक महत्वपूर्ण, छिपे हुए विफलता मोड की पहचान करता है: ओवरक्रेडिट बायस (Overcredit Bias)।

मुख्य मुद्दा: ओवरक्रेडिट बायस

अपनी उपयोगिता के बावजूद, मानक PRMs अक्सर प्रशंसनीय लेकिन गलत तर्क चरणों (reasoning steps) को उच्च रिवॉर्ड प्रदान करते हैं। यह घटना स्टेप-लेवल ट्रेनिंग डेटा (जैसे, PRM800K) में गंभीर क्लास इम्बैलेंस (class imbalance) से प्रेरित है। जबकि पूर्ण तर्क प्रक्षेपवक्र (full reasoning trajectories) अक्सर गलत होते हैं, उनमें पहले निर्णायक त्रुटि से पहले कई स्थानीय रूप से सही चरण होते हैं। फलस्वरूप, स्टेप-लेवल डेटासेट सकारात्मक लेबल (जैसे, 73.1% सही चरण बनाम 14.2% सही प्रक्षेपवक्र) की ओर अत्यधिक झुके हुए हैं।

जब PRMs को इस असंतुलित डेटा पर क्रॉस-एन्ट्रॉपी जैसे मानक पॉइंटवाइज ऑब्जेक्टिव्स का उपयोग करके प्रशिक्षित किया जाता है, तो वे इस पूर्वाग्रह को विरासत में प्राप्त कर लेते हैं, जिससे वे वास्तविक शुद्धता के बजाय प्रवाह (fluency) और स्थानीय प्रशंसनीयता (local plausibility) को प्राथमिकता देने लगते हैं। इसके परिणामस्वरूप फॉल्स पॉजिटिव (FP) दर बढ़ जाती है।

डाउनस्ट्रीम प्रभाव की विषमता

पेपर का तर्क है कि डाउनस्ट्रीम पॉलिसी लर्निंग और इन्फरेंस-टाइम सर्च में PRM त्रुटियों का प्रभाव अत्यधिक विषम (asymmetric) है:

फॉल्स नेगेटिव (FN): ये मुख्य रूप से सही चरणों को त्यागकर अन्वेषण (exploration) को धीमा कर देते हैं, जिससे सैंपल कॉम्प्लेक्सिटी बढ़ती है, लेकिन पॉलिसी की दिशा को मौलिक रूप से नहीं बदलते।
फॉल्स पॉजिटिव (FP): ये सक्रिय रूप से पॉलिसी को गलत शाखाओं की ओर मोड़ देते हैं। बेस्ट-ऑफ-N (BoN) सिलेक्शन, गाइडेड डिकोडिंग, या रीइन्फोर्समेंट लर्निंग में, एक एकल ओवरक्रेडिटेड स्टेप पूरे दोषपूर्ण प्रक्षेपवक्र के स्कोर को बढ़ा सकता है।

सैद्धांतिक विश्लेषण (थ्योरम 2.1) प्रदर्शित करता है कि बेस्ट-ऑफ-N सिलेक्शन में, एक गैर-शून्य फॉल्स पॉजिटिव रेट (FPR), प्रदर्शन पर एक कठोर एसिम्प्टोटिक सीलिंग (hard asymptotic ceiling) उत्पन्न करता है, जबकि फॉल्स नेगेटिव केवल अभिसरण (convergence) की दर को प्रभावित करते हैं। अतः, एलाइनमेंट सीलिंग को ऊपर उठाने के लिए FPR को कम करना महत्वपूर्ण है।

2. कार्यप्रणाली: PRISM

इन चुनौतियों का समाधान करने के लिए, लेखक PRISM (Precision Ranking for Improved Step Modeling) प्रस्तावित करते हैं, जो एक पॉलिसी-अवेयर, लेबल-एफिशिएंट ट्रेनिंग फ्रेमवर्क है। PRISM ट्रेनिंग ऑब्जेक्टिव को नए मानव एनोटेशन की आवश्यकता के बिना, पॉइंटवाइज लेबल फिटिंग से विश्वसनीय सापेक्ष तुलनाओं (relative comparisons) की ओर स्थानांतरित करता है।

PRISM के प्रमुख घटक

A. स्टेप-कॉन्ट्रास्टिव (SC) लॉस

पॉइंटवाइज लेबल फिटिंग के माध्यम से क्रॉस-एन्ट्रॉपी को ऑप्टिमाइज़ करने के बजाय, PRISM एक पेयरवाइज प्रेफरेंस लॉस का उपयोग करता है। इसका उद्देश्य एक ही प्रीफिक्स $(x, y_{<t})$ दिए जाने पर, एक सही चरण ( $y^+_t$ ) और एक गलत चरण ( $y^-_t$ ) के बीच मार्जिन को अधिकतम करना है:
$\mathcal{L}_{SC}(\theta) = -\mathbb{E}_{(x, y^+_t, y^-_t) \in \mathcal{D}} [\log(\sigma(r_\theta(x, y_{<t}, y^+_t) - r_\theta(x, y_{<t}, y^-_t)))]$
यह दृष्टिकोण सीधे डाउनस्ट्रीम पॉलिसी ऑप्टिमाइज़ेशन के लिए आवश्यक सापेक्ष रैंकिंग को ऑप्टिमाइज़ करता है, यह सुनिश्चित करता है कि एक ही संदर्भ के भीतर गलत चरणों की तुलना में सही चरणों को प्राथमिकता दी जाए।

B. टेम्पोरल लुकअहेड हार्ड-नेगेटिव ऑग्मेंटेशन

इस कॉन्ट्रास्टिव लॉस को प्रभावी ढंग से प्रशिक्षित करने के लिए, मॉडल को "हार्ड नेगेटिव्स" की आवश्यकता होती है—ऐसे प्रशंसनीय निरंतरता (continuations) जो वर्तमान प्रीफिक्स के लिए अमान्य हैं। PRISM इन्हें एक टेम्पोरल लुकअहेड रणनीति का उपयोग करके उत्पन्न करता है:

यह एक ही प्रक्षेपवक्र के भविष्य के चरणों को पिछले प्रीफिक्स के लिए नेगेटिव कैंडिडेट के रूप में मानता है।
उदाहरण के लिए, एक गणितीय समाधान में, एक अंतिम रूट उत्तर गणितीय रूप से वैध है लेकिन यदि वह मध्यवर्ती सरलीकरण (intermediate simplifications) से पहले आता है, तो वह एक अमान्य अगला चरण है।
यह रणनीति बिना किसी अतिरिक्त मानव लेबलिंग के मौजूदा डेटा (PRM800K) से लगभग 220k ट्रेनिंग पेयर्स उत्पन्न करती है, जो चुनौतीपूर्ण तुलनाएँ बनाती हैं जो ओवरक्रेडिट त्रुटियों को उजागर करती हैं।

C. डिफिकल्टी-अवेयर करिकुलम

हार्ड नेगेटिव्स पर प्रशिक्षण शोर भरा (noisy) हो सकता है। PRISM एक करिकुलम लर्निंग रणनीति पेश करता है जहाँ एक जोड़ी की कठिनाई को मॉडल के अनुमानित मार्जिन ( $D_{Hard}$ ) द्वारा परिभाषित किया जाता है।

वे पेयर्स जिनमें नेगेटिव मार्जिन है (जहाँ मॉडल पहले से ही गलत चरण को पसंद करता है), उन्हें विश्वसनीय लर्निंग के लिए बहुत कठिन मानकर हटा दिया जाता है।
शेष पेयर्स को कठिनाई के आधार पर वर्गीकृत किया जाता है, जिससे मॉडल को प्रशिक्षण के दौरान धीरे-धीरे मजबूत मार्जिन सीखना संभव होता है।

3. प्रयोगात्मक परिणाम

लेखकों ने PRMBench और ProcessBench पर PRISM का मूल्यांकन किया, और MATH-500, AIME 2024, और LiveCodeBench पर डाउनस्ट्रीम प्रदर्शन का परीक्षण किया।

PRM मूल्यांकन मेट्रिक्स

फॉल्स पॉजिटिव रिडक्शन: PRISM ने PRMBench पर FPR को 69.34% (बेसलाइन) से घटाकर 47.13% कर दिया, जो कि 22% की कमी है।
प्रिसिजन (Precision): प्रिसिजन 89.40% से सुधरकर 91.93% हो गया।
ट्रेड-ऑफ: हालांकि फॉल्स नेगेटिव रेट (FNR) में मामूली वृद्धि हुई, पेपर नोट करता है कि यह स्वीकार्य है क्योंकि FNR उतना प्रभाव नहीं डालता जितना FPR।
रोबस्टनेस: PRISM ने बेसलाइन्स की तुलना में थ्रेशोल्ड सिलेक्शन के प्रति अधिक मजबूती दिखाई, जो एक अनुकूल FPR-FNR ट्रेड-ऑफ बनाए रखता है।

डाउनस्ट्रीम पॉलिसी प्रदर्शन

इन्फरेंस-टाइम सर्च और पॉलिसी ऑप्टिमाइज़ेशन में लागू होने पर:

गाइडेड डिकोडिंग: 22% तक सटीकता में सुधार देखा गया।
बेस्ट-ऑफ-N सिलेक्शन: 33% तक सटीकता में सुधार देखा गया।
पॉलिसी ऑप्टिमाइज़ेशन: विधि ने रीइन्फोर्समेंट लर्निंग सेटिंग्स (GRPO) में मजबूती और सटीकता में सुधार किया, जिससे ऑफलाइन रिवॉर्ड मेट्रिक्स और वास्तविक पॉलिसी व्यवहार के बीच के अंतर को कम किया।

4. योगदान और महत्व

यह पेपर तीन प्राथमिक योगदान देता है:

प्रिसिजन-फर्स्ट एनालिसिस: यह औपचारिक रूप से बताता है कि कैसे स्टेप-लेवल ओवरक्रेडिट प्रक्षेपवड़ों में बढ़ता है और बेस्ट-ऑफ-N सिलेक्शन में त्रुटियों की तीव्र विषमता को सिद्ध करता है, यह स्थापित करते हुए कि FPR ही एसिम्प्टोटिक एलाइनमेंट सीलिंग निर्धारित करता है।
लेबल-एफिशिएंट ट्रेनिंग रेसिपी: PRISM एक आर्किटेक्चर-अग्नोस्टिक विधि प्रदान करता है जो मौजूदा स्टेप लेबल्स को मैच किए गए कंपेरिजन में बदल देता है, हार्ड नेगेटिव्स के लिए टेम्पोरल लुकअहेड का उपयोग करता है, और बिना किसी नए मानव लेबल के, डिफिकल्टी-अवेयर करिकुलम का उपयोग करता है।
डाउनस्ट्रीम-अलाइन्ड गेन्स: प्रयोगात्मक परिणाम दिखाते हैं कि ओवरक्रेडिट को कम करने से अधिक विश्वसनीय PRMs और मजबूत पॉलिसी एलाइनमेंट प्राप्त होता है, जो इस परिकल्पना की पुष्टि करता है कि भरोसेमंद प्रोसेस सुपरविजन के लिए केवल प्रशंसनीय ट्रेसेस से हटकर वास्तव में सही तर्क को पहचानना आवश्यक है।

महत्व

लेखक निष्कर्ष निकालते हैं कि PRM ट्रेनिंग का लक्ष्य केवल औसत स्टेप-लेवल सटीकता को अधिकतम करना नहीं होना चाहिए, बल्कि ऐसे स्कोर सीखना होना चाहिए जो सही निरंतरताओं को केवल प्रशंसनीय दिखने वाले ट्रेसेस से विश्वसनीय रूप से ऊपर रैंक कर सकें। पॉइंटवाइज फिटिंग से कैलिब्रेटेड प्रेफरेंस मार्जिन की ओर शिफ्ट होकर, PRISM उन व्यवस्थित विफलता मोडों को संबोधित करता है जो डाउनस्ट्रीम एलाइनमेंट को कमजोर करते हैं, जिससे अधिक भरोसेमंद रीजनिंग सिस्टम की ओर एक मार्ग प्रशस्त होता है।