🤖 machine learning

PEBS: Per-rater Empirical-Bayes Shrinkage for RLHF Reward-Model Calibration

PEBS एक क्लोज्ड-फॉर्म, पोस्ट-हॉक एम्पेरिकल-बेयस श्रिंकेज एस्टीमेटर है जो प्रति-रेटर एफाइन कैलिब्रेटर्स को फिट करके और उन्हें जनसंख्या माध्य की ओर श्रिंक करके RLHF रिवॉर्ड मॉडलिंग में व्यक्तिगत एनोटेटर रेटिंग स्केल्स को कैलिब्रेट करता है, जिससे बेस रिवॉर्ड मॉडल को पुन: प्रशिक्षित किए बिना प्रेडिक्शन एरर में महत्वपूर्ण रूप से कमी आती है।

मूल लेखक: Arnav Raj

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arnav Raj

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बेहतरीन केक बनाने की कोशिश कर रहे हैं, लेकिन आपके पास एक बेकर के बजाय, एक हज़ार अलग-अलग लोग हैं जो आपको स्वाद पर फीडबैक दे रहे हैं। कुछ लोग बहुत सख्त हैं और केवल उन केक को उच्च अंक देते हैं जो पूरी तरह से परफेक्ट होते हैं। अन्य बहुत उदार हैं और लगभग किसी भी चीज़ को उच्च अंक देते हैं। कुछ लोगों को लगता है कि "70" एक शानदार स्कोर है, जबकि दूसरों के लिए, "70" एक आपदा है।

AI (आर्टिफिशियल इंटेलिजेंस) की दुनिया में, विशेष रूप से एक प्रक्रिया जिसे RLHF (मानवीय फीडबैक से सुदृढीकरण सीखना) कहा जाता है, AI मॉडल को इन हज़ारों अलग-अलग मतों को एक विशाल "औसत" मत में मिलाकर प्रशिक्षित किया जाता है।

समस्या: "औसत" बेकर का अस्तित्व नहीं होता
वर्तमान विधि इन सभी अलग-अलग बेकर्स को लेती है और उनके फीडबैक को एक एकल, सपाट औसत में बदलने के लिए मजबूर करती है। यह एक सख्त बेकर (जो सोचता है कि 70 बुरा है) और एक उदार बेकर (जो सोचता है कि 70 अद्भुत है) को लेने और यह कहने जैसा है कि, "ठीक है, सभी के लिए, 70 बिल्कुल बीच में है।"

यह पेपर तर्क देता है कि यह एक गलती है। सबको औसत बनाकर, AI एक "रिवॉर्ड मॉडल" (स्कोरकीपर) बनाता है जो वास्तव में किसी भी वास्तविक व्यक्ति से मेल नहीं खाता। यह एक "फ्रेंकेंस्टीन" स्कोरकीपर है जो केक की गुणवत्ता को बेकर की व्यक्तित्व के साथ भ्रमित कर देता है।

समाधान: PEBS (व्यक्तिगत स्कोरकीपर)
लेखक एक नई विधि पेश करते हैं जिसे PEBS (पर-रेटर एम्पेरिकल-बेयस श्रिंकेज) कहा जाता है। PEBS को हर एक बेकर के लिए एक स्मार्ट, व्यक्तिगत अनुवादक के रूप में सोचें।

सभी को एक ही भाषा बोलने के लिए मजबूर करने के बजाय, PEBS दो काम करता है:

यह व्यक्तिगत रूप से सुनता है: यह देखता है कि प्रत्येक विशिष्ट व्यक्ति चीजों को कैसे रेट करता है। यह सीखता है, "आह, यह व्यक्ति एक 'स्ट्रेची' (खिंचाव वाला) रेटर है; वे अपने स्कोर को 0 से 100 तक बहुत फैला देते हैं। यह व्यक्ति एक 'कंप्रेसर' (दबाने वाला) है; वे अपने स्कोर को एक छोटे दायरे में सिकोड़ देते हैं।"
यह "भीड़ की बुद्धिमत्ता" का सुरक्षा जाल उपयोग करता है: यदि किसी बेकर ने केवल कुछ ही केक रेट किए हैं, तो उनका व्यक्तिगत अनुवाद अस्थिर या शोर भरा हो सकता है। PEBS उनके व्यक्तिगत अनुवाद को समूह के औसत की ओर धीरे से खींचता है (या "सिकोड़ता" है), इतना ही कि वह स्थिर हो जाए, लेकिन इतना भी नहीं कि उसकी अनूठी शैली खो जाए।

जादु적인 ट्रिक: पुन: प्रशिक्षण की आवश्यकता नहीं है
सबसे शानदार बात यह है कि PEBS को AI को फिर से केक बनाना सिखाने की आवश्यकता नहीं है। यह एक पोस्ट-हॉक (बाद में किया जाने वाला) समायोजन के रूप में काम करता है।

कल्पना कीजिए कि AI ने पहले ही केक बनाना सीख लिया है।
PEBS उस स्कोरकीपर पर पहने जाने वाले चश्मे की तरह है जिसे बेकिंग खत्म होने के बाद लगाया जाता है।
यह स्कोर को वास्तविक समय में पुनर्गठित करता है ताकि जब AI एक "70" देखे, तो वह समझ सके, "ओह, यह एक सख्त बेकर से मिला 70 है," न कि इसे एक सामान्य "70" के रूप में उपचारित करे।

पेपर ने क्या पाया
लेखकों ने कई अलग-अलग डेटासेट्स पर इसका परीक्षण किया (जैसे कि मानव फीडबैक का एक विशाल संग्रह PRISM और एक अन्य PluriHarms)।

बेहतर सटीकता: जब उन्होंने PEBS का उपयोग किया, तो AI के स्कोर अनुमान वास्तविक मानव रेटिंग से बहुत बेहतर मेल खाए। उन्होंने त्रुटि (AI के अनुमान और मानव के वास्तविक स्कोर के बीच का अंतर) को लगभग 8.5% से 9.6% तक कम कर दिया।
यह विभिन्न मॉडलों पर काम करता है: उन्होंने विभिन्न प्रकार के AI दिमागों (जैसे Qwen और Phi-3) पर इसे आजमाया, और यह अच्छी तरह से काम करता है, हालांकि कुछ विशिष्ट प्रकार के AI आर्किटेक्चर (जैसे विशिष्ट सेटिंग्स में Llama परिवार) के साथ इसकी कुछ सीमाएं थीं।
यह "विजेता" को नहीं बदलता है: दिलचस्प बात यह है कि PEBS यह नहीं बदलता कि कौन सा केक #1 बनाम #2 है (क्रम वही रहता है)। इसके बजाय, यह स्कोर के परिमाण (magnitude) को ठीक करता है। यह महत्वपूर्ण है क्योंकि AI का प्रशिक्षण (PPO या DPO) वास्तव में स्कोर के संख्यात्मक मानों पर निर्भर करता है, न कि केवल रैंकिंग पर। यदि संख्याएँ गलत हैं, तो AI गलत सबक सीखता है।

"श्रिंकेज" (सिकुड़न) का उदाहरण
"श्रिंकेज" वाले हिस्से को एक स्मार्ट थर्मोस्टेट की तरह समझें।

यदि एक कमरा (एक विशिष्ट रेटर) के पास तापमान रीडिंग का एक बहुत ही विश्वसनीय, दीर्घकालिक इतिहास है, तो थर्मोस्टेट उस कमरे के सेंसर पर पूरी तरह से भरोसा करता है।
यदि एक कमरे ने केवल दो रीडिंग ली हैं, तो थर्मोस्टेट मानता है कि सेंसर गड़बड़ हो सकता है। यह सेंसर को अनदेखा नहीं करता है, लेकिन यह पूरे सिस्टम को खराब करने वाले जंगली अनुमान को रोकने के लिए रीडिंग को थोड़ा "सिकोड़" (shrink) देता है या इमारत के औसत तापमान की ओर ले जाता है।

मुख्य निष्कर्ष
PEBS एक गणितीय उपकरण है जो विभिन्न मानव रेटर्स और AI के बीच के "अनुवाद त्रुटि" को ठीक करता है। यह स्वीकार करता है कि लोगों के पास गुणवत्ता मापने के लिए अलग-अलग "पैमाने" होते हैं। प्रत्येक व्यक्ति के पैमाने को व्यक्तिगत रूप से कैलिब्रेट करके और फिर उन्हें स्मार्ट तरीके से मिलाकर, AI को वास्तव में यह स्पष्ट तस्वीर मिलती है कि मनुष्य वास्तव में क्या पसंद करते हैं, बिना शून्य से पुन: प्रशिक्षित हुए।

तकनीकी सारांश: RLHF रिवॉर्ड-मॉडल कैलिब्रेशन के लिए PEBS

समस्या विवरण (Problem Statement)

रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) आमतौर पर हजारों एनोटेटरों (annotators) की प्राथमिकताओं को एक एकल वैश्विक रिवॉर्ड मॉडल (RM) में एकत्रित करता है। मानक पाइपलाइन सभी रेटिंग्स को एक ही लाइकलीहुड फंक्शन (likelihood function) में डाल देती है, जो एक एकल वैश्विक एफ़ाइन कैलिब्रेटर (स्लोप और ऑफसेट) को फिट करती है। यह दृष्टिकोण उन एनोटेटरों को एक साथ मिला देता है जो 0–100 रेटिंग स्केल का उपयोग करते हैं और जिनके सिस्टमैटिक रूप से भिन्न ऑफसेट और स्लोप होते हैं, उन्हें एक एकल "औसत-रेटर" (average-rater) फिट में समाहित कर देता है। फलस्वरूप, परिणामी मॉडल किसी भी व्यक्तिगत एनोटेटर के कैलिब्रेशन के अनुरूप नहीं होता है, जिससे कैलिब्रेशन विषमता (heterogeneity) और रिवॉर्ड सिग्नल के बीच भ्रम की स्थिति उत्पन्न होती है। यह प्रति-एनोटेटर सटीकता में गिरावट तब भी बनी रहती है जब समग्र मॉडल की सटीकता उच्च होती है, जो संभावित रूप से डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) और प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) में उपयोग किए जाने वाले कैलिब्रेशन-संवेदनशील लॉस (losses) को नुकसान पहुँचा सकती है।

कार्यप्रणाली: PEBS

यह शोध पत्र PEBS (पर-रेटर एम्पेरिकल-बेज़ श्रिंकेज) प्रस्तावित करता है, जो एक क्लोज्ड-फॉर्म, पोस्ट-हॉक एस्टिमेटर है जिसे बेस रिवॉर्ड मॉडल को पुन: प्रशिक्षित (retraining) किए बिना एनोटेटर-विशिष्ट एफ़ाइन कैलिब्रेशन को ठीक करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र (Core Mechanism)

PEBS एक साझा रिवॉर्ड मॉडल $\hat{r}_\phi$ के आउटपुट पर कार्य करता है। प्रत्येक एनोटेटर $j$ के लिए, यह उनके निरंतर प्राथमिकता स्कोर $s_{ji}$ को मॉडल के स्केलर प्रेडिक्शन के एक लीनियर ट्रांसफॉर्मेशन के रूप में मॉडल करता है:
$s_{ji} = \alpha_j \hat{r}_\phi(x_{ji}) + \beta_j + \epsilon_{ji}$
जहाँ $\alpha_j$ प्रति-एनोटेटर मल्टीप्लिकेटिव स्लोप है और $\beta_j$ एडिटिव ऑफसेट है।

प्रक्रिया तीन चरणों में चलती है:

लोकल एस्टीमेशन (Local Estimation): पर्याप्त डेटा ( $n_j \geq 6$ PRISM में) वाले प्रत्येक एनोटेटर के लिए, स्थानीय मापदंडों $(\hat{\alpha}^{OLS}_j, \hat{\beta}^{OLS}_j)$ का अनुमान लगाने के लिए ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) का उपयोग किया जाता है।
वैरिएंस एस्टीमेशन (Variance Estimation): जनसंख्या में स्थानीय मापदंडों के क्रॉस-क्लस्टर वेरिएंस ( $\hat{\tau}^2$ ) का अनुमान लगाने के लिए मेथड-ऑफ-मोमेंट्स (MoM) का उपयोग किया जाता है।
एम्पेरिकल-बेज़ श्रिंकेज (Empirical-Bayes Shrinkage): स्थानीय अनुमानों को मॉरिस-जेम्स-स्टीन एम्पेरिकल-बेज़ वेट का उपयोग करके जनसंख्या माध्य ( $\alpha_{pop}, \beta_{pop}$ ) की ओर श्रिंक (shrink) किया जाता है:
$\hat{\alpha}^{shrunk}_j = \omega_j \hat{\alpha}^{OLS}_j + ( - \omega_j) \alpha_{pop}$
जहाँ $\omega_j = \hat{\tau}^2 / (\hat{\tau}^2 + V(\hat{\alpha}^{OLS}_j))$ । यह वेट उन एनोटेटरों को स्वतः ही कम महत्व (down-weight) देता है जिनमें उच्च सैंपलिंग वेरिएंस होता है (आमतौर पर कम रेटिंग $n_j$ वाले एनोटेटर)।

सैद्धांतिक गुण (Theoretical Properties)

पेयर-एक्यूरेसी इनवेरिएंस (Pair-Accuracy Invariance): प्रपोजिशन 1 स्थापित करता है कि यदि श्रंक्ड स्लोप सकारात्मक रहते हैं, तो एफ़ाइन मैप स्ट्रिक्टली मोनोटोन (strictly monotone) है। इसलिए, PEBS प्रतिक्रियाओं के रैंकिंग (argmax) को सुरक्षित रखता है और पेयर-एक्यूर्मेंस बेंचमार्क (जैसे RewardBench 2) को नहीं बदलता है। इसका मूल्य विशेष रूप से रूट मीन स्क्वेर्ड एरर (RMSE) और ब्रैडली-टेरी नेगेटिव लॉग-लाइक्लीहुड (NLL) जैसे कैलिब्रेशन-संवेदनशील मेट्रिक्स में सुधार करने में निहित है।
ओरेकल इनइक्वेलिटी (Oracle Inequality): थ्योरम 1 स्लोप श्रिंकेज के लिए एक ओरेकल इनइक्वेलिटी प्रदान करता है, जो यह सिद्ध करता है कि PEBS एस्टिमेटर का रिस्क, उस ओरेकल एस्टिमेटर के $(1 + c/J)$ फैक्टर के भीतर रहता है जो वास्तविक वेरिएंस को जानता है, जिसमें एक स्पष्ट स्थिरांक $c$ है।
फोरकास्टर (Forecaster): एक क्लोज्ड-फॉर्म मॉरिस $g$ -फंक्शन अभ्यासकर्ताओं को केवल एक छोटे पायलट सैंपल का उपयोग करके नए कॉर्पस पर PEBS लागू करने के संभावित RMSE लाभ का अनुमान लगाने की अनुमति देता है, जिसे निरंतर-रेटिंग कॉर्पस पर 0.2 प्रतिशत अंक के भीतर सत्यापित किया गया है।

मुख्य योगदान (Key Contributions)

क्लोज्ड-फॉर्म पोस्ट-हॉक कैलिब्रेशन: PEBS RLHF पाइपलाइन में एक शास्त्रीय सांख्यिकीय सुधार (Efron–Morris–James–Stein partial pooling) पेश करता है, जो किसी भी रिवॉर्ड मॉडल के स्केलर प्रेडिक्शन के डाउनस्ट्रीम में काम करता है और इसके लिए मॉडल को पुन: प्रशिक्षित करने की आवश्यकता नहीं होती है।
एम्पेरिकल वैलिडेशन: विधि कई डेटासेट्स और बेस मॉडल्स पर इन-यूज़र होल्ड-आउट RMSE में महत्वपूर्ण कमी प्रदर्शित करती है।
स्कोप कैरेक्टराइजेशन: यह शोध पत्र विधि की हस्तांतरणीयता (transferability) की सीमाओं को कठोरता से परिभाषित करता है, मॉडल आर्किटेक्चर (डेन्स बनाम MoE) और ट्रेनिंग हेड्स (कोहेरेंस बनाम वर्बोसिटी) के बीच विशिष्ट इंटरैक्शन की पहचान करता है जो सफलता या विफलता निर्धारित करते हैं।
डेमोग्राफिक इंडिपेंडेंस: विश्लेषण दिखाता है कि डेमोग्राफिक ग्रुपिंग (आयु, लिंग, क्षेत्र, आदि) प्रति-यूज़र कैलिब्रेशन का विकल्प नहीं हो सकती है, क्योंकि वेरिएंस का केवल एक छोटा हिस्सा डेमोग्राफिक्स द्वारा समझाया जा सकता है, जो पुष्टि करता है कि विषमता व्यक्तिगत-रेटर विशिष्ट है।

प्रयोगात्मक परिणाम (Experimental Results)

PRISM डेटासेट: Qwen-2.5-7B बेस मॉडल का उपयोग करके PRISM अलाइनमेंट कॉर्पस पर, PEBS ने पूल्ड पॉपुलेशन-स्लोप बेसलाइन की तुलना में इन-यूज़र होल्ड-आउट RMSE को 8.58% कम कर दिया। यह सुधार सांख्यिकीय रूप से महत्वपूर्ण था ( $p < 10^{-108}$ ) और इसने नेटिव प्रति-यूज़र OLS को भी पीछे छोड़ दिया, जो छोटे नमूनों पर ओवरफिटिंग से ग्रस्त होता है।
क्रॉस-कॉर्पस रेप्लिकेशन: विधि ने PluriHarms (हार्म रेटिंग्स) पर 9.66% RMSE कमी और HelpSteer2 एट्रिब्यूट्स पर भी सफलता दोहराई। इसने एक पूल्ड मल्टी-कॉर्पस डेटासेट पर भी सकारात्मक लाभ दिखाया।
बेस-मॉडल ट्रांसफर:
- सफलता: प्रक्रिया Qwen-2.5 फैमिली के भीतर और Phi-3-medium-14B रेफरेंस पर सफलतापूर्वक स्थानांतरित हुई (5 सीड्स के माध्यम से औसत लाभ +42.15%)।
- विफलता/रिवर्सल: "कोहेरेंस" हेड पर प्रशिक्षित Llama-फैमिली डेन्स बेस पर, प्रक्रिया ने नकारात्मक लाभ (जैसे Llama-3-8B पर -171%) उत्पन्न किया। हालांकि, उसी बेस पर एक "वर्बोसिटी-ओनली" कंट्रोल रन ने सकारात्मक लाभ प्राप्त किया, जो सुझाव देता है कि विफलता एक विशिष्ट कोहेरेंस-हेड/डेन्स-आर्किटेक्चर इंटरैक्शन के कारण है न कि सामान्य वर्बोसिटी बायस के कारण।
डाउनस्ट्रीम प्रभाव: एक प्री-रजिस्टर्ड PPO प्रोब में, अनकरेक्टेड रिवॉर्ड मॉडल $\geq 1.0$ के KL डाइवर्जेंस पर कोलैप्स हो गया, जबकि PEBS-श्रंक्ड आर्म स्थिर रहा।

महत्व और दावे (Significance and Claims)

यह शोध पत्र PEBS को RLHF में "मेजरमेंट-वैलिडिटी प्रॉब्लम" के लिए एक आवश्यक सुधार के रूप में प्रस्तुत करता है, जहाँ एक एकल वैश्विक RM व्यक्तिगत एनोटेटरों का प्रतिनिधित्व करने में विफल रहता है।

कैलिब्रेशन बनाम सिलेक्शन: लेखक स्पष्ट करते हैं कि PEBS कैलिब्रेशन अक्ष (स्कोर का स्केलिंग और ऑफसेट) को संबोधित करता है, न कि सिलेक्शन अक्ष (सर्वश्रेष्ठ प्रतिक्रिया चुनना) को। यह स्कोर मैग्नीट्यूड पर निर्भर लॉस (RMSE, NLL) में सुधार करता है लेकिन रैंक-आधारित मेट्रिक्स को अपरिवर्तित छोड़ देता है।
प्लुरलिस्टिक अलाइनमेंट: PEBS प्लुरलिस्टिक अलाइनमेंट के चौथे अक्ष पर कार्य करता है: कैलिब्रेशन विषमता (calibration heterogeneity)। जबकि मौजूदा कार्य कंटेंट डिसएग्रीमेंट (डिस्ट्रीब्यूशनल, स्टीयरेबल, या ओवरटन एक्सिस) पर ध्यान केंद्रित करते हैं, PEBS इस तथ्य को संबोधित करता है कि अलग-अलग रेटर्स एक ही मॉडल आउटपुट को अलग-अलग व्यक्तिगत स्केल पर मैप करते हैं।
सामान्यीकरण पर विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि यह प्रक्रिया सार्वभौमिक रूप से सभी आर्किटेक्चर पर सामान्यीकृत नहीं होती है। Llama-फैमिली मॉडल पर देखा गया "साइन-फ्लिप" एक संरचनात्मक सीमा को दर्शाता है, और यह दावा नहीं किया गया है कि यह विधि सभी RLHF पाइपलाइनों के लिए एक एट्रिब्यूट-अग्नोस्टिक फिक्स है।
माइनॉरिटी रेटर ट्रेड-ऑफ: पेपर मानक श्रिंकेज ट्रेड-ऑफ को स्वीकार करता है: जबकि PEBS औसत प्रदर्शन में सुधार करता है, यह कम-डेटा वाले रेटर्स (जो अक्सर कम प्रतिनिधित्व वाले समुदायों से होते हैं) को आक्रामक रूप से माध्य (mean) की ओर श्रिंक करता है। लेखक अनुशंसा करते हैं कि जब नीतिगत निर्णय दुर्लभ, वास्तविक-चरम मामलों पर निर्भर हों, तो माइनॉरिटी-रेटर ऑडिट किया जाना चाहिए।

संक्षेप में, PEBS RLHF में प्रति-एनोटेटर कैलिब्रेशन को पुनः प्राप्त करने के लिए एक कंप्यूटेशनल रूप से मुफ्त, क्लोज्ड-फॉर्म विधि प्रदान करता है, जो बेस रिवॉर्ड मॉडल के रैंकिंग गुणों को बनाए रखते हुए व्यक्तिगत उपयोगकर्ताओं के लिए भविष्यवाणी त्रुटि को काफी कम करता है।