Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization

यहाँ शोध पत्र "Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि 'रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) ने बड़े भाषा मॉडलों (LLMs) को सामान्य मानवीय मूल्यों (जैसे शुद्धता, उपयोगिता, सुरक्षा) के साथ संरेखित करने में सफलता प्राप्त की है, लेकिन बहुलतावादी संरेखण (pluralistic alignment) में एक महत्वपूर्ण अंतर बना हुआ है: विविध, व्यक्तिगत उपयोगकर्ता प्राथमिकताओं को ध्यान में रखने की क्षमता।

• वर्तमान बेंचमार्क की सीमाएँ: मौजूदा रिवॉर्ड मॉडल (RM) बेंचमार्क (जैसे RewardBench) सामान्य गुणवत्ता पर ध्यान केंद्रित करते हैं। वे अक्सर त्रुटियों को इंजेक्ट करके या निम्न-गुणवत्ता वाले मॉडलों का उपयोग करके "अस्वीकृत" (rejected) प्रतिक्रियाएँ तैयार करते हैं, जिससे सामान्य गुणवत्ता और व्यक्तिगत प्राथमिकता के बीच भ्रम की स्थिति पैदा होती है।
• "प्रॉक्सी गैप" (The Proxy Gap): ऐसे बेंचमार्क की कमी है जो यह प्रदर्शित कर सकें कि एक रिवॉर्ड मॉडल की स्थिर सटीकता (static accuracy) और उसके डाउनस्ट्रीम पॉलिसी प्रदर्शन (जैसे Best-of-N सैंपलिंग या PPO के माध्यम से) को सुधारने की क्षमता के बीच मजबूत सहसंबंध है।
• मुख्य चुनौती: यह मूल्यांकन करना कि क्या एक रिवॉर्ड मॉडल दो उच्च-गुणवत्ता वाली प्रतिक्रियाओं के बीच अंतर कर सकता है जहाँ एकमात्र विभेदक कारक एक विशिष्ट उपयोगकर्ता के अद्वितीय मानदंडों (rubrics), शैली और बाधाओं के प्रति पालन है।

2. कार्यप्रणाली: Personalized RewardBench

लेखक Personalized RewardBench पेश करते हैं, जो व्यक्तिगत संरेखण पर रिवॉर्ड मॉडलों का कठोरता से आकलन करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है।

A. डेटासेट निर्माण (Dataset Construction)

• स्रोत: यह बेंचमार्क LaMP-QA डेटासेट पर आधारित है, जो तीन उच्च-परिवर्तनशीलता वाले डोमेन को कवर करता है: कला और मनोरंजन (Arts & Entertainment), जीवनशैली और व्यक्तिगत विकास (Lifestyle & Personal Development), और समाज और संस्कृति (Society & Culture)।
• डेटा संरचना: प्रत्येक इंस्टेंस एक टुपल $(q, u, y_c, y_r)$ है, जिसमें एक क्वेरी ($q$), एक उपयोगकर्ता प्रोफ़ाइल ($u$), एक चुनी गई प्रतिक्रिया ($y_c$), और एक अस्वीकृत प्रतिक्रिया ($y_r$) शामिल है।
• वरीयता युग्म पीढ़ी (Preference Pair Generation - मुख्य नवाचार):
  • पिछले कार्यों के विपरीत जो "खराब" उत्तर उत्पन्न करते हैं, यह बेंचमार्क दो उच्च-गुणवत्ता वाली प्रतिक्रियाएँ उत्पन्न करता है।
  • चुनी गई प्रतिक्रिया ($y_c$): उपयोगकर्ता के इतिहास से प्राप्त विशिष्ट रूब्रिक पहलुओं ($R_u$) का सख्ती से पालन करते हुए Gemini-3-Flash द्वारा जनरेट की गई है।
  • अस्वीकृत प्रतिक्रिया ($y_r$): उसी LLM द्वारा उन विशिष्ट रूब्रिक पहलुओं का स्पष्ट रूप से उलंघन करते हुए जनरेट की गई है ($\neg R_u$), जबकि उच्च सामान्य प्रवाह और शुद्धता बनाए रखी गई है।
  • परिणाम: विभेदक कारक को केवल व्यक्तिगत वरीयता संरेखण तक सीमित कर दिया गया है, न कि सामान्य गुणवत्ता तक।

B. मानव मूल्यांकन (Human Evaluation)

लेखकों ने चार आयामों में कठोर मानव मूल्यांकन किया:

1. तथ्यात्मकता और शुद्धता (Factuality & Correctness)
2. प्रासंगिकता और निर्देश पालन (Relevance & Instruction Following)
3. उपयोगिता और हानिरहितता (Helpfulness & Harmlessness)
4. व्यक्तिगत रूब्रिक संरेखण (Personal Rubrics Alignment)

निष्कर्ष: दोनों चुनी गई और अस्वीकृत प्रतिक्रियाओं ने सामान्य गुणवत्ता मेट्रिक्स पर समान रूप से उच्च स्कोर (4.3–4.99/5) प्राप्त किया। हालाँकि, चुनी गई प्रतिक्रियाओं ने अस्वीकृत प्रतिक्रियाओं (1.4–1.5) की तुलना में व्यक्तिगत रूब्रिक्स पर काफी अधिक स्कोर (4.8–4.9) किया, जो पुष्टि करता है कि बेंचमार्क सफलतापूर्वक व्यक्तिगत प्राथमिकता को एक विभेदक के रूप में अलग करता है।

C. उपयोगकर्ता प्रोफ़ाइल एकीकरण रणनीति (User Profile Integration Strategy)

चूंकि मानक RM कच्चे उपयोगकर्ता प्रोफाइल को प्रोसेस करने में संघर्ष करते हैं (जिससे ट्रेन-टेस्ट मिसअलाइनमेंट होता है), लेखक एक प्लानर-आधारित दृष्टिकोण प्रस्तावित करते हैं:

• एक समर्पित प्लानर मॉड्यूल ($P$) उपयोगकर्ता के इतिहास ($u$) और वर्तमान क्वेरी ($q$) से संरचित रूब्रिक पहलुओं ($\tilde{R}_u$) का अनुमान लगाता है।
• रिवॉर्ड मॉडल फिर इन अनुमानित रूब्रिक्स का उपयोग करके प्रतिक्रियाओं का मूल्यांकन करता है: $s = RM(q, \tilde{R}_u, y)$।
• यह दृष्टिकोण बेसलाइन (कोई प्रोफ़ाइल नहीं) और कच्चे प्रोफाइल्स के सीधे इंजेक्शन दोनों की तुलना में बेहतर प्रदर्शन करता है।

3. मुख्य योगदान (Key Contributions)

1. Personalized RewardBench: एक नया बेंचमार्क जो स्पष्ट रूप से उपयोगकर्ता प्रोफाइल और व्यक्तिगत रूब्रिक्स को शामिल करता है, जो मूल्यांकन को सामान्य गुणवत्ता से बदलकर उपयोगकर्ता-विशिष्ट संरेखण पर ले जाता है।
2. कार्यप्रणाली की कठोरता: एक निर्माण विधि जहाँ अस्वीकृत उत्तर उच्च-गुणवत्ता वाले हैं लेकिन विशिष्ट व्यक्तिगत बाधाओं में विफल रहते हैं, यह सुनिश्चित करता है कि रिवॉर्ड सिग्नल व्यक्तिगत प्राथमिकता को पकड़ता है, न कि केवल त्रुटि का पता लगाने को।
3. डाउनस्ट्रीम सहसंबंध सत्यापन: यह पहला व्यापक प्रदर्शन है कि एक रिवॉर्ड मॉडल का बेंचमार्क रैंकिंग और डाउनस्ट्रीम पॉलिसी प्रदर्शन (BoN और PPO) के बीच महत्वपूर्ण सहसंबंध है।
4. पर्सनलाइजेशन गैप की पहचान: यह प्रमाण कि यहाँ तक कि अत्याधुनिक (SOTA) मॉडल भी व्यक्तिगत संरेखण के साथ संघर्ष करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. बेंचमार्क प्रदर्शन

• अत्याधुनिक मॉडलों का संघर्ष: सबसे अच्छा प्रदर्शन करने वाला मॉडल, Gemini-3-Flash, भी केवल 75.94% सटीकता प्राप्त कर सका। अधिकांश अन्य मॉडल (जैसे Skywork, InternLM, R3) 60% और 73% के बीच स्कोर करते हैं।
• स्केलिंग लॉ का विच्छेद (Scaling Laws Decoupling): मॉडल पैरामीटर्स बढ़ाने से बेहतर पर्सनलाइजेशन की गारंटी नहीं मिलती है। उदाहरण के लिए, 20B पैरामीटर वाला internlm2 मॉडल अपने 7B समकक्ष से खराब प्रदर्शन करता है, जो सुझाव देता है कि पर्सनलाइजेशन के लिए केवल स्केल के बजाय विशेष प्रशिक्षण उद्देश्यों की आवश्यकता होती है।

B. डाउनस्ट्रीम सहसंबंध (The "Proxy Gap" Analysis)

लेखकों ने Best-of-N (BoN) और Proximal Policy Optimization (PPO) का उपयोग करके बेंचमार्क रैंकिंग और डाउनस्ट्रीम पॉलिसी प्रदर्शन के बीच सहसंबंध का मूल्यांकन किया।

• मेट्रिक्स: NDCG, Rank Biased Overlap (RBO), Weighted $\tau$, और Spearman's $\rho$।
• निष्कर्ष:
  • Personalized RewardBench ने डाउनस्ट्रीम प्रदर्शन के साथ बेहतर सहसंबंध दिखाया (BoN के लिए 0.9180 और PPO के लिए 0.9265 का NDCG)।
  • बेसलाइन्स (Chatbot Arena-Personalized, PRISM) कमजोर या यहाँ तक कि नकारात्मक सहसंबंध दिखाते हैं (उदाहरण के लिए, Chatbot Arena का BoN के लिए नकारात्मक Weighted $\tau$ -0.0736 था), जो दर्शाता है कि वे यह अनुमान लगाने में विफल रहते हैं कि कौन से रिवॉर्ड मॉडल वास्तव में पॉलिसी आउटपुट में सुधार करते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• मूल्यांकन के लिए नया मानक: Personalized RewardBench वास्तविक दुनिया के व्यक्तिगत अनुप्रयोगों में रिवॉर्ड मॉडलों के मूल्यांकन के लिए एक मजबूत प्रॉक्सी स्थापित करता है। यह सिद्ध करता है कि सामान्य बेंचमार्क पर उच्च सटीकता प्रभावी पर्सनलाइजेशन में अनुवादित नहीं होती है।
• भविष्य के अनुसंधान की दिशा: वर्तमान मॉडल प्रदर्शन (76%) और सैद्धांतिक ओरेकल सीमा (98%) के बीच का महत्वपूर्ण अंतर, विशेष रूप से व्यक्तिपरक वरीयता वितरण पर प्रशिक्षित रिवॉर्ड मॉडल विकसित करने के लिए एक बड़ा अवसर उजागर करता है।
• व्यावहारिक प्रभाव: यह प्रमाणित करके कि यह बेंचमार्क डाउनस्ट्रीम सफलता की भविष्यवाणी करता है, यह शोध पत्र शोधकर्ताओं को व्यक्तिगत LLM परिनियोजन के लिए रिवॉर्ड मॉडल चुनने और ट्यून करने के लिए एक विश्वसनीय उपकरण प्रदान करता है, जो "वन-साइज़-फिट्स-ऑल" संरेखण से आगे बढ़ता है।