Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

यहाँ शोध पत्र "Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Reinforcement Learning from Human Feedback (RLHF) में रिवॉर्ड मॉडल्स (RMs) की महत्वपूर्ण भूमिका के बावजूद, वर्तमान अत्याधुनिक ओपन-सोर्स RMs महत्वपूर्ण सीमाओं को प्रदर्शित करते हैं:

• भंगुरता (Brittleness): वे मानवीय प्राथमिकताओं के सूक्ष्म, परिष्कृत और कभी-कभी विरोधाभासी स्पेक्ट्रम को पकड़ने में विफल रहते हैं।
• बेंचमार्क संतृप्ति बनाम वास्तविक प्रदर्शन (Benchmark Saturation vs. Real Performance): RewardBench जैसे मानक बेंचमार्क पर स्कोर संतृप्त हो गए हैं, लेकिन वे डाउनस्ट्रीम कार्यों (जैसे, Best-of-N स्केलिंग या पॉलिसी ट्रेनिंग) के प्रदर्शन के साथ कमजोर या यहाँ तक कि विपरीत सहसंबंध दिखाते हैं।
• डेटा गुणवत्ता संबंधी मुद्दे (Data Quality Issues): मौजूदा प्राथमिकता डेटासेट अक्सर संकीर्ण दायरे वाले होते हैं, कम गुणवत्ता वाले सिंथेटिक लेबलिंग से बने होते हैं, या उनमें कठोर सत्यापन का अभाव होता है। केवल बिना क्यूरेट किए गए डेटा की मात्रा को बढ़ाने से प्रदर्शन में लाभ नहीं मिलता है।
• स्थिरता (Stagnation): कई शीर्ष प्रदर्शन करने वाले मॉडल समान बेस आर्किटेक्चर या प्रशिक्षण डेटा पर निर्भर हैं, जो 2024 के अंत से ओपन प्रेफरेंस डेटासेट में प्रगति की कमी को दर्शाता है।

लेखकों का अनुमान है कि प्राथमिक बाधा मॉडल आर्किटेक्चर या प्रशिक्षण एल्गोरिदम नहीं है, बल्कि वरीयता डेटा (preference data) की गुणवत्ता और क्यूरेशन है।

2. कार्यप्रणाली: मानव-AI सहक्रियात्मक पाइपलाइन (Methodology: The Human-AI Synergistic Pipeline)

मुख्य योगदान SynPref-40M है, जो 40 मिलियन जोड़े वाला एक बड़े पैमाने का क्यूरेटेड प्रेफरेंस डेटासेट है, जिसमें प्रशिक्षण के लिए 26 मिलियन सावधानीपूर्वक क्यूरेट किए गए जोड़े उपयोग किए गए हैं। डेटा को एक नवीन दो-चरणीय क्यूरेशन पाइपलाइन (चित्र 3) के माध्यम से संसाधित किया जाता है जो मानवीय सत्यापन गुणवत्ता और AI स्केलेबिलिटी के बीच संतुलन बनाता है।

चरण 1: लघु-स्तरीय मानव-इन-द-लूप क्यूरेशन (पुनरावृत्ति आधारित) (Small-Scale Human-in-the-Loop Curation - Iterative)

यह चरण 8 पुनरावृत्तियों के माध्यम से उच्च-गुणवत्ता वाले "गोल्ड" (Gold) डेटा जनरेशन और मॉडल शोधन पर केंद्रित है:

1. सीड इनिशियलाइजेशन (Seed Initialization): यह एक छोटे, उच्च-गुणवत्ता वाले सीड डेटासेट (Skywork-Reward-Preference-80K-v0.2) के साथ शुरू होता है।
2. एट्रिब्यूट जनरेशन (Attribute Generation): LLMs कच्चे डेटा के लिए वरीयता गुण (कार्य श्रेणी, वस्तुनिष्ठता, विवादात्मकता, वांछित गुण, एनोटेशन दिशानिर्देश) उत्पन्न करते हैं।
3. मानवीय सत्यापन (Human Verification): एनोटेटर फैक्ट-चेकिंग और कोड निष्पादन के लिए बाहरी उपकरणों (सर्च इंजन, फ्रंटियर LLMs) का उपयोग करके एक सख्त प्रोटोकॉल के तहत लेबल को सत्यापित करते हैं। यह $D_{gold}$ (सत्यापित) और $D_{silver}$ (LLM-सत्यापित) का उत्पादन करता है।
4. त्रुटि-संचालित अनुकूली पुनर्प्राप्ति (Error-Driven Adaptive Retrieval): एक रिवॉर्ड मॉडल को $D_{silver}$ पर प्रशिक्षित किया जाता है और $D_{gold}$ पर मूल्यांकन किया जाता है। सिस्टम उन जोड़ों की पहचान करता है जहाँ मॉडल खराब प्रदर्शन करता है (कम आत्मविश्वास या त्रुटियाँ) और अनवेरिफाइड जोड़ों को पुनः एनोटेशन के लिए कच्चे पूल से पुनर्प्राप्त करता है।
5. वरीयता-जागरूक लेबलिंग (Preference-Aware Labeling): LLMs $D_{gold}$ से प्राप्त फ्यू-शॉट उदाहरणों का उपयोग करके पुनर्प्राप्त किए गए जोड़ों को एनोटेट करते हैं ताकि उनके निर्णय को निर्देशित किया जा सके, जिससे मानवीय प्राथमिकताओं के साथ संरेखण सुनिश्चित हो सके।
6. पुनरावृत्ति (Iteration): प्रक्रिया दोहराई जाती है, जिससे डेटासेट का निरंतर विस्तार होता है और रिवॉर्ड मॉडल परिष्कृत होता है।

चरण 2: बड़े पैमाने पर स्वचालित क्यूरेशन (मानव पर्यवेक्षण के बिना) (Large-Scale Automatic Curation - No Human Supervision)

यह चरण प्रक्रिया को करोड़ों "इन-द-वाइल्ड" जोड़ों ($D_{wild}$) तक स्केल करता है:

1. निरंतरता फ़िल्टरिंग (Consistency Filtering): एक "गोल्ड रिवॉर्ड मॉडल" (संचयी मानव-सत्यापित डेटा पर प्रशिक्षित) और "बेस्ट रिवॉर्ड मॉडल" (चरण 1 से) संयुक्त रूप से अनवेरिफाइड जोड़ों का मूल्यांकन करते हैं।
2. चयन तर्क (Selection Logic):
   • रखें (Retain): वे जोड़े जहाँ मूल लेबल गोल्ड RM और बेस्ट RM (या LLM जज) दोनों के साथ सहमत है।
   • फ्लिप/रीसायकल (Flip/Recycle): वे जोड़े जहाँ मूल लेबल गोल्ड RM के साथ असहमति रखता है, उन्हें "फ्लिप" किया जाता है (चुने गए/अस्वीकृत को बदलना) और प्रशिक्षण पूल में जोड़ा जाता है, जो नए एनोटेशन के बिना निम्न-गुणवत्ता वाले लेबल को प्रभावी ढंग से ठीक करता है।
   • डिस्कार्ड (Discard): उच्च अनिश्चितता या विरोधाभासी संकेतों वाले जोड़ों को हटा दिया जाता है।
3. परिणाम: इससे प्रारंभिक 40M कच्चे जोड़ों से एक विशाल, उच्च-गुणवत्ता वाला क्यूरेटेड उपसमूह (26M जोड़े) प्राप्त होता है।

3. मुख्य योगदान (Key Contributions)

1. SynPref-40M: अब तक का सबसे बड़ा क्यूरेटेड प्रेफरेंस मिश्रण, जिसमें 40M जोड़े (26M क्यूरेटेड) शामिल हैं। यह प्रदर्शित करता है कि उच्च-गुणवत्ता वाला क्यूरेशन कच्चे वॉल्यूम की तुलना में अधिक मूल्यवान है।
2. Skywork-Reward-V2 सीरीज़: Llama 3.1/3.2 और Qwen3 बैकबोन पर आधारित आठ रिवॉर्ड मॉडल्स का एक समूह (0.6B से 8B पैरामीटर्स तक)।
3. मानव-AI सहक्रियात्मक पाइपलाइन: एक नवीन ढांचा जो गुणवत्ता आश्वासन के लिए मानवीय सत्यापन का उपयोग करता है और स्केलेबिलिटी के लिए LLMs (मानवीय गुणों और फ्यू-शॉट उदाहरणों द्वारा निर्देशित) का उपयोग करता है। यह सिद्ध करता है कि मानवीय प्रयास की एक छोटी मात्रा (लगभग 2% अंतिम पूल) बड़े पैमाने पर प्रदर्शन में वृद्धि कर सकती है।
4. व्यापक बेंचमार्किंग: मॉडल्स का सात प्रमुख बेंचमार्क पर मूल्यांकन किया गया है, जिनमें RewardBench v2, PPE, RMB, RM-Bench, और JudgeBench शामिल हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

Skywork-Reward-V2 सीरीज़ सभी सात प्रमुख बेंचमार्क पर स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करती है, जो मौजूदा ओपन मॉडल्स और यहाँ तक कि बड़े प्रोप्रायटरी मॉडल्स को भी काफी पीछे छोड़ देती है।

• बेंचमार्क प्रदर्शन:
  • Skywork-Reward-V2-Llama-3.1-8B-40M औसत स्कोर 88.6 प्राप्त करता है, जो पिछले SOTA (INF-ORM-Llama3.1-70B, 73.8) को बड़े अंतर से पछाड़ देता है।
  • यह RewardBench पर 97.8 और RewardBench v2 पर 86.5 प्राप्त करता है।
  • यह अधिकांश श्रेणियों में, विशेष रूप से व्यक्तिपरक प्राथमिकता (subjective preference) और स्टाइल रेजिस्टेंस (style resistance) में, जेनेरेटिव रिवॉर्ड मॉडल्स और LLM-as-a-Judge दृष्टिकोणों से बेहतर प्रदर्शन करता है।
• मॉडल आकार दक्षता (Model Size Efficiency):
  • 1.7B वेरिएंट औसत रूप से 70B INF-ORM को पछाड़ देता है, जो यह सिद्ध करता है कि डेटा की गुणवत्ता मॉडल क्षमता के अंतर को पाट सकती है।
  • क्यूरेटेड मिश्रण के केवल 1.8% (लगभग 290k नमूने) पर प्रशिक्षण लेने के बाद भी पिछले 70B SOTA से आगे निकल जाता है।
• डाउनस्ट्रीम क्षमताएं (Downstream Capabilities):
  • Best-of-N (BoN) स्केलिंग: ये मॉडल्स BoN कार्यों (Helpfulness/Harmlessness) में मजबूत सकारात्मक स्केलिंग दिखाते हैं, जो GPT-4o से 20 अंक तक अधिक है।
  • मजबूती (Robustness): वे शैलीगत पूर्वाग्रहों (RM-Bench) के प्रति बेहतर प्रतिरोध और बेहतर तथ्यात्मकता स्कोर प्रदर्शित करते हैं।
• एब्लेशन अध्ययन (Ablation Studies):
  • डेटा गुणवत्ता > मात्रा: बिना क्यूरेट किया गया स्केलिंग नगण्य लाभ देता है; क्यूरेट किया गया स्केलिंग निरंतर सुधार देता है।
  • मानवीय मार्गदर्शन महत्वपूर्ण है: पाइपलाइन से मानवीय मार्गदर्शन को हटाने (केवल LLM स्वयं-निरंतरता पर निर्भर रहने) से प्रदर्शन 74-75% के आसपास स्थिर हो जाता है, जबकि पूर्ण पाइपलाइन 83%+ तक पहुँचती है।
  • सुधार तंत्र (Correction Mechanism): लेबल को बदलकर (flipping) हटाए गए डेटा को "रीसायकल" करने से महत्वपूर्ण प्रदर्शन लाभ होता है, जो त्रुटियों को पहचानने और ठीक करने की पाइपलाइन की क्षमता की पुष्टि करता है।

5. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र इस धारणा को चुनौती देता है कि बड़े मॉडल या जटिल लॉस फंक्शन रिवॉर्ड मॉडल के प्रदर्शन के प्राथमिक चालक हैं। इसके बजाय, यह डेटा क्यूरेशन की गुणवत्ता को महत्वपूर्ण कारक के रूप में उजागर करता है।
• लागत-प्रभावशीलता (Cost-Effectiveness): पाइपलाइन यह प्रदर्शित करती है कि मानवीय एनोटेशन (सीड डेटा और सत्यापन पर ध्यान केंद्रित करना) के लिए एक छोटे बजट को स्वचालित स्केलिंग के साथ संयोजित करके ऐसे डेटासेट बनाए जा सकते हैं जो विशाल, महंगे मानव-लेबल वाले डेटासेट से बेहतर प्रदर्शन करते हैं।
• ओपन प्रगति (Open Progress): उच्च-गुणवत्ता वाले ओपन मॉडल्स और डेटा क्यूरेशन के लिए एक पद्धति जारी करके, लेखकों का लक्ष्य 2024 के अंत में देखी गई स्थिरता से आगे बढ़कर ओपन-सोर्स RLHF अनुसंधान को गति देना है।
• व्यावहारिक मार्गदर्शन (Practical Guidance): लेखक अभ्यासकर्ताओं के लिए एक "बजटिंग रेसिपी" प्रदान करते हैं, जो यह दिखाते हैं कि लागत सीमाओं के भीतर रिवॉर्ड मॉडल प्रदर्शन को अधिकतम करने के लिए मानवीय सत्यापन और स्वचालित स्केलिंग के बीच संसाधनों को कैसे आवंटित किया जाए।

निष्कर्षतः, Skywork-Reward-V2 ओपन रिवॉर्ड मॉडलिंग में एक बड़ी छलांग का प्रतिनिधित्व करता है, जो यह सिद्ध करता है कि डेटा क्यूरेशन के लिए एक सहक्रियात्मक मानव-AI दृष्टिकोण, पिछले तरीकों की तुलना में काफी उच्च डेटा गुणवत्ता और मॉडल प्रदर्शन को अनलॉक कर सकता है।