C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences

यहाँ शोध पत्र "C2: Scalable Rubric-Augmented Reward Modeling from Binary Preferences" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिवॉर्ड मॉडल्स (RMs) मानव फीडबैक से सुदृढीकरण शिक्षण (RLHF) के माध्यम से लार्ज लैंग्वेज मॉडल्स (LLMs) को मानवीय मूल्यों के साथ संरेखित करने के लिए महत्वपूर्ण हैं। हालाँकि, मानक स्केलर RMs अक्सर उन डोमेन में संघर्ष करते हैं जहाँ मूल्यांकन के मानदंड निहित या व्यक्तिपरक होते हैं (जैसे, रचनात्मक लेखन, निर्देश पालन)।

• रूब्रिक-संवर्धित सत्यापन (Rubric-Augmented Verification): एक आशाजनक समाधान में रिवॉर्ड मॉडल को निर्देशित करने के लिए "रूब्रिक्स" (स्पष्ट मूल्यांकन मानदंड) का उपयोग करना शामिल है। हालाँकि, मौजूदा विधियाँ इन रूब्रिक्स को उत्पन्न करने के लिए महंगी मानवीय एनोटेशन या प्रोप्रायटरी मॉडल्स पर निर्भर करती हैं, जो स्केलेबिलिटी को सीमित करती है।
• स्व-उत्पादन की विफलता (The Failure of Self-Generation): बेस मॉडल का उपयोग अपने स्वयं के रूब्रिक्स उत्पन्न करने के लिए करना (सेल्फ-जनरेशन) एक स्केलेबल विकल्प है, लेकिन लेखक पाते हैं कि यह अक्सर विफल रहता है। निम्न-गुणवत्ता वाले रूब्रिक्स वर्िफायर को सक्रिय रूप से भ्रमित (mislead) करते हैं, जिससे वह गलत निर्णय लेने लगता है, भले ही वह रूब्रिक के बिना सही होता। यह जनरेटर और वर्िफायर के बीच "सहयोग की विफलता" (failure of cooperation) का प्रतिनिधित्व करता है।
• मुख्य चुनौती: क्या हम केवल बाइनरी प्रेफरेंस (pairwise data) का उपयोग करके एक स्केलेबल, रूब्रिक-संवर्धित सत्यापन प्रणाली बना सकते हैं जो भ्रामक रूब्रिक्स के प्रति सुदृढ़ (robust) हो?

2. कार्यप्रणाली: C2 फ्रेमवर्क (Methodology: C2 Framework)

लेखक C2 (Cooperative yet Critical) का प्रस्ताव करते हैं, जो एक रूब्रिक जनरेटर और एक रूब्रिक-संवर्धित वर्िफायर को सहयोगात्मक रूप से आलोचनात्मक (cooperatively critically) रूप से संयुक्त रूप से प्रशिक्षित करने के लिए है। मुख्य अंतर्दृष्टि सहकारी संचार सिद्धांत (cooperative communication theory) से प्रेरित है: वक्ता सीखते हैं कि कौन से संकेत श्रोताओं की मदद करते हैं, और श्रोता सीखते हैं कि किन वक्ताओं पर भरोसा करना चाहिए।

यह फ्रेमवर्क तीन चरणों में कार्य करता है:

A. कंट्रास्टिव रूब्रिक पेयर्स का संश्लेषण (चरण 1)

बाहरी लेबल पर निर्भर रहने के बजाय, C2 बाइनरी प्रेफरेंस डेटा से "सहायक" और "भ्रामक" रूब्रिक्स का संश्लेषण करता है:

1. बेसलाइन: एक बेस मॉडल बिना रूब्रिक के प्रॉम्प्ट का निर्णय लेता है ताकि एक बेसलाइन मार्जिन ($m_\emptyset$) स्थापित किया जा सके।
2. सैंपलिंग: मॉडल $K$ कैंडिडेट रूब्रिक्स उत्पन्न करता है।
3. लेबलिंग: प्रत्येक रूब्रिक का परीक्षण यह देखने के लिए किया जाता है कि वह वर्िफायर के आत्मविश्वास को सही लेबल की ओर कैसे स्थानांतरित करता है।
   • सहायक रूब्रिक ($r^+$): सही भविष्यवाणियों के लिए मार्जिन बढ़ाता है या गलत भविष्यवाणियों को सही में बदल देता है।
   • भ्रामक रूब्रिक ($r^-$): वर्िफायर को गलत लेबल की ओर धकेलता है या सही भविष्यवाणियों के लिए मार्जिन को कम करता है।
4. चयन: सबसे मजबूत सकारात्मक प्रभाव और सबसे मजबूत नकारात्मक प्रभाव वाले रूब्रिक को एक कंट्रास्टिव पेयर $(r^+, r^-)$ बनाने के लिए चुना जाता है।

B. प्रशिक्षण घटक (चरण 2)

• सहकारी रूब्रिक जनरेटर ($G_\phi$): इसे डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) का उपयोग करके प्रशिक्षित किया जाता है। यह सहायक रूब्रिक ($r^+$) को "चुना गया" (chosen) आउटपुट और भ्रामक रूब्रिक ($r^-$) को "अस्वीकृत" (rejected) आउटपुट के रूप में मानता है। यह जनरेटर को ऐसे रूब्रिक्स उत्पन्न करने के लिए सिखाता है जो वास्तव में वर्िफायर की सहायता करते हैं।
• आलोचनात्मक वर्िफायर ($V_\theta$): इसे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके प्रशिक्षित किया जाता है। इसे दो कार्यों पर प्रशिक्षित किया जाता है:
  1. रूब्रिक-मुक्त: मानक प्रेफरेंस प्रेडिक्शन।
  2. रूब्रिक-संवर्धित: मॉडल एक रूब्रिक प्राप्त करता है और उसे अपनी वैधता (helpful या misleading आउटपुट करना) का आकलन करने के बाद अंतिम निर्णय लेना होता है।
  • रिवॉर्ड सिग्नल: वर्िफायर को सही प्रेफरेंस प्रेडिक्शन ($R_p$), सही फॉर्मेट ($R_f$), और रूब्रिक की वैधता को सही ढंग से पहचानने ($R_r$) के लिए रिवॉर्ड मिलता है।

C. चयनात्मक अनुमान (Selective Inference) (चरण 3)

अनुमान (inference) के समय, सिस्टम एक रूब्रिक उत्पन्न करता है और वर्िफायर से पूछताछ करता है।

• यदि वर्िफायर रूब्रिक को helpful के रूप में आकलन करता है, तो वह निर्णय लेने के लिए रूब्रिक का पालन करता है।
• यदि वर्िफायर रूब्रिक को misleading के रूप में आकलन करता है, तो वह रूब्रिक को अस्वीकार (reject) कर देता है और रूब्रिक-मुक्त मूल्यांकन पर वापस आ जाता है।
  यह चयनात्मक तंत्र सुनिश्चित करता है कि सिस्टम केवल उच्च-गुणवत्ता वाले रूब्रिक्स से ही लाभान्वित हो।

3. मुख्य योगदान (Key Contributions)

1. स्व-जेनरेटेड रूब्रिक्स का अनुभवजन्य लक्षण वर्णन: लेखक प्रदर्शित करते हैं कि स्व-जेनरेटेड रूब्रिक्स द्वि-मोडल (bimodal) होते हैं: उच्च-गुणवत्ता वाले रूब्रिक्स सटीकता को काफी बढ़ा देते हैं, जबकि निम्न-गुणवत्ता वाले रूब्रिक्स प्रदर्शन को रूब्रिक-मुक्त बेसलाइन से भी नीचे गिरा देते हैं।
2. C2 फ्रेमवर्क: केवल बाइनरी प्रेफरेंस से रूब्रिक जनरेशन और वेरिफिकेशन को संयुक्त रूप से प्रशिक्षित करने की एक नवीन विधि, जो महंगे मानवीय रूब्रिक एनोटेशन की आवश्यकता को समाप्त करती है।
3. कोऑपरेटिव-क्रिटिकल डिज़ाइन: जनरेटर को सहायक रूब्रिक्स बनाने और वर्िफायर को उन्हें क्रिटिकली फ़िल्टर करने के लिए प्रशिक्षित करके, C2 सहज स्व-जनरेशन (naive self-generation) में निहित "सहयोग की विफलता" को दूर करता है।
4. स्केलेबिलिटी: C2 एक 8B पैरामीटर मॉडल को एक 4$\times$ बड़े (32B) मॉडल के रूब्रिक्स वाले रूब्रिक-संवर्धित सिस्टम के प्रदर्शन के बराबर पहुँचने में सक्षम बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Tulu3-8B और Qwen3-8B बेस मॉडल्स को रीजनिंग RMs (GRPO-प्रशिक्षित) और नाइव सेल्फ-रूब्रिक ऑगमेंटेशन जैसे बेसलाइन्स के विरुद्ध RM-Bench पर मूल्यांकित किया।

• प्रेफरेंस प्रेडिक्शन (RM-Bench):
  • C2 ने RM-Bench पर रीजनिंग RMs को 6.5 अंक से पीछे छोड़ दिया (Qwen3-8B के लिए 87.8% बनाम 81.3%)।
  • C2 ने "एक्सटर्नल-रूब्रिक" सेटिंग (32B मॉडल के रूब्रिक्स का उपयोग करना) के प्रदर्शन के बराबर प्रदर्शन किया, जबकि वास्तव में बड़े मॉडल का उपयोग नहीं किया।
  • नाइव सेल्फ-जनरेशन (Reasoning RM + Self-Rubric) ने वास्तव में बेस रीजनिंग RM की तुलना में प्रदर्शन को कम किया, जो अनफ़िल्टर्ड रूब्रिक्स के खतरे की पुष्टि करता है।
• डाउनस्ट्रीम RLHF (AlpacaEval 2.0):
  • C2 को रिवॉर्ड सिग्नल के रूप में उपयोग करने वाले पॉलिसियों ने मानक रीजनिंग RMs द्वारा प्रशिक्षित पॉलिसियों की तुलना में AlpacaEval 2.0 पर लेंथ-कंट्रोल्ड विन रेट में 6.0 अंक की वृद्धि हासिल की।
• मजबूती विश्लेषण (Robustness Analysis):
  • कंप्यूट दक्षता: C2 के लाभ केवल बढ़े हुए इन्फरेंस कंप्यूट के कारण नहीं हैं; यह कंप्यूट-मैच्ड बेसलाइन्स से बेहतर प्रदर्शन करता है।
  • शोर के प्रति मजबूती (Noise Robustness): भले ही 90% इनपुट रूब्रिक्स निम्न-गुणवत्ता के थे, C2 ने अपने चयनात्मक अनुमान तंत्र के कारण उच्च सटीकता बनाए रखी, जबकि बेसलाइन्स विफल हो गए।
  • एब्लेशन (Ablation): प्रशिक्षण से "भ्रामक रूब्रिक्स" को हटाने से सबसे बड़ी गिरावट आई, जो यह सिद्ध करता है कि यह सीखना कि किस पर भरोसा नहीं करना है, उतना ही महत्वपूर्ण है जितना कि यह सीखना कि किस पर भरोसा करना है।

5. महत्व (Significance)

• स्केलेबल एलाइनमेंट: C2 मानवीय रूब्रिक एनोटेशन की बाधा के बिना स्केलेबल, उच्च-गुणवत्ता वाले रिवॉर्ड मॉडलिंग के लिए एक मार्ग प्रदान करता है। यह आवश्यक सूक्ष्म पर्यवेक्षण (fine-grained supervision) उत्पन्न करने के लिए मौजूदा बाइनरी प्रेफरेंस कॉर्पोरा का लाभ उठाता है।
• विश्वसनीय सत्यापन: "क्रिटिकल वर्िफायर" घटक हैलुसिनेटेड या एडवरसेरियल रूब्रिक्स के खिलाफ एक सुरक्षा तंत्र पेश करता है, जो सत्यापन प्रक्रिया को पिछले "रूब्रिक-फॉलोइंग" दृष्टिकोणों की तुलना में अधिक मजबूत बनाता है।
• सामान्यीकरण (Generalizability): यह फ्रेमवर्क मॉडल-अज्ञेय (model-agnostic) है और इसने विभिन्न बेस मॉडल्स (Tulu और Qwen परिवार) पर सफलता प्रदर्शित की है, जो बताता है कि इसे जटिल, व्यक्तिपरक डोमेन में LLM एलाइनमेंट को सुधारने के लिए व्यापक रूप से लागू किया जा सकता है।

निष्कर्षतः, C2 यह प्रदर्शित करता है कि एक रूब्रिक जनरेटर और एक वर्िफायर के बीच स्पष्ट रूप से सहकारी एवं आलोचनात्मक संबंध को मॉडल करके, ऐसे स्केलेबल और विश्वसनीय रिवॉर्ड मॉडल बनाए जा सकते हैं जो वर्तमान अत्याधुनिक रीजनिंग मॉडल्स से बेहतर प्रदर्शन करते हैं।