Reinforcement Learning with Conditional Expectation Reward

यहाँ पेपर "Reinforcement Learning with Conditional Expectation Reward" (CER) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) ने लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमता को सफलतापूर्वक बढ़ाया है, विशेष रूप से गणित जैसे डोमेन में जहाँ उत्तरों को सख्त, नियम-आधारित चेकर (जैसे कि सटीक स्ट्रिंग मिलान या सिम्बोलिक समानता) के माध्यम से सत्यापित किया जा सकता है।

हालाँकि, जब RLVR को सामान्य तर्क डोमेन (जैसे भौतिकी, वित्त, खुले-अंत वाले प्रश्न) पर लागू किया जाता है, तो इसे दो महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

1. सत्यापकों (Verifiers) का अभाव: मुक्त-रूप (free-form) उत्तरों के लिए हस्तनिर्मित, डोमेन-विशिष्ट सत्यापन नियमों का निर्माण करना महंगा है, अक्सर अव्यवहार्य है, और वैध उत्तरों की उच्च परिवर्तनशीलता के कारण इसे व्यापक बनाना कठिन है।
2. बाइनरी फीडबैक (Binary Feedback): पारंपरिक नियम-आधारित सत्यापनकर्ता बाइनरी संकेत (0 या 1) प्रदान करते हैं। वे सभी गैर-सटीक मिलानों को समान रूप से गलत मानते हैं, जिससे आंशिक रूप से सही या अर्थगत रूप से समान (semantically equivalent) उत्तरों के लिए सकारात्मक सुदृढीकरण प्रदान करने में विफलता होती है। इसके परिणामस्वरूप विरल (sparse) और शोर युक्त (noisy) रिवॉर्ड सिग्नल मिलते हैं जो सामान्य डोमेन में प्रभावी अनुकूलन (optimization) में बाधा डालते हैं।

2. कार्यप्रणाली: कंडीशनल एक्सपेक्टेशन रिवॉर्ड (Conditional Expectation Reward - CER)

लेखक कंडीशनल एक्सपेक्टेशन रिवॉर्ड (CER) का प्रस्ताव करते हैं, जो एक नवीन रिवॉर्ड तंत्र है जो मॉडल को स्वयं एक अंतर्निहित सत्यापनकर्ता (implicit verifier) के रूप में उपयोग करके बाहरी सत्यापनकर्ताओं या सहायक मॉडलों की आवश्यकता को समाप्त करता है।

मुख्य परिभाषा (Core Definition)

CER को संदर्भ उत्तर ($a^*$) उत्पन्न करने की अपेक्षित संभावना (expected likelihood) के रूप में परिभाषित किया गया है, जो एक विशिष्ट उत्तर ($a$) उत्पन्न करने की शर्त पर आधारित है।
गणितीय रूप से, चतुर्भुज $(q, s, a, a^*)$ के लिए जहाँ $q$ प्रश्न है, $s$ समाधान है, $a$ उत्पन्न किया गया उत्तर है, और $a^*$ संदर्भ उत्तर है:
$$\rho(a, a^*) := \mathbb{E}_{s' \sim \pi_\theta(\cdot|q, a)} [\pi_\theta(a^*|s', q)]$$
सहज रूप से, यदि उत्पन्न उत्तर $a$ संदर्भ $a^*$ के साथ सुसंगत है, तो मॉडल को $a$ के संदर्भ में $a^*$ को पुन: उत्पन्न करने की उच्च संभावना मिलनी चाहिए।

अनुभवजन्य सूत्र (Empirical Formulation)

चूँकि सटीक अपेक्षा (exact expectation) गणना योग्य नहीं है, लेखक बेयस के नियम (Bayes' rule) और मोंटे कार्लो सैंपलिंग (Monte Carlo sampling) का उपयोग करके एक अनुभवजन्य अनुमानक (empirical estimator) प्राप्त करते हैं:
$$\rho(a, a^*) \approx \frac{\sum_{j=1}^M \pi_\theta(a|s_j, q) \pi_\theta(a^*|s_j, q)}{\sum_{j=1}^M \pi_\theta(a|s_j, q)}$$
जहाँ $s_j$ पॉलिसी $\pi_\theta(\cdot|q)$ से लिए गए $M$ स्वतंत्र नमूने (samples) हैं।

• वेटिंग (Weighting): शब्द $\pi_\theta(a|s_j, q)$ एक वेट के रूप में कार्य करता है, यह सुनिश्चित करता है कि वे नमूने जहाँ मॉडल दोनों—जनरेट किए गए उत्तर $a$ और संदर्भ $a^*$—के बारे में आश्वस्त है, रिवॉर्ड में अधिक योगदान दें।
• दक्षता (Efficiency): यह विधि उन नमूनों $s_j$ का पुन: उपयोग करती है जो पॉलिसी ग्रेडिएंट अनुमान के लिए पहले से ही उत्पन्न किए गए हैं, जिससे कोई अतिरिक्त सैंपलिंग लागत नहीं आती है।

सैद्धांतिक गुण (Theoretical Properties)

1. सीमाबद्धता (Boundedness): रिवॉर्ड 0 और 1 के बीच सख्ती से सीमित है।
2. स्व-संगति (Self-Consistency): यदि $a = a^*$, तो रिवॉर्ड अधिकतम होता है (या कम से कम अनकंडीशनल प्रोबेबिलिटी से अधिक होता है), जो एक "स्व-संगति प्रवर्धन" (self-consistency amplification) प्रभाव बनाता है।
3. मूल्य समानता (Value Equivalence): CER ऑब्जेक्टिव का अपेक्षित मान Exact-Match ऑब्जेक्टिव के समान है ($\mathbb{E}[\rho] = \mathbb{E}[I(a=a^*)]$)। यह सिद्ध करता है कि CER, हार्ड 'एक्जैक्ट-मैच' मानदंड का एक सॉफ्ट, निरंतर रिलैक्सेशन (soft, continuous relaxation) है।
4. श्रेणीबद्ध फीडबैक (Graded Feedback): बाइनरी सत्यापनकर्ताओं के विपरीत, CER अर्थगत निरंतरता (semantic consistency) की डिग्री को दर्शाने वाले निरंतर रिवॉर्ड प्रदान करता है, जिससे मॉडल आंशिक रूप से सही उत्तरों से सीख सकता है।

3. प्रमुख योगदान (Key Contributions)

1. सामान्यीकरण योग्य RLVR (Generalizable RLVR): एक ऐसा ढांचा पेश किया जो RLVR को संकीर्ण, नियम-सत्यापन योग्य डोमेन से बाहरी सत्यापनकर्ताओं की आवश्यकता के बिना सामान्य, खुले-अंत वाले तर्क डोमेन तक विस्तारित करता है।
2. मॉडल-अंतर्निहित सत्यापन (Model-Intrinsic Verification): प्रदर्शित किया कि LLM स्वयं उत्पन्न और संदर्भ उत्तरों के बीच आंतरिक निरंतरता का लाभ उठाकर एक विश्वसनीय सत्यापनकर्ता के रूप में कार्य कर सकता है।
3. सॉफ्ट रिवॉर्ड सिग्नल (Soft Reward Signal): विरल बाइनरी फीडबैक को घने, श्रेणीबद्ध संकेतों से बदल दिया जो आंशिक शुद्धता और अर्थगत ओवरलैप को कैप्चर करते हैं।
4. सैद्धांतिक आधार (Theoretical Foundation): प्रमाण प्रदान किए जो दिखाते हैं कि CER, 'एक्जैक्ट-मैच' मूल्यांकन का एक स्मूथ रिलैक्सेशन है, जो मूल ऑब्जेक्टिव की सैद्धांतिक इष्टतमता (optimality) को बनाए रखते हुए सीखने की गतिशीलता (learning dynamics) में सुधार करता है।
5. कुशल कार्यान्वयन (Efficient Implementation): एक टेंसरयुक्त गणना पद्धति विकसित की जो मौजूदा पॉलिसी नमूनों का पुन: उपयोग करती है, जिससे यह दृष्टिकोण कम्प्यूटेशनल रूप से कुशल सुनिश्चित होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen3-4B और Qwen3-8B मॉडल्स का उपयोग करके गणितीय (MATH-7.5K, MATH500, AIME) और सामान्य (WebInstruct, SuperGPQA, MMLU-Pro) तर्क कार्यों पर CER का मूल्यांकन किया।

• सामान्य डोमेन (General Domains): CER ने सामान्य-डोमेन डेटासेट पर सभी बेसलाइन्स (Rule-based, Exact-Match, और General-verifier जैसे Model-based verifiers सहित) के बीच उच्चतम औसत प्रदर्शन प्राप्त किया। इसने Exact-match और Perplexity-आधारित तरीकों (VeriFree) को काफी पीछे छोड़ दिया।
• गणितीय डोमेन (Mathematical Domains): CER ने नियम-आधारित सत्यापनकर्ताओं के तुलनीय प्रदर्शन किया और सीखे गए (learned) सत्यापनकर्ता दृष्टिकोणों से बेहतर प्रदर्शन किया, जो दर्शाता है कि यह विशिष्ट डोमेन के प्रति ओवरफिट नहीं होता है।
• पूरकता (Complementarity): CER को Rule-based रिवॉर्ड्स के साथ मिलाने (Rule+CER) से सर्वोत्तम समग्र परिणाम मिले, जो यह सुझाव देता है कि CER उन अंतरालों को भरता है जहाँ नियम-आधारित विधियाँ विफल होती हैं (सतही विविधताओं को संभालने में), जबकि नियम सख्त गणितीय संदर्भों में CER की संभावित अनुमान त्रुटियों को ठीक करते हैं।
• दक्षता विश्लेषण (Efficiency Analysis): यह विधि हाइपरपैरामीटर $M$ (नमूनों की संख्या) के माध्यम से सटीकता और गति के बीच संतुलन बनाने की अनुमति देती है। छोटे $M$ के साथ भी, CER ने जटिल बाहरी सत्यापनकर्ताओं से बेहतर प्रदर्शन किया और उचित रनटाइम बनाए रखा।

5. महत्व (Significance)

यह कार्य LLMs के लिए सुदृढीकरण शिक्षण (Reinforcement Learning) को स्केल करने में एक प्रमुख बाधा को संबोधित करता है: कठोर, हस्तनिर्मित सत्यापन नियमों पर निर्भरता। CER को पेश करके, लेखक एक लचीला, सार्वभौमिक और स्व-निहित रिवॉर्ड तंत्र प्रदान करते हैं जो:

• मुक्त-रूप, खुले-अंत वाले तर्क (open-ended reasoning) कार्यों के लिए RL प्रशिक्षण को सक्षम बनाता है जहाँ ग्राउंड-ट्रुथ सत्यापन संदिग्ध होता है।
• आंशिक रूप से सही उत्तरों के लिए घने, सूचनात्मक ग्रेडिएंट्स प्रदान करके सीखने की दक्षता में सुधार करता है।
• डोमेन-विशिष्ट सत्यापनकर्ता बनाने के इंजीनियरिंग ओवरहेड को कम करता है, जिससे उन्नत तर्क क्षमताएं विविध क्षेत्रों (विज्ञान, वित्त, मानविकी) में अधिक सुलभ हो जाती हैं।

संक्षेप में, CER बाहरी, बाइनरी सत्यापन से आंतरिक, संभावabilistic निरंतरता की ओर एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है, जो लार्ज लैंग्वेज मॉडल्स में सामान्यीकरण योग्य तर्क के लिए एक मजबूत मार्ग प्रदान करता है।