तकनीकी सारांश: RL पोस्ट-ट्रेनिंग के लिए क्रॉस-इपोक एडेप्टिव रोलआउट ऑप्टिमाइज़ेशन (CERO)

1. समस्या का निरूपण (Problem Formulation)

लार्ज लैंग्वेज मॉडल (LLM) का पोस्ट-ट्रेनिंग वाया रीइन्फोर्समेंट लर्निंग (RL), विशेष रूप से GRPO जैसे एल्गोरिदम का उपयोग करते समय, आमतौर पर प्रत्येक प्रॉम्प्ट के लिए एक निश्चित संख्या में रोलआउट्स (rollouts) सैंपल करने पर निर्भर करता है। यह यूनिफॉर्म एलोकेशन रणनीति विभिन्न प्रॉम्प्ट्स द्वारा प्रदान किए जाने वाले विषम प्रशिक्षण संकेतों (heterogeneity in training signals) की अनदेखी करती है। कुछ प्रॉम्प्ट्स सरल होते हैं (कम विचरण के साथ निरंतर सफलता या विफलता देते हैं), जबकि अन्य बहुत कठिन या पहले से ही महारत हासिल कर चुके होते हैं, जो घटते सीमांत प्रतिफल (diminant marginal returns) प्रदान करते हैं। फलस्वरूप, वैश्विक रोलआउट बजट का एक महत्वपूर्ण हिस्सा उन प्रॉम्प्ट्स पर बर्बाद हो जाता है जिनका सीखने का मूल्य सीमित होता है।

यह शोध इसे एक निश्चित वैश्विक बजट $B$ के तहत क्रॉस-इपोक ऑनलाइन रिसोर्स एलोकेशन समस्या के रूप में निरूपित करता है। पिछले तरीकों के विपरीत, जो बैच-के भीतर पुन: आवंटन (within-batch reallocation) या जनरेशन-पश्चात फ़िल्टरिंग करते हैं, यह कार्य प्रॉम्प्ट्स और प्रशिक्षण इपोक (epochs) दोनों में रोलआउट के आवंटन को संबोधित करता है। इसका उद्देश्य एकत्र किए गए नमूनों की संचयी उपयोगिता (cumulative utility) को अधिकतम करना है, जहाँ उपयोगिता प्रॉम्प्ट-स्तरीय घटते प्रतिफल के अधीन है। इस समस्या को $\sum_{i,k} N_{i,k} \le B$ वैश्विक बजट बाधा के तहत प्रॉम्प्ट-विशिष्ट उपयोगिता फलनों $U_i(\sum_k N_{i,k})$ के योग को अधिकतम करने के रूप में गणितीय रूप से परिभाषित किया गया है, जहाँ $N_{i,k}$ इपोक $k$ पर प्रॉम्प्ट $i$ को आवंटित रोलआउट की संख्या है।

2. कार्यप्रणाली: CERO

लेखक CERO (Cross-Epoch Adaptive Rollout Optimization) प्रस्तावित करते हैं, जो एक बेयसियन प्राइमल-डुअल ऑनलाइन एल्गोरिदम है जिसे अनुमानित प्रॉम्प्ट सूचनात्मकता (informativeness) के आधार पर रोलआउट को अनुकूल रूप से आवंटित करने के लिए डिज़ाइन किया गया है।

2.1 सूचनात्मकता और उपयोगिता डिज़ाइन (Informativeness and Utility Design)

• बीटा पोस्टीरियर मॉडलिंग (Beta Posterior Modeling): प्रत्येक प्रॉम्प्ट $x_i$ के लिए, CERO इसके लेटेंट सक्सेस प्रोबेबिलिटी $p_i$ पर एक बीटा पोस्टीरियर वितरण बनाए रखता है, जिसे रोलआउट के इतिहास $H_i^k$ के आधार पर अपडेट किया जाता है।
• सूचनात्मकता स्कोर ($q_{k,i}$): सफलता की संभावना के पॉइंट एस्टीमेट के बजाय, CERO अपेक्षित बरनौली वेरिएंस (expected Bernoulli variance) का अनुमान लगाता है: $q_{k,i} = E[p_i(1-p_i) | H_i^k]$। यह स्कोर तब अधिकतम होता है जब $p_i \approx 0.5$ (मध्यवर्ती कठिनाई) हो और आसान ($p_i \approx 1$) या कठिन ($p_i \approx 0$) प्रॉम्प्ट्स के लिए शून्य हो जाता है, जो प्रभावी रूप से उन प्रॉम्प्ट्स की पहचान करता है जो सबसे अधिक अनिश्चित और इस प्रकार सूचनात्मक लर्निंग सिग्नल प्रदान करते हैं।
• उपयोगिता फलन (Utility Function): एक कॉनकेव (concave), सैचुरेटिंग उपयोगिता फलन को $U_i(n) = 1 - \exp(-\eta q_i n)$ के रूप में परिभाषित किया गया है, जहाँ $n$ संचयी रोलआउट की संख्या है। यह घटते प्रतिफल को दर्शाता: सूचनात्मक प्रॉम्प्ट पर शुरुआती रोलआउट अत्यधिक मूल्यवान होते हैं, लेकिन जैसे-जैसे अधिक नमूने एकत्र किए जाते हैं, उनका सीमांत मूल्य कम होता जाता है।

2.2 फेंचेल-डुअल रीफॉर्मुलेशन के माध्यम से अनुकूलन (Optimization via Fenchel-Dual Reformulation)

उपयोगिता फलन की टेम्पोरल कपलिंग (जो संचयी आवंटन पर निर्भर करती है) प्रत्यक्ष ऑनलाइन अनुकूलन को कठिन बनाती है। CERO इसे फेंचेल-डुअल रीफॉर्मुलेशन के माध्यम से संबोधित करता है:

• समस्या को प्रॉम्प्ट-स्तरीय डुअल वेरिएबल्स $\theta_i$ और एक वैश्विक बजट मल्टीप्लायर $\mu$ वाले डुअल ऑब्जेक्टिव में बदल दिया जाता है।
• यह रीफॉर्मुलेशन टेम्पोरली कपल्ड समस्या को डुअल वेरिएबल्स द्वारा समन्वित प्रति-इपोक एलोकेशन सब-प्रॉब्लम्स में विघटित करता है।

2.3 ऑनलाइन प्राइमल-डुअल एल्गोरिदम (Online Primal-Dual Algorithm)

CERO मौजूदा RL पाइपलाइनों (जैसे GRPO) के ऊपर एक 'ड्रॉप-इन' लेयर के रूप में कार्य करता है:

1. आवंटन निर्णय (Allocation Decision): प्रत्येक इपोक में, प्रत्येक प्रॉम्प्ट के लिए, एल्गोरिदम एक लीनियर सब-प्रॉब्लम को हल करता है। एक प्रॉम्प्ट को अधिकतम अनुमत रोलआउट ($N_{max}$) प्राप्त होता है यदि उसका अनुमानित सीमांत मूल्य (डुअल वेरिएबल $\theta_i$) वर्तमान वैश्विक बजट मूल्य ($\mu$) से अधिक हो; अन्यथा, उसे शून्य प्राप्त होता है।
2. फीडबैक अपडेट (Feedback Update): प्रतिक्रियाएं उत्पन्न करने और रिवॉर्ड्स देखने के बाद, प्रॉम्प्ट के लिए बीटा पोस्टीरियर को अपडेट किया जाता है, और सूचनात्मकता स्कोर $q_{k,i}$ को रिफ्रेश किया जाता है।
3. डुअल वेरिएबल अपडेट्स (Dual Variable Updates):
   • प्रॉम्प्ट-स्तरीय ($\theta$): आवंटित रोलआउट को वर्तमान सूचनात्मकता अनुमान द्वारा निहित उपयोगिता के साथ संतुलित करने के लिए प्रोजेक्टेड ऑनलाइन ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है।
   • बजट-स्तरीय ($\mu$): वास्तविक रोलआउट खपत और लक्षित बजट दर के बीच विसंगति के आधार पर अपडेट किया जाता है। यदि खपत दर से अधिक हो जाती है, तो $\mu$ बढ़ जाता है, जिससे भविष्य का आवंटन अधिक चयनात्मक हो जाता है; यदि कम होती है, तो $\mu$ कम हो जाता है।

3. मुख्य योगदान (Key Contributions)

1. समस्या का निरूपण: यह पेपर LLM RL पोस्ट-ट्रेनिंग रोलआउट एलोकेशन को प्रॉम्प्ट-विशिष्ट घटते प्रतिफल के साथ एक क्रॉस-इपोक फिक्स्ड-बजट ऑनलाइन ऑप्टिमाइज़ेशन समस्या के रूप में पहली बार निरूपित करता है, जो एक साझा वैश्विक बजट के माध्यम से प्रशिक्षण क्षितिज (training horizon) में निर्णयों को स्पष्ट रूप से जोड़ता है।
2. एल्गोरिदम डिज़ाइन: यह CERO पेश करता है, जो एक बेयसियन प्राइमल-डुअल एल्गोरिदम है जो बजटिंग को निर्देशित करने के लिए प्रॉम्प्ट-स्तरीय रोलआउट वैल्यू के पोस्टीरियर एस्टीमेट का उपयोग करता है। यह लर्नैबिलिटी के प्रॉक्सी के रूप में पोस्टीरियर एक्सपेक्टेड बरनौली वेरिएंस का उपयोग करता है और टेम्पोरल नॉन-सेपरेबिलिटी को संभालने के लिए फेंचेल-डुअल रीफॉर्मुलेशन का उपयोग करता है।
3. सैद्धांतिक और अनुभवजन्य सत्यापन (Theoretical and Empirical Validation):
   • सिद्धांत: फिक्स्ड प्रॉम्प्ट उपयोगिताओं के तहत, लेखक एक ऑफलाइन एलोकेशन बेंचमार्क के विरुद्ध $O(\sqrt{K})$ रिग्रेट बाउंड सिद्ध करते हैं, जहाँ $K$ इपोक की संख्या है।
   • प्रयोग: चार ओपन-वेट LLMs (1.5B से 7B पैरामीटर्स तक) पर गणितीय तर्क कार्यों (AIME, AMC) पर व्यापक प्रयोगों से पता चलता है कि CERO लगातार वैनिला GRPO से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DeepSeek-R1-Distill-1.5B, Qwen3-4B (Base और Instruct), और Qwen2.5-Math-7B पर DAPO-Math-17K डेटासेट का उपयोग करके CERO का मूल्यांकन किया।

• प्रदर्शन: CERO ने सभी मॉडलों और बेंचमार्क पर वैनिला GRPO की तुलना में निरंतर सुधार दिखाया। मॉडल और बेंचमार्क के आधार पर औसत लाभ +1.53 से +6.04 अंक के बीच रहा।
• दक्षता विश्लेषण: "प्रभावी प्रॉम्प्ट अनुपात" (एक बैच में उन प्रॉम्प्ट्स का अंश जिनमें सफल और विफल दोनों प्रतिक्रियाएं होती हैं, जो नॉन-जीरो ग्रेडिएंट उत्पन्न करती हैं) वैनिला GRPO की तुलना में CERO के लिए काफी अधिक था।
  • बेसलाइन GRPO में, प्रशिक्षण आगे बढ़ने के साथ प्रभावी प्रॉम्प्ट अनुपात तेजी से गिर गया, जो यह दर्शाता है कि मॉडल ने कई प्रॉम्प्ट्स में महारत हासिल कर ली थी, जिससे डिजेनरेट रोलआउट ग्रुप बन गए।
  • CERO ने बजट को मास्टर किए जा चुके प्रॉम्प्ट्स से उच्च अनिश्चितता वाले प्रॉम्प्ट्स की ओर अनुकूल रूप से स्थानांतरित करके उच्च प्रभावी प्रॉम्प्ट अनुपात बनाए रखा।
• ओवरहेड: एलोकेशन अपडेट मैकेनिज्म नगण्य कम्प्यूटेशनल ओवरहेड (प्रति अपडेट एक सेकंड से भी कम) पेश करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि एडेप्टिव रोलआउट बजटिंग RL पोस्ट-ट्रेनिंग की सैंपल दक्षता में सुधार के लिए एक सिद्धांतगत और प्रभावी दिशा है। यूनिफॉर्म एलोकेशन से हटकर, CERO यह सुनिश्चित करता है कि निश्चित जनरेशन बजट उन प्रॉम्प्ट्स पर खर्च किया जाए जो सबसे अधिक सूचनात्मक लर्निंग सिग्नल प्रदान करते हैं।

लेखक CERO को एक "ड्रॉप-इन" एडेप्टिव डेटा-कलेक्शन लेयर के रूप में प्रस्तुत करते हैं जो अंडरलिंग पॉलिसी-ग्रेडिएंट ऑब्जेक्टिव को बदले बिना यह संशोधित करती है कि किन प्रॉम्प्ट्स को रोलआउट प्राप्त होता है और कितने। यह कार्य इस बात पर प्रकाश डालता है कि वर्तमान RL पोस्ट-ट्रेनिंग की अक्षमता केवल पॉलिसी अपडेट नियम से नहीं, बल्कि उप-इष्टतम डेटा संग्रह रणनीति से भी आती है।

लेखकों द्वारा नोट की गई सीमाएँ:

• सैद्धांतिक रिग्रेट गारंटी फिक्स्ड प्रॉम्प्ट उपयोगिताओं को मानती है, जबकि कार्यान्वयन एक डायनेमिक, इपोक-वाइज प्लग-इन पोस्टीरियर एस्टीमेट का उपयोग करता है। इस प्रकार, विश्लेषण नीति अपडेट और पोस्टीरियर रिफ्रेश द्वारा प्रेरित नॉन-स्टेशनैरिटी को पूरी तरह से कैप्चर नहीं करता है।
• अनुभवजन्य सत्यापन वर्तमान में गणितीय तर्क कार्यों तक सीमित है; अन्य डोमेन और रिवॉर्ड मॉडल्स पर व्यापक सत्यापन भविष्य के कार्य के रूप में सुझाया गया है।