🤖 machine learning

Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

यह शोध पत्र तर्क देता है कि एलएलएम (LLM) के लिए बड़े पैमाने पर सुदृढीकरण शिक्षण (reinforcement learning) में ऑफ-पॉलिसी लर्निंग की सफलता एक अंतर्निहित निराशावाद (implicit pessimism) से उत्पन्न होती है जो अधिक रूढ़िवादी लक्ष्य नीतियों (target policies) के लिए अनुकूलित करती है, और यह बेहतर प्रदर्शन के लिए इस प्रेरित वितरण को स्थिर करने हेतु एक सिद्धांत-आधारित संशोधन का प्रस्ताव करता है।

मूल लेखक: Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Otmane Sakhi, Aleksei Arzhantsev, Imad Aouali, Flavian Vasile

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को जटिल गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आप उन्हें अभ्यास के लिए कुछ समस्याएँ देते हैं और उनके प्रदर्शन के आधार पर एक "स्कोर" (अंक) देते हैं। लक्ष्य यह है कि उन्हें इन स्कोरों से सीखना सिखाया जाए ताकि वे भविष्य की समस्याओं को बेहतर ढंग से हल कर सकें।

यह शोध पत्र एक विशिष्ट समस्या पर चर्चा करता है जो तब होती है जब आप इस छात्र को बड़े पैमाने पर सिखाने की कोशिश करते हैं: छात्र "पुराने होमवर्क" से सीख रहा है।

समस्या: "बासी" होमवर्क से सीखना

बड़े AI की वास्तविक दुनिया में, नई अभ्यास समस्याएँ तैयार करने में बहुत समय लगता है। जब तक AI समस्याओं का एक समूह (batch) पूरा कर लेता है और उसे एक स्कोर मिलता है, तब तक "शिक्षक" (AI का वर्तमान मस्तिष्क) थोड़ा बदल चुका होता है। इसलिए, AI उस डेटा पर प्रशिक्षण ले रहा है जो उसके एक पुराने, थोड़े अलग संस्करण द्वारा एकत्र किया गया था।

AI की दुनिया में, इसे ऑफ-पॉलिसी लर्निंग (Off-Policy Learning) कहा जाता है। डेटा "अतीत के स्वरूप" (Past Self) से आता है, लेकिन सीखना "वर्तमान स्वरूप" (Current Self) के लिए हो रहा है।

वर्तमान के अधिकांश तरीके इस अंतर को ठीक करने के लिए एक जटिल गणितीय "सुधार कारक" (जैसे एक भारी-भरकम अनुवादक) का उपयोग करते हैं ताकि यह दिखावा किया जा सके कि पुराना डेटा वास्तव में नया था। लेखक तर्क देते हैं कि यह बहुत अव्यवस्थित है। यह अत्यधिक शोर (noise) पैदा करता है, प्रशिक्षण को अस्थिर बनाता है, और AI को "घबराहट" में आकर अपनी रचनात्मकता खोने (जिसे एन्ट्रॉपी कोलैप्स कहा जाता है) के लिए मजबूर कर सकता है।

विकल्प: विसंगति को स्वीकार करना

पुराने डेटा को नया दिखाने के लिए उसे जबरदस्ती बदलने के बजाय, लेखक सुझाव देते हैं: पुराने डेटा का वैसा ही उपयोग करें जैसा वह है, लेकिन स्कोर की व्याख्या करने का तरीका बदल दें।

उन्होंने OAPL नामक एक लोकप्रिय विधि का अध्ययन किया (जो जटिल सुधार कारकों को छोड़ देती है) और पूछा: "यह विधि वास्तव में AI के मस्तिष्क के साथ क्या कर रही है?"

खोज: "निराशावादी" शिक्षक

लेखकों ने पाया कि बिना उन सुधार कारकों के प्रशिक्षण के, AI केवल विसंगति को अनदेखा नहीं कर रहा है; बल्कि वह वास्तव में निराशावादी (Pessimistic) बनता जा रहा है।

यहाँ इसकी उपमा दी गई है:

"आशावादी" शिक्षक (मानक विधि): यदि AI को एक विशिष्ट गणित की समस्या पर एक पूर्ण स्कोर मिलता है, तो आशावादी शिक्षक कहता है, "वाह! यही इसे हल करने का एकमात्र तरीका है! बाकी सब भूल जाओ, हमेशा यही करो!" यह खतरनाक है। यदि वह एक पूर्ण स्कोर किसी संयोग या अजीब मामले का परिणाम था, तो AI वहीं अटक जाता है और कुछ भी नया सीखना बंद कर देता है।
"निराशावादी" शिक्षक (इस शोध पत्र की विधि): निराशावादी शिक्षक एक पूर्ण स्कोर देखता है और कहता है, "ठीक है, यह एक बेहतरीन समाधान है। आइए इसे करने की कोशिश करें, लेकिन इस पर सब कुछ दांव पर न लगाएं। आइए अपने अन्य विचारों को भी जीवित रखें, ताकि यदि ज़रूरत पड़े तो काम आ सकें।"

गणितीय रूप से, लेखकों ने पाया कि यह "निराशावादी" व्यवहार लैम्बर्ट फंक्शन (Lambert function) नामक एक विशिष्ट वक्र (curve) का अनुसरण करता है। जब AI एक उच्च स्कोर देखता है, तो उसकी आत्मविश्वास की भावना तेजी से (रॉकेट की तरह) बढ़ने के बजाय, लैम्बर्ट फंक्शन एक शॉक एब्जॉर्बर (झटका सहने वाला यंत्र) की तरह काम करता है। यह AI को सुधार करने तो देता है, लेकिन उसे एक एकल, संभावित रूप से त्रुटिपूर्ण, उच्च-स्कोर वाले उदाहरण के प्रति अत्यधिक प्रतिबद्ध होने से रोकता है।

क्यों पुरानी विधि "अनजाने में" अच्छी थी

यह शोध पत्र मौजूदा OAPL विधि के एक भ्रमित करने वाले पहलू की व्याख्या करता है। सैद्धांतिक रूप से, गणित ने सुझाव दिया था कि AI एक खतरनाक, अस्थिर क्षेत्र में होना चाहिए। लेकिन व्यवहार में, इंजीनियरों को इसे चलाने के लिए एक सेटिंग (एक "तापमान" संख्या को बदलना) को ट्यून करना पड़ा था।

लेखकों ने महसूस किया कि यह ट्यूनिंग केवल एक यादृच्छिक सुधार नहीं था; यह अनजाने में AI को "निराशावादी" क्षेत्र में धकेल रहा था। यह मैन्युअल रूप से AI को कम आक्रामक और अधिक स्थिर बना रहा था।

समाधान: एक सरल, सिद्धांत आधारित सुधार

इंजीनियरों को "तापमान" ट्यूनिंग का अनुमान लगाने पर निर्भर रहने के बजाय, लेखक एक सरल, अंतर्निहित नियम प्रस्तावित करते हैं: औसत स्कोर को थोड़ा सा बढ़ा दें।

इसे इस तरह समझें:

पुराना तरीका: "यह रहा आपका स्कोर। यदि यह समूह के औसत से ऊपर है, तो आपको बोनस मिलेगा।" (यह अस्थिर हो सकता है)।
नया तरीका: "यह रहा आपका स्कोर। हम मान लेंगे कि औसत स्कोर वास्तव में जितना है उससे थोड़ा अधिक है, ताकि आपका बोनस अधिक रूढ़िवादी (conservative) तरीके से गणना किया जाए।"

यह सरल बदलाव गारंटी देता है कि AI स्वचालित रूप से "निराशावादी" (सुरक्षित) क्षेत्र में बना रहे। इसके लिए जटिल ट्यूनिंग की आवश्यकता नहीं है।

परिणाम

लेखकों ने इस नए दृष्टिकोण का पुराने दृष्टिकोण के विरुद्ध परीक्षण किया:

स्थिरता: जब "होमवर्क" बहुत पुराना (बासी डेटा) था, तो पुरानी विधि विफल हो गई या AI ने रचनात्मकता छोड़ दी। नया तरीका सुचारू रूप से काम करता रहा।
मजबूती (Robustness): जब "कितना बदलाव करना है" के नियमों को बहुत सख्त (छोटा रेगुलराइजेशन) बनाया गया, तो पुरानी विधि विफल हो गई, लेकिन नया तरीका सुधार करता रहा।

निष्कर्ष

यह शोध पत्र दिखाता है कि ऑफ-पśliसी लर्निंग इसलिए काम नहीं करता क्योंकि यह अतीत को अनदेखा करता है, बल्कि इसलिए क्योंकि यह स्वाभाविक रूप से "निराशावादी" और सतर्क हो जाता है। इसे समझकर, लेखकों ने एक सरल नियम बनाया जो AI प्रशिक्षण को अधिक स्थिर, क्रैश होने से बचाने वाला और पुराने डेटा को संभालने में बेहतर बनाता है, और इसके लिए किसी जटिल गणितीय सुधार की आवश्यकता नहीं है।

तकनीकी सारांश: ऑफ-पॉलिसी लर्निंग इसलिए काम करती है क्योंकि यह आपकी सोच से अधिक निराशावादी (Pessimistic) है

समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL), गणित, कोडिंग और बहु-चरणीय समस्या समाधान जैसे कार्यों में लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमता को बढ़ाने के लिए एक केंद्रीय उपकरण बन गई है। हालाँकि, आधुनिक LLMs के लिए आवश्यक पैमाने पर, प्रशिक्षण पाइपलाइन स्वाभाविक रूप से ऑफ-पॉलिसी (off-policy) होती है। रोलआउट्स उत्पन्न करने की उच्च लागत के कारण, प्रशिक्षण डेटा अक्सर वर्तमान में अनुकूलित किए जा रहे पॉलिसी के बजाय लैग्ड इन्फरेंस वर्कर्स या पुराने मॉडल चेकपॉइंट्स द्वारा निर्मित होता है।

मौजूदा विधियाँ, जैसे कि PPO और GRPO, वितरण बदलाव (distribution shifts) को ठीक करने के लिए महत्व भार (importance weights), क्लिपिंग या फ़िल्टरिंग का उपयोग करके प्रशिक्षण को लगभग ऑन-पॉलिसी मानकर इस विसंगति को संभालने का प्रयास करती हैं। निकट-ऑन-पॉलिसी सेटिंग्स में प्रभावी होने के बावजूद, ये सुधार उच्च विचलन (high variance) पैदा करते हैं और यदि पॉलिसी लैग महत्वपूर्ण हो तो अनुकूलन को अस्थिर कर सकते हैं। इसके विपरीत, हालिया अनुपात-मुक्त (ratio-free) दृष्टिकोण (जैसे, $A^\star$ -PO, OAPL) महत्व भार को हटा देते हैं और सीधे व्यवहार-पॉलिसी डेटा पर प्रशिक्षण देते हैं। जबकि ये विधियाँ अनुभवजन्य सफलता दिखाती हैं, उनके सैद्धांतिक आधार पूरी तरह से समझ में नहीं आए हैं। विशेष रूप से, इन उद्देश्यों के नाममात्र व्युत्पन्न (nominal derivations) एक ऐसे लक्ष्य वितरण का सुझाव देते हैं जो उस वास्तविक कार्यान्वयन से भिन्न है जिसे व्यावहारिक रूप से (जो अक्सर एडवांटेज गणना और रेगुलाइजेशन के लिए तापमान को अलग करते हैं) प्राप्त किया जाता है। यह शोध पत्र seeks to explain कि ये अनुपात-मुक्त विधियाँ क्यों काम करती हैं और उन्हें और अधिक स्थिर कैसे बनाया जाए।

कार्यप्रणाली और सैद्धांतिक विश्लेषण

लेखक अनुपात-मुक्त ऑफ-पॉलिसी उद्देश्यों के एक वर्ग का विश्लेषण करते हैं जो महत्व भार का उपयोग किए बिना, लक्षित एडवांटेज की ओर सीखे गए पॉलिसी के लॉग-अनुपात को रिग्रेट करते हैं। वे निम्नलिखित रूप के उद्देश्यों पर ध्यान केंद्रित करते हैं:
$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$
जहाँ $\hat{A}_i$ एक ग्रुप-रिलेटिव एडवांटेज है और $\beta$ एक रेगुलाइजेशन पैरामीटर है।

मुख्य सैद्धांतिक अंतर्दृष्टि: लैम्बर्ट-टेम्पर्ड लक्ष्य (Lambert-Tempered Targets)
इस उद्देश्य के स्टेशनरी पॉइंट का विश्लेषण करके, लेखक यह व्युत्पन्न करते हैं कि प्रेरित लक्ष्य पॉलिसी मानक एक्सपोनेंशियल (KL-रेगुलराइज्ड) वितरण नहीं है, बल्कि एक लैम्बर्ट-टेम्पर्ड पॉलिसी (Lambert-tempered policy) है:
$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$
जहाँ $W_0$ लैम्बर्ट W फंक्शन का प्रिंसिपल ब्रांच है, और $\tau_s$ एक नॉर्मलाइजेशन मल्टीप्लायर है जो एडवांटेज बेसलाइन द्वारा निर्धारित होता है।

लक्ष्य पॉलिसी का व्यवहार $\tau_s$ के चिह्न और परिमाण पर महत्वपूर्ण रूप से निर्भर करता है, जो इस बात से नियंत्रित होता है कि एडवांटेज को कैसे नॉर्मलाइज किया जाता है:

निराशावादी शासन (Pessimistic Regime - $\tau_s > 0$ ): लक्ष्य एक्सपोनेंशियल अपडेट की तुलना में अधिक रूढ़िवादी (conservative) है। लैम्बर्ट फंक्शन बड़े एडवांटेज के लिए लॉगरिदमिक रूप से बढ़ता है, जो पॉलिसी को कुछ उच्च-पुरस्कार वाले नमूनों के प्रति अत्यधिक प्रतिबद्ध होने से रोकता है। यह एंट्रॉपी कोलैप्स (entropy collapse) को कम करता है।
एक्सपोनेंशियल बाउंड्री ( $\tau_s = 0$ ): लक्ष्य मानक एक्सपोनेंशियल टिल्टिंग को पुनः प्राप्त करता है। यह शासन नाजुक है; एडवांटेज बेसलाइन में छोटी त्रुटियां भी उद्देश्य को अस्थिर शासन में स्थानांतरित कर सकती हैं।
अस्थिर शासन (Unstable Regime - $\tau_s < 0$ ): लक्ष्य एक्सपोनेंशियल अपडेट की तुलना में अधिक आक्रामक हो जाता है, उच्च-एडवांटेज प्रतिक्रियाओं को बढ़ाता है और एंट्रॉपी कोलैप्स के प्रति संवेदनशीलता को बढ़ाता है।

मौजूदा विधियों का विश्लेषण (OAPL/ $A^\star$ -PO)
यह शोध पत्र प्रदर्शित करता है कि OAPL में उपयोग किया जाने वाला नाममात्र एडवांटेज एस्टिमेटर (log-sum-exp सेंटर्ड एडवांटेज) सीमित समूह आकार में जेन्सेंस इनइक्वालिटी बायस (Jensen's inequality bias) के कारण जनसंख्या स्तर पर एक अस्थिर शासन ( $\tau_s \le 0$ ) को प्रेरित करता है। OAPL कार्यान्वयन में देखी गई अनुभवजन्य स्थिरता का श्रेय एक ह्यूरिस्टिक "तापमान डिकपलिंग" (एडवांटेज गणना के लिए रेगुलाइजेशन की तुलना में एक बड़े तापमान का उपयोग करना) को जाता है, जो स्पष्ट रूप से एडवाटेज को अधिक रूढ़िवादी शासन की ओर स्थानांतरित करता है।

प्रस्तावित संशोधन
तापमान डिकपलिंग के ह्यूरिस्टिक पर निर्भर रहने के बजाय स्थिरता प्राप्त करने के लिए, लेखक एक $\beta$ -शिफ्टेड मीन एडवांटेज प्रस्तावित करते हैं:
$\hat{A}_i = r_i - \bar{r} + \beta$
यह सरल शिफ्ट यह सुनिश्चित करता है कि प्रेरित लैम्बर्ट मल्टीप्लायर $\tau_s \ge 1$ को संतुष्ट करता है, जो निर्माण द्वारा यह गारंटी देता है कि लक्ष्य पॉलिसी निराशावादी लैम्बर्ट शासन में बनी रहे।

मुख्य योगदान

अनुपात-मुक्त उद्देश्यों का लक्षण वर्णन: लेखक सिद्ध करते हैं कि अनुपात-मुक्त ऑफ-पॉलिसी उद्देश्य लैम्बर्ट-टेम्पर्ड लक्ष्य पॉलिसियों को प्रेरित करते हैं, जहाँ रूढ़िवादिता का स्तर एडवांटेज नॉर्मलाइजेशन द्वारा नियंत्रित होता है।
स्थिरता तंत्र की व्याख्या: वे समझाते हैं कि OALP जैसी विधियों की सफलता व्यावहारिक कार्यान्वयन विकल्पों द्वारा प्रेरित निहित निराशावाद (implicit pessimism) पर निर्भर करती है, जबकि उनके नाममात्र सैद्धांतिक व्युत्पन्न वास्तव में अस्थिर लक्ष्यों का सुझाव देते हैं।
सिद्धांत आधारित स्थिरीकरण: वे एक $\beta$ -शिफ्टेड मीन एडवांटेज प्रस्तावित करते हैं जो गारंटी देता है कि लक्ष्य स्थिर, निराशावादी लैम्बर्ट शासन में रहे, जिससे तापमान डिकपलिंग जैसे हाइपरपैरामीटर-भारी विकल्पों की आवश्यकता समाप्त हो जाती है।

प्रयोगात्मक परिणाम

लेखकों ने DeepScaleR डेटासेट पर Qwen3-8B मॉडल का उपयोग करके OAPL के विरुद्ध अपने मेथड का मूल्यांकन किया, जिसका मूल्यांकन गणितीय बेंचमार्क (Minerva, AIME2025, AMC23, BRUMO) पर किया गया।

रेगुलाइजेशन ( $\beta$ ) के प्रति संवेदनशीलता: कम रेगुलाइजेशन स्ट्रेंथ (छोटा $\beta$ ) के तहत, OAPL ने तीव्र एंट्रॉपी कोलैप्स और घटते रिवॉर्ड्स दिखाए, जबकि प्रस्तावित लैम्बर्ट मेथड स्थिर रहा और सुधार जारी रखा।
पॉलिसी लैग के प्रति मजबूती: जैसे-जैसे पॉलिसी लैग (पुराने रोलआउट्स) बढ़ा (32 से 256 स्टेप्स तक), OAPL अत्यधिक संवेदनशील हो गया, जिससे या तो एंट्रॉपी कोलैप्स हुआ या अस्थिर एंट्रॉपी वृद्धि हुई। लैम्बर्ट मेथड ने सभी लैग सेटिंग्स में उच्च एंट्रॉपी बनाए रखी और उच्च रिवॉर्ड्स की ओर अभिसरण (converge) किया।
निष्कर्ष: प्रस्तावित संशोधन आक्रामक रेगुलाइजेशन और बड़े पॉलिसी लैग दोनों के प्रति मजबूती में सुधार करता है, जो इस परिकल्पना की पुष्टि करता है कि निराशावादी लैम्बर्ट शासन को लक्षित करना ऑफ-पॉलिसी लर्निंग को स्थिर बनाता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि LLM रीजनिंग में ऑफ-पॉलिसी लर्निंग की प्रभावशीलता केवल वितरण विसंगति को अनदेखा करने के कारण नहीं है, बल्कि इसलिए है क्योंकि विशिष्ट एडवांटेज नॉर्मलाइजेशन निहित निराशावाद (implicit pessimism) का एक रूप प्रेरित करते हैं। यह निराशावाद पॉलिसी को पुराने, उच्च-पुरस्कार वाले नमूनों पर अत्यधिक अनुकूलित होने से रोकता है, जो तब महत्वपूर्ण होता है जब रोलआउट्स पुरानी पॉलिसियों द्वारा उत्पन्न होते हैं।

लेखक अपने कार्य को यह समझाने के रूप में प्रस्तुत करते हैं कि क्यों कुछ कार्यान्वयन विकल्प हालिया ऑफ-पॉलिसी एल्गोरिदम में काम करते हैं, जो "ट्रस्ट-रीजन" ह्यूरिस्टिक्स से आगे बढ़कर लैम्बर्ट-टेम्पर्ड लक्ष्यों पर आधारित एक ढांचे की ओर बढ़ते हैं। उनका तर्क है कि शिफ्टेड-मीन एडवांटेज के माध्यम से स्पष्ट रूप से निराशावादी शासन को लक्षित करना मौजूदा विधियों के लिए एक अधिक स्थिर और विश्वसनीय विकल्प प्रदान करता है, विशेष रूप से बड़े पैमाने पर, एसिंक्रोनस LLM प्रशिक्षण के चुनौतीपूर्ण परिवेश में। शोध पत्र यह सुझाव देकर समाप्त होता है कि टोकन-लेवल वेरिएंट इस सिद्धांत को अधिक सिद्धांतिक बनाने के लिए एक आशाजनक दिशा का प्रतिनिधित्व करते हैं।