💬 NLP

Semi-Offline Reinforcement Learning for Optimized Text Generation

यह शोध पत्र "सेमी-ऑफलाइन रीइन्फोर्समेंट लर्निंग" का परिचय देता है, जो अन्वेषण (exploration) और प्रशिक्षण लागत के बीच संतुलन बनाने के लिए ऑनलाइन और ऑफलाइन सेटिंग्स के बीच के अंतर को पाटने वाला एक नया प्रतिमान (paradigm) है, जो टेक्स्ट जनरेशन के लिए एक सैद्धांतिक रूप से इष्टतम ढांचा प्रदान करता है जो अत्याधुनिक तरीकों के बराबर या उनसे बेहतर प्रदर्शन करता है।

मूल लेखक: Changyu Chen, Xiting Wang, Yiqiao Jin, Victor Ye Dong, Li Dong, Jie Cao, Yi Liu, Rui Yan

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Changyu Chen, Xiting Wang, Yiqiao Jin, Victor Ye Dong, Li Dong, Jie Cao, Yi Liu, Rui Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन महंगे रोबोट शेफ को एक आदर्श भोजन बनाना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि रोबोट केवल एक रेसिपी का पालन करना न सीखे, बल्कि यह भी समझे कि किसी व्यंजन को "स्वादिष्ट" क्या बनाता है ताकि वह अपने आप नए, अद्भुत व्यंजन बना सके।

यह शोध पत्र इन AI "शेफ" (टेक्स्ट जनरेशन मॉडल) को प्रशिक्षित करने का एक नया तरीका पेश करता है जिसे सेमी-ऑफलाइन रीइन्फोर्समेंट लर्निंग (Semi-Offline Reinforcement Learning) कहा जाता है। यह समझने के लिए कि यह क्यों विशेष है, आइए सीखने के दो पुराने तरीकों को देखें, और फिर देखें कि यह नया तरीका दोनों के सर्वश्रेष्ठ गुणों को कैसे मिलाता है।

दो पुराने तरीके

1. "ऑनलाइन" विधि: महंगा स्वाद-परीक्षक (The Expensive Taste-Tester)
इस दृष्टिकोण में, रोबोट शेफ शून्य से एक पूरा नया भोजन बनाने की कोशिश करता है, उसे एक जज को परोसता है, एक स्कोर प्राप्त करता है, और फिर से प्रयास करता है।

अच्छाई: रोबोट रसोई में स्वतंत्र रूप से अन्वेषण (explore) कर सकता है। यह गलती से स्वाद का एक ऐसा नया संयोजन भी खोज सकता है जो अद्भुत हो।
बुराई: यह अविश्वसनीय रूप से धीमा और महंगा है। हर बार जब रोबोट कोई व्यंजन बनाता है, तो उसे एक स्कोर प्राप्त करने के लिए पूरी खाना पकाने की प्रक्रिया (फॉरवर्ड प्रोपेगेशन) से गुजरना पड़ता है। यदि आप 100 अलग-अलग विचारों का परीक्षण करना चाहते हैं, तो आपको 100 पूरे भोजन बनाने होंगे। विशाल AI मॉडल के लिए, इसमें बहुत समय लगता है और कंप्यूटिंग पावर की भारी लागत आती है।

2. "ऑफलाइन" विधि: स्थिर रेसिपी बुक (The Static Recipe Book)
इस दृष्टिकोण में, रोबोट प्रशिक्षण के दौरान कभी भी कुछ नया नहीं पकाता है। इसके बजाय, वह केवल मनुष्यों (या कंप्यूटर द्वारा उत्पन्न) द्वारा लिखी गई रेसिपी की एक स्थिर किताब का अध्ययन करता है और उन विशिष्ट रेसिपीज़ से सीखता है जिन्हें स्कोर मिला था।

अच्छाई: यह बहुत तेज़ और सस्ता है। रोबलेट बस किताब पढ़ता है; उसे कुछ भी पकाना नहीं पड़ता।
बुराई: रोबोट एक ढर्रे में फंस जाता है। वह केवल उस चीज़ से सीख सकता है जो पहले से ही किताब में है। वह नई संभावनाओं का पता नहीं लगा सकता या उन गलतियों को ठीक नहीं कर सकता जो किताब में नहीं हैं। यह तैरना सीखने के लिए केवल तैरने के बारे में एक किताब पढ़ने जैसा है, बिना कभी पानी में उतरे।

नया समाधान: "सेमी-ऑफलाइन" लर्निंग

लेखक एक बीच का रास्ता प्रस्तावित करते हैं: सेमी-ऑफलाइन RL।

कल्पना कीजिए कि एक प्रशिक्षण सत्र है जहाँ रोबोट शेफ को एक रेसिपी बुक दी जाती है, लेकिन एक ट्विस्ट के साथ। हर व्यंजन के लिए, रोबोट को किताब से बाकी रेसिपी को बरकरार रखते हुए, अपनी रचनात्मक धारणाओं (creative guesses) के साथ कुछ सामग्रियों को बदलने की अनुमति दी जाती है।

यह कैसे काम करता है: सिस्टम एक प्रायिकता (probability) के आधार पर स्टेटिक डेटासेट (किताब) के टोकन (शब्दों) को मॉडल द्वारा उत्पन्न टोकन (रोबोट के अनुमानों) के साथ मिलाता है।
जादुई ट्रिक: पेपर यह सिद्ध करता है कि एक विशिष्ट "मास्किंग" तकनीक (कुछ शब्दों को छिपाना और रोबोट से उन्हें पहचानने के लिए कहना) का उपयोग करके, रोबोट एक ही कंप्यूटिंग पावर के साथ—जो केवल एक भोजन पकाने के लिए आवश्यक है—एक वाक्य के कई अलग-अलग संस्करणों का अन्वेषण एक साथ कर सकता है।

यह एक बड़ी बात क्यों है?

पेपर का दावा है कि यह विधि तीन तरीकों से "स्वीट स्पॉट" (इष्टतम बिंदु) पर पहुँचती है:

ऑनलाइन से सस्ता: इसके लिए रोबोट को हर परीक्षण के लिए शून्य से पूरे भोजन बनाने की आवश्यकता नहीं होती है। यह एक वाक्य के 1,000 विविधताओं का अन्वेषण उतने ही प्रयास के साथ कर सकता है जितना कि एक ही भोजन पकाने में लगता है।
ऑफलाइन से स्मार्ट: स्थिर किताब पद्धति के विपरीत, रोबोट केवल रट नहीं रहा है। क्योंकि इसे अपने अनुमानों को शामिल करने की अनुमति है, यह कैसे सुधार करना है, यह सीखता है। यह बेहतर लेखन की "दिशा" को समझता है, न कि केवल अंतिम परिणाम को।
सैद्धांतिक रूप से पूर्ण: लेखकों ने गणित किया और सिद्ध किया कि किताब और रोबोट के अनुमानों को मिलाने का यह विशिष्ट तरीका सीखने का सबसे कुशल तरीका है। यह प्रशिक्षण में लगने वाले समय को कम करता है और सर्वोत्तम उत्तर खोजने की संभावना को अधिकतम करता है।

परिणाम

जब उन्होंने वास्तविक दुनिया के कार्यों जैसे समाचार लेखों का सारांश निकालना, संवाद लिखना और प्रश्न उत्पन्न करना जैसे कार्यों पर इसका परीक्षण किया, तो "सेमी-ऑफलाइन" रोबोट ने वर्तमान में उपलब्ध सबसे उन्नत तरीकों के समान या उनसे बेहतर प्रदर्शन किया।

गति: इसने "ऑनलाइन" विधियों की तुलना में बहुत तेज़ी से प्रशिक्षण लिया।
गुणवत्ता: इसने उन "ऑफलाइन" तरीकों की तुलना में उच्च गुणवत्ता वाला टेक्स्ट तैयार किया जो केवल डेटा को याद करते थे।

संक्षेप में: यह पेपर हमें प्रशिक्षण का एक नया नियम पुस्तिका देता है जो हमें AI को बेहतर लिखना सीखने में मदद करता है, जिसमें वह सब कुछ शुरू से लिखने की भारी कीमत चुकाए बिना कुछ रचनात्मक जोखिम ले सकता है। यह दोनों दुनियाओं का सबसे अच्छा मेल है: एक किताब पढ़ने की गति और एक नया व्यंजन बनाने की रचनात्मकता।

तकनीकी सारांश: अनुकूलित टेक्स्ट जनरेशन के लिए सेमी-ऑफलाइन सुदृढीकरण शिक्षण (Semi-Offline Reinforcement Learning)

समस्या विवरण (Problem Statement)

टेक्स्ट जनरेशन के लिए सुदृढीकरण शिक्षण (RL) वर्तमान में ऑनलाइन (online) और ऑफलाइन (offline) सेटिंग्स के बीच एक द्वैत का सामना कर रहा है, जिनमें से प्रत्येक के महत्वपूर्ण ट्रेड-ऑफ हैं:

ऑनलाइन RL: यह भाषा मॉडल (LM) को उसके आउटपुट वितरण से नमूने (sampling) लेकर वातावरण का पूर्ण अन्वेषण (exploration) करने की अनुमति देता है। हालांकि यह अंतिम उद्देश्य (जैसे, ROUGE, मानव फीडबैक) की व्यापक समझ प्रदान करता है, लेकिन इसमें अनुकूलन लागत अत्यधिक होती है। विशेष रूप से, $K$ नमूनों के साथ अनुकूलन करने के लिए मॉडल के माध्यम से $K \times T$ फॉरवर्ड प्रोपेगेशन (FP) की आवश्यकता होती है, जहाँ $T$ अनुक्रम की लंबाई है। यह अक्सर बड़े प्रीट्रेन्ड मॉडल्स के लिए अव्यवहारिक होता है।
ऑफलाइन RL: यह एक स्थिर डेटासेट (जैसे, ग्राउंड ट्रुथ या बीम-सर्च आउटपुट) का उपयोग करता है ताकि प्रशिक्षण के दौरान ऑटो-रिग्रेसिव जनरेशन की आवश्यकता को समाप्त किया जा सके। यह लागत को $KT$ FPs से घटाकर $K$ FPs कर देता है। हालांकि, यह अन्वेषण क्षमता का त्याग करता है; मॉडल केवल विशिष्ट स्थिर डेटा बिंदुओं के लिए रिवॉर्ड सिग्नल देखता है, जिससे वह स्थिर वितरण के बाहर इष्टतम जनरेशन दिशाओं की खोज करने में असमर्थ रहता है।

मूल शोध प्रश्न जिसका समाधान किया गया है वह है: क्या हम न्यूनतम अनुकूलन लागत के साथ प्रभावी अन्वेषण प्राप्त करने के लिए RL सेटिंग को परिष्कृत कर सकते हैं?

कार्यप्रणाली: सेमी-ऑफलाइन RL (Methodology: Semi-Offline RL)

लेखक सेमी-ऑफलाइन RL का प्रस्ताव करते हैं, जो एक हाइपरपैरामीटर $p_m \in [0, 1]$ द्वारा नियंत्रित निरंतर डिज़ाइन स्पेस को परिभाषित करके ऑनलाइन और ऑफलाइन सेटिंग्स के बीच के अंतर को पाटता है।

1. सेमी-ऑफलाइन MDP फॉर्मूलेशन

यह विधि एक मार्कोव डिसीजन प्रोसेस (MDP) पर आधारित है जहाँ एक नमूना भाषा मॉडल द्वारा उत्पन्न टोकन और एक स्थिर डेटासेट के टोकन के मिश्रण से बना होता है।

स्टेट ( $s_t$ ): इसमें इनपुट $x$ , आंशिक रूप से व्युत्पन्न आउटपुट, और एक बाइनरी मास्क अनुक्रम $M_0, \dots, M_t$ शामिल है।
ट्रांज़िशन (Transition): प्रत्येक चरण $t$ $t$ पर, एक बरनौली वेरिएबल $M_{t+1} \sim \text{Bernoulli}(p_m)$ $M_{t + 1} \sim Bernoulli (p_{m})$ अगले टोकन के स्रोत को निर्धारित करता है:
- यदि $M_{t+1} = 1$ : एजेंट LM से एक टोकन $\hat{y}_t$ सैंपल करता है (अन्वेषण/exploration)।
- यदि $M_{t+1} 0$ : एजेंट एक स्थिर डेटासेट से एक टोकन $y_t$ लेता है (शोषण/exploitation)।
लागत विश्लेषण (Cost Analysis): एक पूर्णतः दृश्य (fully observable) परिदृश्य में, अपेक्षित फॉरवर्ड प्रोपेगेशन की संख्या $E(C_t) = t \cdot p_m$ है। $p_m \in (0, 1)$ सेट करके, यह विधि अन्वेषण क्षमता और एक मध्यवर्ती अनुकूलन लागत के बीच संतुलन बनाती है।

2. इष्टतम RL सेटिंग: मास्क्ड ऑब्जर्वेशन (Optimal RL Setting: Masked Observations)

न्यूनतम अनुकूलन लागत (विशेष रूप से नमूना संख्या के बावजूद 1 FP) प्राप्त करने के लिए, जबकि अन्वेषण भी बना रहे, लेखक एक पार्शियली ऑब्जर्वेबल MDP (POMDP) फॉर्मूलेशन की ओर बढ़ते हैं।

बाधा (Constraint): 1 FP को सक्षम करने के लिए, एजेंट का एक्शन मॉडल द्वारा एक साथ उत्पन्न किए गए टोकनों पर निर्भर नहीं हो सकता है।
इष्टतम ऑब्जर्वेशन ( $o^*_t$ ): लेखक सिद्ध करते हैं कि इष्टतम ऑब्जर्वेशन तीन वांछनीय गुणों (DP1-DP3) को संतुष्ट करता है:
1. न्यूनतम अनुकूलन लागत: 1 FP द्वारा प्राप्त।
2. न्यूनतम एसिम्प्टोटिक बायस (Minimum Asymptotic Bias): स्टेट की भविष्यवाणी करने के लिए आवश्यक सभी जानकारी को बनाए रखना आवश्यक है।
3. न्यूनतम ओवरफिटिंग एरर बाउंड: ऑब्जर्वेशन में अनावश्यक जानकारी को कम करना आवश्यक है।
कार्यान्वयन (Implementation): इष्टतम सेटिंग को मास्क्ड ऑब्जर्वेशन द्वारा साकार किया जाता है। LM के इनपुट में सोर्स $x$ $x$ और वह टारगेट सीक्वेंस होता है जहाँ मॉडल द्वारा उत्पन्न टोकनों को एक विशेष मास्क टोकन $[M]$ $[M]$ से बदल दिया जाता है, जबकि स्थिर डेटासेट के टोकन दृश्यमान रहते हैं।
- $y^M_t = [M]$ यदि $M_t=1$ (मॉडल जनरेट करता है)।
- $y^M_t = y_t$ यदि $M_t=0$ (स्थिर डेटा का उपयोग किया जाता है)।
- यह मॉडल को एकल फॉरवर्ड पास का उपयोग करके $K$ अलग-अलग ट्राजेक्टरीज को एक साथ एक्सप्लोर करने की अनुमति देता है, क्योंकि ऑब्जर्वेशन नमूनों में समान रहता है।

3. अनुकूलन रणनीति (Optimization Strategy)

लॉस फंक्शन: मॉडल को पॉलिसी ग्रेडिएंट दृष्टिकोण (बेसलाइन के साथ REINFORCE) का उपयोग करके अनुकूलित किया जाता है। लॉस को टोकन-वाइज रिवॉर्ड्स में विभाजित किया जाता है, जो मास्क्ड ऑब्जर्वेशन के तहत विशिष्ट टोकन उत्पन्न करने के एडवांटेज के कुशल अनुमान की अनुमति देता है।
प्रशिक्षण प्रोटोकॉल:
1. प्री-ट्रेनिंग: मॉडल को मास्क्ड इनपुट फॉर्मेट के अनुकूल बनाने के लिए कुछ टोकन को मास्क (M-FT) करते हुए ग्राउंड ट्रुथ पर प्री-ट्रेन्ड LM को फाइन-ट्यून करें।
2. RL ट्रेनिंग: एक संयुक्त लॉस $L = L_{MLE} + \lambda L_{RL}$ को कम करें, जहाँ $L_{MLE}$ मूल डेटासेट से पॉलिसी ड्रिफ्ट को रोकता है, और $L_{RL}$ विशिष्ट उद्देश्य (जैसे, ROUGE) को अनुकूलित करता है।

मुख्य योगदान (Key Contributions)

सेमी-ऑफलाइन RL की परिभाषा: यह पेपर एक सैद्धांतिक डिज़ाइन स्पेस को परिभाषित करता है जो ऑफलाइन और ऑनलाइन RL के बीच सहजता से संक्रमण करता है, जिससे अन्वेषण क्षमता और अनुकूलन लागत के आधार पर विभिन्न सेटिंग्स की तुलना करने के लिए एक आधार मिलता है।
सैद्धांतिक इष्टतमता (Theoretical Optimality): लेखकों ने सैद्धांतिक रूप से इष्टतम RL सेटिंग (मास्क्ड ऑब्जर्वेशन) को व्युत्पन्न किया है जो न्यूनतम अनुकूलन लागत, न्यूनतम एसिम्प्टोटिक बायस और न्यूनतम ओवरफिटिंग एरर बाउंड को संतुष्ट करता है।
कुशल कार्यान्वयन: वे प्रदर्शित करते हैं कि इस इष्टतम सेटिंग को स्थिर डेटा के साथ मास्क टोकन को मिलाकर लागू किया जा सकता है, जिससे केवल 1 फॉरवर्ड प्रोपेगेशन के साथ $K$ नमूनों का अन्वेषण संभव होता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि यह विधि स्टेट-ऑफ-द-आर्ट मेथड्स (ऑनलाइन एक्टर-क्रिटिक और ऑफलाइन BRIO सहित) के बराबर या बेहतर प्रदर्शन करती है, जबकि प्रशिक्षण समय और कम्प्यूटेशनल लागत को काफी कम कर देती है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन चार टेक्स्ट जनरेशन कार्यों पर किया गया: CNN/DM और SAMSum (समराइजेशन), SQuAD (क्वेश्चन जनरेशन), और XSum (एक्सट्रीम समराइजेशन)।

प्रदर्शन बनाम लागत (Performance vs. Cost): प्रस्तावित विधि ("OURS") ने केवल $N$ फॉरवर्ड प्रोपेगेशन (जहाँ $N$ इंस्टेंस की संख्या है) के साथ स्टेट-ऑफ-द-आर्ट मेथड्स (जैसे, BRIO, AVG, SC, AC) के बराबर या बेहतर परिणाम प्राप्त किए, जबकि मल्टी-सैंपल ऑनलाइन मेथड्स को $N \times T$ या $N \times K \times T$ प्रोपेगेशन की आवश्यकता थी।
दक्षता (Efficiency): SQuAD और SAMSum डेटासेट्स पर, सेमी-ऑफलाइन विधि ने BRIO और AVG की तुलना में सबसे तेज़ अनुकूलन गति और सबसे कम प्रशिक्षण समय खपत प्रदर्शित की।
एब्लेशन स्टडीज (Ablation Studies):
- मास्क जानकारी को हटाने (लेम्मा 1 का उल्लंघन करने) से सटीक रिवॉर्ड अनुमान न होने के कारण प्रदर्शन में गिरावट आई।
- अनावश्यक जानकारी जोड़ने (लेम्मा 2 का उल्लंघन करने) से ओवरफिटिंग हुई और टेस्ट सेट पर प्रदर्शन कम हुआ।
- अन्वेषण के लिए "कठिन" स्टैटिक डेटासेट्स (DATA-, लोअर मेट्रिक कैंडिडेट्स) का उपयोग करने से उच्च गुणवत्ता वाले उम्मीदवारों (DATA+) की तुलना में बेहतर परिणाम मिले, जो बताता है कि सब-ऑप्टिमल पॉइंट्स के आसपास के क्षेत्र का अन्वेषण करना सुधार की दिशाओं की पहचान करने में मदद करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सेमी-ऑफलाइन RL RL सेटिंग्स की तुलना करने के लिए एक सैद्धांतिक आधार प्रदान करता है और ऑनलाइन RL की उच्च कम्प्यूटेशनल लागत के लिए एक व्यावहारिक समाधान प्रदान करता है। मास्क्ड ऑब्जर्वेशन रणनीति का उपयोग करके, यह विधि बड़े प्रीट्रेन्ड लैंग्वेज मॉडल्स को ऑफलाइन ट्रेनिंग की दक्षता के साथ वातावरण का अन्वेषण करने और जटिल उद्देश्यों (जैसे मानव फीडबैक या ROUGE) के लिए अनुकूलित करने में सक्षम बनाती है। लेखक दावा करते हैं कि यह दृष्टिकोण मॉडल्स को शुद्ध ऑफलाइन तरीकों की तुलना में बेहतर सुधार दिशाओं की पहचान करने की अनुमति देता है, जबकि पूर्णतः ऑनलाइन अन्वेषण की अत्यधिक समय लागत से बचता है।