💬 NLP

Natural Language Actor-Critic: Scalable Off-Policy Learning in Language Space

यह शोध पत्र नेचुरल लैंग्वेज एक्टर-क्रिटिक (NLAC) को प्रस्तुत करता है, जो एक स्केलेबल ऑफ-पॉलिसी लर्निंग एल्गोरिदम है जो स्केलर रिवॉर्ड्स के बजाय प्राकृतिक भाषा फीडबैक प्रदान करने के लिए एक जनरेटिव LLM क्रिटिक का उपयोग करता है, जिससे जटिल, लॉन्ग-होरिज़न कार्यों के लिए LLM एजेंटों के प्रशिक्षण की स्थिरता और सैंपल दक्षता में सुधार होता है।

मूल लेखक: Joey Hong, Kang Liu, Zhan Ling, Jiecao Chen, Sergey Levine

प्रकाशित 2026-02-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joey Hong, Kang Liu, Zhan Ling, Jiecao Chen, Sergey Levine

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन रोबोट को एक जटिल भूलभुलैया (maze) में रास्ता खोजने, पहेलियाँ सुलझाने या ग्राहकों से बातचीत करने के लिए सिखा रहे हैं। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है—जो मूल रूप से एक सुपर-चार्ज्ड टेक्स्ट जनरेटर है जो बहुत सारे तथ्यों को जानता है, लेकिन अभी तक उसने वास्तविक दुनिया में काम करना नहीं सीखा है।

यह शोध पत्र एक नया प्रशिक्षण तरीका पेश करता है जिसे Natural Language Actor-Critic (NLAC) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।

समस्या: "मौन स्कोरकार्ड" (The Silent Scorecard)

पारंपरिक रूप से, जब हम इन रोबोट्स को प्रशिक्षित करते हैं, तो हम पॉलिसी ग्रेडिएंट (Policy Gradient) नामक एक विधि का उपयोग करते हैं। कल्पना कीजिए कि रोबोट एक पहेली सुलझाने की कोशिश करता है। वह 20 चालें चलता है, और अंत में आप उसे एक एकल ग्रेड देते हैं: "पास" या "फेल"।

समस्या: यदि रोबोट विफल हो जाता है, तो उसे यह नहीं पता होता कि उन 20 चालों में से किस चाल के कारण विफलता हुई। यह वैसा ही है जैसे किसी 20 पन्नों के निबंध पर "F" ग्रेड मिलना, बिना किसी लाल स्याही के निशान के जो विशिष्ट गलतियों को दर्शा सके। रोबोट को अनुमान लगाना पड़ता है कि क्या गलत हुआ, जो धीमा, अक्षम है, और अक्सर रोबोट को भ्रमित कर देता है और हार मानने पर मजबूर कर देता है।

पुराना समाधान: "स्केलर क्रिटिक" (The Scalar Critic)

इसे ठीक करने के लिए, शोधकर्ताओं ने एक्टर-क्रिटिक (Actor-Critic) विधियों का उपयोग किया। उन्होंने एक "क्रिटिक" (एक कोच) जोड़ा जो हर चाल के बाद फीडबैक देता है।

समस्या: पारंपरिक क्रिटिक्स एक एकल संख्या (0 से 1 तक का स्कोर) देते हैं।
उपमा: कल्पना कीजिए कि एक कोच चिल्लाकर कहता है, "अच्छा काम किया!" या "बुरा काम किया!" एक संख्या के साथ जैसे "7.5" या "2.1"।
- यदि रोबोट कोई गलती करता है, तो एक संख्या उसे यह नहीं बताती कि वह गलती क्यों थी या उसे कैसे ठीक किया जाए। यह एक शिक्षक की तरह है जो कहता है "आपको 60% मिले" लेकिन यह नहीं समझाता कि आपने गणित के सवाल में 'हासिल' (carry) लेना भूल गए थे। रोबोट सुधार करने के लिए केवल अनुमान ही लगा सकता है।

नया समाधान: NLAC (द टॉकटिव कोच - The "Talkative Coach")

लेखक NLAC का प्रस्ताव करते हैं, जो संख्या-गणना करने वाले कोच के स्थान पर एक बातूनी और तर्क करने वाले कोच को रखता है।

1. "लैंग्वेज क्रिटिक" (The Language Critic - कोच)

संख्या देने के बजाय, क्रिटिक (जो स्वयं एक LLM है) एक छोटा पैराग्राफ लिखता है जिसमें व्याख्या होती है।

यह कैसे काम करता है: रोबोट की एक चाल के बाद, क्रिटिक कहता है: "वह चाल ठीक थी, लेकिन आपने गलत उपकरण चुना। आपको पहले मौसम की जांच करनी चाहिए थी क्योंकि उपयोगकर्ता ने बारिश का उल्लेख किया था। यदि आपने ऐसा किया होता, तो आपने समय बचाया होता।"
जादू: रोबोट इस स्पष्टीकरण को पढ़ सकता है, तर्क को समझ सकता है, और ठीक यह सीख सकता है कि अपने व्यवहार को कैसे बदला जाए। यह केवल एक ग्रेड मिलने के बजाय एक विस्तृत शिक्षक के नोट प्राप्त करने जैसा है।

2. "लैंग्वेज बेलमैन बैकअप" (The Language Bellman Backup - द टाइम ट्रैवलर)

प्रशिक्षण का सबसे कठिन हिस्सा भविष्य की भविष्यवाणी करना है। आमतौर पर, रोबोट को सिखाने के लिए, आपको उसे पूरा खेल खेलते हुए 1,000 बार देखना पड़ता है ताकि पता चल सके कि क्या होता है। इसमें बहुत समय लगता है।

नवाचार: NLAC क्रिटिक को एक टाइम ट्रैवलर (समय यात्री) बनने के लिए प्रशिक्षित किया जाता है। पूरे खेल को देखने के बजाय, यह अगले कदम को देखता है और फिर अपनी कल्पना का उपयोग करके एक संक्षिप्त सारांश लिखता है कि बाकी का खेल कैसा दिखेगा।
उपमा: कल्पना कीजिए कि आप शतरंज खेल रहे हैं। पूरा खेल देखने के बजाय कि कोई चाल अच्छी है या नहीं, आपका कोच तुरंत एक कहानी लिखता है: "यदि आप यहाँ चलते हैं, तो आपका प्रतिद्वंद्वी संभवतः आपकी रानी पर हमला करेगा, जिससे 5 चालों में हार होगी।"
क्यों महत्वपूर्ण है: यह रोबोट को केवल एक कदम के अनुभव से सीखने की अनुमति देता है, न कि पूरा खेल खत्म होने का इंतजार करने की। यह सीखने की प्रक्रिया को अविश्वसनीय रूप से तेज़ और कुशल बनाता है।

3. "रिफाइनमेंट पॉलिसी" (The Refinement Policy - द एडिटर)

एक बार जब क्रिटिक अपना फीडबैक लिख देता है, तो रोबोट इसे केवल याद नहीं करता; वह अपने काम को संपादित (edit) भी करता है।

यह कैसे काम करता है: रोबोट सोचता है, "कोच ने कहा कि मेरी चाल खराब थी क्योंकि मैंने मौसम की जांच नहीं की। मुझे अपनी चाल को पहले मौसम की जांच करने के लिए फिर से लिखना चाहिए।"
परिणाम: रोबगर कोच की लिखित सलाह का उपयोग करके अपने कार्यों को परिष्कृत (refine) करता है, और तब तक अभ्यास करता है जब तक वे पूर्ण न हो जाएं।

यह एक बड़ी बात क्यों है

लेखकों ने तीन प्रकार के कार्यों पर इसका परीक्षण किया:

गणितीय तर्क (Math Reasoning): कठिन गणितीय समस्याओं को हल करना।
डायलॉग गेम्स (Dialogue Games): किसी वस्तु का अनुमान लगाने के लिए "20 Questions" खेलना।
ग्राहक सेवा (Customer Service): उड़ान बुकिंग बदलने या सामान वापस करने जैसे जटिल अनुरोधों को संभालना।

परिणाम:

गति (Speed): NLAC ने पिछले तरीकों की तुलना में बहुत तेज़ी से सीखा। इसे कार्य में कुशल होने के लिए कम "प्रयासों" की आवश्यकता थी।
स्थिरता (Stability): यह पुराने तरीकों की तरह भ्रमित या "टूटा" नहीं हुआ।
प्रदर्शन (Performance): जटिल, बहु-चरणीय कार्यों (जैसे ग्राहक सेवा परिदृश्य) पर, NLAC ने अन्य AI प्रशिक्षण विधियों की तुलना में काफी बेहतर प्रदर्शन किया, और यहाँ तक कि कुछ सबसे उन्नत "फ्रंटियर" मॉडल्स को भी पीछे छोड़ दिया जो केवल प्रॉम्प्टिंग पर आधारित थे।

सारांश

NLAC को एक रोबोट के प्रशिक्षण को एक मौन स्कोरबोर्ड (जहाँ आप केवल अंतिम स्कोर देखते हैं) से बदलकर एक व्यक्तिगत ट्यूटर में अपग्रेड करने के रूप में देखें जो:

एक कहानी के प्रारूप में भविष्य की भविष्यवाणी करता है (ताकि रोबोट एकल चरणों से सीख सके)।
एक विस्तृत फीडबैक लिखता है जो बताता है कि कोई चाल अच्छी थी या बुरी और क्यों।
रोबोट को उस फीडबैक के आधार पर अपने कार्यों को फिर से लिखने के लिए मार्गदर्शन देता है।

यह दृष्टिकोण AI एजेंटों को पहले की तुलना में बहुत अधिक कुशलता और स्थिरता के साथ जटिल, दीर्घकालिक कार्य सीखने की अनुमति देता है।

तकनीकी सारांश: नेचुरल लैंग्वेज एक्टर-क्रिटिक (NLAC)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को टूल-उपयोग, वेब ब्राउज़िंग और मल्टी-टर्न संवाद जैसे जटिल, लॉन्ग-होरिज़न (long-horizon) इंटरैक्शन के लिए तेजी से तैयार किया जा रहा है। जबकि LLMs सिंगल-टर्न कार्यों में उत्कृष्ट हैं, वे विस्तारित अनुक्रमों (sequences) में डायनेमिक प्लानिंग और क्रेडिट असाइनमेंट (credit assignment) के मामले में संघर्ष करते हैं। पारंपरिक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण, जैसे कि पॉलिसी ग्रेडिएंट्स (जैसे PPO, GRPO), अक्सर स्पार्स रिवॉर्ड्स (sparse rewards) और एक लंबे ट्राजेक्टरी के भीतर विशिष्ट कार्यों को क्रेडिट असाइन करने की कठिनाई के कारण अस्थिरता और खराब सैंपल एफिशिएंसी से ग्रस्त होते हैं।

मौजूदा एक्टर-क्रिटिक विधियाँ एक क्रिटिक (critic) को सीखने के माध्यम से इसे कम करने का प्रयास करती हैं ताकि सघन फीडबैक प्रदान किया जा सके। हालाँकि, मानक स्केलर-वैल्यूड क्रिटिक्स भाषा क्रिया स्पेस (language action spaces) के लिए उपयुक्त नहीं हैं; वे समृद्ध विफलता मोड (failure modes) को एक एकल संख्या में संकुचित कर देते हैं, जिससे यह बहुत कम मार्गदर्शन मिलता है कि एक भाषा नीति (language policy) को अपने कार्यों को कैसे परिष्कृत करना चाहिए। प्राकृतिक भाषा मानों (जैसे Natural Language Reinforcement Learning, NLRL) का उपयोग करने के पिछले प्रयास ऑन-पॉलिसी रोलआउट्स के इन-कॉन्टेक्स्ट एग्रीगेशन (in-context aggregation) पर अपनी निर्भरता के कारण सीमित रहे हैं। यह दृष्टिकोण जैसे-जैसे ट्राजेक्टरीज लंबी होती हैं और वातावरण की गतिशीलता जटिल होती जाती है, स्केलेबल नहीं रह जाता, जिससे ऐसी विधियाँ ग्रिडवर्ल्ड जैसे सरल वातावरण तक ही सीमित रह जाती हैं।

कार्यप्रणाली: नेचुरल लैंग्वेज एक्टर-क्रिटिक (NLAC)

यह शोध पत्र नेचुरल लैंग्वेज एक्टर-क्रिटिक (NLAC) का प्रस्ताव करता है, जो एक नया एल्गोरिदम है जो एक जेनेरेटिव LLM क्रिटिक का उपयोग करके LLM पॉलिसियों को प्रशिक्षित करता है जो प्राकृतिक भाषा स्पेस में मान (values) उत्पन्न करता है। पिछले कार्यों के विपरीत, NLAC ऑन-पॉलिसी सैंपल्स के इन-कॉन्टेक्स्ट एग्रीगेशन पर निर्भर किए बिना सामान्य, स्केलेबल, ऑफ-पॉलिसी लर्निंग को सक्षम बनाता है।

मुख्य घटक

यह ढांचा एक ही अंतर्निहित LLM का उपयोग करता है जो तीन अलग-अलग कार्यात्मक घटकों को स्थापित करने के लिए विभिन्न प्रॉम्प्ट्स का उपयोग करता है:

लैंग्वेज सक्सेसर मॉडल ( $M^\pi$ ):
स्केलर रिटर्न्स की भविष्यवाणी करने के बजाय, क्रिटिक को भविष्य के रोलआउट्स के संक्षिप्त टेक्स्टुअल सारांश (textual summaries) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यह एक सक्सेसर फंक्शन के रूप में कार्य करता है, जो एक स्टेट $s_t$ और एक्शन $a_t$ लेता है और भविष्य के ट्राजेक्टरी $(s, a)_{t+1:T}$ तथा अंतिम रिवॉर्ड के टेक्स्टुअल विवरणों के वितरण (distribution) को उत्पन्न करता है। इसे लैंग्वेज बेलमैन बैकअप ( $B_L$ ) का उपयोग करके प्रशिक्षित किया जाता है, जो वन-स्टेप ट्रांजिशन से बूटस्ट्रैप करता है। बैकअप तत्काल अगले स्टेट और एक्शन को भविष्य के बूटस्ट्रैप्ड विवरण के साथ जोड़ता है, और भविष्य के विवरण को "डिस्काउंट" करता है ताकि तत्काल परिणामों पर जोर दिया जा सके। यह टेम्पोरल-डिफरेंस लर्निंग के माध्यम से ऑफ-पॉलिसी ट्रेनिंग को सक्षम बनाता है, जिससे पूर्ण ऑन-पॉलिसी ट्राजेक्टरीज की आवश्यकता समाप्त हो जाती है।
लैंग्वेज इवैल्यूएटर ( $E$ ):
एक विशिष्ट एक्शन का मूल्यांकन करने के लिए, क्रिटिक कई सैंपल किए गए भविष्य के विवरणों (जो सक्सेसर मॉडल द्वारा उत्पन्न किए गए हैं) को एकत्रित करता है और एक टेक्स्टुअल आलोचना (critique) उत्पन्न करता है। यह आलोचना एक्शन की इष्टतमता (optimality) पर टिप्पणी करती है और भविष्य के अनुमानित परिणामों के आधार पर एक औचित्य प्रदान करती है। यह चरण अतिरिक्त प्रशिक्षण के बिना इन-कॉन्टेक्स्ट में टेक्स्ट पर तर्क करने की LLM की अंतर्निहित क्षमता का लाभ उठाता है।
रिफाइनमेंट पॉलिसी ( $\pi_r$ ):
पॉलिसी इम्प्रूवमेंट को एक सेल्फ-रिफाइनमेंट प्रतिमान (paradigm) के माध्यम से प्राप्त किया जाता है। सभी संभावित कार्यों को सूचीबद्ध करने के बजाय (जो बड़े टोकन वोकैबुलरी में अव्यावहारिक है), बेस पॉलिसी एक प्रारंभिक एक्शन उत्पन्न करती है। रिफाइनमेंट पॉलिसी फिर इस एक्शन और इवैल्यूएटर से प्राप्त टेक्स्टुअल आलोचना को लेकर एक परिष्कृत एक्शन $a^r_t$ उत्पन्न करती है, जो क्रिटिक के अनुसार बेहतर होने की उम्मीद की जाती है।

प्रशिक्षण एल्गोरिदम

एल्गोरिदम ऑफ-पॉलिसी तरीके से संचालित होता है:

पॉलिसी इवैल्यूएशन: लैंग्वेज सक्सेसर मॉडल को भविष्य के टेक्स्टुअल विवरणों और लैंग्वेज बेलमैन बैकअप द्वारा उत्पन्न टारगेट डिस्ट्रीब्यूशन के बीच विचलन (divergence) को कम करने के लिए प्रशिक्षित किया जाता है। यह टेक्स्टुअल आउटपुट्स पर क्रॉस-एन्ट्रॉपी लॉस (KL-divergence) का उपयोग करता है।
पॉलिसी इम्प्रूवमेंट: बेस पॉलिसी को रिफाइनमेंट पॉलिसी से डिस्टिलेशन (distillation) के माध्यम से अपडेट किया जाता है। उद्देश्य क्रिटिक के मूल्यांकन और स्टेट पर कंडिशन होकर, रिफाइनमेंट पॉलिसी द्वारा उत्पन्न परिष्कृत कार्यों के लॉग-लाइक्लीहुड (log-likelihood) को अधिकतम करना है।

मुख्य योगदान

भाषा स्थान में स्केलेबल ऑफ-पॉलिसी लर्निंग: NLAC भाषा स्थान में सामान्य वैल्यू लर्निंग करने वाला पहला कार्य है जो ऑन-पॉलिसी रोलआउट्स के इन-कॉन्टेक्स्ट एग्रीगेशन पर निर्भर नहीं करता है। लैंग्वेज बेलमैन बैकअप के माध्यम से एक लैंग्वेज सक्सेसर मॉडल को प्रशिक्षित करके, यह स्केलेबल ऑफ-पॉलिसी लर्निंग को सक्षम बनाता है।
व्याख्या योग्य और कार्रवाई योग्य आलोचना (Critiques): यह विधि स्केलर मानों को टेक्स्टुअल आलोचनाओं से बदल देती है जो यह बताती है कि कोई एक्शन क्यों सब-ऑप्टिमल (suboptimal) है और सुधार के सुझाव देती है। यह स्केलर सिग्नल्स की तुलना में पॉलिसी रिफाइनमेंट को अधिक प्रभावी ढंग से निर्देशित करने के लिए LLM की रीजनिंग क्षमताओं का लाभ उठाती है।
सैद्धांतिक अभिसरण (Theoretical Convergence): लेखक सीखे गए भाषा प्रतिनिधित्व (language representations) को सक्सेसर फीचर्स से जोड़ने वाला एक सैद्धांतिक विश्लेषण प्रदान करते हैं। वे सिद्ध करते हैं कि हल्के रियलाइज़ेबिलिटी धारणाओं के तहत, लैंग्वेज क्रिटिक एक मोनोटोनिक मैपिंग के माध्यम से वास्तविक स्केलर Q-फंक्शन को रिकवर कर सकता है, जो इष्टतम नीति (optimal policy) तक अभिसरण सुनिश्चित करता है।
लॉन्ग-होरिज़न कार्यों पर अनुभवजन्य श्रेष्ठता (Empirical Superiority): पेपर यह प्रदर्शित करता है कि NLAC जटिल कार्यों के लिए मौजूदा फाइन-ट्यूनिंग बेसलाइन्स (PPO, GRPO, RFT) और प्रॉम्प्टिंग विधियों (ReAct) को पछाड़कर जटिल मल्टी-स्टेप इंटरैक्शन वाले कार्यों में बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन बेंचमार्क्स पर NLAC का मूल्यांकन किया:

मैथमेटिकल रीजनिंग (MATH500-Hard): एक सिंगल-स्टेप टास्क जहाँ NLAC अन्य फाइन-ट्यूनिंग विधियों के तुलनीय प्रदर्शन करता है, जो प्रभावी रूप से जेनेरेटिव रिवॉर्ड मॉडल के साथ सेल्फ-डिस्टिलेशन में बदल जाता है।
स्ट्रेटेजिक डायलॉग (20 Questions): एक मल्टी-टर्न गेम जिसमें सुसंगत प्लानिंग की आवश्यकता होती है। NLAC ने 26.0% जीत दर हासिल की, जो PPO (17.2%), GRPO (18.4%) और प्रॉम्प्टिंग बेसलाइन (GPT-5 के साथ 30.2%, लेकिन NLAC के छोटे मॉडल्स ने फाइन-ट्यून किए गए बेसलाइन्स को पीछे छोड़ दिया) से काफी बेहतर है।
टूल-यूज़ और डायलॉग (τ-Bench): एक कस्टमर सर्विस टास्क जिसमें API कॉल्स और सख्त पॉलिसी गाइडलाइन्स शामिल हैं। NLAC ने रिटेल में 0.42 की जीत दर और एयरलाइन परिदृश्यों (जो ट्रेनिंग के दौरान अनदेखा था) में 0.22 हासिल की, जो सभी अन्य फाइन-ट्यूनिंग बेसलाइन्स से बेहतर है। विशेष रूप से, NLized को PPO की तुलना में कन्वर्ज होने के लिए कम ग्रेडिएंट स्टेप्स की आवश्यकता थी।

गुणात्मक विश्लेषण (Qualitative analysis) ने दिखाया कि NLAC के नेचुरल लैंग्वेज क्रिटिक ने विशिष्ट विफलता मोड (जैसे टूल-कॉल लिमिट का उल्लंघन करना या लीनियर सर्च रणनीतियों का उपयोग करना) को सफलतापूर्वक पहचाना और ऐसे सुधारात्मक सुझाव दिए जिन्हें स्केलर रिवॉर्ड्स नहीं दे सकते थे।

महत्व और दावे

पेपर का दावा है कि NLAC मौजूदा ऑन-पॉलिसी विधियों की तुलना में LLM एजेंटों के लिए अधिक स्केलेबल और स्थिर प्रशिक्षण प्रतिमान प्रदान करता है। वैल्यू लर्निंग को स्केलर स्पेस से नेचुरल लैंग्वेज स्पेस में ले जाकर, यह विधि लॉन्ग-होरिज़न कार्यों में क्रेडिट असाइनमेंट की समस्या को अधिक प्रभावी ढंग से संबोधित करती है। लेखक तर्क देते हैं कि यह दृष्टिकोण LLM की अंतर्निहित रीजनिंग क्षमताओं का बेहतर लाभ उठाता है, जिससे उन्हें पॉलिसी अपडेट के पीछे के "क्यों" को समझने और व्यक्त करने की अनुमति मिलती है।

लेखक सीमाओं को स्वीकार करते हैं, विशेष रूप से भविष्य के परिदृश्य बनाने और प्रॉम्प्टिंग के माध्यम से कार्यों को परिष्कृत करने के लिए बेस LLM की क्षमता पर निर्भरता। वे सुझाव देते हैं कि अत्यधिक जटिल कार्यों के लिए, इस निर्भरता को हटाने के लिए भविष्य के कार्यों को कार्यों को पदानुक्रमित (hierarchically) रूप से विभाजित करने की आवश्यकता हो सकती है। हालाँकि, वर्तमान परिणाम बताते हैं कि NLAC संवाद और टूल-यूज़ डोमेन में एजेंटों को प्रशिक्षित करने के लिए एक सम्मोहक विकल्प है।