🤖 machine learning

Co-Evolution of Policy and Internal Reward for Language Agents

यह शोध पत्र "सेल्फ-गाइड" (Self-Guide) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जहाँ भाषा एजेंट अपनी नीति (policy) और एक स्व-निर्मित आंतरिक पुरस्कार संकेत (internal reward signal) को सह-विकसित करते हैं ताकि इन्फरेंस-टाइम एक्शन गाइडेंस और डेंसर ट्रेनिंग-टाइम सुपरविजन दोनों प्रदान किए जा सकें, जिससे वे विरल बाहरी पुरस्कारों (sparse external rewards) की सीमाओं को पार कर सकें और महत्वपूर्ण प्रदर्शन लाभ प्राप्त कर सकें।

मूल लेखक: Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

प्रकाशित 2026-04-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, उलझन भरे भूलभुलैया (maze) में छिपे खजाने को खोजने के लिए प्रशिक्षित कर रहे हैं। समस्या यह है कि भूलभुलैया बहुत बड़ी है, और रोबोट को यात्रा के बिल्कुल अंत में केवल "अच्छा काम किया!" या "आप असफल रहे!" का संदेश मिलता है। उसे यह पता नहीं चलता कि पाँच मिनट पहले लिया गया उसका मोड़ समझदारी भरा था या उसने बस चक्कर काट कर समय बर्बाद किया। यह "स्पार्स रिवॉर्ड" (sparse reward) की समस्या है जो आज के AI एजेंटों को परेशान करती है।

पेपर "Co-Evolution of Policy and Internal Reward" एक चतुर समाधान पेश करता है जिसे Self-Guide कहा जाता है। इसे ऐसे समझें जैसे आप रोबोट को खुद से बात करना सिखा रहे हों।

यह कैसे काम करता है, इसे सरल उपमाओं (analogies) के साथ नीचे समझाया गया है:

1. समस्या: "शांत भूलभुलैया" (The Silent Maze)

पारंपरिक प्रशिक्षण में, रोबोट (AI एजेंट) कदम उठाता है, और वातावरण अंत तक शांत रहता है।

उपमा: कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आप पूरा लेवल खत्म होने के बाद ही अपना स्कोर देख सकते हैं। यदि आप तीसरे कदम पर गड्ढे में गिर जाते हैं, तो आपको तब तक पता नहीं चलता जब तक कि 100वें कदम पर गेम खत्म न हो जाए। आप बार-बार गड्ढों में गिरते रह सकते हैं क्योंकि आपको यह नहीं पता कि किस विशिष्ट चाल के कारण विफलता हुई।

2. समाधान: "आंतरिक संवाद" (The Inner Monologue - Self-Guide)

लेखक प्रस्ताव देते हैं कि रोबोट को हर एक कदम उठाने से पहले खुद से पूछना चाहिए: "क्या मैं सही रास्ते पर हूँ?"

यह कैसे काम करता है: एक कदम उठाने से पहले, रोबोट एक छोटा, मौखिक विचार उत्पन्न करता है (जैसे "मैं करीब पहुँच रहा हूँ," "मैं फँस गया हूँ," या "यह बुरा लग रहा है")।
जादू: यह विचार केवल दिखाने के लिए नहीं है। यह दो उद्देश्यों को एक साथ पूरा करता है:
1. उस क्षण में (Inference): यह एक दिशा-सूचक (compass) की तरह कार्य करता है, जिससे रोबोट को तुरंत अगला कदम तय करने में मदद मिलती है।
2. सीखने के लिए (Training): रोबोट इन विचारों को एक "स्कोरकार्ड" के रूप में सहेज लेता है। बाद में, जब गलतियों से सीखने का समय आता है, तो वह इन स्व-जनित (self-generated) स्कोर का उपयोग यह पता लगाने के लिए करता है कि कौन से कदम अच्छे थे और कौन से बुरे, भले ही उसे अंतिम गेम स्कोर का पता न हो।

3. "मुर्गी और अंडे" वाली समस्या (The Chicken-and-Egg Problem)

यहाँ एक पेंच है। शुरुआत में, रोबोट एक बच्चा है। उसकी "आंतरिक आवाज़" संभवतः गलत होगी। यदि आप एक बच्चे को अपने प्रदर्शन का न्याय करने दें, तो वह सोच सकता है कि वह एक जीनियस है जबकि वास्तव में वह असफल हो रहा है, जिससे गलत प्रशिक्षण हो सकता है।

उपमा: कल्पना कीजिए कि एक छात्र पियानो बजाना सीख रहा है। यदि वे अपने अभ्यास सत्रों को तुरंत खुद ग्रेड देते हैं, तो वे सोच सकते हैं कि वे एकदम सही हैं क्योंकि उन्हें अभी तक यह नहीं पता कि "अच्छा" क्या होता है।

4. समाधान: "ट्रस्ट शेड्यूल" (The Fix: The Trust Schedule)

इसे हल करने के लिए, लेखक एक स्टेज-वाइज ट्रस्ट शेड्यूल (Stage-Wise Trust Schedule) का उपयोग करते हैं। वे रोबोट की आंतरिक आवाज़ पर तुरंत भरोसा नहीं करते। वे उसके साथ एक प्रशिक्षु (trainee) जैसा व्यवहार करते हैं:

चरण 1 (वार्म-अप): रोबलेट खुद से बात करता है ताकि निर्णय लेने में मदद मिल सके, लेकिन कोई भी उसके "ग्रेड" को नहीं सुनता। वह केवल अंतिम "गेम ओवर" या "सफलता" के संकेत से सीखता है। इससे रोबोट अपने स्वयं के गलत निर्णयों से भ्रमित हुए बिना खुद से बात करने में बेहतर हो सकता है।
चरण 2 (प्रमोशन): एक बार जब रोबोट पर्याप्त अभ्यास कर लेता है और उसकी आंतरिक आवाज़ अधिक विश्वसनीय हो जाती है, तो सिस्टम उसके स्व-ग्रेडिंग को सुनना शुरू कर देता है। यह रोबोट के स्व-स्कोर को अंतिम गेम स्कोर के साथ मिला देता है ताकि उसे तेज़ी से प्रशिक्षित किया जा सके।
चरण 3 (फेडिंग): बिल्कुल अंत में, वे धीरे-धीरे स्व-स्कोर पर निर्भरता कम कर देते हैं और वास्तविक गेम के नियमों पर वापस आ जाते हैं। यह सुनिश्चित करता है कि रोबोट "अहंकारी" न हो जाए और वास्तविक लक्ष्य को न भूल जाए।

5. परिणाम: एक स्व-सुधार चक्र (The Result: A Self-Improving Loop)

सबसे रोमांचक हिस्सा को-इवोल्यूशन (Co-Evolution) है।

जैसे-जैसे रोबोट गेम में बेहतर होता है, उसकी "आंतरिक आवाज़" भी स्मार्ट होती जाती है।
जैसे-जैसे उसकी "आंतरिक आवाज़" स्मार्ट होती है, वह बेहतर सलाह देती है, जिससे रोबोट और भी बेहतर बनता है।
यह एक सकारात्मक फीडबैक लूप है जहाँ एजेंट खुद को खुद को सिखाना सिखाता है।

वास्तविक दुनिया का प्रभाव

शोधकर्ताओं ने इसे तीन अलग-अलग "भूलभुलैया" पर परखा:

ALFWorld: एक आभासी घर जहाँ रोबोट को वस्तुओं को ढूँढना होता है (जैसे "टमाटर को फ्रिज में रखना")।
ScienceWorld: एक आभाला वर्चुअल लैब जहाँ रोबोट को रसायनों को मिलाना और प्रयोग चलाना होता है।
WebShop: एक सिम्युलेटेड ऑनलाइन स्टोर जहाँ रोबोट को विशिष्ट आइटम ढूँढने और खरीदने होते हैं।

परिणाम:
Self-Guide का उपयोग करने वाले रोबोटों ने न केवल तेज़ी से सीखा; उन्होंने मूर्खतापूर्ण गलतियाँ (जैसे चक्कर काटना या गलत चीज़ खरीदना) भी कम कीं। बिना किसी अतिरिक्त मानव शिक्षक के भी, रोबोटों ने अपने स्वयं के "अच्छा काम किया" और "फिर से प्रयास करें" के संकेत उत्पन्न करना सीख लिया, जिससे उनके प्रदर्शन में मानक तरीकों की तुलना में लगभग 8% का सुधार हुआ।

मुख्य निष्कर्ष

AI को यह बताने के लिए कि उसने कैसा प्रदर्शन किया, एक शिक्षक का इंतज़ार करने के बजाय, यह तरीका AI को अपनी अंतरात्मा (intuition) की बात सुनना सिखाता है। AI को अपना फीडबैक खुद जेनरेट करने देने और उस फीडबैक पर धीरे-धीरे भरोसा करने से, यह एक स्मार्ट और अधिक आत्मनिर्भर एजेंट बनाता है जो जटिल, दीर्घकालिक समस्याओं को बहुत अधिक प्रभावी ढंग से हल कर सकता है।

यहाँ शोध पत्र "Co-Evolution of Policy and Internal Reward for Language Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लंबे समय तक चलने वाले इंटरैक्टिव वातावरण (जैसे वेब नेविगेशन, वैज्ञानिक प्रयोग) में काम करने वाले लार्ज लैंग्वेज मॉडल (LLM) एजेंट एक मौलिक स्पार्स रिवॉर्ड बॉटलनेक (sparse reward bottleneck) का सामना करते हैं।

चुनौती: एजेंटों को आमतौर पर केवल एक प्रक्षेपवक्र (trajectory) के अंत में फीडबैक मिलता है (टर्मिनल रिवॉर्ड), जिससे मध्यवर्ती निर्णयों के लिए क्रेडिट असाइन करना कठिन हो जाता है। यह इन्फरेंस-टाइम निर्णय लेने (यह स्पष्ट नहीं होना कि वर्तमान पथ सही है या नहीं) और ट्रेनिंग-टाइम पॉलिसी ऑप्टिमाइजेशन (ग्रेडिएंट अपडेट के लिए घने संकेतों की कमी) दोनों में बाधा डालता है।
मौजूदा विधियों की सीमाएँ:
- पोस्ट-हॉक क्रेडिट असाइनमेंट (Post-hoc credit assignment): यह प्रक्षेपवक्र एकत्र करने के बाद क्रेडिट को पुनर्वितरित करता है लेकिन इन्फरेंस के दौरान कोई मार्गदर्शन नहीं देता है।
- एक्सटर्नल रिवॉर्ड मॉडल्स (External Reward Models): ये ओवरहेड, संभावित डिस्ट्रीब्यूशन ड्रिफ्ट, और रिवॉर्ड जनरेशन प्रक्रिया को पॉलिसी से अलग कर देते हैं, जिससे एक एकीकृत लर्निंग लूप नहीं बन पाता।
- स्टैटिक सेल्फ-रिफ्लेक्शन (Static Self-Reflection): जो विधियाँ फिक्स्ड सेल्फ-गाइडेंस सिग्नल्स का उपयोग करती हैं, वे अक्सर विफल हो जाती हैं क्योंकि गाइडेंस की गुणवत्ता पॉलिसी की परिपक्वता पर निर्भर करती है, जिससे एक "मुर्गी पहले या अंडा पहले" (chicken-and-egg) वाली समस्या पैदा होती है।

2. कार्यप्रणाली: सेल्फ-गाइड (Methodology: Self-Guide)

लेखक सेल्फ-गाइड (Self-Guide) का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा है जहाँ एजेंट अपना स्वयं का आंतरिक रिवॉर्ड सिग्नल उत्पन्न करता है जो दोहरे उद्देश्यों की पूर्ति करता है: इन्फरेंस-टाइम गाइडेंस और ट्रेनिंग-टाइम सुपरविजन।

मुख्य तंत्र (Core Mechanism)

एजेंट एक लूप में काम करता है जहाँ प्रत्येक चरण $t$ पर:

सेल्फ-जनरेशन: मॉडल इतिहास $h_{t-1}$ और वर्तमान ऑब्जर्वेशन $o_t$ के आधार पर एक मौखिक स्व-मार्गदर्शन सिग्नल $z_t$ (प्रगति का एक प्राकृतिक भाषा मूल्यांकन) उत्पन्न करता है।
$z_t \sim \pi_\theta(\cdot | h_{t-1}, o_t)$
एक्शन सिलेक्शन: मॉडल इतिहास और स्वयं द्वारा उत्पन्न सिग्नल दोनों की स्थिति में अगला एक्शन $a_t$ चुनता है।
$a_t \sim \pi_\theta(\cdot | h_{t-1}, o_t, z_t)$
रिवॉर्ड कन्वर्जन: मौखिक सिग्नल $z_t$ को एक स्केलर आंतरिक रिवॉर्ड $r^{sg}_t$ में मैप किया जाता है (जैसे, "सकारात्मक/प्रगति" के लिए +0.1, "न्यूट्रल" के लिए 0, "नकारात्मक/हानिकारक" के लिए -0.1)।
कंपोजिट रिवॉर्ड: आंतरिक रिवॉर्ड को एकत्रित किया जाता है और इसे स्पार्स एनवायरनमेंट रिवॉर्ड $R_{env}$ के साथ मिलाकर एक एकीकृत ट्रेनिंग सिग्नल बनाया जाता है:
$R(\tau; u) = R_{env}(\tau) + \lambda(u) \sum_{t=1}^{T} r^{sg}_t$
जहाँ $\lambda(u)$ एक स्टेज-डिपेंडेंट कोएफिशिएंट है जो आंतरिक रिवॉर्ड के भार को नियंत्रित करता है।

मुख्य नवाचार: स्टेज-वाइज ट्रस्ट शेड्यूल (Key Innovation: Stage-Wise Trust Schedule)

ट्रेनिंग के शुरुआती चरणों में अपरिपक्व स्व-जेनरेटेड रिवॉर्ड्स के उपयोग से होने वाली अस्थिरता को संबोधित करने के लिए, लेखक $\lambda(u)$ के लिए एक ट्रेपेज़ॉइडल ट्रस्ट शेड्यूल (trapezoid trust schedule) पेश करते हैं:

फेज I (वार्म-अप): $\lambda = 0$ । एजेंट इन्फरेंस के लिए स्व-मार्गदर्शन (एक्शन को निर्देशित करने) का उपयोग करता है लेकिन कोई आंतरिक रिवॉर्ड प्राप्त नहीं करता। यह पॉलिसी को अपने स्वयं के अपरिपक्व निर्णयों से दंडित हुए बिना, शुद्ध पर्यावरणीय फीडबैक से उपयोगी मार्गदर्शन सीखना सीखने की अनुमति देता है।
फेज II (एक्टिवेशन): $\lambda$ रैखिक रूप से 0 से 1 तक बढ़ता है। ऑप्टिमाइजेशन शॉक से बचने के लिए आंतरिक रिवॉर्ड को धीरे-धीरे पेश किया जाता है।
फेज III (फुल को-इवोल्यूशन): $\lambda = 1$ । एजेंट पूर्ण रूप से घने आंतरिक रिवॉर्ड का उपयोग करता है, जिससे एक स्व-सुदृढ़ लूप बनता है जहाँ बेहतर पॉलिसी $\to$ बेहतर गाइडेंस $\to$ बेहतर रिवॉर्ड $\to$ बेहतर पॉलिसी।
फेज IV (एनीलिंग): $\lambda$ 1 से 0 तक कम होता है। यह सुनिश्चित करता है कि अंतिम पॉलिसी वास्तविक पर्यावरणीय उद्देश्य के साथ अभिसरित (converge) हो, जिससे पॉलिसी को आंतरिक रिवॉर्ड सिग्नल के प्रति ओवरफिट होने से रोका जा सके (जो कि पोटेंशियल-बेस्ड नहीं है और समाधान को बायस कर सकता है)।

3. मुख्य योगदान (Key Contributions)

सेल्फ-गाइड फ्रेमवर्क: एक नवीन विधि जहाँ एजेंट एक एकल सिग्नल ( $z_t$ ) उत्पन्न करता है जो इन्फरेंस-टाइम स्टीयरिंग मैकेनिज्म और ट्रेनिंग-टाइम डेंस रिवॉर्ड सोर्स दोनों के रूप में कार्य करता है।
को-इवोल्यूशनरी ट्रेनिंग: यह प्रदर्शित करता है कि पॉलिसी और आंतरिक रिवॉर्ड को ऑनलाइन मिलकर सुधरना चाहिए। पेपर दिखाता है कि बड़े टीचर मॉडल से स्व-गाइडेंस का ऑफलाइन डिस्टिलेशन डिस्ट्रीब्यूशन मिसमैच के कारण विश्वसनीय रूप से ट्रांसफर करने में विफल रहता है, जबकि ऑनलाइन को-इवोल्यूशन सफल होता है।
स्टेज-वाइज ट्रस्ट शेड्यूल: एक मजबूत शेड्यूलिंग मैकेनिज्म जो स्व-जेनरेटेड रिवॉर्ड्स के प्रशिक्षण को स्थिर करता है, जो अपरिपच्य सिग्नल्स का उपयोग करके ऑप्टिमाइजेशन के बूटस्ट्रैप समस्या को हल करता है।
एकीकृत ऑप्टिमाइजेशन: यह विधि विभिन्न RL एल्गोरिदम (GRPO और DAPO के साथ सत्यापित) के अनुकूल है और इसके लिए बाहरी रिवॉर्ड मॉडल्स या अलग इवैल्यूएटर्स की आवश्यकता नहीं होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन बेंचमार्क पर किया गया: ALFWorld (घरेलू कार्य), ScienceWorld (वैज्ञानिक तर्क), और WebShop (ई-कॉमर्स)। टेस्ट किए गए मॉडल्स में Qwen3-1.7B, Qwen3-4B, और Qwen2.5-7B शामिल थे।

इन्फरेंस-टाइम लाभ: बिना RL ट्रेनिंग के भी, ReAct में Self-Guide जोड़ने (ReAct w/ SG) से स्ट्रक्चर्ड कार्यों पर प्रदर्शन में उल्लेखनीय सुधार हुआ (जैसे, Qwen3-1.7B के लिए ALFWorld पर +10.9%), जिससे लूपिंग और रेडंडेंट एक्सप्लोरेशन कम हुआ।
ट्रेनिंग-टाइम लाभ:
- GRPO w/ SG & GR (पूर्ण विधि) सभी मॉडल्स और एनवायरनमेंट्स में बेसलाइन GRPO से लगातार बेहतर रही।
- मात्रात्मक सुधार: Qwen3-4B पर, पूर्ण विधि ने केवल एनवायरनमेंट रिवॉर्ड पर प्रशिक्षित GRPO की तुलना में ~8% औसत सुधार हासिल किया।
- एब्लेशन स्टडीज (Ablation Studies):
  - इमीडिएट रिवॉर्ड: वार्म-अप के बिना तुरंत आंतरिक रिवॉर्ड पेश करने से बेसलाइन से भी खराब प्रदर्शन हुआ, जो ट्रस्ट शेड्यूल की आवश्यकता की पुष्टि करता है।
  - ऑफलाइन डिस्टिलेशन: बड़े टीचर से डिस्टिल्ड सेल्फ-गाइडेंस मॉडल का उपयोग करने से स्थिर लाभ प्राप्त करने में विफलता मिली, जो ऑनलाइन को-इवोल्यूशन की आवश्यकता को सिद्ध करता है।
  - एनीलिंग: अंतिम एनीलिंग फेज को हटाने से प्रदर्शन थोड़ा गिर गया, जो वास्तविक पर्यावरणीय उद्देश्य के साथ अंतिम पॉलिसी को संरेखित करने के महत्व को उजागर करता है।

5. महत्व (Significance)

यह कार्य एजेंट ट्रेनिंग के प्रतिमान (paradigm) को केवल बाहरी फीडबैक पर निर्भर रहने के बजाय स्वयं मूल्यांकन करने के सीखने की ओर मौलिक रूप से बदल देता है।

दक्षता (Efficiency): यह बाहरी रिवॉर्ड मॉडल्स या प्रोसेस रिवॉर्ड मॉडल्स (PRMs) की आवश्यकता को समाप्त करता है, जिससे कंप्यूटेशनल ओवरहेड और इंजीनियरिंग जटिलता कम हो जाती है।
स्केलेबिलिटी (Scalability): एजेंटों को अपने स्वयं के घने सुपरविजन सिग्नल उत्पन्न करने में सक्षम बनाकर, यह जटिल, लंबे समय तक चलने वाले कार्यों में निहित स्पार्स रिवॉर्ड समस्या को हल करता है।
स्थिरता (Stability): स्टेज-वाइज ट्रस्ट शेड्यूल अपने स्वयं के उत्पन्न रिवॉर्ड्स पर एजेंट को प्रशिक्षित करने की स्वाभाविक रूप से अस्थिर प्रक्रिया को स्थिर करने के लिए एक व्यावहारिक रेसिपी प्रदान करता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण एल्गोरिदम-अज्ञेय (algorithm-agnostic) और मॉडल-अज्ञेय (model-agnostic) है, जो विविध इंटरैक्टिव डोमेन में LLM एजेंटों को बेहतर बनाने के लिए व्यापक प्रयोज्यता का सुझाव देता है।

निष्कर्षतः, यह पेपर प्रदर्शित करता है कि भाषा एजेंट न केवल अधिक अनुभव एकत्र करके, बल्कि कार्य करने और सीखने की प्रक्रिया के दौरान अपने स्वयं के आंतरिक रिवॉर्ड सिग्नल को उत्पन्न करने और परिष्कृत करने के माध्यम से अपने प्रदर्शन में महत्वपूर्ण सुधार कर सकते हैं।