🤖 AI

AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning

यह शोध पत्र AEM को प्रस्तुत करता है, जो मल्टी-टर्न एजेंटिक रिइन्फोर्समेंट लर्निंग के लिए एक सुपरविजन-फ्री क्रेडिट असाइनमेंट विधि है जो एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेड-ऑफ को बेहतर बनाने और SWE-bench-Verified जैसे चुनौतीपूर्ण बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए रिस्पॉन्स-लेवल एंट्रॉपी डायनेमिक्स को एडेप्टिवली मॉड्यूलेट करता है।

मूल लेखक: Haotian Zhao, Yuxin Zhang, Songlin Zhou, Stephen S. -T. Yau, Wenyu Zhang, Lun Tian, Tianshu Zhu, Yifeng Huang, Yucheng Zeng, Jingnan Gu, Daxiang Dong, Jianmin Wu

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haotian Zhao, Yuxin Zhang, Songlin Zhou, Stephen S. -T. Yau, Wenyu Zhang, Lun Tian, Tianshu Zhu, Yifeng Huang, Yucheng Zeng, Jingnan Gu, Daxiang Dong, Jianmin Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन रोबोट सहायक को जटिल, बहु-चरणीय पहेलियों को हल करना सिखा रहे हैं, जैसे कि किसी वर्चुअल घर में किसी विशिष्ट वस्तु को खोजने के लिए नेविगेट करना या कंप्यूटर कोड के एक हिस्से को डीबग करना। रोबोट अलग-अलग क्रियाएं करता है, लेकिन उसे पूरी प्रक्रिया के अंत में केवल एक "अच्छा काम किया!" (Good Job!) या "फिर से प्रयास करें" (Try Again) ही मिलता है। उसे यह नहीं पता चलता कि किस विशिष्ट कदम ने अंतिम परिणाम में मदद की या उसे बिगाड़ा। यह वही समस्या है जिसे यह पेपर हल करता है: आप सही कदमों को श्रेय कैसे देते हैं जब आपको केवल फिनिश लाइन पर ही इनाम मिलता है?

लेखक एक नई विधि प्रस्तावित करते हैं जिसे AEM (Adaptive Entropy Modulation) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

समस्या: "अंधा" शिक्षक

पारंपरिक प्रशिक्षण में, रोबot क्रियाओं का एक लंबा रास्ता (एक "ट्रैजेक्टरी") लेता है। यदि वह सफल होता है, तो शिक्षक कहता है, "बहुत अच्छा काम किया!" और रोबोट मान लेता है कि उसके द्वारा उठाया गया हर कदम अच्छा था। यदि वह विफल होता है, तो शिक्षक कहता है, "बुरा काम किया!" और रोबोट मान लेता है कि उसका हर कदम बुरा था।

दोष: यह एक छात्र द्वारा 10-प्रश्नों वाले गणित के टेस्ट देने जैसा है। यदि उन्हें पूर्ण अंक मिलते हैं, तो शिक्षक प्रश्न 3 के लिए उनकी प्रशंसा करता है, भले ही प्रश्न 3 केवल एक तुक्का था और प्रश्न 7 वास्तव में वह कठिन हिस्सा था जिसमें उन्हें संघर्ष करना पड़ा था। रोबोट भ्रमित हो जाता है कि क्या जारी रखना है और क्या बंद करना है।

समाधान: AEM (एक "कॉन्फिडेंस मीटर")

पेपर में एक तरीका पेश किया गया है जिससे रोबोट अपने स्वयं के "आत्मविश्वास" (जिसे पेपर एंट्रॉपी/Entropy कहता है) को देखकर यह पता लगा सकता है कि कौन से कदम वास्तव में अच्छे या बुरे थे।

एंट्रॉपी को रोबोट के अनिश्चितता मीटर के रूप में सोचें:

उच्च एंट्रॉपी (उच्च अनिश्चितता): रोबोट बेतहाशा अंदाज़ लगा रहा है। वह नए, जोखिम भरे रास्ते खोज रहा है। यह एक ऐसे छात्र की तरह है जो क्योंकि उसे विषय का ज्ञान नहीं है, इसलिए उत्तरों का अनुमान लगा रहा है।
निम्न एंट्रॉपी (उच्च आत्मविश्वास): रोबोट सुनिश्चित है कि उसका उत्तर सही है। वह जो पहले से जानता है, उसका लाभ उठा रहा है। यह एक ऐसे छात्र की तरह है जो आत्मविश्वास के साथ वह फॉर्मूला लिख रहा है जिसे उसने याद कर लिया है।

AEM कैसे काम करता है: एक "स्मार्ट कोच"

AEM एक स्मार्ट कोच की तरह काम करता है जो वास्तविक समय में रोबोट के कॉन्फिडेंस मीटर को देखता है और स्थिति के आधार पर "प्रशंसा" या "आलोचना" को समायोजित करता है।

जब रोबोट खोजबीन (Exploring) कर रहा होता है (प्रारंभिक प्रशिक्षण के दौरान):
- रोबोट अनिश्चित है और कई अलग-अलग चीजें आज़मा रहा है (उच्च एंट्रॉपी)।
- यदि वह गलती करता है, तो कोच कहता है, "कोई बात नहीं! तुम खोजबीन कर रहे थे। अगली बार कुछ और भी अलग करने की कोशिश करना।" (AEM अन्वेषण/exploration के दबाव को बढ़ाता है)।
- यदि वह भाग्यशाली होकर सफल हो जाता है, तो कोच कहता है, "बहुत बढ़िया! लेकिन चूंकि तुम सिर्फ अंदाज़ा लगा रहे थे, इसलिए अभी बहुत ज्यादा आत्मविश्वासी न बनो।" (AEM खोजबीन को जारी रखता है)।
जब रोबोट विशेषज्ञता (Exploiting) दिखा रहा होता है (देर से प्रशिक्षण के दौरान):
- रोबोट ने नियम सीख लिए हैं और वह आश्वस्त है (निम्न एंट्रॉपी)।
- यदि वह गलती करता है, तो कोच कहता है, "रुको, तुम्हें इस बारे में निश्चित होना चाहिए था! तुम्हें अपनी रणनीति पर फिर से विचार करने की आवश्यकता है।" (AEM बदलाव के लिए दबाव बढ़ाता है)।
- यदि वह सफल होता है, तो कोच कहता है, "परफेक्ट! तुम जानते हो कि तुम क्या कर रहे हो। बिल्कुल यही करते रहो।" (AEM आत्मविश्वासी व्यवहार को सुदृढ़ करता है)।

जादुई ट्रिक:
पेपर गणितीय रूप से सिद्ध करता है कि आप रोबोट के अपने "आश्चर्य" के स्तर (कि उसका उत्तर उसके सामान्य व्यवहार की तुलना में कितना अप्रत्याशित था) का उपयोग करके स्वचालित रूप से यह तय कर सकते हैं कि उसे अधिक साहसी (explore) बनने के लिए प्रोत्साहित करना है या अधिक सावधान (exploit) बनने के लिए। आपको किसी इंसान द्वारा हर कदम को ग्रेड करने की आवश्यकता नहीं है, और न ही आपको अतिरिक्त डेटा की आवश्यकता है। रोबोट खुद को सुधारने के लिए अपने आंतरिक "आत्मविश्वास" का उपयोग करता है।

परिणाम: एक जीतने वाली रणनीति

लेखकों ने इस विधि का परीक्षण तीन अलग-अलग प्रकार के "पहेलियों" पर किया:

ALFWorld: एक टेक्स्ट-आधारित गेम जहाँ रोबोट को एक वर्चुअल घर को साफ करने, खाना पकाने और व्यवस्थित करने के लिए नेविगेट करना होता है।
WebShop: एक सिम्युलेटेड ऑनलाइन शॉपिंग कार्य जहाँ रोबोट को विशिष्ट वस्तुओं को खोजने और खरीदने के लिए नेविगेट करना होता है।
SWE-bench: एक बहुत कठिन कार्य जहाँ रोबोट को वास्तविक सॉफ्टवेयर कोड में बग्स को ठीक करना होता है।

क्या हुआ?

रोबोट ने पहले की तुलना में तेज़ी से सीखा और अधिक पहेलियाँ हल कीं।
सबसे कठिन सॉफ्टवेयर इंजीनियरिंग टेस्ट (SWE-bench) पर, मौजूदा सर्वोत्तम विधि में AEM जोड़ने से सफलता दर में 1.4% का सुधार हुआ। हालांकि यह सुनने में छोटा लग सकता है, लेकिन AI की दुनिया में, इतने कठिन कार्य के लिए यह एक बहुत बड़ी छलांग है।
यह विधि छोटे और बहुत बड़े AI मॉडल्स (1.5 बिलियन से 32 बिलियन "ब्रेन सेल्स" तक) दोनों पर अच्छी तरह से काम करती है।

यह क्यों महत्वपूर्ण है

पेपर का दावा है कि AEM एक "प्लग-इन" टूल है। इसका मतलब है कि आप लगभग किसी भी मौजूदा AI प्रशिक्षण प्रणाली को ले सकते हैं और पूरे सिस्टम को फिर से बनाए बिना या लोगों को रोबोट के काम को ग्रेड करने के लिए नियुक्त किए बिना इसमें यह "कॉन्फिडेंस मीटर" जोड़ सकते हैं। यह AI को स्वाभाविक रूप से यह समझने में मदद करता है कि कब एक साहसी खोजकर्ता बनना है और कब एक केंद्रित विशेषज्ञ बनना है, जिससे कम परेशानी के साथ बेहतर परिणाम मिलते हैं।

संक्षेप में, AEM AI एजेंटों को अपने स्वयं के "अंतर्ज्ञान" (अनिश्चितता) को सुनने के लिए सिखाता है ताकि उन्हें पता चल सके कि कब नई चीजें आज़मानी हैं और कब उस पर टिके रहना है जो काम करता है, जिससे वे बिना किसी मानवीय सूक्ष्म प्रबंधन के जटिल, बहु-चरणीय समस्याओं को हल करने में बहुत बेहतर हो जाते हैं।

यहाँ शोध पत्र "AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टी-टर्न रिइन्फोर्समेंट लर्निंग (RL) कार्यों (जैसे सॉफ्टवेयर इंजीनियरिंग, वेब नेविगेशन, एम्बोडीड एजेंट्स) के लिए लार्ज लैंग्वेज मॉडल (LLM) एजेंट्स को प्रशिक्षित करने में आने वाली एक महत्वपूर्ण बाधा को संबोधित करता है।

स्पार्स रिवार्ड्स (Sparse Rewards): एजेंटिक RL में, फीडबैक आमतौर पर केवल परिणाम-आधारित होता है (ट्रैजेक्टरी के अंत में सफलता/विफलता)। यह मध्यवर्ती चरणों (intermediate steps) को क्रेडिट असाइन करना कठिन बना देता है, जिससे हाई-वैरिएंस ग्रेडिएंट्स उत्पन्न होते हैं।
मौजूदा समाधानों की सीमाएँ:
- प्रोसेस रिवॉर्ड मॉडल्स (PRMs): इनके लिए सघन (dense) मध्यवर्ती पर्यवेक्षण और अतिरिक्त मॉडल प्रशिक्षण की आवश्यकता होती है, जिससे जटिलता बढ़ती है और सामान्यीकरण (generalizability) कम होता है।
- सेल्फ-सुपरवाइज्ड मेथड्स: मौजूदा दृष्टिकोण (जैसे GiGPO, IGPO) अक्सर कॉन्टेक्स्ट इनकंसिस्टेंसी, ग्रुपिंग बायस, या प्रतिबंधात्मक संरचनात्मक धारणाओं से ग्रस्त होते हैं।
- ट्री-स्ट्रक्चर्ड मेथड्स: हालांकि प्रभावी हैं, लेकिन मल्टी-टर्न सेटिंग्स में ये उच्च कम्प्यूटेशनल ओवरहेड का कारण बनते हैं।
मुख्य चुनौती: एक ऐसा सुपरविजन-फ्री (supervision-free), स्केलेबल और सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट मेथड चाहिए जो बाहरी एनोटेशन या भारी गणना पर निर्भर रहे बिना, एक्सप्लोरेशन (नए एक्शन आज़माना) और एक्सप्लोइटेशन (ज्ञात अच्छे एक्शन को परिष्कृत करना) के बीच अनुकूल रूप से संतुलन बना सके।

2. कार्यप्रणाली: अडैप्टिव एंट्रॉपी मॉड्यूलेशन (AEM)

लेखक AEM का प्रस्ताव करते हैं, जो एक प्लग-इन एल्गोरिदम है जो रिस्पॉन्स-लेवल एंट्रॉपी डायनेमिक्स के आधार पर RL ट्रेनिंग के दौरान एडवांटेज सिग्नल को मॉड्यूलेट करता है।

सैद्धांतिक आधार (Theoretical Foundation)

लेखक रिस्पॉन्स-लेवल एंट्रॉपी और क्रेडिट असाइनमेंट के बीच एक सैद्धांतिक संबंध स्थापित करते हैं:

रिस्पॉन्स-लेवल एंट्रॉपी ( $H_{resp}$ ): टोकन-लेवल एंट्रॉपी के बजाय, वे एक पूर्ण एजेंट रिस्पॉन्स (एक्शन) के स्तर पर एंट्रॉपी को परिभाषित करते हैं। यह सैंपलिंग वेरिएंस को कम करता है और अनिश्चितता का एक अधिक स्थिर माप प्रदान करता है।
एंट्रॉपी ड्रिफ्ट थ्योरम (Entropy Drift Theorem): वे सिद्ध करते हैं कि ट्रेनिंग के दौरान ग्लोबल एंट्रॉपी में ड्रिफ्ट, एक सैंपलड रिस्पॉन्स के एडवांटेज ( $A$ $A$ ) और उसके रिलेटिव सरप्राइज़ल ( $S - H_{resp}$ $S - H_{r es p}$ ) के बीच की परस्पर क्रिया द्वारा नियंत्रित होता है।
- यदि किसी रिस्पॉन्स का एडवांटेज अधिक है लेकिन रिलेटिव सरप्राइज़ल कम है (वह अपेक्षित था लेकिन अच्छा था), तो एंट्रॉपी कम होनी चाहिए (एक्सप्लोइटेशन)।
- यदि किसी रिस्पॉन्स का नेगेटिव एडवांटेज है लेकिन हाई रिलेटिव सरप्राइज़ल है (वह अप्रत्याशित और बुरा था), तो एंट्रॉपी बढ़नी चाहिए (इस पथ से दूर जाने के लिए एक्सप्लोरेशन को बढ़ावा देना)।
नेचुरल ग्रेडिएंट (Natural Gradient): विश्लेषण पॉलिसी सिम्प्लेक्स के फिशर-राओ (Fisher-Rao) ज्योमेट्री के भीतर किया गया है, जो दर्शाता है कि एंट्रॉपी डायनेमिक्स पॉलिसी अपडेट की दिशा के आंतरिक गुण हैं।

AEM एल्गोरिदम

AEM, स्टैंडर्ड ग्रुप-आधारित RL एस्टिमेटर्स (जैसे GRPO) के ऊपर एक लाइटवेट मॉडिफायर के रूप में कार्य करता है:

अनसर्टेन्टी प्रॉक्सी (Uncertainty Proxy): प्रत्येक रोलआउट ग्रुप में प्रत्येक रिस्पॉन्स के लिए, AEM उस रिस्पॉन्स की औसत टोकन-लेवल एंट्रॉपी का उपयोग करके रिलेटिव सरप्राइज़ल का एक प्रॉक्सी कैलकुलेट करता है।
मॉड्यूलेशन कोएफिशिएंट ( $\alpha$ ):
- रिस्पॉन्स को उनके समूह के भीतर नॉर्मलाइज़ किया जाता है (मिन-मैक्स स्केलिंग)।
- एक टेम्परेचर-स्केल्ड एक्सपोनेंशियल फंक्शन नॉर्मलाइज़्ड एंट्रॉपी को कोएफिशिएंट $\alpha$ में बदल देता है।
- तर्क:
  - लो एंट्रॉपी (हाई कॉन्फिडेंस) $\rightarrow$ $\alpha > 1$ (यदि पॉजिटिव है तो अपवेट, यदि नेगेटिव है तो डाउनवेट)।
  - हाई एंट्रॉपी (लो कॉन्फिडेंस) $\rightarrow$ $\alpha < 1$ (यदि पॉजिटिव है तो डाउनवेट, यदि नेगेटिव है तो अपवेट)।
एडवांटेज रीस्केलिंग: बेस एडवांटेज ( $A_{base}$ ) को रीस्केल किया जाता है: $A_{AEM} = \alpha \cdot A_{base}$ ।
अडैप्टिव ट्रांजिशन:
- प्रारंभिक ट्रेनिंग: नेगेटिव सैंपल्स का प्रभुत्व होता है; AEM एंट्रॉपी-बढ़ाने वाला दबाव प्रेरित करता है ताकि एक्सप्लोरेशन को बढ़ावा मिले।
- देर की ट्रेनिंग: पॉजिटिव सैंपल्स का प्रभुत्व होता है; AEM एंट्रॉपी-घटाने वाला दबाव प्रेरित करता है ताकि कन्वर्जेंस और एक्सप्लोइटेशन को बढ़ावा मिले।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): यह पेपर एजेंटिक RL में रिस्पॉन्स-लेवल एंट्रॉपी डायनेमिक्स का पहला सैद्धांतिक विश्लेषण प्रदान करता है, जो सिद्ध करता है कि लोकल एंट्रॉपी ड्रिफ्ट, एडवांटेज और रिलेटिव सरप्राइज़ल के गुणनफल द्वारा संचालित होता है।
AEM एल्गोरिदम: एक नवीन, सुपरविजन-फ्री क्रेडिट असाइनमेंट मेथड जो किसी अतिरिक्त मॉडल, सघन रिवार्ड्स, या जटिल संरचनात्मक धारणाओं की आवश्यकता नहीं रखता है। यह मौजूदा RL फ्रेमवर्क्स में एक प्लग-इन के रूप में कार्य करता है।
इम्प्लिसिट एक्सप्लोरेशन-एक्सप्लोइटेशन कंट्रोल: AEM पॉजिटिव/नेगेटिव सैंपल्स के विकसित होते संतुलन के आधार पर पॉलिसी को एक्सप्लोरेशन से एक्सप्लोइटेशन की ओर स्वाभाविक रूप से ले जाता है, जिससे हैंड-क्राफ्टेड एंट्रॉपी शेड्यूल्स की आवश्यकता समाप्त हो जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 1.5B से 32B पैरामीटर्स तक के मॉडल्स का उपयोग करके तीन चुनौतीपूर्ण बेंचमार्क्स (ALFWorld, WebShop, SWE-bench-Verified) पर AEM का मूल्यांकन किया।

ALFWorld और WebShop:
- AEM ने लगातार स्टेट-ऑफ-द-आर्ट बेसलाइन्स (GRPO, GSPO, DAPO) में सुधार किया।
- प्रदर्शन लाभ: 1.5B मॉडल्स का उपयोग करके ALFWorld पर 8.8% और WebShop पर 5.6% का पीक गेन हासिल किया।
- स्केलेबिलिटी: सुधार 7B मॉडल्स और विभिन्न RL बैकबोन में सुसंगत थे।
SWE-bench-Verified (वास्तविक दुनिया की सॉफ्टवेयर इंजीनियरिंग):
- इसे DeepSWE (सॉफ्टवेयर एजेंट्स के लिए एक SOTA फ्रेमवर्क) में एकीकृत किया गया।
- परिणाम: अत्यधिक चुनौतीपूर्ण SWE-bench-Verified बेंचमार्क पर सफलता दर को 42.3% से बढ़ाकर 43.7% (+1.4%) कर दिया।
विश्लेषण:
- एंट्रॉपी डायनेमिक्स: प्रयोगों ने पुष्टि की कि AEM प्रीमैच्योर एंट्रॉपी कोलैप्स (एक सामान्य विफलता मोड जहाँ एजेंट्स लोकल ऑप्टिमा में फंस जाते हैं) को रोकता है और ट्रेनिंग के शुरुआती चरणों में उच्च विविधता बनाए रखता है।
- कम्प्यूटेशनल लागत: AEM नगण्य ओवरहेड (~कुल ट्रेनिंग समय का 1.1%) पेश करता है क्योंकि यह स्टैंडर्ड फॉरवर्ड पास से एंट्रॉपी गणनाओं का पुन: उपयोग करता है और इसके लिए किसी अतिरिक्त रोलआउट की आवश्यकता नहीं होती है।

5. महत्व और प्रभाव (Significance and Impact)

पैराडाइम शिफ्ट: यह क्रेडिट असाइनमेंट को एजेंटिक RL में बाहरी पर्यवेक्षण (PRMs) या जटिल संरचनात्मक धारणाओं पर निर्भरता से हटाकर इंट्रिंसिक सिग्नल मॉड्यूलेशन (एंट्रॉपी) की ओर ले जाता है।
दक्षता: यह एक "प्लग-एंड-प्ले" समाधान प्रदान करता है जो प्रशिक्षण लागत बढ़ाए बिना या अतिरिक्त डेटा एनोटेशन की आवश्यकता के बिना प्रदर्शन को काफी बढ़ाता है।
मजबूती (Robustness): विविध डोमेन (टेक्स्ट-आधारित नेविगेशन, ई-कॉमर्स और जटिल सॉफ्टवेयर इंजीनियरिंग) में प्रभावशीलता का प्रदर्शन करता है, जो यह सुझाव देता है कि रिस्पॉन्स-लेवल एंट्रॉपी मल्टी-टर्न एजेंट ऑप्टिमाइजेशन के लिए एक यूनिवर्सल इंडक्टिव बायस है।
व्यावहारिकता: यह विधि विशेष रूप से सॉफ्टवेयर इंजीनियरिंग एजेंट्स जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए मूल्यवान है जहाँ आउटकम रिवार्ड्स स्पार्स होते हैं और मध्यवर्ती पर्यवेक्षण उपलब्ध नहीं होता या उसे जनरेट करना महंगा होता है।

निष्कर्षतः, AEM मल्टी-टर्न एजेंटिक RL में क्रेडिट असाइनमेंट की समस्या को हल करने के लिए एक सैद्धांतिक रूप से ठोस और कम्प्यूटेशनल रूप से कुशल तंत्र प्रदान करता है, जिससे LLM एजेंट्स को केवल परिणाम-आधारित फीडबैक से अधिक प्रभावी ढंग से सीखने में मदद मिलती है।