Agentic Reinforcement Learning with Self-Distilled Reward Shaping
यह शोध पत्र एजेंटिक रिइन्फोर्समेंट लर्निंग विद सेल्फ-डिस्टिल्ड रिवॉर्ड शेपिंग (ADRS) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो स्व-निर्मित (self-distilled), विशेषाधिकार प्राप्त कौशल संकेतों के माध्यम से रिटर्न-संबद्ध टोकन-स्तरीय क्रेडिट उत्पन्न करके, जिन्हें शिक्षक के आत्मविश्वास और प्राप्त रिटर्न द्वारा संयुक्त रूप से कैलिब्रेट और गेट किया जाता है, दीर्घ-अवधि वाले भाषा एजेंट के प्रदर्शन को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक विशाल, बिखरे हुए घर में एक विशिष्ट वस्तु, जैसे कि चाय का एक गर्म कप, खोजने के लिए नेविगेट करना सिखा रहे हैं। आप केवल तभी रोबोट को "अच्छा काम किया!" नहीं कह सकते जब वह अंततः चाय खोज ले। यदि आप उस समय तक प्रतीक्षा करते हैं, तो रोबोट को यह पता नहीं चलेगा कि कौन से विशिष्ट कदम मददगार थे—क्या उसने सही दरवाजा खोला? क्या उसने सही मग उठाया? या वह बस भाग्यशाली होने से पहले दस मिनट तक इधर-उधर भटकता रहा? यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) की मूल पहेली है: आप उन छोटे, मध्यवर्ती निर्णयों को श्रेय कैसे देते हैं जो एक बड़ी सफलता की ओर ले जाते हैं, विशेष रूप से तब जब अंतिम पुरस्कार दुर्लभ और दूर होता है?
इसे हल करने के लिए, वैज्ञानिक अक्सर सेल्फ-डिस्टिलेशन (Self-Distillation) नामक एक ट्रिक का उपयोग करते हैं। इसे ऐसे समझें जैसे एक छात्र परीक्षा दे रहा है, और उसके तुरंत बाद, वही छात्र अपने ही उत्तरों को ग्रेड करने के लिए एक सख्त शिक्षक के रूप में कार्य करता है। "शिक्षक" वाले संस्करण के पास एक विशेष संदर्भ पत्रक (जिसे "प्रिविलेज्ड इन्फॉर्मेशन" कहा जाता है) होता है जिसे छात्र के पास परीक्षा देते समय नहीं था। शिक्षक द्वारा किए गए कार्यों की तुलना उस चीज़ से करके जो शिक्षक ने संदर्भ पत्रक के साथ किया होता, हम यह पता लगा सकते हैं कि कौन सी चालें समझदारी भरी थीं और कौन सी केवल भाग्य की बात थीं। हालाँकि, इसमें एक पेच है: सिर्फ इसलिए कि शिक्षक को लगता है कि एक उत्तर "अच्छा" है, इसका मतलब यह नहीं है कि वह वास्तव में सही परिणाम की ओर ले गया। शिक्षक किसी चीज़ के बारे में बहुत आश्वस्त हो सकता है लेकिन गलत हो सकता है, या गलत चीज़ के बारे में आश्वस्त हो सकता है।
यह यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी ऑफ चाइना और अलीबाबा ग्रुप के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन की ओर ले जाता है। उन्होंने इस समस्या पर काम किया कि उस "शिक्षक के आत्मविश्वास" को रोबोट के अगले कदम के लिए एक विश्वसनीय मार्गदर्शक में कैसे बदला जाए, बिना रोबोट को वास्तविक खेल के दौरान संदर्भ पत्रक का उपयोग करने दिए। वे अपने नए तरीके को ADRS (एजेंटिक रीइन्फोर्समेंट लर्निंग विद सेल्फ-डिस्टिल्ड रिवॉर्ड शेपिंग) कहते हैं।
शोधकर्ताओं ने पाया कि केवल शिक्षक के स्कोर की नकल करना काम नहीं करता क्योंकि शिक्षक का आत्मविश्वास भ्रामक हो सकता है। कभी-कभी शिक्षक एक ऐसी चाल के बारे में बहुत सुनिश्चित होता है जो विफलता की ओर ले जाती है, या सफलता की ओर ले जाने वाली चाल के बारे में अनिश्चित होता है। इसे ठीक करने के लिए, ADRS एक स्मार्ट फिल्टर की तरह कार्य करता है। सबसे पहले, यह कार्य के विभिन्न हिस्सों में तुलना करने के लिए निष्पक्ष बनाने हेतु शिक्षक के स्कोर को सामान्य (normalize) करता है। फिर, यह जाँचता है कि क्या शिक्षक का आत्मविश्वास वास्तव में अंतिम परिणाम से मेल खाता है (क्या आश्वस्त चाल जीत की ओर ले गई?)। यदि आत्मविश्वास और परिणाम सहमत हैं, तो यह उस चाल के स्कोर को बढ़ा देता है; यदि वे असहमत हैं, तो यह सिग्नल को कम कर देता है। अंत में, यह इस परिष्कृत सिग्नल को सीधे रोबोट की सीखने की प्रक्रिया में इंजेक्ट करता है, इससे पहले कि रोबोट अगला निर्णय ले।
परिणाम बताते हैं कि यह विधि काफी प्रभावी है। जब तीन अलग-अलग चुनौतीपूर्ण कार्यों—एक आभासी घर में नेविगेट करने, एक सिम्युलेटेड वेबसाइट पर खरीदारी करने और ऑनलाइन उत्तर खोजने—पर परीक्षण किया गया, तो ADRS ने AI एजेंटों को लगातार बेहतर प्रदर्शन करने में मदद की, विशेष रूप से लंबे, जटिल कार्यों पर। उदाहरण के लिए, घर-नेविगेशन कार्य पर, इस पद्धति ने एक विशिष्ट AI मॉडल को 94.5% सफलता दर प्राप्त करने में मदद की, जो पिछले सर्वोत्तम प्रयासों से काफी आगे है। अध्ययन ने यह भी दिखाया कि AI ने इन कौशलों को सामान्य से कम प्रशिक्षण डेटा का उपयोग करके सीखा और यह अभी भी अच्छा प्रदर्शन कर सकता था जब कार्य थोड़े अलग या कठिन हो गए। महत्वपूर्ण रूप से, शोधकर्ताओं ने प्रदर्शित किया कि AI को वास्तविक खेल के दौरान "संदर्भ पत्रक" की आवश्यकता नहीं थी; इसे केवल प्रशिक्षण चरण के दौरान यह सीखने के लिए आवश्यकता थी कि अपने आप बेहतर निर्णय कैसे लिया जाए। यह सुझाव देता है कि वास्तविक दुनिया के परिणामों के आधार पर एक "शिक्षक" की राय पर हम कितना भरोसा करते हैं, उसे सावधानीपूर्वक कैलिब्रेट करके, हम AI एजेंटों को जटिल, बहु-चरणीय समस्याओं को हल करने के लिए बहुत अधिक विश्वसनीय और कुशल बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।