STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models
STEP-VERIFIER एक प्रोसेस रिवॉर्ड मॉडल है जो स्वचालित रूप से संश्लेषित युग्मवार (pairwise) तुलनाओं के माध्यम से व्यक्तिगत एजेंट कार्यों को सत्यापित करना सीखता है, जो प्रशिक्षण के दौरान सघन मध्यवर्ती फीडबैक प्रदान करके जटिल टूल-उपयोग कार्यों पर एजेंट के प्रदर्शन में महत्वपूर्ण सुधार करता है, जिसके लिए परिनियोजन (deployment) के दौरान सत्यापनकर्ता पर निर्भरता की आवश्यकता नहीं होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, प्रोग्रामों का एक बढ़ता हुआ वर्ग है जिन्हें 'एजेंट्स' के रूप में जाना जाता है। एक मानक चैटबॉट के विपरीत जो केवल एक प्रश्न का उत्तर देता है, एक एजेंट को कार्य करने के लिए डिज़ाइन किया गया है। यह जटिल समस्याओं को हल करने के लिए वेब ब्राउज़ कर सकता है, बाहरी टूल्स को कॉल कर सकता है, या फाइलों में हेरफेर कर सकता है। यह सीखने के लिए कि यह कैसे किया जाए, इन एजेंटों को अक्सर 'ट्रायल एंड एरर' (प्रयास और त्रुटि) जैसी प्रक्रिया के माध्यम से प्रशिक्षित किया जाता है। वे एक कार्य करने का प्रयास करते हैं, और यदि वे अंत में सफल होते हैं, तो उन्हें पुरस्कृत किया जाता है। यदि वे विफल होते हैं, तो नहीं। यह सरल कार्यों के लिए अच्छा काम करता है, लेकिन दर्जनों चरणों वाले लंबे, जटिल मिशनों के लिए, यह एक महत्वपूर्ण 'ब्लाइंड स्पॉट' (अंधा बिंदु) बनाता है। एजेंट केवल अंतिम परिणाम जानता है, यह नहीं कि किस विशिष्ट चरण ने विफलता का कारण बनी। प्रक्रिया के शुरुआती हिस्से में किया गया एक गलत कदम पूरे प्रयास को बर्बाद कर सकता है, फिर भी सीखने की प्रणाली उस विफलता को उसी तरह मानती है जैसे कि वह प्रयास जिसमें हर एक चरण पर गलती हुई हो। विवरण की इस कमी के कारण एजेंट के लिए अपनी गलतियों से कुशलतापूर्वक सीखना कठिन हो जाता है।
हांगकांग विश्वविद्यालय और शाओमी (Xiaomi) के शोधकर्ताओं ने इस समस्या को हल करने के लिए एक नई विधि विकसित की है, जिसे STEP-VERIFIER कहा जाता है। एजेंट के प्रदर्शन का मूल्यांकन करने के लिए कार्य के अंत तक प्रतीक्षा करने के बजाय, यह प्रणाली प्रत्येक व्यक्तिगत क्रिया की गुणवत्ता का मूल्यांकन करते हुए उसे सीखती है। नवाचार इस बात में निहित है कि यह बिना किसी मानव शिक्षक के प्रत्येक चरण को ग्रेड दिए बिना यह कैसे सीखता है। टीम ने महसूस किया कि वे आवश्यक फीडबैक उत्पन्न करने के लिए एजेंट के अपने पिछले प्रयासों का उपयोग कर सकते हैं। जब एक एजेंट एक ही समस्या को कई बार हल करने का प्रयास करता है, तो वह अक्सर अलग-अलग दिशाओं में मुड़ने से पहले पहले कुछ चरणों के लिए एक ही पथ का अनुसरण करता है। इन विभिन्न शाखाओं के अंतिम परिणामों की तुलना करके, सिस्टम यह निष्कर्ष निकाल सकता है कि कौन सा प्रारंभिक चुनाव बेहतर था। यदि एक पथ सफलता की ओर ले जाता है और दूसरा विफलता की ओर, तो सिस्टम सीखता है कि वह निर्णय बिंदु जहाँ वे अलग हुए थे, अत्यंत महत्वपूर्ण था।
शोधकर्ताओं ने एक अलग "वेरिफायर" (सत्यापनकर्ता) मॉडल बनाया है जो इन व्यक्तिगत चरणों के लिए एक निर्णायक के रूप में कार्य करता है। उन्होंने इस वेरिफायर को लॉग किए गए इंटरैक्शन के एक विशाल संग्रह का उपयोग करके प्रशिक्षित किया, जहाँ प्रत्येक प्रयास को या तो सफलता या विफलता के रूप में चिह्नित किया गया था। सिस्टम उन क्षणों की तलाश करता है जहाँ दो अलग-अलग प्रयासों का इतिहास एक निश्चित बिंदु तक समान था, लेकिन फिर उन्होंने अलग-अलग क्रियाएं कीं। यह तुलना बनाने के लिए उनके अंतिम सफलता दर के अंतर की गणना करता है। उदाहरण के लिए, यदि एक क्रिया ने 80% बार सफल परिणाम दिया और दूसरी क्रिया ने सफलता केवल 20% बार दी, तो वेरिफायर पहले क्रिया को उच्च स्कोर देने के लिए सीखता है। यह प्रक्रिया फीडबैक की एक सघन धारा बनाती है, जो एजेंट को ठीक से बताती है कि कौन सी चालें अच्छी थीं और कौन सी खराब, कार्य पूरा होने से बहुत पहले।
महत्वपूर्ण रूप से, इस वेरिफायर का उपयोग केवल प्रशिक्षण चरण के दौरान किया जाता है। शोधकर्ताओं ने एक ऐसा शेड्यूल डिज़ाइन किया है जहाँ वेरिफायर का प्रभाव शुरुआत में सबसे अधिक होता है, जब एजेंट कई रैंडम अनुमान लगा रहा होता है और अंतिम परिणाम शोर (noisy) वाले होते हैं। जैसे-जैसे एजेंट बेहतर होता जाता है और उसके अपने अंतिम परिणाम अधिक विश्वसनीय होते जाते हैं, वेरिफायर के फीडबैक को धीरे-धीरे कम कर दिया जाता है जब तक कि वह पूरी तरह से समाप्त न हो जाए। यह सुनिश्चित करता है कि अंतिम, तैनात एजेंट को कार्य करने के लिए वेरिफायर की आवश्यकता नहीं होती; उसने पाठों को आत्मसात कर लिया है और स्वतंत्र रूप से कार्य कर सकता है। वेब ब्राउजिंग, टूल उपयोग और मल्टी-स्टेप प्लानिंग से जुड़े तीन अलग-अलग बेंचमार्क पर परीक्षण किए जाने पर, इस दृष्टिकोण ने अंतिम स्कोर पर निर्भर रहने वाली विधियों की तुलना में काफी बेहतर प्रदर्शन किया। एजेंट तेजी से सीखा और कम गलतियाँ कीं।
अध्ययन ने इस नई विधि की तुलना मध्यवर्ती चरणों के निर्णय लेने के अन्य तरीकों से भी की। कुछ पिछले दृष्टिकोणों ने प्रत्येक चरण के लिए सरल हाँ-या-ना लेबल का उपयोग किया, जबकि अन्यों ने पूरे प्रयास को एक एकल इकाई के रूप में स्कोर करने का प्रयास किया। STEP-VERIFIER दृष्टिकोण, जो क्रियाओं के जोड़े की तुलना करने के लिए अधिक सूक्ष्म रैंकिंग प्रणाली का उपयोग करता है, सबसे प्रभावी साबित हुआ। इसके स्कोर मानवीय निर्णयों के साथ बहुत अधिक मेल खाते थे कि एक अच्छा चरण कैसा दिखता है। वास्तव में, जब मनुष्यों ने एजेंट की क्रियाओं की समीक्षा की, तो वे वेरिफायर के मूल्यांकन के साथ लगभग 81.5% बार सहमत थे, जो अन्य स्वचालित विधियों की तुलना में बहुत अधिक दर है। यह सुझाव देता है कि सिस्टम ने जटिल कार्यों को नेविगेट करने के लिए आवश्यक सूक्ष्म तर्क को सफलतापूर्वक पकड़ लिया है।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह है कि यह प्रणाली बिना किसी अतिरिक्त मानवीय प्रयास या नए डेटा संग्रह के काम करती है। यह पूरी तरह से उस डेटा पर निर्भर है जो मानक प्रशिक्षण के दौरान पहले से ही उत्पन्न होता है। शोधकर्ताओं ने पाया कि सिस्टम स्वाभाविक रूप से उन चरणों पर ध्यान केंद्रित करता है जहाँ एजेंट अपना सबसे अधिक समय बिताता है, क्योंकि वहाँ तुलना करने के लिए उसके पास सबसे अधिक डेटा होता है। हालाँकि, उन्होंने एक सीमा भी नोट की: बहुत कठिन चरणों के लिए जिन्हें एजेंट शायद ही कभी आजमाता है, विश्वसनीय निर्णय लेने के लिए पर्याप्त डेटा नहीं है। उन दुर्लभ मामलों में, सिस्टम कम सूचित होता है। इस सीमा के बावजूद, यह विधि एजेंटों को उनकी अपनी क्रियाओं के बारे में आलोचनात्मक रूप से सोचने के लिए सिखाने की दिशा में एक महत्वपूर्ण कदम है। एजेंट के अपने इतिहास को एक शिक्षक में बदलकर, शोधकर्ताओं ने एक ऐसा तरीका बनाया है जिससे ये सिस्टम वास्तविक समय में अपनी गलतियों से सीख सकते हैं, जिससे अधिक सक्षम और विश्वसनीय आर्टिफिशियल इंटेलिजेंस का निर्माण होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।