Coalition-Aware Skill Reliability for Self-Evolving Agents
यह शोध पत्र गठबंधन प्रदूषण (coalition pollution) और क्रॉस-डोमेन उपयोगिता उत्क्रमण (cross-domain utility reversal) को प्रमुख विफलता मोड के रूप में पहचानकर स्व-विकसित (self-evolving) एलएलएम एजेंटों में संचित कौशल की अनसुलझी विश्वसनीयता को संबोधित करता है, और कार्य प्रदर्शन एवं सामान्यीकरण को बढ़ाने के लिए विश्वसनीयता-जागरूक कौशल प्रबंधन के माध्यम से गठबंधन-जागरूक कौशल चयन (Coalition-Aware Skill Selection - CASS) और अनसुपरवाइज्ड स्किल-मास्क्ड कोलिशन ऑप्टिमाइज़र (Unsupervised Skill-Masked Coalition Optimizer - u-SMCO) का प्रस्ताव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक डिजिटल सहायक की कल्पना करें जो अपनी गलतियों और सफलताओं से सीखता है, और नई समस्याओं को हल करने के लिए "कौशल" (skills) का एक व्यक्तिगत पुस्तकालय बनाता है। ये कौशल केवल इस बात की कच्ची यादें नहीं हैं कि क्या हुआ था, बल्कि परिष्कृत, पुन: प्रयोज्य निर्देश हैं—जैसे कि एक शेफ प्याज काटने की एक विशिष्ट तकनीक सीखता है जिसे किसी भी रेसिपी में लागू किया जा सकता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता बड़े भाषा मॉडल (large language models) को बिल्कुल यही करने के लिए सिखा रहे हैं: अनुभवों को इकट्ठा करना, उन्हें संरचित उपकरणों में बदलना, और उन्हें बाद में उपयोग करने के लिए एक "स्किल बैंक" में संग्रहीत करना। उम्मीद यह है कि जैसे-जैसे एजेंट अधिक कौशल संचित करता है, वह अधिक स्मार्ट और सक्षम होता जाता है, ठीक उसी तरह जैसे एक मानव विशेषज्ञ वर्षों के अभ्यास के साथ बेहतर होता है।
हालाँकि, एक मौलिक प्रश्न अनुत्तरित रह गया है: क्या कौशल का एक बड़ा पुस्तकालय होने से वास्तव में एजेंट बेहतर बनता है? या क्या एजेंट ऐसे उपकरण जमा कर रहा है जो कुछ स्थितियों में बेकार या यहाँ तक कि हानिकारक भी हो सकते हैं? चीनी एकेडमी ऑफ साइंसेज और यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी ऑफ चाइना सहित कई संस्थानों के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन में इसी सटीक मुद्दे की जांच की गई है। उन्होंने पाया कि एजेंट की स्मृति में केवल अधिक कौशल जोड़ने से सुधार की गारंटी नहीं मिलती है। वास्तव में, कौशल आपस में कैसे काम करते हैं, यह पहले की तुलना में कहीं अधिक जटिल है, और मौजूदा तरीके जो यह तय करने के लिए उपयोग किए जाते हैं कि किन कौशलों को रखना है, वे अक्सर छिपी हुई समस्याओं के प्रति अंधे होते हैं।
शोधकर्ताओं ने सबसे पहले इस बात की जांच की कि ये स्व-विकसित (self-evolving) एजेंट यह निर्णय कैसे लेते हैं कि क्या किसी नए कौशल को अपने बैंक में स्वीकार किया जाए। आमतौर पर, एक एजेंट एक नया कौशल आज़माता है, देखता है कि क्या समग्र प्रदर्शन में सुधार होता है, और यदि स्कोर थोड़ा भी बढ़ जाता है, तो उस कौशल को रख लिया जाता है। टीम ने महसूस किया कि यह दृष्टिकोण त्रुटिपूर्ण है क्योंकि यह केवल अंतिम स्कोर को देखता है, और यह अनदेखा कर देता है कि नया कौशल मौजूदा कौशलों के साथ कैसे परस्पर क्रिया (interact) करता है। उन्होंने पाया कि एक नया कौशल इसलिए स्वीकार किया जा सकता है क्योंकि समग्र स्कोर में सुधार हुआ है, लेकिन वह सुधार वास्तव में एक पुराने, विश्वसनीय कौशल के कारण हो सकता है जो उसी समय बैंक में मौजूद है। नया कौशल स्वयं कुछ भी योगदान नहीं दे सकता, या वास्तव में प्रदर्शन को नीचे खींच सकता है, लेकिन उसका नकारात्मक प्रभाव उसके साथियों की सफलता द्वारा छिपा लिया जाता है। शोधकर्ता इसे "कोलिशन पॉल्यूशन" (coalition pollution) कहते हैं। यह एक ऐसी टीम की तरह है जहाँ एक नए सदस्य को इसलिए नियुक्त किया जाता है क्योंकि टीम का कुल आउटपुट बढ़ गया है, यह समझे बिना कि नए सदस्य ने कुछ नहीं किया, और उछाल पूरी तरह से एक मौजूदा सहकर्मी की वजह से आया जो पहले से ही कड़ी मेहनत कर रहा था। नए व्यक्ति को रखा जाता है, जो टीम को एक ऐसे सदस्य के साथ प्रदूषित करता है जो कोई मूल्य नहीं जोड़ता और बाद में घर्षण भी पैदा कर सकता है।
अध्ययन में एक दूसरी समस्या भी सामने आई जो तब होती है जब एक एजेंट एक प्रकार के कार्य से दूसरे प्रकार के कार्य पर जाता है। एक एजेंट एक ऐसा कौशल सीख सकता है जो एक स्रोत वातावरण (source environment) में पूरी तरह से काम करता है, जैसे लंबी कहानियों के बारे में प्रश्नों के उत्तर देना, और फिर वही कौशल एक नए वातावरण में ले जाता है, जैसे तर्क पहेलियों (logic puzzles) को हल करना। शोधकर्ताओं ने पाया कि जो कौशल पहले परिवेश में सहायक होते हैं, वे दूसरे परिवेश में हानिकारक हो सकते हैं। वे इसे "क्रॉस-डोमेन यूटिलिटी रिवर्सल" (cross-domain utility reversal) कहते हैं। एक उपकरण जो एक शेफ को कुशलतापूर्वक सब्जियां काटने में मदद करता है, वह एक नाजुक घड़ी को जोड़ने के लिए उसी काटने की गति का उपयोग करने पर आपदा बन सकता है। हालाँकि, एजेंट को यह पता नहीं होता; वह यह मान लेता है कि क्योंकि यह कौशल पहले काम आया था, इसलिए यह फिर से काम करेगा। अध्ययन ने दिखाया कि हस्तक्षेप के बिना, एजेंट इन हानिकारक कौशलों को नए डोमेन में ले जाते हैं, जहाँ वे प्रदर्शन को सक्रिय रूप से कम कर देते हैं।
इन समस्याओं को ठीक करने के लिए, टीम ने दो नए तरीके विकसित किए। पहला, जो कोलिशन पॉल्यूशन को रोकने के लिए डिज़ाइन किया गया है, एजेंट के नए कौशल को रखने के निर्णय लेने के तरीके को बदल देता है। केवल अंतिम स्कोर देखने के बजाय, नया तरीका मौजूदा कौशलों के कई विभिन्न संयोजनों के विरुद्ध नए कौशल का परीक्षण करता है। यह पूछता है: "क्या यह कौशल कौशल A के साथ जुड़ने पर मदद करता है? क्या यह कौशल B के साथ जुड़ने पर मदद करता है?" इन परिणामों का औसत निकालकर, सिस्टम यह बता सकता है कि क्या कौशल वास्तव में उपयोगी है या यह केवल दूसरों की सफलता का लाभ उठा रहा है। यह सुनिश्चित करता है कि केवल वे कौशल ही बैंक में जोड़े जाएं जो वास्तव में टीम की सफलता में योगदान देते हैं।
दूसरा तरीका इस समस्या को संबोधित करता है कि कौशल नए वातावरण में हानिकारक क्यों हो जाते हैं। चूंकि एजेंटों के पास लेबल किया गया डेटा (labeled data) नहीं होता जिससे यह पता चल सके कि एक कौशल नए डोमेन में काम कर रहा है या नहीं, इसलिए शोधकर्ताओं ने बिना उत्तरों की आवश्यकता के कौशलों का परीक्षण करने का एक तरीका बनाया। वे जानकारी खोजने की एजेंट की अपनी क्षमता का उपयोग एक परीक्षण के रूप में करते हैं। यदि किसी विशिष्ट कौशल को हटाने से एजेंट नए वातावरण में सही जानकारी खोजने में बेहतर हो जाता है, तो वह कौशल संभवतः हानिकारक है और उसे मास्क (mask) कर दिया जाता है या बंद कर दिया जाता है। यह एजेंट को बिना किसी शिक्षक के मार्गदर्शन के, पूरी तरह से नए क्षेत्र की खोज करते हुए भी, अपने कौशलों के पुस्तकालय को स्वचालित रूप से साफ करने की अनुमति देता है।
शोधकर्ताओं ने जटिल पठन समझ कार्यों से लेकर आभासी दुनिया में सिम्युलेटेड रोबोट नेविगेशन तक, चार अलग-अलग बेंचमार्क पर इन तरीकों का परीक्षण किया। हर मामले में, नए तरीकों का उपयोग करने वाले एजेंटों ने मानक तकनीकों का उपयोग करने वालों की तुलना में बेहतर प्रदर्शन किया। उन्होंने अधिक कार्यों को सही ढंग से हल किया और अपने कौशलों को नई स्थितियों में अधिक प्रभावी ढंग से सामान्यीकृत (generalize) किया। अध्ययन ने यह भी दिखाया कि कौशलों के बीच कैसे काम करते हैं, इस पर ध्यान केंद्रित करके, एजेंट अपने प्रशिक्षण स्कोर के यादृच्छिक उतार-चढ़ाव के प्रति कम संवेदनशील हो गए, जिससे अधिक स्थिर शिक्षण हुआ।
इस कार्य का मुख्य निष्कर्ष यह है कि एक कौशल की विश्वसनीयता स्वयं कौशल का अंतर्निहित गुण नहीं है। एक कौशल केवल "अच्छा" या "बुरा" नहीं होता। उसका मूल्य पूरी तरह से इस बात पर निर्भर करता है कि वह स्किल बैंक में किन लोगों के साथ है और उसका उपयोग किस विशिष्ट वातावरण में किया जा रहा है। एक कौशल जो एक संदर्भ में नायक है, वह दूसरे में खलनायक हो सकता है, और एक कौशल जो अकेले होने पर बेकार लगता है, वह सही साथियों के साथ जुड़ने पर आवश्यक हो सकता है। कौशलों को अलग-थलग उपकरणों के बजाय एक टीम के रूप में कार्य करते हुए पहचानकर, शोधकर्ताओं ने एजेंट बनाने का एक तरीका प्रदान किया है जो न केवल स्मार्ट हैं, बल्कि अधिक भरोसेमंद और अनुकूलन योग्य भी हैं। यह दृष्टिकोण केवल अधिक डेटा एकत्र करने से हटकर उन जटिल संबंधों को समझने की ओर बढ़ता है जो सीखने को वास्तव में प्रभावी बनाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।