Right Family, Wrong Skill: Benchmarking Risk Exposure in Agent Skill Retrieval
यह शोधपत्र SameCapRisk-Bench प्रस्तुत करता है, जो एजेंट कौशल पुनर्प्राप्ति (agent skill retrieval) में "समान-क्षमता जोखिम जोखिम" (same-capability risk exposure) का मूल्यांकन करने और उसे कम करने के लिए डिज़ाइन किया गया एक नया बेंचमार्क है, जो यह मापता है कि सिस्टम कितनी बार सहायक कौशलों के हानिकारक सहोदरों (harmful siblings) को पुनर्प्राप्त करता है, और यह प्रदर्शित करता है कि जबकि वर्तमान विधियाँ उच्च रिकॉल प्राप्त करती हैं, वे लक्षित स्कोरिंग और क्लस्टरिंग तंत्रों के साथ उन्नत होने तक अक्सर जोखिम भरे विकल्पों को उजागर करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की उभरती दुनिया में, सॉफ्टवेयर एजेंट हमारे प्रतिनिधि के रूप में कार्य करना सीख रहे हैं। ये डिजिटल सहायक केवल सवालों के जवाब ही नहीं देते; वे काम पूरा करने के लिए विशेष उपकरणों, या "कौशल" (skills) के एक विशाल पुस्तकालय तक पहुँचकर कार्य भी करते हैं। एक ऐसे लाइब्रेरियन की कल्पना करें जो न केवल एक किताब ढूँढ सकता है बल्कि उसे खोल भी सकता है, उसके अंदर दिए गए निर्देशों को पढ़ सकता है, और फिर टूटी हुई कुर्सी को ठीक करने के लिए पाठ में उल्लेखित हथौड़े या कैलकुलेटर का उपयोग कर सकता है। इसके काम करने के लिए, एजेंट को विशिष्ट क्षण के लिए सही उपकरण प्राप्त करना होगा। यदि कार्य एक नाजुक ऑपरेशन का है, तो एजेंट को एक ऐसा कौशल चाहिए जो सटीक और सुरक्षित हो। यदि कार्य मोटा-मोटा और साधारण है, तो उसे एक अलग दृष्टिकोण की आवश्यकता होगी। चुनौती यह है कि ये पुस्तकालय बहुत बड़े और अव्यवस्थित होते जा रहे हैं, जो ऐसे उपकरणों से भरे हैं जो सतह पर बहुत समान दिखते हैं लेकिन अंदर से अलग तरह से व्यवहार करते हैं।
समस्या केवल एक ऐसे उपकरण को खोजने की नहीं है जो प्रासंगिक लगे; बल्कि सही उपकरण के गलत संस्करण को चुनने के जाल से बचना भी है। एक शोधकर्ता को ऐसे कौशल की आवश्यकता हो सकती है जो डेटा को सुरक्षित रूप से संभालता हो, लेकिन पुस्तकालय में लगभग एक जैसा दिखने वाला एक ऐसा कौशल मौजूद हो जो सुरक्षा जाँचों (safety checks) को अनदेखा करता हो। यदि एजेंट गलत वाला चुन लेता है, तो इसके परिणाम विफल कार्य से लेकर एक खतरनाक त्रुटि तक हो सकते हैं। यह विशिष्ट विफलता—उपकरणों के सही परिवार को खोजना लेकिन उस परिवार से गलत प्रतिनिधि को चुनना—अब तक मापने में कठिन रही है। हुआवेई टेक्नोलॉजीज और टोंगजी यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस खतरे का मानचित्रण करने के लिए एक नया तरीका तैयार किया है, जिससे यह परीक्षण किया जा सके कि एजेंट मददगार उपकरणों और उनके जोखिम भरे हमशक्ल के बीच अंतर करने में कितने सक्षम हैं।
शोधकर्ताओं ने 'सेमकैप-रिस्क-बेंच' (SameCapRisk-Bench) नामक एक परीक्षण स्थल बनाया, जो इस विशिष्ट प्रकार की गलती को पकड़ने के लिए डिज़ाइन किया गया एक नियंत्रित वातावरण है। उन्होंने 1,100 से अधिक परीक्षण मामले बनाए जहाँ एक एजेंट को एक समस्या हल करने के लिए कहा जाता है। प्रत्येक समस्या के लिए, एक आदर्श कौशल है जो काम के अनुकूल है और एक "जोखिम भरा जुड़वाँ" (risky sibling)—एक ऐसा उपकरण है जो उसी श्रेणी का है लेकिन उसमें एक छिपा हुआ दोष है, जैसे कि सुरक्षा जाँच का गायब होना या गलत संसाधन का उपयोग करना। लक्ष्य यह देखना था कि क्या एजेंट की रिट्रीवल प्रणाली (retrieval system) खतरनाक जुड़वाँ को अनदेखा करते हुए सटीक कौशल को चुन पाती है। इस परीक्षण में दो प्रकार की चुनौतियाँ शामिल थीं। पहली चुनौती में हजारों कौशलों का एक बड़ा, सार्वजनिक पुस्तकालय शामिल था ताकि यह देखा जा सके कि क्या एजेंट इतने सारे विकर्षणों के बीच सही कौशल ढूँढ सकता है। दूसरी, एक कठिन परीक्षण था जहाँ दोनों कौशलों की भूमिकाएँ बदल दी गईं: एक परिदृश्य में मददगार होने वाला उपकरण दूसरे थोड़े अलग परिदृश्य में जोखिम भरा बन गया, जिससे सिस्टम को केवल सामान्य विषय पर ध्यान देने के बजाय अनुरोध के विशिष्ट विवरणों पर ध्यान देने के लिए मजबूर होना पड़ा।
जब शोधकर्ताओं ने अपने परीक्षण चलाए, तो उन्होंने पाया कि वर्तमान प्रणालियाँ उपकरणों की सही सामान्य श्रेणी खोजने में काफी अच्छी हैं, लेकिन अक्सर सुरक्षित संस्करण चुनने में विफल रहती हैं। मानक सार्वजनिक रिट्रीवल सिस्टम का उपयोग करते हुए, एजेंटों ने लगभग 90 प्रतिशत मामलों में मददगार कौशल को सफलतापूर्वक खोज लिया। हालाँकि, उन सफल मामलों में से लगभग 35 से 37 प्रतिशत में, सिस्टम ने जोखिम भरे जुड़वाँ को भी शीर्ष परिणामों में शामिल कर लिया। इसका अर्थ है कि भले ही एजेंट उपकरणों के सही परिवार को खोज लेता है, वह अक्सर गलत प्रतिनिधि के संपर्क में आ जाता है। शोधकर्ताओं ने इसे एक मीट्रिक के माध्यम से मापा जिसे वे 'हार्मफुल सिबलिंग रेट' (harmful sibling rate) कहते हैं, जो यह ट्रैक करता है कि खतरनाक हमशक्ल कितनी बार अंतिम विकल्पों की सूची में दिखाई देता है। डेटा ने दिखाया कि जबकि सिस्टम रिकॉल (सही उपकरण ढूँढने) में उत्कृष्ट थे, वे असुरक्षित वाले को फ़िल्टर करने में अच्छे नहीं थे।
इसे हल करने के लिए, टीम ने एक नया दृष्टिकोण परीक्षण किया जो प्रक्रिया को दो चरणों में अलग करता है। पहले, सिस्टम पहचानता है कि कौन से उपकरण एक ही परिवार के अंतर्गत आते हैं। दूसरा, यह अंतिम परिणामों को रैंक करने से पहले उस परिवार से केवल एक प्रतिनिधि चुनने के लिए एक विशिष्ट निर्णय लेता है। जब उन्होंने इस पद्धति को लागू किया, तो परिणाम नाटकीय रूप से बदल गए। सिस्टम अभी भी उच्च दर पर मददगार कौशल को खोज रहा था, लेकिन अनजाने में जोखिम भरे जुड़वाँ को शामिल करने की संख्या 30 प्रतिशत से अधिक से गिरकर सर्वोत्तम मामलों में 1 प्रतिशत से भी कम हो गई। इसने सिद्ध कर दिया कि विफलता सही विषय को खोजने में नहीं, बल्कि उस विशिष्ट उपकरण के उपयोग के अंतिम निर्णय में थी। अध्ययन बताता है कि केवल प्रासंगिक उपकरणों की सूची बनाना पर्याप्त नहीं है; सिस्टम को सक्रिय रूप से यह निर्णय लेना चाहिए कि वर्तमान कार्य के लिए उपकरण का कौन सा संस्करण सुरक्षित है।
ये निष्कर्ष इस बात पर प्रकाश डालते हैं कि वर्तमान में AI एजेंटों को कैसे बनाया जा रहा है, वहाँ एक महत्वपूर्ण अंतर है। अधिकांश प्रणालियाँ उपयोगकर्ता के प्रश्न को सही विषय से मिलाने पर ध्यान केंद्रित करती हैं, यह मानकर कि यदि विषय सही है, तो उपकरण सुरक्षित है। यह पेपर दर्शाता है कि वह धारणा त्रुटिपूर्ण है। दो उपकरणों का नाम और विवरण समान हो सकता है लेकिन उनके संचालन के नियम अलग हो सकते हैं। एक को चलाने के लिए विशिष्ट अनुमति की आवश्यकता हो सकती है, जबकि दूसरे को नहीं। यदि एजेंट बिना अनुमति जाँच वाले को चुनता है, तो यह क्रैश हो सकता है या अप्रत्याशित व्यवहार कर सकता है। शोधकर्ताओं ने दिखाया कि इन पारिवारिक संघर्षों को हल करने के लिए एक चरण जोड़कर—अनिवार्य रूप से यह पूछकर कि, "इन समान उपकरणों में से वास्तव में इस विशिष्ट अनुरोध के लिए सही कौन सा है?"—जोखिम का स्तर काफी कम हो जाता है, बिना सही उपकरण खोजने की क्षमता को कम किए।
यह कार्य यह दावा नहीं करता है कि इसने AI में सभी सुरक्षा समस्याओं को हल कर दिया है, न ही यह सुझाव देता है कि पुस्तकालय में प्रत्येक उपकरण खतरनाक है। इसके बजाय, यह एक विशिष्ट, अनदेखे जोखिम के लिए एक स्पष्ट माप प्रदान करता है। शोधकर्ताओं ने पाया कि भले ही सबसे उन्नत सार्वजनिक प्रणालियाँ भी इस अंतर को समझने में संघर्ष करती हैं, और अक्सर सही परिवार मिलने पर भी एक तिहाई से अधिक मामलों में गलत संस्करण को सामने ला देती हैं। हालाँकि, उन्होंने यह भी दिखाया कि यह एक समाधान योग्य समस्या है। एक विशिष्ट उपकरण के चयन को सामान्य विषय के चयन से एक अलग निर्णय मानकर, डेवलपर्स ऐसे सिस्टम बना सकते हैं जो सक्षम और सावधान दोनों हों। अध्ययन निष्कर्ष निकालता है कि AI एजेंटों के भविष्य के बेंचमार्क को न केवल यह नहीं मापना चाहिए कि सही उपकरण पाया गया या नहीं, बल्कि यह भी कि क्या गलत, जोखिम भरे संस्करण को अंतिम चयन से बाहर रखा गया। यह फोकस का बदलाव अधिक विश्वसनीय एजेंट बनाने की ओर ले जा सकता है जो न केवल यह समझते हैं कि उन्हें क्या करने की आवश्यकता है, बल्कि यह भी कि उन्हें इसे सुरक्षित रूप से बिल्कुल कैसे करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।