Mutation Testing of Task-Scoped State Oracles in Software-Agent Benchmarks: A Cross-Benchmark Empirical Study
यह शोध पत्र एक नियतात्मक म्यूटेशन-टेस्टिंग प्रोटोकॉल प्रस्तुत करता है जो यह प्रकट करता है कि स्टेट-स्कोपेड ओरेकल (state-scoped oracles) सॉफ्टवेयर-एजेंट बेंचमार्क में हानिकारक स्टेट फॉल्ट्स और सौम्य स्कीमा विविधताओं को प्रभावी ढंग से अस्वीकार करते हैं, जबकि टूलसैंडबॉक्स (ToolSandbox) में विशिष्ट फॉल्स नेगेटिव की पहचान करते हैं जहाँ इवैल्यूएटर्स बिना बदले हुए स्कोर के अनपेक्षित निरंतर साइड इफेक्ट्स का पता लगाने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, सॉफ्टवेयर एजेंट तेजी से स्वायत्त सहायकों के रूप में कार्य कर रहे हैं जो केवल प्रश्न पूछने से कहीं अधिक करते हैं; वे चीजों को बदलकर दुनिया के साथ अंतःक्रिया करते हैं। ये एजेंट ऑर्डर दे सकते हैं, संपर्क सूचियों को अपडेट कर सकते हैं, सेटिंग्स बदल सकते हैं और फाइलों को संपादित कर सकते हैं, जिससे उनके पीछे स्थायी परिवर्तनों का एक निशान छूट जाता है। यह जानने के लिए कि क्या ये एजेंट अपना काम सही ढंग से कर रहे हैं, शोधकर्ताओं ने "बेंचमार्क" बनाए हैं, जो प्रदर्शन को मापने के लिए डिज़ाइन किए गए मानकीकृत परीक्षण हैं। हालांकि, इन एजेंटों का मूल्यांकन करते समय एक गंभीर समस्या उत्पन्न होती है: हम यह कैसे जानें कि क्या परीक्षण स्वयं निष्पक्ष है? एक परीक्षण किसी ऐसे एजेंट को पूर्ण स्कोर दे सकता है जिसने अपना मुख्य कार्य सफलतापूर्वक पूरा किया हो लेकिन साथ ही गलती से उपयोगकर्ता का कैलेंडर भी हटा दिया हो या बैंक रिकॉर्ड की डुप्लिकेट प्रविष्टि बना दी हो। इसके विपरीत, एक परीक्षण इतना सख्त हो सकता है कि वह एक एजेंट को एक हानिरहित परिवर्तन के लिए दंडित करे, जैसे कि वस्तुओं की एक सूची का क्रम बदलना जिसका वास्तव में कोई महत्व नहीं है। यह एक विश्वसनीय "जज" (न्यायाधीश) की आवश्यकता पैदा करता है जो एक अच्छे काम और खतरनाक दुष्प्रभावों वाले काम के बीच अंतर कर सके।
यह शंघाई जियाओ टोंग विश्वविद्यालय के शोधकर्ताओं के एक नए अध्ययन द्वारा संबोधित केंद्रीय चुनौती है। टीम ने उन सॉफ्टवेयर पर ध्यान केंद्रित किया जो इन बेंचमार्क में जज के रूप में कार्य करता है, उन्होंने जज को स्वयं परीक्षण के अधीन सॉफ्टवेयर के रूप में माना। यह पूछने के बजाय कि एक कृत्रिम बुद्धिमत्ता (AI) एक कार्य को कितनी अच्छी तरह करती है, उन्होंने एक अलग प्रश्न पूछा: यदि हम जानबूझकर एक ज्ञात सफल परिणाम में एक विशिष्ट त्रुटि या एक हानिरहित भिन्नता पेश करते हैं, तो क्या जज उसे पकड़ पाएगा? इसका उत्तर खोजने के लिए, उन्होंने म्यूटेशन टेस्टिंग (mutation testing) नामक एक विधि का उपयोग किया। कल्पना कीजिए कि एक परीक्षण ने पहले ही पुष्टि कर दी है कि एक एजेंट ने सफलतापूर्वक उड़ान बुक कर ली है। शोधकर्ताओं ने फिर उस पुष्ट सफलता को लिया और उसे विशिष्ट तरीकों से चुपचाप बदल दिया: वे बुकिंग में एक अतिरिक्त, अवांछित शुल्क जोड़ सकते थे, एक संपर्क का फोन नंबर बदल सकते थे जिसे छुआ नहीं जाना चाहिए था, या बस डेटा फ़ील्ड्स के क्रम को पुनर्व्यवस्थित कर सकते थे जिसने अर्थ नहीं बदला। उन्होंने फिर इन परिवर्तित संस्करणों को आधिकारिक जजिंग सॉफ्टवेयर में वापस डाला यह देखने के लिए कि क्या यह अभी भी पूर्ण स्कोर देगा या क्या यह गलती को पकड़ लेगा।
शोधकर्ताओं ने इन सॉफ्टवेयर एजेंटों का मूल्यांकन करने के लिए उपयोग किए जाने वाले तीन प्रमुख बेंचमार्क: τ 2-Bench, ToolSandbox, और AppWorld पर यह कठोर प्रोटोकॉल लागू किया। उन्होंने प्रत्येक प्रणाली से बीस टास्क टेम्पलेट्स (कार्य टेम्पलेट) का एक निश्चित सेट चुना, जिससे जांच के लिए कुल साठ विशिष्ट परिदृश्य तैयार हुए। प्रत्येक परिदृश्य के लिए, उन्होंने सिस्टम की अंतिम स्थिति में विशिष्ट, नियंत्रित परिवर्तन उत्पन्न किए। इनमें से कुछ परिवर्तन हानिकारक थे, जिन्हें वास्तविक दुनिया की त्रुटियों जैसे कि गलत रिकॉर्ड को संशोधित करना या डुप्लिकेट प्रविष्टियाँ बनाना दिखाने के लिए डिज़ाइन किया गया था। अन्य हानिरहित थे, जिन्हें यह परीक्षण करने के लिए डिज़ाइन किया गया था कि क्या जज कॉस्मेटिक अंतरों के प्रति अत्यधिक संवेदनशील है, जैसे कि डेटा के प्रस्तुतीकरण का क्रम। अध्ययन इस बात पर केंद्रित था कि क्या आधिकारिक मूल्यांकनकर्ता हानिकारक परिवर्तनों को सही ढंग से अस्वीकार कर सकते हैं और हानिरहित परिवर्तनों को स्वीकार कर सकते हैं।
परिणामों ने विश्वसनीयता की एक मिश्रित तस्वीर दिखाई। सभी बेंचमार्क में, आधिकारिक जज स्पष्ट गलतियों को पकड़ने में काफी अच्छे थे। जब शोधकर्ताओं ने एक आवश्यक परिवर्तन को हटा दिया या सही मान को गलत मान से बदल दिया, तो जजों ने लगभग हर बार परिणाम को सही ढंग से अस्वीकार कर दिया। वे हानिरहित विविधताओं के मामले में भी बहुत निष्पक्ष सिद्ध हुए; उन्होंने सभी हानिरहित परिवर्तनों को सही ढंग से स्वीकार किया जहाँ डेटा को केवल पुनर्व्यवस्थित या स्वरूपित किया गया था, जिससे पता चला कि वे मामूली अंतरों के लिए एजेंटों को दंडित नहीं कर रहे थे। हालांकि, अध्ययन में एक महत्वपूर्ण अंध बिंदु (blind spot) सामने आया। दस विशिष्ट मामलों में, जो ToolSandbox बेंचमार्क के भीतर ही घटित हुए, जजों ने हानिकारक दुष्प्रभावों को नोटिस करने में विफलता दिखाई। इन उदाहरणों में, एजेंटों ने अनधिकृत परिवर्तन किए थे, जैसे कि किसी रिकॉर्ड पर एक फ़ील्ड को बदलना जो मुख्य कार्य का हिस्सा नहीं था या किसी अन्य एप्लिकेशन में एक रिकॉर्ड को संशोधित करना। इन अतिरिक्त, अवांछित परिवर्तनों के बावजूद, आधिकारिक जजों ने एजेंटों को पूर्ण स्कोर प्रदान किया।
यह सुनिश्चित करने के लिए कि ये विफलताएं वास्तविक थीं न कि केवल परीक्षण प्रक्रिया की कोई गड़बड़ी, शोधकर्ताओं ने एक विस्तृत फॉलो-अप जांच की। उन्होंने सिस्टम में उपलब्ध सार्वजनिक उपकरणों का उपयोग करके ठीक उन्हीं अवांछित परिवर्तनों को मैन्युअल रूप से पुनरुत्पादित किया, जिससे पुष्टि हुई कि परिवर्तन वास्तव में अंतिम स्थिति में दृश्यमान थे। फिर भी, जब उन्होंने आधिकारिक जज को फिर से चलाया, तो इसने अभी भी पूर्ण स्कोर दिया। इससे संकेत मिला कि जजिंग सॉफ्टवेयर अंतिम स्थिति की पूर्णता की जांच नहीं कर रहा था; यह केवल यह देख रहा था कि विशिष्ट मील के पत्थर (milestones) पूरे किए गए हैं या नहीं और इसके अलावा जो कुछ भी हुआ उसे अनदेखा कर रहा था। अध्ययन में पाया गया कि यह समस्या ToolSandbox के भीतर छह विशिष्ट टास्क टेम्पलेट्स में केंद्रित थी, जो यह सुझाव देती है कि समस्या पूरे बेंचमार्क परिवार में दोष के बजाय उन विशेष परीक्षणों के डिजाइन में निहित है।
शोधकर्ताओं ने निष्कर्ष निकाला कि जबकि वर्तमान बेंचमार्क यह जाँचने में प्रभावी हैं कि एक एजेंट ने अपने प्राथमिक लक्ष्य को प्राप्त किया है या नहीं, उनमें अक्सर संपार्श्विक क्षति (collateral damage) का पता लगाने की संवेदनशीलता की कमी होती है। परीक्षण किए गए सिस्टम में आधिकारिक जजों को उनके द्वारा पकड़े जाने वाले हानिकारक प्रभावों का लगभग नौ प्रतिशत हिस्सा मिस करने के लिए पाया गया, जबकि उन्होंने सभी हानिरहित विविधताओं को सफलतापूर्वक अनदेखा कर दिया जिनका परीक्षण किया गया था। यह सुझाव देता है कि एजेंटों के मूल्यांकन के लिए वर्तमान पीढ़ी के उपकरणों को अप्रत्याशित परिवर्तनों की जांच शामिल करने के लिए अपडेट करने की आवश्यकता है, जिससे यह सुनिश्चित हो सके कि एक उच्च स्कोर वास्तव में एक स्वच्छ और सुरक्षित निष्पादन को दर्शाता है। अध्ययन यह दावा नहीं करता है कि सभी बेंचमार्क टूट गए हैं या एजेंट लगातार नुकसान पहुँचा रहे हैं, बल्कि यह पहचान करने का एक स्पष्ट, मापने योग्य तरीका प्रदान करता है कि जज कहाँ विफल हो रहे हैं। इन विशिष्ट अंतराल को चिन्हित करके, यह कार्य डेवलपर्स को अधिक मजबूत परीक्षण बनाने के लिए एक मार्ग प्रदान करता है जो न केवल यह सत्यापित कर सकें कि एजेंट ने क्या किया, बल्कि यह भी कि उसने क्या नहीं किया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।