MCPEvol-Bench: Benchmarking LLM Agent Performance Across Dynamic Evolutions of MCP Servers
यह शोध पत्र MCPEvol-Bench का परिचय देता है, जो एक नया बेंचमार्क है जो यथार्थवादी इंटरफ़ेस परिवर्तनों को सिम्युलेट करके MCP सर्वरों में डायनेमिक टूलसेट इवोल्यूशन के प्रति LLM एजेंट की अनुकूलन क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि अत्याधुनिक मॉडल भी ऐसे अनुकूलनों के साथ संघर्ष करते हैं और उनके प्रदर्शन में महत्वपूर्ण गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट असिस्टेंट बना रहे हैं। आप उसे उपकरण (टूल्स) का उपयोग करना सिखाते हैं—जैसे कि कैलकुलेटर, कैलेंडर, या सर्च इंजन—ताकि वह आपके लिए समस्याओं को हल कर सके। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन उपकरणों को अक्सर 'मॉडल कॉन्टेक्स्ट प्रोटोकॉल' (MCP) नामक एक मानक प्रणाली के माध्यम से जोड़ा जाता है, जो एक यूनिवर्सल प्लग-एंड-प्ले अडैप्टर की तरह काम करता है, जिससे आपका रोबोट एक विशाल डिजिटल टूलबॉक्स से अपनी ज़रूरत का कोई भी उपकरण उठा सकता है। लंबे समय तक, वैज्ञानिकों ने इन रोबोटों का परीक्षण उन्हें उपकरणों का एक स्थिर (static) सेट देकर किया और देखा कि क्या वे किसी पहेली को हल कर सकते हैं। यह एक ड्राइवर का परीक्षण करने जैसा था जहाँ सड़क के संकेत कभी नहीं बदलते और ट्रैफिक लाइट कभी नहीं बदलती। लेकिन वास्तविक दुनिया में, उपकरण अव्यवस्थित और जीवंत होते हैं; वे लगातार अपडेट होते हैं, उनका नाम बदला जाता है, या उन्हें बदला जाता है। बड़ा सवाल यह है कि: यदि रोबोट के काम करते समय टूलबॉक्स बदल जाता है, तो क्या वह भ्रमित होकर क्रैश हो जाएगा, या वह अनुकूलित होकर काम जारी रखेगा?
यही वह सवाल था जिसे MCPEvol-Bench के पीछे के शोधकर्ताओं ने पता लगाना चाहा। उन्होंने महसूस किया कि पिछले परीक्षण बहुत आसान थे क्योंकि उन्होंने इस तथ्य पर ध्यान नहीं दिया कि उपकरण विकसित होते हैं। इसे ठीक करने के लिए, उन्होंने एक नया, गतिशील परीक्षण मैदान बनाया जिसे MCPEvol-Bench कहा गया। एक स्थिर ट्रैक के बजाय, उन्होंने एक "जीवित" वातावरण बनाया जहाँ कार्य के बीच में ही रोबोट द्वारा उपयोग किए जाने वाले उपकरण बदल जाते हैं। उन्होंने 123 वास्तविक दुनिया के टूल सर्वर का अध्ययन किया और पाया कि वास्तविक दुनिया में, लगभग 20% रिमोट सर्वर ऑफलाइन हो जाते हैं, और आधे से अधिक उपकरण समय के साथ हटा दिए जाते हैं या बदल दिए जाते हैं। इस अराजकता की नकल करने के लिए, उन्होंने 11 "म्यूटेशन ऑपरेटर्स" का आविष्कार किया—इन्हें डिजिटल म्यूटेशन वायरस समझें—जो स्वचालित रूप से उपकरणों में बदलाव करते हैं। वे एक नया बटन जोड़ सकते हैं, एक पैरामीटर का नाम बदल सकते हैं, या पूरी तरह से एक फीचर को हटा सकते हैं, ठीक वैसे ही जैसे एक वास्तविक सॉफ्टवेयर डेवलपर अपडेट के दौरान करता है।
परिणाम थोड़े चौंकाने वाले थे। शोधकर्ताओं ने GPT-5.4 और Claude-Sonnet-4-6 जैसे बड़े नामों सहित उपलब्ध 12 सबसे उन्नत AI मॉडलों का परीक्षण किया। शुरुआत में, जब उपकरण स्थिर थे, तो ये मॉडल अच्छा प्रदर्शन कर रहे थे। लेकिन जैसे ही उपकरण विकसित होने लगे, रोबोट लड़खड़ा गए। सबसे स्मार्ट मॉडलों ने भी देखा कि जैसे ही टूल्स बदले, उनकी सफलता दर में काफी गिरावट आई—लगभग 13.7% से 14.4% तक। अध्ययन में पाया गया कि रोबोट टूल्स का उपयोग करना भूले नहीं थे; इसके बजाय, वे प्लानिंग (योजना बनाने) और रीज़निंग (तर्क करने) के चरणों में खो गए थे। यह एक ऐसे शेफ की तरह है जो प्याज को पूरी तरह से काटना जानता है लेकिन अचानक पाता है कि चाकू की जगह चम्मच आ गया है; उसे नहीं पता कि अपनी रेसिपी को कैसे समायोजित करना है, इसलिए अंत में वह सब गड़बड़ कर देता है। शोधकर्ताओं ने पाया कि नए टूल्स जोड़ने या विवरण बदलने से एजेंट सबसे अधिक भ्रमित हुए, जबकि अनावश्यक टूल्स को हटाने से उन्हें मदद मिली। उन्होंने यह भी पाया कि एजेंटों में मेमोरी और रिफ्लेक्शन जैसी "संज्ञानात्मक" (cognitive) विशेषताओं को जोड़ने से उन्हें बेहतर ढंग से अनुकूलित होने में मदद मिली, जो यह सुझाव देता है कि भविष्य की AI केवल स्मार्ट होने के बारे में नहीं है, बल्कि अपने आसपास की दुनिया बदलने पर अधिक लचीला (flexible) होने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।