MCP-Atlas: A Large-Scale Benchmark for Tool-Use Competency with Real MCP Servers
यह शोध पत्र MCP-Atlas प्रस्तुत करता है, जो 36 वास्तविक MCP सर्वरों और 220 टूल्स के माध्यम से 1,000 कार्यों वाला एक बड़े पैमाने का बेंचमार्क है, जिसे क्लेम्स-आधारित स्कोरिंग रूब्रिक का उपयोग करके वास्तविक, बहु-चरणीय वर्कफ़्लो में लार्ज लैंग्वेज मॉडल्स की टूल-उपयोग क्षमता का कड़ाई से मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान, विद्वान व्यक्तिगत सहायक (एक AI) को एक जटिल प्रोजेक्ट के लिए काम पर रखा है। आप उन्हें इस्तेमाल करने के लिए विशिष्ट उपकरणों की सूची नहीं देते; इसके बजाय, आप बस कहते हैं, "मुझे इस विषय पर शोध करना है, हमारे आंतरिक डेटाबेस की जांच करनी है, और एक विशिष्ट तिथि ढूंढनी है।"
समस्या यह है कि आपके सहायक के पास बेसमेंट में 220 अलग-अलग उपकरणों वाला एक विशाल टूलबॉक्स है, लेकिन आप उन्हें एक बार में केवल 10 से 25 उपकरणों का एक छोटा चयन ही देखने देते हैं। इनमें से कुछ उपकरण बिल्कुल वही हैं जिनकी उन्हें आवश्यकता है, जबकि कुछ "डिस्ट्रैक्टर्स" (भटकाने वाले) हैं—ऐसे उपकरण जो समान दिखते हैं लेकिन काम के लिए बेकार हैं।
MCP-Atlas एक वास्तविक दुनिया का परीक्षण है यह देखने के लिए कि ये AI सहायक सही टूल्स खोजने, उनका सही ढंग से उपयोग करने और समस्या को हल करने के लिए टुकड़ों को जोड़ने में कितने अच्छे हैं, वह भी बिना आपके उन्हें यह बताए कि कौन से टूल्स चुनने हैं।
यहाँ सरल उपमाओं का उपयोग करके पेपर का विवरण दिया गया है:
1. समस्या: "नकली" परीक्षण
पहले, AI टूल-उपयोग के परीक्षण एक कुकिंग क्लास की तरह थे जहाँ शिक्षक छात्र को एक रेसिपी कार्ड देता था जिसमें लिखा होता था, "प्याज काटने के लिए लाल चाकू का उपयोग करें।"
- समस्या: यह इस बात का परीक्षण नहीं करता कि छात्र वास्तव में यह जानता है कि कौन सा चाकू उठाना है या क्या वह एक अस्त-व्यस्त रसोई को संभाल सकता है। वास्तविक जीवन अधिक जटिल है। आप बस कहते हैं, "सलाद बनाओ," और छात्र को खुद चाकू, चॉपिंग बोर्ड और कटोरा ढूंढना पड़ता है।
- पुराना तरीका: कई परीक्षणों ने नकली टूल्स या सरल कार्यों का उपयोग किया जो वास्तविक दुनिया के काम की जटिलता को नहीं दर्शाते थे।
2. समाधान: MCP-Atlas (The "Real Kitchen" Test)
शोधकर्ताओं ने MCP-Atlas बनाया, एक विशाल टेस्ट किचन जिसमें शामिल हैं:
- 36 वास्तविक सर्वर: ये 36 अलग-अलग वास्तविक दुनिया की दुकानों (एक बैंक, एक लाइब्रेरी, एक वेदर स्टेशन, एक कोड रिपॉजिटरी) की तरह हैं। ये नकली सिमुलेशन नहीं हैं; ये वास्तविक चीजें हैं।
- 220 टूल्स: उन दुकानों में उपलब्ध वास्तविक उपकरण।
- 1,000 कार्य: 1,000 अलग-अलग चुनौतियाँ, जैसे "विज्ञापनों पर एक पेपर खोजें, फिर हमारे आंतरिक बिक्री डेटा के लिए एक विशिष्ट अभियान की जांच करें, और मुझे बताएं कि वह कब शुरू हुआ था।"
- ट्विस्ट: AI को टूल्स के नाम कभी नहीं बताए जाते। इसे यह समझना होता है कि, "ओह, मुझे लाइब्रेरी से पेपर मांगना चाहिए और बैंक से बिक्री डेटा मांगना चाहिए।"
3. वे AI को कैसे ग्रेड करते हैं: "फैक्ट चेक" रूब्रिक
शोधकर्ताओं द्वारा यह पूछने के बजाय कि क्या AI का उत्तर "अच्छा लगता है", शोधकर्ता एक क्लेम-बेस्ड रूब्रिक (दावे-आधारित मापदंड) का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि कार्य एक सैंडविच बनाना है। "सही" सैंडविच में होना चाहिए: 1) ब्रेड, 2) हैम, 3) चीज़ और 4) मस्टर्ड (सरसों का पेस्ट)।
- ग्रेडिंग: यदि AI आपके लिए ब्रेड, हैम और चीज़ वाला सैंडविच लाता है, लेकिन मस्टर्ड भूल जाता है, तो उसे शून्य नहीं मिलता। उसे आंशिक क्रेडिट (शायद 75%) मिलता है।
- यह क्यों मायने रखता है: यह AI को केवल एक लंबा, शानदार पैराग्राफ लिखने के लिए अंक प्राप्त करने से रोकता है। इसे केवल उन तथ्यों के लिए अंक मिलते हैं जो इसने टूल्स का उपयोग करके खोजे हैं।
4. परिणाम: AI बेहतर हो रहा है, लेकिन अभी भी लड़खड़ा रहा है
उन्होंने उपलब्ध सबसे स्मार्ट AI मॉडल्स (फ्रंटियर मॉडल्स) का परीक्षण किया।
- स्कोर: सबसे अच्छा AI (Claude Opus 4.5) लगभग 62% कार्यों को "परफेक्ट" (या पास होने के करीब) पूरा कर पाया। दूसरा सबसे अच्छा 50% की सीमा में था, और कुछ पुराने मॉडल्स का स्कोर बहुत कम (10% से नीचे) था।
- मुख्य विफलता: AI के विफल होने का सबसे बड़ा कारण यह नहीं था कि वह सोच या पढ़ नहीं सकता था। समस्या यह थी कि वह सही टूल नहीं ढूंढ सका या उसे पता नहीं था कि टूल का उपयोग कब करना है।
- उपमा: AI सैंडविच बनाना जानता था, लेकिन वह हैम लेने के लिए फ्रिज खोलना भूल गया, या उसने मस्टर्ड समझकर गलत जार उठा लिया।
- "जल्दी रुक जाने" की समस्या: कई AI ने कार्य शुरू किया, एक कदम उठाया, और फिर कहा, "मैं बाकी काम नहीं कर सकता," भले ही उनके पास काम पूरा करने के लिए टूल्स मौजूद थे। उन्होंने बहुत जल्दी हार मान ली।
5. कार्यों के विभिन्न प्रकार
परीक्षण ने काम के विभिन्न "पड़ोसों" को कवर किया:
- बेसिक (मौसम, मैप्स): AI यहाँ ठीक था।
- एनालिटिक्स (डेटा, चार्ट्स): AI यहाँ आश्चर्यजनक रूप से अच्छा प्रदर्शन कर गया।
- फाइनेंस और कोडिंग: AI यहाँ सबसे अधिक संघर्ष करता रहा। इन क्षेत्रों में बहुत सटीक निर्देशों की आवश्यकता होती है (जैसे एक विशिष्ट तिथि प्रारूप या एक विशिष्ट कोड सिंटैक्स), और AI अक्सर विवरणों में गलती कर देता है।
6. भविष्य के लिए इसका क्या अर्थ है
पेपर निष्कर्ष निकालता है कि हालांकि AI स्मार्ट हो रहा है, फिर भी "टूल कैसे उपयोग करें" और "कब टूल का उपयोग करें" के बीच एक बड़ा अंतर है।
- टेकअवे: वर्तमान AI मॉडल टूल्स हाथ में होने पर निर्देशों का पालन करने में बहुत अच्छे हैं। लेकिन वे एक अस्त-व्यस्त टूलबॉक्स को देखने, नकली टूल्स को अनदेखा करने और बहु-चरणीय समस्या को हल करने के लिए सही टूल चुनने में अभी भी कमजोर हैं।
संक्षेप में: MCP-Atlas AI के लिए एक कठोर, वास्तविक दुनिया का ड्राइविंग टेस्ट है। यह दिखाता है कि जबकि कारें (AI मॉडल्स) तेज़ हो रही हैं, कई कारें अभी भी ट्रैफिक (सही टूल्स ढूंढना) में टकराने या हार मान लेने के बिना नेविगेट करने के लिए संघर्ष करती हैं। शोधकर्ताओं ने अपने परीक्षण प्रश्न और नियम जारी किए हैं ताकि अन्य वैज्ञानिक भविष्य में बेहतर "ड्राइवर" बना सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।