The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task
यह अध्ययन प्रदर्शित करता है कि एजेंट स्कैफोल्डिंग (scaffolding) का चयन, अंतर्निहित टूल इंटरफेस (MCP बनाम CLI) की तुलना में AI कोडिंग एजेंटों की लागत और विश्वसनीयता पर कहीं अधिक प्रभाव डालता है, जो यह प्रकट करता है कि MCP समर्थन अक्सर अनावश्यक होता है और प्रत्यक्ष CLI निष्पादन की तुलना में काफी अधिक महंगा हो सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल वर्कशॉप: मंच तैयार करना
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन बहुत ही शाब्दिक (literal) रोबोट सहायक है। यह रोबोट कहानियाँ लिख सकता है, गणित की समस्याएँ हल कर सकता है और किसी भी विषय पर चर्चा कर सकता है, लेकिन यह एक बंद कमरे में रहता है। यह आपकी कंप्यूटर स्क्रीन नहीं देख सकता, आपकी फ़ाइलें नहीं खोल सकता, या वेबसाइट पर बटन नहीं दबा सकता। किसी भी वास्तविक काम को पूरा करने के लिए, आपको रोबोट और वास्तविक दुनिया के बीच एक "फोरमैन" (foreman) खड़ा करना होगा। इस फोरमैन को एजेंट स्कैफोल्डिंग (agent scaffolding) कहा जाता है। इसका काम रोबोट के विचारों को सुनना, उन्हें कार्यों में अनुवादित करना (जैसे "यह फ़ाइल खोलें" या "यह ईमेल भेजें"), और फिर परिणामों को वापस लाना है ताकि रोबोट सोचना जारी रख सके।
लंबे समय से, लोग इस बात पर बहस कर रहे हैं कि इस फोरमैन को बनाने का सबसे अच्छा तरीका क्या है। एक लोकप्रिय तरीका, जिसे MCP (मॉडल कॉन्टेक्स्ट प्रोटोकॉल) कहा जाता है, ऐसा है जैसे रोबोट को उन सभी उपकरणों का एक विशाल, विस्तृत विश्वकोश (encyclopedia) देना जिसकी उसे कभी भी आवश्यकता हो सकती है। हर बार जब रोबोट मदद मांगता है, तो फोरमैन उसे पूरा विश्वकोश फिर से थमा देता है, बस इसलिए कि कहीं कुछ छूट न जाए। दूसरा तरीका, CLI (कमांड-लाइन इंटरफेस), सरल है: फोरमैन रोबोट को केवल एक बुनियादी टूलबॉक्स देता है और कहता है, "तुम जानते हो न कि हथौड़ा और पेचकस कैसे इस्तेमाल करते हैं? अब खुद पता लगा लो कि तुम्हें विशिष्ट उपकरणों का उपयोग कैसे करना है।"
बड़ा सवाल जो हर कोई पूछ रहा है वह है: किस तरीके की लागत कम है? चूंकि हर बार जब रोबोट कंप्यूटर से बात करता है, तो उसे भेजे और प्राप्त किए गए शब्दों (टोकन) के लिए भुगतान करना पड़ता है, इसलिए लोगों ने माना कि "विशाल विश्वकोश" वाला तरीका (MCP) अविश्वसनीय रूप से महंगा होगा क्योंकि यह बहुत अधिक अतिरिक्त टेक्स्ट भेजता है। कुछ विशेषज्ञों ने तो अनुमान लगाया था कि यह सरल टूलबॉक्स विधि की तुलना में 35 गुना अधिक महंगा हो सकता है। लेकिन किसी ने भी वास्तव में इसे निष्पक्ष रूप से नहीं मापा था, और आंकड़े बहुत अलग-अलग थे।
द ग्रेट टूल-बॉक्स शोडाउन
इस अध्ययन में, शोधकर्ताओं की एक टीम ने इस बहस को सुलझाने के लिए एक विशाल, नियंत्रित प्रयोग करने का निर्णय लिया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक डिजिटल बाधा दौड़ बनाई—एक विशिष्ट कार्य जिसमें छह चरण शामिल थे जैसे कोड में बग ढूँढना, उसे ठीक करना और उसे एक टीम को भेजना। फिर उन्होंने इस एक ही कार्य को सात अलग-अलग "फोरमैन" (एजेंट स्कैफोल्डिंग) और पाँच अलग-अलग रोबोट दिमागों (AI मॉडल्स) के माध्यम से भेजा ताकि यह देखा जा सके कि काम पूरा करने में वास्तव में कितनी लागत आई।
यहाँ एक मोड़ है: शोधकर्ताओं ने पाया कि फोरमैन खुद टूलबॉक्स से कहीं अधिक महत्वपूर्ण था।
सबसे आश्चर्यजनक खोज यह थी कि सात परीक्षण किए गए फोरमैनों में से दो के पास "विशाल विश्वकोश" (MCP) की क्षमता भी नहीं थी। उन्होंने केवल सरल टूलबॉक्स (CLI) का उपयोग किया। फिर भी, उन्होंने हर एक कार्य को पूरी तरह से पूरा किया। वे न केवल पूरा करने में सफल रहे, बल्कि वे उन फैंसी फोरमैनों की तुलना में 5 से 28 गुना सस्ते थे जिनके पास विश्वकोश था। वास्तव में, एक विशिष्ट छोटे रोबोट दिमाग के लिए, लागत केवल इसलिए 139 गुना बढ़ गई क्योंकि उसे एक अलग फोरमैन के साथ जोड़ा गया था, भले ही रोबोट और कार्य बिल्कुल समान थे।
तो, "विशाल विश्वकोश" (MCP) के महंगे होने के बारे में क्या?
शोधकर्ताओं ने एक ही फोरमैन के भीतर दोनों तरीकों की सीधे तुलना करने की कोशिश की, लेकिन परिणाम अस्त-व्यस्त और असंगत थे। कभी विश्वकोश अधिक महंगा था, कभी कम, और कभी दोनों समान थे। डेटा इतना अस्थिर था कि यह कहना संभव नहीं था कि एक दूसरे से निश्चित रूप से सस्ता है या नहीं। एक निष्पक्ष मुकाबले में यह कहना कठिन था। हालाँकि, उन्हें एक स्पष्ट अंतर मिला: जब चीजें गलत हुईं, तो विश्वकोश वाला तरीका बहुत अधिक महंगा था। MCP रन पर खर्च किए गए पैसे का लगभग 12.9% हिस्सा बेकार गया (क्योंकि कार्य विफल हो गया), जबकि सरल टूलबॉक्स रन के लिए यह केवल 2.2% था। लेकिन रोबोट दोनों तरीकों के साथ समान रूप से विफल हुए; फर्क सिर्फ इतना था कि जब MCP रोबोट विफल होते थे, तो वे अधिक पैसा बर्बाद करते थे।
फोरमैन का "जादू"
अध्ययन में एक गुप्त चाल भी सामने आई। शोधकर्ताओं ने रोबोट को ठीक-ठीक बताया कि किस टूलबॉक्स का उपयोग करना है। लेकिन जब उन्होंने लॉग की जाँच की, तो पाया कि रोबोट अक्सर निर्देशों को अनदेखा कर देते थे! कुछ रोबोटों को "विशाल विश्वकोश" दिया गया था लेकिन वे चुपचाप सरल टूलबॉक्स का उपयोग कर रहे थे। अन्य इसके विपरीत कर रहे थे। इसका मतलब है कि यदि आप केवल रोबोट से पूछते हैं कि "इसकी लागत कितनी थी?" बिना यह जांचे कि उसने वास्तव में क्या किया, तो आप दोनों तरीकों के मिश्रण को माप रहे होंगे, जो आंकड़ों को बेकार बना देता है।
मुख्य निष्कर्ष
मुख्य बात यह नहीं है कि एक उपकरण जादुई है और दूसरा कचरा। इसके बजाय, अध्ययन सुझाव देता है कि आप अपने रोबोट के फोरमैन को कैसे बनाते हैं, यह सबसे महत्वपूर्ण कारक है कि इसकी लागत कितनी होगी।
- सरल, दोहराए जाने वाले कार्यों के लिए: एक छोटा, कस्टम-मेड फोरमैन जो केवल बुनियादी टूलबॉक्स (CLI) का उपयोग करता है, एक विशाल, सामान्य-उद्देश्य वाले सहायक की तुलना में बहुत सस्ता और अधिक विश्वसनीय है जो एक भारी विश्वकोश लेकर चलता है।
- छोटे रोबोट दिमागों के लिए: यदि आप अपने स्वयं के कंप्यूटर पर एक छोटा, सस्ता AI मॉडल चला रहे हैं, तो "सामान्य-उद्देश्य" वाले फोरमैन बहुत अधिक बातें करके और अनावश्यक बोझ लेकर काम की लागत को लगभग 140 गुना तक बढ़ा सकते हैं।
शोधकर्ताओं ने निष्कर्ष निकाला कि विशिष्ट, अच्छी तरह से परिभाषित कार्यों के लिए, हमें भारी, महंगे "विशाल विश्वकोश" दृष्टिकोण की आवश्यकता नहीं है। हम हल्के, सस्ते सिस्टम बना सकते हैं जो अतिरिक्त वजन के बिना काम पूरा कर सकते हैं। और यदि आप फैंसी विश्वकोश पद्धति का उपयोग करने जा रहे हैं, तो आपको यह सुनिश्चित करना होगा कि आपका रोबोट वास्तव में उसका उपयोग करे, अन्यथा आप उस उपकरण के लिए भुगतान कर रहे होंगे जिसे आपने कभी छुआ तक नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।