Don't Blame the Large Language Model: How Agent Harness Evolution Shapes Coding Agent Quality
यह शोध पत्र पहला नियंत्रित अनुदैर्ध्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि कोडिंग एजेंटों की गुणवत्ता में उतार-चढ़ाव का प्राथमिक चालक अंतर्निहित लार्ज लैंग्वेज मॉडल्स के बजाय एजेंट हार्नेस का तीव्र विकास है, जैसा कि Qwen Code CLI के 35 क्रमिक रिलीज़ के गहन विश्लेषण से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका कंप्यूटर केवल आपके कमांड टाइप करने का इंतज़ार नहीं करता, बल्कि आपके लिए काम भी करता है। यह "कोडिंग एजेंटों" का युग है—स्मार्ट, स्वायत्त प्रोग्राम जो कोड पढ़ सकते हैं, बग्स ठीक कर सकते हैं, और यहाँ तक कि अपने आप नया सॉफ़्टवेयर भी लिख सकते हैं। लेकिन इसका असली राज यह है: ये एजेंट केवल मस्तिष्क (विशाल AI मॉडल) नहीं हैं; इन्हें कार्य करने के लिए एक शरीर और तंत्रिका तंत्र की भी आवश्यकता होती है। इस शरीर को "एजेंट हार्नेस" कहा जाता है। इस AI मॉडल को एक प्रतिभाशाली लेकिन आलसी जीनियस की तरह समझें जिसे एक मैनेजर की ज़रूरत है जो उसे सही उपकरण थमा सके, उसे नियमों की याद दिला सके, और उसके विचारों को व्यवस्थित कर सके। हार्नेस वही मैनेजर है। यह तय करता है कि AI किन टूल्स का उपयोग कर सकता है, उसे कितनी जानकारी दिखानी है, और यदि पहला प्रयास विफल हो जाता है तो वापस कैसे लूप करना है और फिर से प्रयास करना है। हर कोई मानता है कि यदि आप बेहतर मैनेजर रखते हैं और ऑफिस को अपग्रेड करते रहते हैं, तो जीनियस अधिक स्मार्ट हो जाएगा और तेज़ी से काम करेगा। लेकिन क्या होगा अगर मैनेजर वास्तव में बहुत अधिक नियम या भ्रमित करने वाले निर्देश जोड़कर चीज़ों को बदतर बना रहा है? यही वह बड़ा सवाल है जो यह पेपर पूछता है: जैसे-जैसे इन "मैनेजर" सिस्टमों को लगातार अपडेट किया जा रहा है, क्या वे वास्तव में AI को बेहतर काम करने में मदद कर रहे हैं, या वे इसे केवल धीमा और महंगा बना रहे हैं?
इस पेपर के लेखकों ने इस रहस्य को सुलझाने के लिए जासूसी करने का निर्णय लिया जिसकी शिकायत सॉफ्टवेयर डेवलपर्स कर रहे थे। उन्होंने देखा कि जब भी इन कोडिंग एजेंटों को अपडेट किया गया, तो वे अक्सर अधिक गलतियाँ करने लगे या कार्यों को पूरा करने में बहुत अधिक समय लेने लगे। लोग आमतौर पर AI मस्तिष्क को दोष देते थे, यह सोचकर कि मॉडल कम बुद्धिमान हो गया है। लेकिन शोधकर्ताओं को संदेह था कि असली अपराधी "मैनेजर" (हार्नेस) का बार-बार अपना मन बदलना है। इसे साबित करने के लिए, उन्होंने एक बहुत ही सख्त प्रयोग किया। उन्होंने एक विशिष्ट AI मॉडल को चुना और उसे एक पिंजरे में बंद कर दिया ताकि वह बदल न सके। फिर, उन्होंने "मैनेजर" सॉफ़्टवेयर (विशेष रूप से Qwen Code CLI) को लिया और इसे 35 अलग-अलग वर्ज़न के माध्यम से चलाया, पहले रिलीज़ से लेकर नवीनतम संस्करण तक। प्रत्येक वर्ज़न के लिए, उन्होंने एजेंट को हल करने के लिए 50 वास्तविक दुनिया की कोडिंग पहेलियाँ दीं, और हर बार बिल्कुल उसी AI मस्तिष्क का उपयोग किया।
परिणाम आश्चर्यजनक और थोड़े मज़ेदार थे। बावजूद इसके कि "मैनेजर" सॉफ़्टवेयर लगातार अपडेट हो रहा था—कभी-कभी एक दिन में दो बार से अधिक नए वर्ज़न जारी किए जा रहे थे—AI की पहेलियों को हल करने की क्षमता में कोई सुधार नहीं हुआ। वास्तव में, सफलता दर लगभग समान रही, जो 30% के आसपास बनी रही, चाहे उन्होंने सॉफ़्टवेयर को कितनी भी बार अपडेट किया हो। शुरुआती वर्ज़न बग्स को ठीक करने में उतने ही अच्छे थे जितने कि फैंसी, नए और जटिल वर्ज़न। हालाँकि, एक बहुत बड़ी कमी थी: नए वर्ज़न अविश्वसनीय रूप से बर्बादी करने वाले थे। मैनेजर के नवीनतम वर्ज़न ने AI को लगभग दोगुने "टोकन" (जो कि ईंधन या मुद्रा की तरह हैं जिसे AI सोचने के लिए खर्च करता है) का उपयोग करने के लिए मजबूर किया और पुराने वर्ज़न की तुलना में दोगुने टूल कॉल्स किए। यह एक कार के इंजन को सुपर-कॉम्प्लेक्स वर्ज़न में अपग्रेड करने जैसा था जो दोगुना गैस खर्च करता है लेकिन कार को तेज़ नहीं चला पाता।
शोधकर्ताओं ने यह पता लगाने के लिए गहराई से खोजबीन की कि ऐसा क्यों हो रहा है। उन्होंने मैनेजर सॉफ़्टवेयर में कोड परिवर्तनों को देखा और पाया कि जब डेवलपर्स बहुत सारे नए फीचर्स जोड़ते हैं या एक साथ कई छोटे बग्स को ठीक करने की कोशिश करते हैं, तो AI भ्रमित हो जाता है और अधिक ऊर्जा बर्बाद करता है। उन्होंने यह भी खोजा कि मैनेजर के "शरीर" के कुछ हिस्से छूने के लिए खतरनाक थे। AI के अपने मस्तिष्क से बात करने के तरीके ( "LLM Provider" लेयर) या अपनी याददाश्त ( "Context Management" लेयर) को बदलने से अक्सर एजेंट लड़खड़ा जाता और विफल हो जाता। दूसरी ओर, सुरक्षा खामियों को ठीक करना या सरल विस्तार जोड़ना सुरक्षित लग रहा था। सबसे बड़ा झटका? सॉफ़्टवेयर टीम को इन समस्याओं के बारे में पता ही नहीं था। उनके स्वचालित परीक्षण केवल यह जाँचते थे कि सॉफ़्टवेयर क्रैश तो नहीं हुआ, न कि यह कि AI वास्तव में अच्छा काम कर रहा था या पैसा बर्बाद कर रहा था। यह एक कारखाने की तरह था जो केवल यह जाँचता है कि असेंबली लाइन चल रही है या नहीं, लेकिन कभी यह नहीं जाँचता कि लाइन से निकलने वाली कारों में पहिए हैं या नहीं।
अंत में, यह पेपर सुझाव देता है कि हमें इन गलतियों के लिए AI मस्तिष्क को दोष देना बंद करने की आवश्यकता है। असली मुद्दा यह है कि "मैनेजर" सॉफ़्टवेयर बिना किसी उचित गुणवत्ता जांच के बहुत तेज़ी से विकसित हो रहा है। डेवलपर्स इतने सारे फीचर्स और बदलाव जोड़ रहे हैं कि AI धीमा हो जाता है, और पहले के समान परिणाम प्राप्त करने के लिए अधिक संसाधनों का उपयोग करता है। लेखक एक नए प्रकार के "क्वालिटी एश्योरेंस" (गुणवत्ता आश्वासन) का आह्वान करते हैं जो विशेष रूप से यह जाँचता है कि प्रत्येक अपडेट के बाद एजेंट अभी भी कुशल और प्रभावी है या नहीं, बजाय इसके कि केवल यह देखा जाए कि वह चालू होता है या नहीं। तब तक, इन कोडिंग एजेंटों को अपग्रेड करना केवल समान प्रदर्शन के लिए अधिक भुगतान करने जैसा हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।