The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation
यह शोध पत्र प्रदर्शित करता है कि मूल्यांकन हारनेस (evaluation harness) कोडिंग एजेंट के प्रदर्शन और दक्षता को महत्वपूर्ण रूप से प्रभावित करता है—अक्सर अंतर्निहित मॉडल के चुनाव से भी अधिक—जो 40 गुना तक टोकन उपयोग के अंतर और मॉडल-स्वतंत्र विफलता पैटर्न को उजागर करता है, जिससे मॉडल तुलनाओं के साथ पूर्ण हारनेस विशिष्टताओं और टोकन/विलंबता मेट्रिक्स को रिपोर्ट करने का तर्क दिया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट कोडर के पीछे का अदृश्य हाथ
कल्पल्पना कीजिए कि आप एक कुकिंग कॉम्पिटिशन देख रहे हैं। आप दो शानदार शेफ देखते हैं, शेफ A और शेफ B, दोनों एक परफेक्ट चॉकलेट केक बनाने की कोशिश कर रहे हैं। जज आमतौर पर बस अंतिम केक को देखते हैं और कहते हैं, "शेफ A ने बेहतर केक बनाया!" लेकिन क्या होगा अगर जज यह बताना भूल गए कि शेफ A एक हाई-टेक, ऑटोमेटेड किचन का उपयोग कर रहा था जिसने हर सामग्री को पहले से ही काट दिया था और ओवन को सटीक सेकंड तक प्री-हीट कर दिया था, जबकि शेफ B एक धूल भरे शेड में एक जंग लगे चाकू और टूटे हुए चूल्हे के साथ काम कर रहा था? परिणाम केवल शेफ की प्रतिभा के बारे में नहीं है; यह उस किचन के बारे में है जो उन्हें दिया गया था।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से "कोडिंग एजेंट्स" (AI प्रोग्राम जो सॉफ्टवेयर लिखते हैं) के मामले में, हम बिल्कुल यही कर रहे हैं। हम AI मॉडल्स को इस आधार पर रैंक कर रहे हैं कि वे कितने कोडिंग समस्याओं को हल करते हैं, जबकि उस "किचन" को अनदेखा कर रहे हैं जिसमें वे काम कर रहे हैं। इस किचन को हार्नेस (harness) कहा जाता है। हार्नेस को एक अदृश्य सहायक के रूप में सोचें जो AI को उसके उपकरण थमाता है, उसके मेमोरी को मैनेज करता है, और यह तय करता है कि काम कब रोकना है। कुछ हार्नेस एक सुपर-एफिशिएंट रोबोट बटलर की तरह होते हैं जो सब कुछ पूरी तरह से व्यवस्थित करता है; अन्य एक अराजक इंटर्न की तरह होते हैं जो बार-बार एक ही सवाल पूछता रहता है, जिससे समय और ऊर्जा बर्बाद होती है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या AI का दिमाग अधिक महत्वपूर्ण है, या उसके सहायक की गुणवत्ता अधिक महत्वपूर्ण है?
महान "किचन" प्रयोग
शोधकर्ताओं की एक टीम ने अनुमान लगाना बंद करने और मापना शुरू करने का निर्णय लिया। उन्होंने यह देखने के लिए एक विशाल प्रयोग स्थापित किया कि जब "शेफ" (AI मॉडल) को बिल्कुल समान रखते हुए "किचन" (हार्नेस) को बदला जाता है, तो क्या होता है। उन्होंने दो बहुत स्मार्ट AI कोडिंग मॉडल्स, Qwen 3.6 Plus और MiniMax M2.5 को चुना, और उन्हें 50 अलग-अलग कोडिंग पहेलियाँ हल करने के लिए कहा। लेकिन यहाँ एक ट्विस्ट है: उन्होंने इन समान मॉडल्स को तीन अलग-अलग ओपन-सोर्स हार्नेसेज के माध्यम से चलाया, जिनके नाम Goose, OpenCode, और OpenHands-SDK हैं।
परिणाम, कम से कम कहने के लिए चौंकाने वाले थे।
जब शोधकर्ताओं ने देखा कि AI ने कितने पहेली हल किए (जिसे "पास रेट" कहा जाता है), तो हार्नेसेज के बीच का अंतर बहुत कम था। चाहे AI Goose, OpenCode, या OpenHands-SDK का उपयोग कर रहा हो, इसने लगभग समान संख्या में समस्याएं हल कीं—आमतौर पर 38% और 50% के बीच। हार्नेस बदलने से AI अचानक जीनियस या असफल नहीं बना; सफलता दर ज्यादातर स्थिर रही।
हालाँकि, जब उन्होंने उन समस्याओं को हल करने की लागत (cost) को देखा, तो कहानी पूरी तरह बदल गई। शोधकर्ताओं ने इसे "टोकन्स" में मापा, जो मूल रूप से डेटा की इकाइयाँ हैं जिन्हें AI प्रोसेस करता है (जैसे शब्द या कोड के टुकड़े)। उन्होंने पाया कि हार्नेस के चुनाव ने लागत को चौंका देने वाले 40 गुना तक बदल दिया।
इसे समझने के लिए: यदि Goose हार्नेस ने AI को लगभग 28,000 टोकन का उपयोग करके एक पहेली हल करने में मदद की, तो OpenCode हार्नेस ने ठीक उसी AI को उसी पहेली को हल करने के लिए 1.1 मिलियन से अधिक टोकन का उपयोग करने पर मजबूर किया। एक ही परिणाम के लिए लागत में 40 गुना अंतर! यह ऐसा है जैसे एक शेफ केक बनाने के लिए एक अंडे का उपयोग करता है, जबकि दूसरा शेफ उसी केक के लिए 40 अंडों का उपयोग करता है, सिर्फ इसलिए क्योंकि उसके किचन के उपकरण अक्षम थे।
"इडल टर्न" (Idle Turn) टैक्स
लागत इतनी अधिक क्यों बढ़ गई? शोधकर्ताओं ने एक छिपे हुए अपराधी की खोज की: इडल टर्न्स (idle turns)।
कल्पना कीजिए कि आप एक दोस्त से बात कर रहे हैं जो आपके कंप्यूटर को ठीक करने की कोशिश कर रहा है। कभी-कभी, वे बस वहां बैठकर सोचते हैं, "हम्म, मुझे यह चेक करने दो..." बिना वास्तव में कुछ टाइप किए या स्क्रीन पर कुछ बदले बिना। AI की दुनिया में, इन्हें "नो-एक्शन टर्न्स" कहा जाता है। OpenCode हार्नेस ने AI को इन सोचने वाले लूप्स में प्रति कार्य लगभग 2 बार बैठाया, जबकि Goose हार्नेस ने ऐसा केवल लगभग 0.2 बार किया।
हर बार जब AI इन लूप्स में बैठता है, तो उसे यह ट्रैक रखने के लिए अपना पूरा कन्वर्सेशन हिस्ट्री सर्वर को वापस भेजना पड़ता है कि वह कहाँ है। यह हर बार सोचने के लिए रुकने पर 100 पन्नों की डायरी भेजने जैसा है। क्योंकि OpenCode ने AI को बहुत अधिक बार रुकने और सोचने के लिए मजबूर किया, इसलिए इसने भारी दर से टोकन जला दिए। शोधकर्ता इसे "पर-टास्क वेट टैक्स" (per-task wait tax) कहते हैं। यह केवल पैसे की लागत नहीं है; यह समय की लागत भी है। एक मानव डेवलपर जो AI को देख रहा है, उसे इन इडल लूप्स के माध्यम से इंतजार करना पड़ता है, एक ऐसी स्क्रीन को देखते हुए जो कुछ भी नहीं कर रही है, बस पैसा और धैर्य जला रही है।
विफलता का "फिंगरप्रिंट"
अध्ययन में यह भी पाया गया कि प्रत्येक हार्नेस का अपना अनूठा विफलता का तरीका था, जैसे कि एक फिंगरप्रिंट। ये पैटर्न इस आधार पर नहीं बदले कि कौन सा AI मॉडल उपयोग किया गया था; ये स्वयं हार्नेस के कारण थे।
- Goose सतर्क रहने वाला था। जब वह फंस जाता था, तो वह अनुमान लगाने के बजाय रुक जाता था और कहता था, "मैं यह नहीं कर सकता," बजाय इसके कि वह गलत विचार को सत्यापित करने में समय बर्बाद करे।
- OpenHands-SDK दृढ़ रहने वाला था। यह अपने उत्तरों को सत्यापित करने या तब तक चलने की कोशिश करता रहेगा जब जब तक कि वह कितनी बार प्रयास किया जा सकता है (अधिकतम टर्न की सीमा) की हार्ड लिमिट तक नहीं पहुँच जाता।
- OpenCode वह था जो लूप्स में फंस जाता था। यह समय समाप्त होने (वॉल-टाइम लिमिट) का इंतजार करता था या "हैंग" स्टेट में फंस जाता था, बिना कुछ पूरा किए बस पहिए घुमाता रहता था।
इसका मतलब है कि यदि आप एक डेवलपर हैं, तो आप केवल एक AI नहीं चुन रहे हैं; आप विफलता की एक शैली चुन रहे हैं। क्या आप एक ऐसा AI चाहते हैं जो जल्दी और ईमानदारी से हार मान ले, या एक ऐसा जो तब तक चक्कर लगाता रहे जब तक कि आपका धैर्य समाप्त न हो जाए?
मुख्य निष्कर्ष
इस पेपर का मुख्य सबक यह है कि हम AI कोडिंग बेंचमार्क को गलत तरीके से देख रहे रहे हैं। हम Qwen या MiniMax जैसे मॉडल्स को इस तरह रैंक कर रहे हैं जैसे कि केवल वही महत्वपूर्ण हैं। लेकिन यह अध्ययन दिखाता है कि हार्नेस (किचन) उतना ही महत्वपूर्ण है जितना कि मॉडल (शेफ)।
यदि आप जानना चाहते हैं कि एक AI वास्तव में आपको कितना खर्च करेगा या किसी काम को पूरा करने में कितना समय लेगा, तो आप केवल मॉडल के नाम को देखकर नहीं जान सकते। आपको जोड़ी (pair) को देखना होगा: मॉडल और वह हार्नेस जिसमें वह चल रहा है। एक खराब हार्नेस में एक स्मार्ट मॉडल, एक अच्छे हार्नेस में एक स्मार्ट मॉडल की तुलना में 40 गुना अधिक महंगा हो सकता है।
शोधकर्ता सुझाव देते हैं कि भविष्य में, हमें केवल "पास रेट" रिपोर्ट नहीं करना चाहिए। हमें प्रति हल कार्य लागत (cost per solved task), इडल टर्न्स की संख्या, और विफलता के पैटर्न को रिपोर्ट करने की आवश्यकता है। क्योंकि एक वास्तविक मानव डेवलपर के लिए, 40 खर्च होने वाले 50% सफलता दर के बीच का अंतर एक उपयोगी उपकरण और पैसे की बर्बादी के बीच का अंतर है। "स्कैफोल्ड इफेक्ट" (Scaffold Effect) वास्तविक है, और अब समय आ गया है कि हम उस अदृश्य हाथ को अनदेखा करना बंद करें जो रोबोट का मार्गदर्शन करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।