SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks
यह शोधपत्र SlopCodeBench प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जो यह दर्शाता है कि वर्तमान कोडिंग एजेंट लंबी अवधि के पुनरावृत्ति कार्यों (long-horizon iterative tasks) में व्यवस्थित रूप से विफल होते हैं, क्योंकि वे बढ़ती हुई शब्द-बहुलता (verbosity) और संरचनात्मक क्षरण (structural erosion) के माध्यम से कोड की गुणवत्ता में निरंतर गिरावट प्रदर्शित करते हैं, एक ऐसी समस्या जिसे पास-रेट बेंचमार्क पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही प्रतिभाशाली, तेज़ बोलने वाले आर्किटेक्ट को एक घर बनाने के लिए काम पर रखा है।
पुराना तरीका (वर्तमान बेंचमार्क):
आप आर्किटेक्ट को एक छोटे से कॉटेज का ब्लूप्रिंट देते हैं। वे इसे पूरी तरह से बनाते हैं। आप अंदर जाते हैं, दरवाज़ों और खिड़कियों की जाँच करते हैं, और कहते हैं, "बहुत बढ़िया! 100% पास रेट!" आप उन्हें फिर से एक बड़े घर के लिए काम पर रखते हैं, और वे उसे भी कर देते हैं।
समस्या: बेंचमार्क केवल यह जाँचते हैं कि क्या घर अभी खड़ा है। वे यह नहीं पूछते: "अगर हमें अगले साल दूसरी मंज़िल जोड़नी हो, तो क्या नींव ढह जाएगी? क्या दीवारें इतनी ज़्यादा टेप और गोंद से भरी होंगी कि हम एक छेद भी नहीं कर पाएंगे बिना पूरे ढांचे के गिर जाए?"
नया तरीका (SlopCodeBench):
यह पेपर एक नया टेस्ट पेश करता है जिसे SlopCodeBench कहा जाता है। हर बार शून्य से घर बनाने के बजाय, आर्किटेक्ट को उसी घर में नए कमरे जोड़ने होते हैं जो उन्होंने कल बनाया था, और यह सब नई, बदलती हुई मांगों के आधार पर होता है।
- अनुरोध: "ठीक है, अब एक किचन जोड़ो।" (वे इसे बनाते हैं)।
- ट्विस्ट: "अब, किचन को इस तरह बनाओ कि वह एक भारी पत्थर के ओवन (oven) का भार सह सके, और साथ ही एक गुप्त दरवाज़ा भी जोड़ दो।"
- ट्विस्ट 2: "अब, हमें एक लाइब्रेरी चाहिए, लेकिन पत्थर का ओवन रास्ते में आ रहा है, इसलिए आपको उसे हटाना होगा।"
"Slop" (कचरा/गंदगी) की समस्या
शोधकर्ताओं ने पाया कि जैसे-जैसे ये AI कोडिंग एजेंट एक ही प्रोजेक्ट पर काम करते रहते हैं, उनका कोड "Slop" में बदलने लगता है।
"Slop" को एक गंदे किचन काउंटर की तरह समझें जहाँ आप बिना सफाई किए सामग्री का ढेर लगाते जा रहे हैं।
- Verbosity (बिखराव/अनावश्यक विस्तार): एजेंट बहुत अधिक कोड लिखने लगते हैं। "नमक डालें" कहने के बजाय, वे 50 पन्नों का निबंध लिख देते हैं कि नमक क्यों महत्वपूर्ण है, इसे कैसे खोजा जाए, और इसे डालने के तीन अलग-अलग तरीके क्या हैं। यह काम तो करता है, लेकिन यह फालतू और पढ़ने में कठिन है।
- Structural Erosion (संरचनात्मक क्षरण/गिरावट): यह डरावना हिस्सा है। कल्पना कीजिए कि आपके घर का मुख्य सपोर्ट बीम (support beam) है। शुरुआत में, यह एक साफ, मजबूत स्टील का बीम है। जैसे-जैसे एजेंट अधिक कमरे जोड़ते हैं, वे उस एक बीम पर सीधे नई चीज़ें ठोकना शुरू कर देते हैं। वे नए सपोर्ट नहीं बनाते; वे बस पुराने वाले पर और भार डाल देते हैं। अंततः, वह एक अकेला बीम छत, किचन और लाइब्रेरी, सबको थामे हुए होता है। यह एक "God Function" बन जाता है—कोड का एक ऐसा विशाल और उलझा हुआ हिस्सा जिसे अगर आप एक छोटा सा बग ठीक करने के लिए भी छुएंगे, तो पूरा घर हिल सकता है।
उन्होंने क्या खोजा
टीम ने 11 अलग-अलग AI मॉडल्स (जैसे कि सबसे स्मार्ट कोडिंग असिस्टेंट उपलब्ध हैं) का 20 अलग-अलग सॉफ्टवेयर प्रोजेक्ट्स पर परीक्षण किया।
- कोई नहीं जीता: एक भी AI किसी प्रोजेक्ट को शुरू से अंत तक बिना कोड को गंदा किए पूरा नहीं कर सका। सबसे अच्छा मॉडल भी अंतिम चरणों में से केवल 17% को सही ढंग से हल कर पाया।
- "Slop" बढ़ता जाता है: जैसे-जैसे प्रोजेक्ट लंबे होते गए, कोड और भी गंदा होता गया।
- 80% समय, कोड "इरोडेड" (eroded) हो गया (गंदे, ओवरलोडेड बीम और खराब हो गए)।
- 90% समय, कोड "वर्बोस" (verbose) हो गया (बहुत अधिक बिखराव)।
- AI बनाम इंसान: शोधकर्ताओं ने AI के गंदे कोड की तुलना इंसानों द्वारा लिखे गए वास्तविक, मेंटेन किए गए सॉफ्टवेयर (जैसे लोकप्रिय ऐप्स के पीछे का कोड) से की।
- मानव कोड समय के साथ अपेक्षाकृत स्थिर और साफ रहता है।
- AI का कोड हर अपडेट के साथ बदतर होता जाता है। यह एक ऐसे इंसान की तरह है जो हर हफ्ते अपना कमरा साफ करता है, जबकि AI एक ऐसे किशोर की तरह है जो बस अपने कपड़े फर्श पर फेंकता जा रहा है और कभी कुछ उठाता नहीं।
"मैजिक प्रॉम्प्ट" प्रयोग
शोधकर्ताओं ने शुरुआत में AI को नियमों का एक सख्त सेट देकर इसे ठीक करने की कोशिश की, जैसे: "संक्षिप्त रहें! एक विशाल फंक्शन न बनाएं! लिखने से पहले योजना बनाएं!"
- परिणाम: इसने शुरुआत में थोड़ा मदद की। पहला कमरा अधिक साफ था।
- हकीकत: लेकिन जैसे ही AI ने दूसरा और तीसरा कमरा जोड़ना शुरू किया, वह नियम भूल गया। गंदगी फिर से जमा होने लगी। "मैजिक प्रॉम्प्ट" इस गिरावट को रोक नहीं सका; इसने केवल इसे कुछ समय के लिए टाल दिया।
बड़ा निष्कर्ष
वर्तमान AI कोडर के टेस्ट ऐसे हैं जैसे ड्राइविंग टेस्ट जहाँ आप केवल 10 सेकंड के लिए सीधी रेखा में गाड़ी चलाते हैं। AI पास हो जाता है क्योंकि वह किसी चीज़ से टकराता नहीं है।
लेकिन वास्तविक सॉफ्टवेयर विकास पूरे देश की यात्रा करने जैसा है। आपको ट्रैफिक, खराब मौसम और डायवर्जन का सामना करना पड़ता है। यह पेपर दिखाता है कि हालांकि AI सीधी रेखा में गाड़ी चलाने में माहिर है, लेकिन जब उसे लंबे समय तक गाड़ी चलाने और अनुकूलन करने की आवश्यकता होती है, तो वह रास्ता भटक जाता है, दुर्घटनाग्रस्त हो जाता है, और पीछे तबाही का निशान छोड़ देता है।
संक्षेप में: AI ऐसा कोड लिख सकता है जो आज काम करे, लेकिन वह ऐसा कोड लिखने में बहुत बुरा है जिसे कल बढ़ाया या बदला जा सके। कोड एक "स्लॉपी" (गंदे) कचरे में बदल जाता है जिसे ठीक करना कठिन, पढ़ना कठिन और अंततः, बनाए रखना असंभव हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।