Position: Coding Benchmarks Are Misaligned with Agentic Software Engineering
यह शोध पत्र तर्क देता है कि वर्तमान कोडिंग बेंचमार्क एजेंटिक सॉफ्टवेयर इंजीनियरिंग के साथ असंगत हैं क्योंकि वे मॉडल के प्रदर्शन को सिस्टम हार्नेस घटकों के साथ मिला देते हैं, एकल संदर्भ उत्तरों पर निर्भर रहकर वैध वैकल्पिक समाधानों को दंडित करते हैं, और पुनरावृत्ति प्रणाली सुधार के लिए आवश्यक सूक्ष्म फीडबैक का अभाव रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Coding Benchmarks Are Misaligned with Agentic Software Engineering" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।
मुख्य विचार: हम गलत चीज़ का मूल्यांकन कर रहे हैं
कल्पना कीजिए कि आप एक जटिल भोजन बनाने में एक शेफ (रसोइया) की कुशलता को परखने की कोशिश कर रहे हैं।
वर्तमान में, कोडिंग "एजेंट्स" (AI सिस्टम जो सॉफ़्टवेयर लिखते हैं) को टेस्ट करने का तरीका ऐसा है: आप शेफ को एक पहले से लिखी हुई रेसिपी (एक "रेफरेंस सॉल्यूशन") देते हैं। शेफ वह व्यंजन बनाने की कोशिश करता है। यदि अंतिम प्लेट बिल्कुल रेसिपी बुक में दी गई तस्वीर जैसी दिखती है, तो शेफ को पूर्ण अंक मिलते हैं। यदि शेफ एक स्वादिष्ट, स्वस्थ और रचनात्मक संस्करण बनाता है जो दिखने में थोड़ा अलग है लेकिन स्वाद में बेहतर है, तो उसे कम अंक मिलते हैं।
इस पेपर के लेखक तर्क देते हैं कि यह एक दोषपूर्ण प्रणाली है। वे कहते हैं कि हम केवल शेफ (AI मॉडल) का परीक्षण नहीं कर रहे हैं; हम पूरी रसोई की व्यवस्था (जिसे "सिस्टम हार्नेस" कहा जाता है) का परीक्षण कर रहे हैं, जिसमें चूल्हा, उपकरण, सामग्री और निर्देश शामिल हैं।
मूल समस्या: "रसोई" बनाम "शेफ"
पेपर एक महत्वपूर्ण अंतर स्पष्ट करता है:
- मॉडल (शेफ): यह वह AI मस्तिष्क है जो कोड जनरेट करता है।
- सिस्टम हार्नेस (रसोई): यह वह जटिल वातावरण है जहाँ AI रहता है। इसमें वे उपकरण शामिल हैं जिनका वह उपयोग करता है, वह संदर्भ (context) जिसे वह पढ़ता है, वे नियम जिनका वह पालन करता है, और फीडबैक लूप जो उसे बताते हैं कि उसने गलती की या नहीं।
उपमा (Analogy):
एक कोडिंग एजेंट को एक फॉर्मूला 1 रेस कार की तरह समझें।
- मॉडल इंजन है।
- सिस्टम हार्नेस चेसिस, टायर, एरोडायनामिक्स, पिट क्रू और ड्राइवर की रणनीति है।
वर्तमान बेंचमार्क एक ऐसी रेस की तरह हैं जहाँ आप केवल अंतिम समय (time) देखते हैं और कहते हैं, "यह इंजन तेज़ है!" लेकिन यह पेपर बताता है कि यदि आप टायर या ड्राइवर की रणनीति बदल देते हैं (हार्नेस), तो वही इंजन भी 20% तेज़ या धीमा हो सकता है।
लेखक दिखाते हैं कि वास्तविक दुनिया के परीक्षणों में, "रसोई की व्यवस्था" (हार्नेस) बदलने से परिणाम उतने ही बदल जाते हैं जितना कि "शेफ" (AI मॉडल) को नए वर्ज़न में अपग्रेड करने से। फिर भी, हमारे वर्तमान परीक्षणों में परिणाम को ऐसे माना जाता है जैसे कि यह केवल शेफ की प्रतिभा के बारे में हो।
टूटी हुई प्रणाली के तीन लक्षण
पेपर तीन विशिष्ट तरीकों की पहचान करता जिनसे हमारे वर्तमान परीक्षण के तरीके वास्तविकता से मेल नहीं खाते:
1. रेखाओं का धुंधला होना (Conflation)
उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा देता है। उसे 80% अंक मिलते हैं। हम मान लेते हैं कि छात्र बुद्धिमान है। लेकिन क्या होगा यदि छात्र के पास कैलकुलेटर, चीट शीट और उत्तर बताने वाला एक ट्यूटर था? यदि हम यह रिपोर्ट नहीं करते कि उसने 80% अंक कैसे प्राप्त किए, तो हम यह नहीं बता सकते कि छात्र वास्तव में बुद्धिमान है या उसके उपकरणों ने काम किया।
पेपर का दावा: वर्तमान बेंचमार्क एक एकल स्कोर (जैसे, "मॉडल X 65% सटीक है") रिपोर्ट करते हैं। वे आपको यह नहीं बताते कि कौन से उपकरण या वातावरण का उपयोग किया गया था। यह जानना असंभव बना देता है कि क्या AI वास्तव में स्मार्ट हो रहा है, या "रसोई" बस बेहतर हो गई है।
2. "एक सही उत्तर" का जाल (Single Reference)
उपमा: कल्पना कीजिए कि आपने एक बढ़ई (carpenter) से एक मेज बनाने के लिए कहा है। आपके पास एक विशिष्ट मेज की फोटो है जिसे आप चाहते हैं।
- परिदृश्य A: बढ़ई एक ऐसी मेज बनाता है जो मज़बूत, सुंदर और कार्यात्मक है, लेकिन उसमें आपकी फोटो की तुलना में लकड़ी का ग्रेन (grain) थोड़ा अलग है।
- परिदृश्य B: बढ़ई ठीक वैसी ही मेज बनाता है जैसी आपकी फोटो में है, लेकिन वह डगमगाती है और टूट जाती है।
वर्तमान बेंचमार्क परिदृश्य B को पूर्ण अंक देंगे और परिदृश्य A को असफल घोषित कर देंगे क्योंकि वह फोटो से मेल नहीं खाता।
पेपर का दावा: वास्तविक सॉफ़्टवेयर इंजीनियरिंग किसी एक समाधान की नकल करने के बारे में नहीं है। यह किसी समस्या को सर्वोत्तम तरीके से हल करने के बारे में है। AI को एक एकल "गोल्ड स्टैंडर्ड" कोड स्निपेट से मेल खाने के लिए मजबूर करके, हम रचनात्मक, वैध और अक्सर बेहतर समाधानों को दंडित करते हैं। हम यह टेस्ट नहीं कर रहे हैं कि AI एक विशिष्ट पैच की नकल कर सकता है या नहीं, बल्कि यह कि क्या वह समस्या को हल कर सकता है।
3. ब्लैक बॉक्स (कोई घटक संकेत नहीं - No Component Signal)
उपमा: कल्पना कीजिए कि आपकी कार खराब हो गई है। आप उसे मैकेनिक के पास ले जाते हैं और वह कहता है, "कार खराब है।" यह एक "एंड-टू-एंड" स्कोर है। यह बताता है कि कुछ गलत है, लेकिन यह नहीं बताता कि क्या। क्या यह बैटरी है? टायर? या इंजन?
पेपर का दावा: जब कोई कोडिंग एजेंट किसी टेस्ट में विफल होता है, तो वर्तमान बेंचमार्क केवल "विफल" (Failed) कहते हैं। वे आपको यह नहीं बताते कि क्यों। क्या AI ने निर्देशों को गलत समझा? क्या उपकरण विफल हो गए? क्या वातावरण क्रैश हो गया? यह जाने बिना कि "रसोई" का कौन सा हिस्सा विफल हुआ, डेवलपर्स सिस्टम को ठीक नहीं कर सकते। वे केवल अनुमान लगाने के लिए छोड़ दिए जाते हैं।
हमें इसके बजाय क्या करना चाहिए?
लेखक इसे ठीक करने के लिए तीन बदलाव प्रस्तावित करते हैं:
- पूरी रेसिपी रिपोर्ट करें: टेस्ट के परिणाम प्रकाशित करते समय, हमें प्रत्येक उपकरण, वातावरण और सेटिंग को सूचीबद्ध करना चाहिए। हमें यह जानने की आवश्यकता है कि स्कोर एक जीनियस AI से आया या एक सुपर-पावर्ड रसोई से।
- दिखावट पर नहीं, व्यवहार पर ग्रेड दें: यह जाँचने के बजाय कि कोड "गोल्ड स्टैंडर्ड" जैसा दिखता है या नहीं, हमें यह देखना चाहिए कि क्या कोड काम करता है और नियमों (जैसे सुरक्षा जांच या डिज़ाइन पैटर्न) का पालन करता है। किसी समस्या को हल करने के कई तरीके हो सकते हैं, और टेस्ट को किसी भी वैध समाधान को स्वीकार करना चाहिए।
- पूरे के बजाय हिस्सों का परीक्षण करें: हमें सिस्टम को तोड़ना होगा। AI की निर्देशों को पढ़ने की क्षमता और उपकरणों का उपयोग करने की क्षमता का अलग-अलग परीक्षण करें। इससे हमें यह समझने में मदद मिलती है कि कौन सा हिस्सा टूटा है, ताकि हम केवल अनुमान लगाने के बजाय उसे ठीक कर सकें।
निष्कर्ष (The Bottom Line)
पेपर का तर्क है कि हम भविष्य के सॉफ़्टवेयर इंजीनियरिंग (जटिल, स्वायत्त AI सिस्टम) को मापने के लिए उन उपकरणों का उपयोग कर रहे हैं जो अतीत (सरल, वन-शॉट कोड जनरेशन) के लिए बनाए गए थे।
आगे बढ़ने के लिए, हमें AI मॉडल को एकमात्र महत्वपूर्ण चीज़ मानना बंद करना होगा। हमें पूरे सिस्टम—उपकरणों, नियमों और फीडबैक लूप—को मापना शुरू करना होगा, क्योंकि वास्तविक दुनिया में, वही काम पूरा करता है। जब तक हम ऐसा नहीं करते, हमारे रैंकिंग और स्कोर भ्रामक रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।