Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?
यह शोध पत्र तीन प्रमुख रिपॉजिटरी-स्तरीय प्रदर्शन-अनुकूलन बेंचमार्क (GSO, SWE-Perf, और SWE-fficiency) का ऑडिट करता है और यह प्रकट करता है कि विभिन्न मशीनों पर महत्वपूर्ण संदर्भ पैच नाजुकता (reference patch fragility), रैंकिंग को विकृत करने वाले स्कोरिंग नियमों, और इस तथ्य के कारण कि अधिकांश कार्य पहले से ही मौजूदा सार्वजनिक सबमिशन द्वारा हल करने योग्य हैं, उनके लीडरबोर्ड स्कोर अविश्वसनीय हैं, जिससे वास्तविक प्रदर्शन अंतराल छिप जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता में जज हैं। लक्ष्य केवल ऐसा व्यंजन बनाना नहीं है जो स्वादिष्ट हो; बल्कि लक्ष्य यह है कि वह मूल रेसिपी की तुलना में तेजी से पके।
कंप्यूटर साइंस की दुनिया में, "कोडिंग एजेंट" (AI प्रोग्राम) इस प्रतियोगिता में प्रवेश कर रहे हैं। उन्हें वास्तविक सॉफ्टवेयर प्रोजेक्ट दिए जाते हैं और उनसे कोड पैच लिखने के लिए कहा जाता है जो उनके सॉफ्टवेयर को तेज़ बना सके। यह देखने के लिए कि कौन जीतता है, शोधकर्ताओं ने तीन विशिष्ट प्रतियोगिताओं (जैसे कि एक स्कोरबोर्ड) के आधार पर "लीडरबोर्ड" बनाए हैं: GSO, SWE-Perf, और SWE-fficiency।
यह पेपर एक समूह खाद्य समीक्षकों (food critics) की तरह है जिन्होंने खुद प्रतियोगिता का ऑडिट करने का निर्णय लिया। उन्होंने पूछा: "क्या ये स्कोर वास्तव में हमें सबसे अच्छा शेफ बता रहे हैं, या खेल के नियम हमें गुमराह कर रहे हैं?"
उन्होंने जो पाया, वह यहाँ सरल रूप में समझाया गया है:
1. "मौसम" की समस्या: जब आप किचन बदलते हैं तो रेसिपी बदल जाती है
समस्या: प्रतियोगिता यह मानती है कि यदि एक कोड पैच एक कंप्यूटर पर प्रोग्राम को तेज़ बनाता है, तो वह किसी भी कंप्यूटर पर तेज़ होगा। यह ऐसा ही है जैसे यह मानना कि एक केक न्यूयॉर्क के किचन में भी ठीक 20 मिनट में ही पकेगा और टोक्यो के किचन में भी।
ऑडिट: शोधकर्ताओं ने "आधिकारिक विजेता रेसिपी" (रेफरेंस पैच) को लिया और उन्हें चार अलग-अलग प्रकार के कंप्यूटरों (अलग-अलग "किचन") पर बनाने की कोशिश की।
- परिणाम: कई मामलों में, वह रेसिपी जिसे "सबसे तेज़" होना चाहिए था, दूसरे कंप्यूटर पर धीमी हो गई या लगभग उतनी ही गति की रही।
- रूपक (Metaphor): कल्पना कीजिए कि एक धावक जो सुबह ट्रैक पर सबसे तेज़ है, लेकिन दोपहर में थक जाता है और धीमा हो जाता है। "आधिकारिक रिकॉर्ड" कहता है कि वह सबसे तेज़ है, लेकिन वह रिकॉर्ड केवल विशिष्ट परिस्थितियों में ही कायम रहता है।
- निष्कर्ष: एक प्रतियोगिता (SWE-Perf) के लिए, "गति का लाभ" इतना कम (जैसे 0.03%) था कि कंप्यूटर का आंतरिक शोर (जैसे पंखे का घूमना या बैकग्राउंड प्रोसेस) परिणामों को बदल सकता था। "विजेता" पैच वास्तव में जीत नहीं रहा था; वह बस मौसम के साथ भाग्यशाली था।
2. "स्कोरकार्ड" की समस्या: एक खराब व्यंजन आपके पूरे भोजन को खराब कर सकता है
समस्या: आप अंतिम स्कोर कैसे तय करते हैं?
- प्रतियोगिता A (GSO): यह एक साधारण पास/फेल है। क्या आपने संदर्भ गति को मात दी? हाँ = 1 अंक। नहीं = 0 अंक।
- प्रतियोगिता B (SWE-fficiency): यह एक जटिल गणितीय सूत्र (हार्मोनिक मीन) का उपयोग करता है जो आपको बहुत भारी दंड देता है यदि आपका एक परिणाम भी बहुत खराब हो।
ऑडिट: शोधकर्ताओं ने उन्हीं AI शेफों को देखा और दोनों नियमों का उपयोग करके उन्हें स्कोर दिया।
- परिणाम: रैंकिंग पूरी तरह से बदल गई! एक AI जो प्रतियोगिता A में #1 था, वह प्रतियोगिता B में गिरकर #7 पर आ गया।
- रूपक: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।
- नियम A: आपको हर सही उत्तर के लिए 1 अंक मिलता है।
- नियम B: आपको प्रत्येक सही उत्तर के लिए 1 अंक मिलता है, लेकिन, यदि आप एक भी प्रश्न गलत करते हैं, तो आपका पूरा स्कोर 1,000 से विभाजित कर दिया जाता है।
- नियम B के तहत, एक छात्र जिसने 99% प्रश्न सही किए लेकिन एक छोटी सी चीज़ चूक गया, उसका स्कोर उस छात्र से कम हो सकता है जिसने 80% प्रश्न सही किए लेकिन कभी कोई "विनाशकारी" गलती नहीं की।
- निष्कर्ष: लीडरबोर्ड केवल यह नहीं दिखाता कि कौन सबसे अच्छा कोडर है; यह दिखाता है कि कौन स्कोरिंग मैथ में बने "ट्रैप्स" (जालों) से बचने में सबसे अच्छा है। SWE-fficiency में, सबसे खराब 10 कार्यों ने पूरे स्कोर के लिए 58% से 82% तक का भार वहन किया। एक बुरा पैच किसी सबमिशन की प्रतिष्ठा को बर्बाद कर सकता है।
3. "पहले से हल हो चुका है" की समस्या: फिनिश लाइन खिसक रही है
समस्या: बेंचमार्क को यह दिखाना चाहिए कि AI कितनी प्रगति कर रहा है। लेकिन क्या कार्य अभी भी कठिन हैं?
ऑडिट: शोधकर्ताओं ने प्रत्येक कार्य के शीर्ष 10 सार्वजनिक सबमिशन को देखा। उन्होंने पूछा: "क्या किसी ने इसे पहले ही हल कर लिया है?"
- परिणाम: लगभग हर कार्य (99.8%) के लिए, कम से कम एक AI ने पहले ही एक ऐसा पैच लिख दिया था जो काम करता था और मूल कोड से तेज़ था। अधिकांश कार्यों (85%) के लिए, कम से कम एक AI ने आधिकारिक संदर्भ गति के बराबर या उससे बेहतर गति प्राप्त कर ली थी।
- रूपक: कल्पना कीजिए कि एक दौड़ जहाँ लक्ष्य एक मील को 6 मिनट से कम में दौड़ना है। शोधकर्ताओं ने परिणाम देखे और पाया कि लगभग सभी ने पहले ही इसे 6 मिनट से कम में दौड़ लिया है। अब दौड़ में बचे हुए लोग केवल कुछ सेकंड बचाने की कोशिश कर रहे हैं ताकि "विश्व रिकॉर्ड" समय से मेल खा सकें।
- निष्कर्ष: किसी समाधान को खोजने का "कठिन हिस्सा" काफी हद तक समाप्त हो चुका है। शेष चुनौती केवल संदर्भ पैच की विशिष्ट गति के साथ तालमेल बिठाने के लिए बारीक ट्यूनिंग (fine-tuning) करना है। बेंचमार्क अब यह परीक्षण नहीं कर रहे हैं कि क्या AI "ठीक" कर सकता है; वे यह परीक्षण कर रहे हैं कि क्या AI "परफेक्ट" कर सकता है।
सारांश: हमें क्या विश्वास करना चाहिए?
पेपर यह निष्कर्ष निकालता है कि कोडिंग एजेंटों को आंकने के लिए केवल लीडरबोर्ड स्कोर पर्याप्त नहीं हैं।
- "आधिकारिक रिकॉर्ड" पर आँख मूंदकर भरोसा न करें: एक पैच एक कंप्यूटर पर विजेता दिख सकता है लेकिन दूसरे पर विफल हो सकता है।
- गणित की जाँच करें: एक रैंकिंग केवल इसलिए ऊँची दिख सकती है क्योंकि स्कोरिंग नियम ने एक प्रतियोगी को एक छोटी सी गलती के लिए दंडित किया है, न कि इसलिए कि वे सामान्य रूप से खराब थे।
- विवरणों पर ध्यान दें: अधिकांश कार्य पहले ही "हल" किए जा चुके हैं। वास्तविक अंतर समाधान खोजने के बारे में नहीं है; यह गति के अंतिम कुछ प्रतिशत अंकों को प्राप्त करने के बारे में है।
संक्षेप में, स्कोरबोर्ड वास्तविक है, लेकिन खेल संख्याओं की तुलना में कहीं अधिक जटिल है। यह वास्तव में समझने के लिए कि कौन जीत रहा है, आपको इस बात के नीचे देखना होगा कि स्कोर कैसे कैलकुलेट किया गया था और AI वास्तव में कहाँ सफल हुआ।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।