SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
यह शोध पत्र SWE-bench ProMax को प्रस्तुत करता है, जो 170 बड़े पैमाने के कोड रिफैक्टरिंग कार्यों का एक कठोरता से क्यूरेट किया गया, बहुभाषी बेंचमार्क है जिसे मौजूदा मूल्यांकनों के दोषों और संतृप्ति (saturation) को दूर करने के लिए डिज़ाइन किया गया है, जो यह प्रदर्शित करता है कि वर्तमान फ्रंटियर AI एजेंट अभी भी जटिल, व्यवहार-संरक्षण वाले सॉफ्टवेयर इंजीनियरिंग चुनौतियों के साथ संघर्ष कर रहे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर सॉफ्टवेयर इंजीनियर बनना सीख रहे हैं। वर्षों से, वैज्ञानिक इन "AI कोडिंग एजेंटों" का परीक्षण उन्हें छोटे, अलग-थलग पहेलियाँ हल करने के लिए देकर करते रहे हैं, जैसे कि दो संख्याओं को जोड़ने के लिए एक एकल फ़ंक्शन लिखना। यह एक पायलट का परीक्षण करने जैसा है जिसमें उसे रनवे पर केवल विमान को टैक्सी कराने के लिए कहा जाता है। लेकिन वास्तविक सॉफ़्टवेयर एक-एक लाइन करके नहीं बनाया जाता; यह कोड का एक विशाल, आपस में जुड़ा हुआ शहर है जहाँ एक सड़क का साइन बदलने के लिए पूरे महानगर के मानचित्रों, ट्रैफिक लाइटों और बस शेड्यूल को अपडेट करने की आवश्यकता हो सकती है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये AI एजेंट किसी चीज़ को तोड़े बिना सॉफ़्टवेयर के विशाल हिस्सों को फिर से लिखने की जटिल, वास्तविक दुनिया की चुनौतियों को संभाल सकते हैं? यह "कोड रिफैक्टरिंग" (code refactoring) का क्षेत्र है—जो किसी इमारत की आंतरिक वायरिंग को पुनर्गठित करने की कला है बिना इस बात को बदले कि अंदर रहने वाले लोगों के लिए लाइट कैसे जलती है।
यहाँ SWE-Bench ProMax आता है, एक नया, अत्यंत चुनौतीपूर्ण परीक्षण जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या AI एजेंट बड़े लीग के लिए तैयार हैं। पिछले परीक्षण "ईज़ी मोड" (Easy Mode) वाले वीडियो गेम की तरह थे, जहाँ AI अक्सर उत्तरों को याद करने या बहुत सरल समस्याओं को हल करने पर निर्भर हो सकता था। इस नए बेंचमार्क के रचनाकारों ने महसूस किया कि यदि परीक्षण बहुत आसान या खराब तरीके से डिज़ाइन किए गए हैं, तो AI के उच्च स्कोर बुद्धिमत्ता का केवल एक भ्रम मात्र हैं। इसलिए, उन्होंने एक "हार्ड मोड" (Hard Mode) बाधा दौड़ बनाई। उन्होंने सात अलग-अलग प्रोग्रामिंग भाषाओं (पायथन, जावा, C++, और रस्ट सहित) से 170 वास्तविक दुनिया की सॉफ़्टवेयर चुनौतियाँ एकत्र कीं। ये छोटी मरम्मत नहीं हैं; ये बड़े बदलाव हैं जहाँ AI को औसतन 11.4 अलग-अलग फ़ाइलों में बदलावों का समन्वय करना होगा और 260 से अधिक लाइनों के कोड को फिर से लिखना होगा, और यह सब सुनिश्चित करते हुए कि सॉफ़्टवेयर पहले की तरह ही व्यवहार करे।
परिणाम AI उद्योग के लिए वास्तविकता का आईना हैं। जब सबसे स्मार्ट, सबसे महंगे AI मॉडलों को इस अखाड़े में डाला गया, तो उन्होंने इस परीक्षण में महारत हासिल नहीं की। सबसे अच्छे मॉडल ने केवल 41.2% कार्यों को सफलतापूर्वक हल किया। यह सुझाव देता है कि जबकि AI छोटे कामों में अच्छा हो रहा है, यह वास्तविक दुनिया की इंजीनियरिंग के लिए आवश्यक जटिल, बहु-चरणीय समन्वय के लिए अभी भी संघर्ष करता है। दिलचस्प बात यह है कि शोध में पाया गया कि मॉडल पर अधिक पैसा खर्च करने का मतलब हमेशा बेहतर परिणाम नहीं था; कुछ सस्ते, ओपन-सोर्स मॉडल महंगे दिग्गजों के लगभग बराबर प्रदर्शन कर रहे थे। AI के विफल होने का मुख्य कारण क्या था? यह एक "आंशिक" कार्यकर्ता होने की प्रवृत्ति रखता था। यह मुख्य समस्या को तो ठीक कर देता था लेकिन सहायक फ़ाइलों को अपडेट करना भूल जाता था, जैसे कि एक लीक होते पाइप को ठीक करना लेकिन वॉटर मीटर को बताना भूल जाना, जिससे पूरा सिस्टम विफल हो जाता था। यह बेंचमार्क साबित करता है कि AI के लिए वास्तविक सॉफ़्टवेयर इंजीनियरिंग की महारत अभी भी एक निर्माणाधीन कार्य है, जिसके लिए योजना बनाने और क्रॉस-फ़ाइल समन्वय के एक ऐसे स्तर की आवश्यकता है जिसे वर्तमान एजेंट अभी तक पूरी तरह से नहीं समझ पाए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।