💻 computer science

SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark

यह शोध पत्र SWE-ABS को पेश करता है, जो एक एडवरसेरियल फ्रेमवर्क है जो कवरेज-संचालित संवर्धन (coverage-driven augmentation) और म्यूटेशन-संचालित परीक्षण के माध्यम से टेस्ट सूट्स को मजबूत करता है ताकि पहले से "हल" किए गए पैच में सिमेंटिक त्रुटियों को उजागर किया जा सके, जिससे यह पता चलता है कि SWE-Bench Verified लीडरबोर्ड पर शीर्ष प्रदर्शन करने वाले एजेंटों की सफलता दर काफी बढ़ी हुई है, जो इन उन्नत बेंचमार्क के विरुद्ध मूल्यांकन किए जाने पर 16 प्रतिशत अंकों से अधिक गिर जाती है।

मूल लेखक: Boxi Yu, Yang Cao, Yuzhong Zhang, Liting Lin, Junjielong Xu, Zhiqing Zhong, Qinghua Xu, Guancheng Wang, Jialun Cao, Shing-Chi Cheung, Pinjia He, Lionel Briand

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boxi Yu, Yang Cao, Yuzhong Zhang, Liting Lin, Junjielong Xu, Zhiqing Zhong, Qinghua Xu, Guancheng Wang, Jialun Cao, Shing-Chi Cheung, Pinjia He, Lionel Briand

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "आसान टेस्ट" का जाल

कल्पना कीजिए कि आप अपने छात्रों को गणित की परीक्षा दे रहे हैं। इस परीक्षा में केवल तीन प्रश्न हैं:

$2 + 2$ क्या है?
$3 + 3$ क्या है?
$4 + 4$ क्या है?

"AI-Bot" नाम का एक छात्र इस परीक्षा में 100% अंक प्राप्त करता है। आप घोषणा करते हैं, "AI-Bot गणित का जीनियस है!"

लेकिन फिर, आप AI-Bot से पूछते हैं: "अगर हम एक अलग बेस (base) में गिनती कर रहे हों, तो $2 + 2$ क्या होगा?" या "अगर एक संख्या बिल्ली की तस्वीर हो, तो $2 + 2$ क्या होगा?"

AI-Bot बुरी तरह विफल हो जाता है। पता चलता है कि AI-Bot ने वास्तव में गणित नहीं सीखा था; उसने बस उन तीन विशिष्ट प्रश्नों के उत्तर रट लिए थे। टेस्ट बहुत आसान था और उसने वास्तव में यह नहीं जांचा कि छात्र को अवधारणा (concept) समझ में आई है या नहीं।

AI कोडिंग की दुनिया में ठीक यही हो रहा है।

वर्तमान में, AI कोडिंग एजेंटों के लिए एक प्रसिद्ध "परीक्षा" है जिसे SWE-Bench कहा जाता है। यह AI एजेंटों को वास्तविक सॉफ़्टवेयर में बग्स (bugs) ठीक करने के लिए कहता है। शीर्ष एजेंट लगभग 79% स्कोर कर रहे हैं, जो सुनने में अद्भुत लगता है। यह संकेत देता है कि AI मानव प्रोग्रामर्स की जगह लेने के लिए लगभग तैयार है।

पेपर की बड़ी खोज: यह स्कोर नकली है। यह बढ़ा-चढ़ाकर दिखाया गया है। ठीक उस गणित के छात्र की तरह जिसने केवल उत्तर रट लिए थे, ये AI एजेंट भी "चीटिंग" कर रहे हैं—वे विशिष्ट टेस्ट प्रश्नों के लिए सही उत्तर का अनुमान लगा लेते हैं, भले ही उनका कोड अन्य तरीकों से टूटा हुआ हो।

शोधकर्ताओं ने पाया कि 5 में से 1 "सफल" सुधार वास्तव में अर्थपूर्ण रूप से (semantically) गलत थे। वे टेस्ट में इसलिए पास हो गए क्योंकि टेस्ट इतना कमजोर था कि वह त्रुटि को पकड़ ही नहीं सका।

समाधान: SWE-ABS (द "एडवर्सरियल कोच")

इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया टूल बनाया जिसे SWE-ABS कहा जाता है। SWE-ABS को एक कठोर, रचनात्मक कोच के रूप में सोचें जो केवल टेस्ट को ग्रेड नहीं करता; बल्कि वह टेस्ट को इस तरह से फिर से डिजाइन करता है कि चीटिंग करना असंभव हो जाए।

SWE-ABS दो चरणों में काम करता है, जैसे कि एक दो-चरणीय वर्कआउट रूटीन:

चरण 1: "कवरेज" वर्कआउट (अंधे धब्बे ढूंढना)

एक सुरक्षा गार्ड की कल्पना करें जो एक इमारत की जाँच कर रहा है। मूल टेस्ट केवल सामने के दरवाजे की जाँच करता है।

समस्या: एक चोर पीछे की खिड़की से अंदर घुस सकता है, लेकिन गार्ड वहां कभी नहीं देखता।
SWE-ABS क्या करता है: यह एक मानचित्र (जिसे "प्रोग्राम स्लाइसिंग" कहा जाता है) का उपयोग करता है ताकि उस इमारत के हर कमरे, गलियारे और खिड़की का पता लगाया जा सके जिसे कोड छूता है। फिर यह AI को मजबूर करता है कि वह साबित करे कि वह केवल सामने के दरवाजे को ही नहीं, बल्कि हर कमरे को संभाल सकता है।
परिणाम: यह उन "कवरेज गैप्स" को भर देता है जहाँ AI पहले अपने आलसी कोड के साथ बच निकल रहा था।

चरण 2: "म्यूटेशन" वर्कआउट (दुष्ट जुड़वां)

यह सबसे चतुर हिस्सा है। कल्पना कीजिए कि AI एक समाधान सबमिट करता है। SWE-ABS उस समाधान का एक "म्यूटेंट" (Mutant) संस्करण बनाता है।

म्यूटेंट: यह कोड का एक "ज़ोंबी" संस्करण है। यह सही कोड के लगभग समान दिखता है, लेकिन इसमें एक बहुत ही सूक्ष्म दोष होता है (जैसे कि एक टाइपो जो अर्थ बदल देता है)।
टेस्ट: SWE-ABS पूछता है: "क्या मूल टेस्ट इस ज़ोंबी को पकड़ पाता है?"
- यदि टेस्ट ज़ोंबी के लिए भी "पास!" कहता है, तो टेस्ट कमजोर है।
- इसके बाद, SWE-ABS एक नया, विशिष्ट टेस्ट बनाता है जो उस ज़ोंबी को खत्म करने के लिए डिज़ाइन किया गया है।
उपमा: यह एक वायरस शिकारी की तरह है। यदि कोई वायरस (खराब कोड) प्रतिरक्षा प्रणाली (टेस्ट) से छिप सकता है, तो SWE-ABS विशेष रूप से उस वायरस का शिकार करने के लिए एक नया एंटीबॉडी (एक नया टेस्ट) विकसित करता है।

चौंकाने वाले परिणाम

जब शोधकर्ताओं ने SWE-Bench परीक्षा पर SWE-ABS लागू किया, तो परिणाम नाटकीय थे:

स्कोर तेजी से गिरा: शीर्ष AI एजेंट का स्कोर 78.80% से गिरकर 62.20% हो गया।
लीडरबोर्ड बदल गया: नंबर #1 रैंक वाला एजेंट गिरकर #5 पर आ गया। नंबर #2 वाला एजेंट #1 पर पहुँच गया। यह पता चला कि "सबसे अच्छा" AI वास्तव में सबसे अच्छा नहीं था; वह बस कमजोर टेस्ट का फायदा उठाने में सबसे अच्छा था।
"नकली" सुधार: उन्होंने पाया कि 2,184 कोड पैच जिन्हें पहले "ठीक किया गया" (Fixed) के रूप में चिह्नित किया गया था, वास्तव में टूटे हुए थे। वे एक ऐसी कार की तरह थे जो बाहर से चमकदार दिखती है लेकिन जिसमें इंजन ही नहीं है।

विपरीत निष्कर्ष (Counter-Intuitive Discovery)

शोधकर्ताओं ने एक और आश्चर्यजनक बात भी पाई: कठिन टेस्ट का मतलब हमेशा बेहतर टेस्ट नहीं होता।

उन्होंने इसे परीक्षा के एक "कठिन" संस्करण (SWE-Bench Pro) पर आजमाया, जहाँ कोडिंग कार्य बहुत अधिक कठिन थे। आप सोच सकते हैं कि AI वहां अधिक विफल होगा, और टेस्ट बेहतर होंगे।

वास्तविकता: AI कठिन कार्यों पर अधिक विफल हुआ, लेकिन टेस्ट अभी भी उतने ही कमजोर थे जितने कि आसान वाले।
सबक: केवल इसलिए कि कोई कार्य कठिन है, इसका मतलब यह नहीं है कि सुरक्षा जाल (टेस्ट) मजबूत है। आपके पास एक बहुत ही कठिन पहेली हो सकती है जिसके साथ एक बहुत ही कमजोर सुरक्षा जाल भी हो।

यह क्यों मायने रखता है?

यदि हम इन कमजोर टेस्ट का उपयोग करना जारी रखते हैं, तो हम सुरक्षा का एक झूठा अहसास बना रहे हैं।

कंपनियों के लिए: यदि आप इन स्कोर के आधार पर अपने बैंकिंग सॉफ़्टवेयर को ठीक करने के लिए AI को काम पर रखते हैं, तो यह टेस्ट पास कर सकता है लेकिन आपके सुरक्षा तंत्र में एक ऐसा छेद छोड़ सकता है जिससे हैकर्स अंदर आ सकें।
शोधकर्ताओं के लिए: हमें AI को "टेस्ट पास करने" के लिए प्रशंसा करना बंद करना चाहिए और उसे "मजबूत टेस्ट पास करने" के लिए प्रशंसा करना शुरू करना चाहिए।

एक वाक्य में सारांश

SWE-ABS एक ऐसे टूल के रूप में कार्य करता है जो AI कोडिंग परीक्षाओं के लिए "तनाव-परीक्षण" (stress-test) करता है, जिससे यह उजागर होता है कि कई AI एजेंट वास्तव में वास्तविक दुनिया में विफल हो रहे हैं क्योंकि वे जिन टेस्ट दे रहे हैं वे बहुत आसान हैं और खामियों से भरे हुए हैं।

यहाँ शोध पत्र "SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) आधारित सॉफ्टवेयर इंजीनियरिंग एजेंटों के मूल्यांकन में एक गंभीर संकट को संबोधित करता है। SWE-Bench Verified जैसे बेंचमार्क संतृप्ति (saturation) के करीब पहुँच रहे हैं, जहाँ शीर्ष एजेंट 79% के करीब सफलता दर प्राप्त कर रहे हैं। हालाँकि, लेखक तर्क देते हैं कि ये स्कोर बढ़ा-चढ़ाकर (inflated) दिखाए गए हैं क्योंकि अंतर्निहित टेस्ट-सुइट्स में व्यवस्थित कमजोरियाँ हैं:

कवरेज अंतराल (Coverage Gaps): टेस्ट अक्सर उन कोड क्षेत्रों को चलाने में विफल रहते हैं जो पैच से प्रभावित होते हैं, जिससे गलत समाधान केवल इसलिए पास हो जाते हैं क्योंकि त्रुटि कभी ट्रिगर ही नहीं होती।
सिमेंटिक ब्लाइंड स्पॉट्स (Semantic Blind Spots): टेस्ट सतही व्यवहार (जैसे, एक विशिष्ट स्ट्रिंग आउटपुट) को सत्यापित कर सकते हैं, लेकिन गहरे सिमेंटिक आवश्यकताओं (जैसे, सही टाइप हैंडलिंग या लॉजिक फ्लो) को मान्य करने में विफल रहते हैं।
मूल कारण (The Root Cause): SWE-Bench के टेस्ट पुल रिक्वेस्ट (PR) से प्राप्त किए गए हैं जो एक विशिष्ट डेवलपर पैच को सत्यापित करने के लिए डिज़ाइन किए गए हैं, न कि सभी संभावित सही और गलत समाधानों के बीच अंतर करने के लिए। इससे "ओवरफिटिंग" होती है जहाँ एजेंट वास्तविक समस्या को हल करने के बजाय कमजोर टेस्ट पास करने के लिए अनुकूलित (optimize) हो जाते हैं।

मुख्य निष्कर्ष: लेखकों ने टॉप-30 लीडरबोर्ड एजेंटों के 11,041 पैच का पुनर्मूल्यांकन किया। उन्होंने पाया कि 19.78% (2,184 पैच) जिन्हें "सुलझा हुआ" (solved) लेबल किया गया था, वे सिमेंटिक रूप से गलत थे लेकिन मूल टेस्ट पास कर गए। इसने शीर्ष एजेंट के स्कोर को 16.6 प्रतिशत अंक बढ़ा दिया था (इसे 78.80% से घटाकर 62.20% कर दिया)।

2. कार्यप्रणाली: SWE-ABS फ्रेमवर्क (Methodology: SWE-ABS Framework)

लेखक SWE-ABS प्रस्तावित करते हैं, जो एक एडवरसेरियल फ्रेमवर्क है जिसे दो-चरणीय पाइपलाइन के माध्यम से टेस्ट-सुइट्स को मजबूत करने के लिए डिज़ाइन किया गया है। इसका लक्ष्य ऐसे टेस्ट उत्पन्न करना है जो गलत पैच को अस्वीकार करें और वैध वैकल्पिक कार्यान्वयन को स्वीकार करें।

चरण I: कवरेज-संचालित संवर्धन (Stage I: Coverage-Driven Augmentation)

यह चरण कवरेज अंतराल को लक्षित करता है ताकि यह सुनिश्चित किया जा सके कि सभी पैच-प्रासंगिक कोड का परीक्षण किया जाए।

प्रारंभिक टेस्ट जनरेशन: एक LLM इश्यू डिस्क्रिप्शन और गोल्ड पैच के आधार पर विविध टेस्ट केस उत्पन्न करता है।
टेस्ट डिकपलिंग (Test Decoupling): गोल्ड पैच के विशिष्ट कार्यान्वयन के प्रति ओवरफिटिंग को रोकने के लिए, सिस्टम हार्ड-कोडेड एसरशन्स (जैसे, विशिष्ट एरर मैसेज) को हटाने के लिए टेस्ट को परिष्कृत करता है और यह सुनिश्चित करता है कि वे सटीक कोड के बजाय इरादे (intent) को सत्यापित करें।
प्रोग्राम स्लाइसिंग (Program Slicing): सिस्टम फॉरवर्ड और बैकवर्ड स्लाइसिंग के माध्यम से पैच-प्रासंगिक कोड क्षेत्रों ( $L_{rel}$ ) की पहचान करने के लिए स्टैटिक एनालिसिस (Tree-sitter) का उपयोग करता है।
कवरेज-गाइडेड एन्हांसमेंट: सिस्टम मापता है कि वर्तमान टेस्ट द्वारा कौन सी लाइनें $L_{rel}$ में बिना कवर की गई हैं और उन अनकवर्ड ब्रांचों को विशेष रूप से लक्षित करने के लिए LLM को नए टेस्ट बनाने के लिए प्रेरित करता है।

चरण II: म्यूटेशन-संचालित एडवरसेरियल सुदृढ़ीकरण (Stage II: Mutation-Driven Adversarial Strengthening)

यह चरण उन सिमेंटिक ब्लाइंड स्पॉट्स को लक्षित करता है जहाँ कोड सही ढंग से निष्पादित होता है लेकिन गलत परिणाम देता है।

म्यूटेंट जनरेशन: सिस्टम ऐसे "म्यूटेंट" पैच तैयार करता है जो प्लासिबल (plausible) हैं (वे मूल टेस्ट पास करते हैं) लेकिन सिमेंटिक रूप से गलत हैं (वे वास्तविक आवश्यकताओं का उल्लंघन करते हैं)।
प्रासंगिकता और समानता फ़िल्टरिंग: LLM म्यूटेंट्स को फ़िल्टर करते हैं ताकि यह सुनिश्चित हो सके कि वे प्रासंगिक हैं और उन्हें वर्गीकृत करते हैं:
- Equivalent (समतुल्य): गोल्ड पैच के कार्यात्मक रूप से समान (पास होना चाहिए)।
- Non-Equivalent (असमतुल्य): सिमेंटिक रूप से गलत (फेल होना चाहिए)।
एडवरसेरियल पहचान: सिस्टम "फॉल्स पॉजिटिव" (गैर-समतुल्य म्यूटेंट जो वर्तमान टेस्ट पास करते हैं) और "फॉल्स नेगेटिव" (समतुल्य म्यूटेंट जो फेल होते हैं) की पहचान करता है।
लक्षित संवर्धन (Targeted Augmentation):
- फॉल्स पॉजिटिव के लिए: सिस्टम विशेष रूप से गलत म्यूटेंट को अस्वीकार करने के लिए नए एडवरसेरियल टेस्ट बनाता है।
- फॉल्स नेगेटिव के लिए: सिस्टम वैध वैकल्पिक कार्यान्वयन को स्वीकार करने के लिए टेस्ट को सामान्य (generalize) बनाता है।

3. मुख्य योगदान (Key Contributions)

SWE-ABS फ्रेमवर्क: एक नवीन दो-चरणीय एडवरसेरियल फ्रेमवर्क जो कवरेज-संचालित संवर्धन और म्यूटेशन-संचालित एडवरसेरियल टेस्टिंग को जोड़ता है। यह 50.2% SWE-Bench Verified इंस्टेंस को मजबूत करता है, जो पिछले कार्य (UTBoost) की तुलना में 25.1× सुधार है।
महंगाई का अनुभवजन्य प्रमाण (Empirical Evidence of Inflation): प्रदर्शित किया गया कि टॉप एजेंटों के लगभग 20% "सुलझे हुए" पैच सिमेंटिक रूप से गलत हैं। पुनर्मूल्यांकन के कारण लीडरबोर्ड में बड़ा बदलाव आया, जिससे शीर्ष एजेंट प्रथम से पांचवें स्थान पर आ गया।
कठिनाई और विभेदक शक्ति की ऑर्थोगोनैलिटी (Orthogonality of Difficulty and Discriminative Power): यह शोध पत्र एक विरोधाभासी निष्कर्ष प्रस्तुत करता है: कार्य की कठिनाई $\neq$ टेस्ट की मजबूती। कठिन SWE-Bench Pro बेंचमार्क (जहाँ एजेंट ~46% स्कोर करते हैं) पर भी, SWE-ABS ने SWE-Bench Verified के समान सुदृढ़ीकरण दर हासिल की। यह सिद्ध करता है कि कठिन कार्य स्वतः ही बेहतर टेस्ट-सुइट्स का संकेत नहीं देते।
ओपन रिसोर्सेज: लेखकों ने भविष्य के कठोर मूल्यांकन को सुगम बनाने के लिए 500 SWE-Bench Verified इंस्टेंस और 150 SWE-Bench Pro इंस्टेंस के लिए सुदृढ़ टेस्ट-सुइट्स जारी किए हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

बेंचमार्क प्रभाव: SWE-Bench Verified (500 इंस्टेंस) पर, SWE-ABS ने 251 इंस्टेंस (50.2%) को मजबूत किया।
एजेंट प्रदर्शन में गिरावट: टॉप-30 एजेंटों की औसत रिज़ॉल रेट में 14.56 प्रतिशत अंक की गिरावट आई।
लीडरबोर्ड अस्थिरता: मूल और नए रैंकिंग के बीच स्पीयरमैन रैंक सहसंबंध (Spearment rank correlation) घटकर 0.82 हो गया (UTBoost के 0.98 की तुलना में), जो वर्तमान रैंकिंग में महत्वपूर्ण अस्थिरता को दर्शाता है।
त्रुटि वर्गीकरण (Error Taxonomy): अस्वीकृत पैच के विश्लेषण ने दिखाया:
- 47% लॉजिक एरर: मौलिक रूप से गलत एल्गोरिदम।
- 35% अपूर्ण फिक्स (Incomplete Fixes): मिसिंग एज केस।
- 14% सिंटैक्टिक एरर: टाइप मिसमैच, बाउंड्री उल्लंघन (यह सुझाव देता है कि LLM ने काफी हद तक सतही स्तर के सिंटैक्स को हल कर लिया है)।
लागत दक्षता: उच्च प्रति-इंस्टेंस लागत के बावजूद, SWE-ABS प्रति सुदृढ़ इंस्टेंस के मामले में UTBoost ( $80.00) की तुलना में **16 गुणा अधिक लागत-कुशल** है ($ 4.98)।

5. महत्व और निहितार्थ (Significance and Implications)

मूल्यांकन की विश्वसनीयता: यह शोध पत्र वर्तमान कोड एजेंट लीडरबोर्ड की वैधता को चुनौती देता है, यह सुझाव देता है कि वे वास्तविक सॉफ्टवेयर इंजीनियरिंग क्षमता के बजाय "टेस्ट-पासिंग" क्षमता को मापते हैं।
सुरक्षा निहितार्थ: कमजोर टेस्ट पास करने वाले पैच में महत्वपूर्ण कमजोरियां (जैसे, इनपुट वैलिडेशन की कमी, टाइप एरर) हो सकती हैं जो प्रोडक्शन में विफलता का कारण बन सकती हैं। SWE-ABS इन "साइलेंट फेलियर्स" को सामने लाने में मदद करता है।
भविष्य के बेंचमार्क डिज़ाइन: निष्कर्ष बताते हैं कि भविष्य के बेंचमार्क को केवल कार्य की कठिनाई के बजाय विभेदक शक्ति (discriminative power) (गलत समाधानों को अस्वीकार करने की क्षमता) को प्राथमिकता देनी चाहिए। यह पद्धति कोड ट्रांसलेशन, टेक्स्ट-टू-SQL और रोबोटिक कंट्रोल जैसे अन्य डोमेन में भी लागू की जा सकती है।
सीमाएँ: वर्तमान दृष्टिकोण टेस्ट जनरेशन और स्लाइसिंग के लिए "गोल्ड पैच" के अस्तित्व पर निर्भर करता है, जो संदर्भ कार्यान्वयन (reference implementations) के बिना उपयोग को सीमित करता है। इसमें गोल्ड पैच के प्रति नए टेस्ट के ओवरफिटिंग का 10.6% जोखिम भी है, जिसके लिए मैन्युअल या स्वचालित सुधार की आवश्यकता होती है।

निष्कर्षतः, SWE-ABS एडवरसेरियल बेंचमार्क सुदृढ़ीकरण के लिए एक सिद्धांतपूर्ण पद्धति प्रदान करता है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक एजेंट लीडरबोर्ड स्कोर की तुलना में काफी कम सक्षम हैं और AI सॉफ्टवेयर इंजीनियरिंग मूल्यांकन के लिए एक नया मानक स्थापित करता है।