Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

एक ऐसी दुनिया की कल्पना करें जहाँ सॉफ़्टवेयर लाखों लोगों द्वारा बनाई गई एक विशाल, हलचल भरी शहर की तरह है। कभी-कभी, एक इमारत में छिपी हुई दरार होती है, एक पुल का बोल्ट ढीला होता है, या एक ट्रैफिक लाइट लाल होने के बजाय हरी पर अटकी रहती है। वास्तविक दुनिया में, हम आमतौर पर तब तक इंतज़ार करते हैं जब तक कोई चिल्लाकर यह न कहे, "हे, पुल टूट गया है!" इससे पहले कि हम मरम्मत दल भेजें। डिजिटल दुनिया में, इस "चिल्लाहट" को इश्यू रिपोर्ट (issue report) कहा जाता है। यह एक इंसान द्वारा लिखा गया एक विस्तृत नोट है जो ठीक से बताता है कि बग कहाँ है, कौन सा एरर मैसेज आया और सॉफ़्टवेयर को कैसे व्यवहार करना चाहिए।

लंबे समय से, कंप्यूटर वैज्ञानिकों ने सुपर-स्मार्ट AI सहायकों को प्रशिक्षित किया है, जिन्हें कोडिंग एजेंट (coding agents) कहा जाता है, ताकि वे मरम्मत दल के रूप में कार्य कर सकें। ये एजेंट शक्तिशाली मस्तिष्क जैसी मॉडल्स (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) का उपयोग करते हैं ताकि वे कोड को पढ़ सकें और समस्याओं को ठीक कर सकें। लेकिन यहाँ एक पेंच है: अब तक इन एजेंटों के प्रशिक्षण और परीक्षण का अधिकांश हिस्सा इस धारणा पर आधारित रहा है कि एक आदर्श, विस्तृत "चिल्लाहट" (इश्यू रिपोर्ट) हमेशा उनके इंतज़ार में मौजूद है। यह एक मैकेनिक को केवल उन कारों पर प्रशिक्षित करने जैसा है जिन्हें पहले से ही वर्कशॉप में टो करके लाया गया है और साथ में एक नोट है, "इंजन से खटखटाने की आवाज़ आ रही है।"

लेकिन वास्तविक दुनिया में, चीजें हमेशा इतनी सुचारू नहीं होती हैं। कभी-कभी बग इतने चालाक होते हैं कि वे अंतिम उत्पाद में बिना किसी के ध्यान दिए घुस जाते हैं, जिससे भारी तबाही मच जाती है। अन्य मामलों में, इंसानों द्वारा छोड़े गए नोट्स अस्पष्ट, भ्रमित करने वाले या महत्वपूर्ण विवरणों से रहित होते हैं। यह एक बड़ा, रोमांचक सवाल खड़ा करता है: क्या ये AI मरम्मत दल किसी के यह जानने से पहले ही शहर के टूटे हुए हिस्सों को खोज और ठीक कर सकते हैं कि वे टूटे भी हैं? क्या वे सक्रिय जासूस (proactive detectives) की तरह काम कर सकते हैं, जो अपने आप कोड को स्कैन करें, दरारों को पहचानें और बिना किसी निर्देश पुस्तिका के उन्हें ठीक करें?

यह बिल्कुल वही है जिसे शोध पत्र "बेंचमार्किंग कोडिंग एजेंट्स फॉर प्रोएक्टिव बग फिक्सिंग विदाउट इश्यू रिपोर्ट्स" तलाशने का प्रयास करता है। लेखक, जो विश्वविद्यालयों और स्वतंत्र प्रयोगशालाओं के शोधकर्ताओं की एक टीम है, एक नई चुनौती पेश करते हैं जिसे Active-SWE कहा जाता है। इसे एक विशाल, उच्च-दांव वाले वीडियो गेम लेवल के रूप में समझें, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या AI एजेंट केवल आज्ञाकारी मैकेनिक के बजाय सच्चे जासूस बन सकते हैं।

उन्हें बग्स की एक सूची देने के बजाय, शोधकर्ताओं ने उन्हें कोड की एक विशाल लाइब्रेरी सौंपी—छह प्रकार के बग्स और आठ अलग-अलग प्रोग्रामिंग भाषाओं में 1,663 अलग-अलग कार्य—और उनसे कहा, "जाओ समस्याओं को ढूंढो और उन्हें ठीक करो। शुभकामनाएँ, कोई संकेत (hints) नहीं मिलेंगे।"

शोधकर्ताओं ने इस चुनौती को दो तरीकों से बनाया। पहले, उन्होंने एक "सिंपल सेटिंग" बनाई जहाँ AI को एक कोडबेस में छिपे हुए एक एकल बग को खोजना और ठीक करना था, ठीक वैसे ही जैसे किसी उपन्यास में एक विशिष्ट टाइपो (typo) को खोजना। फिर, उन्होंने कठिनाई को बढ़ाते हुए एक "हार्ड सेटिंग" बनाई, जहाँ AI को एक साथ कई बग्स का पीछा करना था, जैसे कि एक जासूस जो एक ही रात में अपराधों की पूरी श्रृंखला को सुलझाने की कोशिश कर रहा हो। उन्होंने AI का परीक्षण "पोटेंशियल बग्स" (संभावित बग्स) पर भी किया—ऐसे परिदृश्य जहाँ AI को एक ऐसी समस्या मिल सकती है जो मूल रूप से ज्ञात मुद्दों की सूची में भी नहीं थी, जो अनिवार्य रूप से यह पूछ रहा था, "क्या आपने कुछ नया पाया जो वास्तव में टूटा हुआ है?"

यह सुनिश्चित करने के लिए कि AI केवल अनुमान नहीं लगा रहा है, शोधकर्ताओं ने एक चतुर "डुअल-ट्रैक" स्कोरिंग सिस्टम का उपयोग किया। एक ट्रैक ने उन बग्स को चेक किया जिन्हें वे जानते थे कि वहाँ हैं (रिकॉर्डेड बग्स)। दूसरा ट्रैक अधिक पेचीदा था: यदि AI ने एक नया बग खोजने का दावा किया, तो सिस्टम ने AI को इसे साबित करने के लिए एक टेस्ट लिखने के लिए मजबूर किया। यदि AI एक टेस्ट के माध्यम से उस बग के अस्तित्व को सिद्ध नहीं कर सका, तो वह खोज गिनी नहीं गई। यह एक जासूस के दावा करने जैसा है कि उसने एक छिपा हुआ तिजोरी ढूंढ ली है; उसे आपको चाबी दिखानी होगी और उसे खोलना होगा ताकि वह साबित कर सके कि वह असली है।

परिणाम? यह पता चलता है कि आज के सबसे स्मार्ट, उन्नत AI एजेंट भी अभी भी इस सक्रिय जासूसी कार्य में संघर्ष कर रहे हैं। जब शोधकर्ताओं ने शीर्ष-स्तरीय मॉडल्स (जैसे क्लाउड ओपस 4.8, GPT-5.5 और अन्य) का परीक्षण किया, तो उन्होंने पाया कि अधिकांश मॉडल बिना किसी गाइड के लगभग 20% ज्ञात बग्स को ही ठीक कर सके। यह एक विस्तृत इश्यू रिपोर्ट दिए जाने की तुलना में एक बड़ी गिरावट है।

अध्ययन सुझाव देता है कि हालांकि ये AI एजेंट निर्देशों का पालन करने में बेहतर हो रहे हैं, लेकिन वे अभी भी एक अस्त-व्यस्त कमरे को देखने और खुद से यह समझने में काफी खराब हैं कि क्या टूटा हुआ है। वे अक्सर कोड में खो जाते हैं, समस्या के सटीक स्थान को नहीं पहचान पाते (जिसे 'लोकलाइजेशन' कहा जाता है), और एक साथ कई समस्याओं को सुलझाने में संघर्ष करते हैं। दिलचस्प बात यह है कि AI कुछ प्रकार के बग्स, जैसे कि लॉजिक या डेटा फ्लो से संबंधित बग्स को खोजने में थोड़ा बेहतर था, लेकिन वह "स्टेट" (system state) से जुड़े बग्स (जैसे ट्रैफिक लाइट का अटक जाना) के मामले में लगभग अनभिज्ञ था।

शायद सबसे महत्वपूर्ण बात यह है कि पेपर दिखाता है कि बग को खोजना लड़ाई का केवल आधा हिस्सा है। डेटा बताता है कि यदि AI कोड के टूटे हुए हिस्से को सटीक रूप से नहीं ढूंढ पाता है, तो वह उसे कभी भी सही ढंग से ठीक नहीं कर पाता है। यह एक लीक होते पाइप को ठीक करने की कोशिश करने जैसा है बिना यह जाने कि कौन सा पाइप लीक हो रहा है; आप गलत पाइप को कस सकते हैं।

संक्षेप में, यह पेपर यह दावा नहीं करता है कि AI ने सॉफ़्टवेयर रिपेयर को हल कर लिया है। इसके बजाय, यह एक अलार्म बजाता है कि वर्तमान पीढ़ी के कोडिंग एजेंट अभी भी समस्याओं को इंगित करने के लिए इंसानों पर बहुत अधिक निर्भर हैं। "प्रोएक्टिव" सपना—जहाँ AI कोड को स्कैन करता है और क्रैश होने से पहले समस्याओं को ठीक करता है—अभी भी एक निर्माणाधीन प्रक्रिया है। शोधकर्ता निष्कर्ष निकालते हैं कि हालांकि ये एजेंट शक्तिशाली हैं, लेकिन हमें उन पर भरोसा करने से पहले कि वे हमारे डिजिटल शहरों को बिना किसी सुरक्षा जाल के सुरक्षित रख सकें, उन्हें स्वतंत्र जासूस बनने में बहुत बेहतर होना होगा।