SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale
यह शोध पत्र SWE-rebench V2 को प्रस्तुत करता है, जो एक भाषा-अज्ञेय (language-agnostic) स्वचालित पाइपलाइन है जो सुदृढीकरण लर्निंग-आधारित (reinforcement learning-based) सॉफ्टवेयर इंजीनियरिंग एजेंटों के लिए प्रशिक्षण डेटा की कमी को दूर करने हेतु 20 भाषाओं में 32,000 से अधिक सत्यापित और 120,000+ सिंथेटिक सॉफ्टवेयर इंजीनियरिंग कार्यों का एक बड़े पैमाने का, विविध डेटासेट तैयार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सॉफ्टवेयर इंजीनियर बनना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह बग्स (bugs) ठीक करे, नई विशेषताएं जोड़े और वास्तविक दुनिया के प्रोजेक्ट्स में कोड का प्रबंधन करे। इसे सिखाने के लिए, आपको अभ्यास के प्रश्नों की एक विशाल लाइब्रेरी की आवश्यकता है: "यहाँ एक टूटा हुआ प्रोग्राम है, यहाँ वह टेस्ट है जो साबित करता है कि यह टूटा हुआ है, अब इसे ठीक करें।"
लंबे समय तक, यह लाइब्रेरी बहुत छोटी थी, ज्यादातर केवल एक ही भाषा (Python) में लिखी गई थी, और समस्याएँ अक्सर अव्यवस्थित या स्वचालित रूप से चलाने में असंभव थीं। यह ऐसा था जैसे आप किसी शेफ को केवल एक विशिष्ट प्रकार के सूप की रेसिपी सिखा रहे हों, और आधी रेसिपी में सामग्री ही गायब हो।
SWE-rebench V2 एक बिल्कुल नए, स्वचालित कारखाने की तरह है जो इन कोडिंग समस्याओं की एक विशाल, विविध लाइब्रेरी बनाता है। यह कैसे काम करता है, इसे कुछ सरल उपमाओं के माध्यम से समझाया गया है:
1. समस्या: "भाषा की बाधा" और "सेटअप का दुःस्वप्न"
पहले, यदि आप किसी जावा (Java) प्रोजेक्ट पर कोडिंग AI का परीक्षण करना चाहते थे, तो आपको मैन्युअल रूप से रसोई सेट करनी पड़ती थी, विशिष्ट बर्तन खरीदने पड़ते थे और चूल्हे की सेटिंग्स का पता लगाना पड़ता था। यदि आप इसे रस्ट (Rust) प्रोजेक्ट पर टेस्ट करना चाहते थे, तो आपको पूरी तरह से अलग टूल्स के साथ यह सब फिर से करना पड़ता था। यह धीमा, महंगा और भाषाओं की संख्या को सीमित करने वाला था।
इसके अलावा, कई मौजूदा "अभ्यास समस्याएँ" ऐसी थीं जैसे बिना सुरागों वाली पहेलियाँ। निर्देश कहते थे, "बग ठीक करें," लेकिन यह नहीं बताते थे कि कौन सा बग या यह कैसे पता चलेगा कि आपने इसे ठीक कर दिया है।
2. समाधान: "यूनिवर्सल ट्रांसलेटर" कारखाना
लेखकों ने SWE-rebench V2 बनाया है, जो एक स्वचालित पाइपलाइन है। इसे एक यूनिवर्सल ट्रांसलेटर और किचन बिल्डर के रूप में सोचें जो किसी भी भाषा के लिए काम करता है।
- भाषा के प्रति तटस्थ (Language Agnostic): इसे इस बात से कोई फर्क नहीं पड़ता कि कोड Python, Go, Java या यहाँ तक कि कोई अज्ञात भाषा में है। यह एक "टेम्प्लेट" दृष्टिकोण का उपयोग करता है। यह कोडिंग के बुनियादी नियम जानता है (टूल्स इंस्टॉल करना, टेस्ट चलाना) और बस आवश्यकतानुसार विशिष्ट सामग्रियों (प्रोग्रामिंग भाषा) को बदल देता है।
- "इंटरैक्टिव सेटअप एजेंट": यह कारखाने का सबसे चतुर कर्मचारी है। जब कोई नया प्रोजेक्ट आता है, तो यह कार्यकर्ता केवल अनुमान नहीं लगाता कि इसे कैसे सेट किया जाए। यह वातावरण बनाने की कोशिश करता है, एक त्रुटि (error) से टकराता है, त्रुटि को पढ़ता है, एक अलग टूल आज़माता है, और तब तक प्रयास करता रहता है जब जब तक कि प्रोजेक्ट पूरी तरह से न चल जाए। यह एक रोबोट की तरह है जो तब तक IKEA फर्नीचर को जोड़ने की कोशिश करता रहता है जब तक कि वह अंततः समझ न जाए कि कौन सा पेंच कहाँ जाता है, बिना किसी मानवीय मदद के।
3. कटाई (The Harvest): एक विशाल लाइब्रेरी
इस कारखाने का उपयोग करके, उन्होंने केवल कुछ समस्याएँ ही नहीं ढूँढीं; उन्होंने 3,600 से अधिक विभिन्न वास्तविक दुनिया के प्रोजेक्ट्स से 32,000+ उच्च-गुणवत्ता वाले कार्य एकत्र किए।
- "गोल्ड" संग्रह (32k कार्य): ये "परफेक्ट" समस्याएँ हैं। इनके चलने की पुष्टि की गई है, इनके स्पष्ट निर्देश हैं, और इनके पास एक "पास/फेल" टेस्ट है जो साबित करता है कि AI ने इसे हल कर लिया है। ये तुरंत AI को प्रशिक्षित करने के लिए तैयार हैं।
- "रफ ड्राफ्ट" संग्रह (120k+ कार्य): उन्होंने 120,000 कार्यों का एक बहुत बड़ा सेट भी जारी किया है। ये "रफ ड्राफ्ट" की तरह हैं। इनमें शायद अभी तक पूर्ण टेस्ट सूट नहीं होगा, लेकिन इनमें निर्देश और कोड परिवर्तन मौजूद हैं। यह AI को कोडिंग की प्रक्रिया सिखाने के लिए बहुत अच्छा है, भले ही अंतिम ग्रेडिंग थोड़ी अस्पष्ट हो।
4. गुणवत्ता नियंत्रण: "संपादक" और "जासूस"
सिर्फ इसलिए कि आपके पास दस लाख समस्याएँ हैं, इसका मतलब यह नहीं है कि वे अच्छी हैं। पाइपलाइन में एक स्मार्ट "संपादक" (एक AI जज) शामिल है जो समस्या के विवरण को पढ़ता है। यदि कोई समस्या बहुत अस्पष्ट है ("जो चीज़ टूटी है उसे ठीक करें"), तो संपादक उसे बाहर कर देता है। यह केवल उन समस्याओं को रखता है जहाँ निर्देश इतने स्पष्ट हैं कि एक इंसान (या एक स्मार्ट रोबोट) उन्हें समझ सके।
उन्होंने एक "जासूस" परत भी जोड़ी है। उन्होंने सात अलग-अलग शीर्ष स्तर के AI मॉडल्स के माध्यम से समस्याओं को चलाया ताकि देखा जा सके कि चीजें कहाँ गलत हुईं।
- "कॉन्फ़ाउंडर" टैग्स (Confounder Tags): कभी-कभी AI इसलिए विफल नहीं होता क्योंकि वह मूर्ख है, बल्कि इसलिए क्योंकि टेस्ट अनुचित था (उदाहरण के लिए, टेस्ट एक विशिष्ट वेरिएबल नाम की जाँच करता है जिसका उल्लेख निर्देशों में नहीं किया गया था)। सिस्टम इन मुद्दों को टैग करता है। यह शोधकर्ताओं को यह कहने की अनुमति देता है, "आइए AI को पहले 'साफ' समस्याओं पर प्रशिक्षित करें, और फिर इसे और कठिन बनाने के लिए 'अनुचित' समस्याओं को बाद में पेश करें।"
5. यह क्यों मायने रखता है
इसे अगली पीढ़ी के AI इंजीनियरों के लिए "ओपन सोर्स टेक्स्टबुक" के रूप में सोचें।
- पहले: AI एक भाषा में कुछ किताबें पढ़कर कोडिंग सीख रहा था, जिनमें अक्सर गलतियाँ होती थीं।
- अब: AI के पास वास्तविक दुनिया की समस्याओं की एक विशाल, बहुभाषी लाइब्रेरी है, जिसमें काम करने वाली रसोई (एन्वायरमेंट) और स्पष्ट ग्रेडिंग रूब्रिक्स (टेस्ट) शामिल हैं।
यह शोधकर्ताओं को ऐसे AI एजेंटों को प्रशिक्षित करने की अनुमति देता है जो वास्तव में सॉफ़्टवेयर विकास की जटिल और विविध दुनिया में काम कर सकें, न कि केवल एक नियंत्रित, आदर्श लैब वातावरण में। यह एक पायलट को ऐसे सिम्युलेटर में प्रशिक्षित करने के बीच का अंतर है जो केवल आदर्श मौसम में उड़ता है, बनाम एक जो विभिन्न प्रकार के विमानों में हजारों वास्तविक तूफानों से होकर गुजरा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।