SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving
SwingArena एक प्रतिस्पर्धी मूल्यांकन ढांचा है जो एक CI-संचालित पाइपलाइन के भीतर पैच सबमिटर और रिव्यूअर के रूप में LLMs को जोड़कर वास्तविक दुनिया के सॉफ्टवेयर विकास वर्कफ़्लो का अनुकरण करता है, जो कई प्रोग्रामिंग भाषाओं में लॉन्ग-कॉन्टेक्स्ट GitHub इश्यूज़ को प्रभावी ढंग से हल करने के लिए एक रिट्रीवल-ऑगमेंटेड कोड जनरेशन मॉड्यूल का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को टूटी हुई कार ठीक करना सिखाने की कोशिश कर रहे हैं।
अतीत में, शोधकर्ताओं ने इन रोबोट्स का परीक्षण करने के लिए उन्हें एक एकल, अलग कार्य दिया था: "यह एक ढीला बोल्ट है; इसे कस दें।" यदि रोबोट ने बोल्ट को कस दिया, तो उसे एक गोल्ड स्टार मिला। यह AI कोडिंग मॉडल्स (जिन्हें HumanEval जैसे बेंचमार्क कहा जाता है) को टेस्ट करने के पुराने तरीके जैसा है। यह सरल है, लेकिन यह आपको यह नहीं बताता कि क्या रोबकार वास्तव में एक पूरा इंजन ठीक कर सकता है, या क्या वह बोल्ट कसते समय गलती से ब्रेक को तोड़ देगा।
SWINGARENA AI कोडिंग मॉडल्स के लिए एक नया, बहुत अधिक वास्तविक "ड्राइविंग टेस्ट" है। एक शांत गैरेज और एक अकेले बोल्ट के बजाय, यह एक अराजक, उच्च-दबाव वाले ऑटो शॉप का अनुकरण करता है जहाँ दो रोबोट मिलकर (और एक-दूसरे के विरुद्ध) काम कर रहे हैं।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. दो रोबोट: "सबमिटर" (Submitter) और "रिव्यूअर" (Reviewer)
वास्तविक दुनिया में, जब एक प्रोग्रामर किसी बग को ठीक करता है, तो वह केवल उसे ठीक करके नहीं जाता। उसे एक मानव प्रबंधक (या साथियों की टीम) को यह विश्वास दिलाना होता है कि सुधार अच्छा है।
SWINGARENA दो AI मॉडल्स के बीच एक मुकाबला सेट करता है:
- सबमिटर (मैकेनिक): यह रोबोट टूटे हुए कोड (बग) को ठीक करने की कोशिश करता है। यह एक पैच (मरम्मत की योजना) लिखता है।
- रिव्यूअर (निरीक्षक): इस रोबोट का काम संदेही होना है। यह सबमिटर के सुधार को तोड़ने की कोशिश करता है। यह विशेष रूप से उन कमियों को खोजने के लिए नए टेस्ट लिखता है जो मरम्मत में छेद ढूंढ सकें।
वे बारी-बारी से काम करते हैं। सबमिटर एक समस्या को ठीक करता है, रिव्यूअर उसे तोड़ने की कोशिश करता है, सबमिटर उसे फिर से ठीक करता है, और इसी तरह चलता रहता है। यह कोड के लिए "जेलब्रेक" गेम जैसा है: एक दीवार बनाने की कोशिश करता है, दूसरा उसमें दरार खोजने की कोशिश करता है।
2. "विशाल लाइब्रेरी" की समस्या (लॉन्ग कॉन्टेक्स्ट)
वास्तविक सॉफ्टवेयर केवल एक फ़ाइल नहीं है; यह हजारों किताबों (फ़ाइलों) वाली एक विशाल लाइब्रेरी है। यदि किसी रोबोट को अध्याय 500 में एक टाइपो (लिखने की गलती) को ठीक करने की आवश्यकता है, तो उसे यह समझने की आवश्यकता है कि वह टाइपो अध्याय 1, 200 और 800 को कैसे प्रभावित करता है।
अधिकांश AI मॉडल्स का "ध्यान लगाने का समय" (सीमित कॉन्टेक्स्ट विंडो) कम होता है। वे पूरी लाइब्रेरी को एक साथ नहीं पढ़ सकते।
- समाधान: SWINGARENA RACG (रिट्रीवल-ऑगमेंटेड कोड जनरेशन) नामक एक विशेष टूल का उपयोग करता है। इसे एक सुपर-स्मार्ट लाइब्रेरियन के रूप में समझें। जब रोबोट पूछता है, "मैं इसे कैसे ठीक करूँ?", तो लाइब्रेरियन पूरी लाइब्रेरी को मेज पर नहीं डाल देता। इसके बजाय, लाइब्रेरियन जल्दी से उन सटीक तीन पन्नों को ढूंढ लेता है जिन्हें रोबोट को समस्या हल करने के लिए पढ़ने की आवश्यकता है और उन्हें सौंप देता है। यह AI को बिना अभिभूत हुए विशाल, जटिल प्रोजेक्ट्स पर काम करने की अनुमति देता है।
3. "वास्तविक दुनिया" का परीक्षण (CI पाइपलाइन)
पुराने परीक्षणों में, यदि कोड एक बार बिना क्रैश हुए चल गया, तो इसे "पास" माना जाता था।
SWINGARENA में, कोड को एक कंटीन्यूअस इंटीग्रेशन (CI) पाइपलाइन को पास करना होता है।
- उपमा: कल्पना कीजिए कि एक रोबोट एक मरम्मत सबमिट करता है। कार चलाने से पहले, इसे सुरक्षा जांचों की एक श्रृंखला से गुजरना होगा: क्या इंजन शुरू होता है? क्या लाइटें काम करती हैं? क्या पेंट का रंग सही है? क्या हमने गलती से गलत प्रकार का तेल इस्तेमाल किया है?
- यदि रोबोट का सुधार इनमें से किसी भी स्वचालित जांच में विफल रहता है (भले ही कोड तकनीकी रूप से "काम" करता हो), तो वह परीक्षण में विफल हो जाता है। यह इस बात की नकल करता है कि वास्तविक सॉफ्टवेयर कंपनियाँ कैसे काम करती हैं, जहाँ ऐसा सुधार जो बिल्ड सिस्टम को तोड़ देता है, वह बेकार है।
4. परिणाम: कौन जीतता है?
शोधकर्ताओं ने इस अरीना में शीर्ष AI मॉडल्स (जैसे GPT-4o, Claude, Gemini, और DeepSeek) का परीक्षण किया। उन्होंने कुछ दिलचस्प बातें पाईं:
- आक्रामक सुधारक (Aggressive Fixers): कुछ मॉडल्स (जैसे GPT-4o) तेजी से साहसी, रचनात्मक सुधार करने में माहिर हैं। वे उन मैकेनिकों की तरह हैं जो एक छेद पर पैच लगा देते हैं और उम्मीद करते हैं कि वह टिका रहेगा।
- सावधान सुधारक (Careful Fixers): अन्य मॉडल्स (जैसे DeepSeek) धीमे लेकिन अधिक सावधान हैं। वे यह सुनिश्चित करने को प्राथमिकता देते हैं कि सुधार किसी और चीज़ को न तोड़ दे।
- रिव्यूअर प्रभाव: अध्ययन ने दिखाया कि एक मॉडल की सफलता इस बात पर बहुत निर्भर करती है कि उसका रिव्यूअर कौन है। एक "कठोर" रिव्यूअर उन खामियों को उजागर कर सकता है जिन्हें एक "उदार" रिव्यूअर मिस कर देता।
यह क्यों मायने रखता है?
पिछले परीक्षण ऐसे थे जैसे किसी छात्र को कागज के टुकड़े पर गणित का सवाल हल करने के लिए कहना। SWINGARENA उस छात्र को एक वास्तविक कक्षा में रखने, उन्हें एक ग्रुप प्रोजेक्ट देने, एक सख्त शिक्षक देने और एक टिक-टिक करती घड़ी देने जैसा है।
यह प्रकट करता है कि जबकि AI कोड लिखने में बेहतर हो रहा है, यह अभी भी पेशेवर सॉफ्टवेयर इंजीनियरिंग की अव्यवस्थित, सहयोगात्मक और सुरक्षा-महत्वपूर्ण वास्तविकता के साथ संघर्ष कर रहा है। SWINGARENA हमें यह देखने में मदद करता है कि रोबोट वास्तव में कहाँ विफल हो रहे हैं ताकि हम उन्हें बेहतर तरीके से सिखा सकें।
संक्षेप में: SWINGARENA AI को एक कैलकुलेटर की तरह नहीं, बल्कि एक जूनियर इंजीनियर की तरह देखता है, यह परीक्षण करता है कि क्या वह वास्तव में एक वास्तविक सॉफ्टवेयर टीम की अराजकता में जीवित रह सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।