SWE-Together: Evaluating Coding Agents in Interactive User Sessions
यह शोध पत्र SWE-Together प्रस्तुत करता है, जो वास्तविक उपयोगकर्ता-एजेंट कोडिंग सत्रों से प्राप्त एक मल्टी-टर्न बेंचमार्क है, जो रिपॉजिटरी की अंतिम शुद्धता और आवश्यक सुधारात्मक फीडबैक टर्न की संख्या दोनों के आधार पर कोडिंग एजेंटों का मूल्यांकन करने के लिए एक रिएक्टिव LLM-आधारित उपयोगकर्ता सिम्युलेटर का उपयोग करता है, जिससे यह पता चलता है कि अधिक शक्तिशाली एजेंट कम हस्तक्षेपों के साथ उच्च सफलता दर प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए सॉफ्टवेयर इंजीनियर को काम पर रख रहे हैं। अतीत में, उन्हें परखने के लिए, आप उन्हें एक पूरी तरह से लिखी हुई, 10 पन्नों की निर्देश पुस्तिका थमा देते और कहते, "यह फीचर बनाओ।" आप उनके काम पूरा करने का इंतज़ार करते, उनके अंतिम कोड को देखते, और उन्हें एक ग्रेड देते। यदि कोड काम कर गया, तो उन्हें 'A' मिलता। यदि नहीं चला, तो उन्हें 'F' मिलता।
समस्या: वास्तविक जीवन ऐसा नहीं है। एक वास्तविक नौकरी में, आपके पास कोई आदर्श निर्देश पुस्तिका नहीं होती। आप एक अस्पष्ट विचार के साथ शुरुआत करते हैं, इंजीनियर कुछ बनाता है, आपको एहसास होता है कि आप एक महत्वपूर्ण विवरण बताना भूल गए थे, आप उनकी एक गलती को सुधारते हैं, और आप काम के बीच में ही अपने लक्ष्य को स्पष्ट करते हैं। पुराने परीक्षण यह नहीं माप सकते थे कि एक इंजीनियर इस उलझे हुए, आगे-पीछे होने वाले संवाद को कितनी अच्छी तरह संभालता है। वे केवल अंतिम उत्पाद को मापते थे, इस बात को नज़रअंदाज़ करते हुए कि वहां तक पहुँचने के लिए इंजीनियर को कितनी मदद (hand-holding) की आवश्यकता थी।
समाधान: SWE-Together
इस शोध पत्र के लेखकों ने एक नया परीक्षण क्षेत्र बनाया जिसे SWE-Together कहा जाता है। इसे कोडिंग एजेंटों (AI प्रोग्रामर्स) के लिए एक "रीप्ले करने योग्य वीडियो गेम" की तरह समझें।
यह कैसे काम करता है, इसे सरल भागों में यहाँ दिया गया है:
1. स्रोत सामग्री: वास्तविक जीवन का फुटेज
नकली टेस्ट प्रश्न बनाने के बजाय, शोधकर्ताओं ने वास्तविक दुनिया में खोज की। उन्होंने 11,260 वास्तविक बातचीत देखीं जो असली इंसानों और AI कोडिंग सहायकों के बीच हुई थीं। इस विशाल ढेर में से, उन्होंने 109 विशिष्ट कार्यों को सावधानीपूर्वक चुना जो एक परीक्षण के लिए एकदम सही थे।
- फ़िल्टर: उन्होंने उन बातचीत को हटा दिया जो बहुत अधिक उलझी हुई थीं, जिनका कोई स्पष्ट लक्ष्य नहीं था, या जिन्हें दोबारा दोहराया नहीं जा सकता था। उन्होंने केवल उन्हीं को रखा जहाँ इंसान का एक स्पष्ट लक्ष्य था, AI ने वास्तविक काम किया, और परिणाम की जाँच की जा सकती थी।
2. "रोबोट यूजर" सिम्युलेटर
यह सबसे चतुर हिस्सा है। एक नए AI को टेस्ट करने के लिए, वे केवल पुराने इंसान के संदेशों को दोबारा नहीं चला सकते, क्योंकि नया AI एक अलग रास्ता ले सकता है। यदि नया AI कोई अलग गलती करता है, तो पुराने इंसान का अगला संदेश समझ में नहीं आएगा।
इसलिए, उन्होंने एक स्मार्ट रोबोट यूजर बनाया।
- यह कैसे काम करता है: कल्पना कीजिए कि एक निर्देशक एक नाटक देख रहा है। निर्देशक को ठीक से पता है कि मूल मानव क्या हासिल करना चाहता था। जैसे-जैसे नया AI अभिनेता प्रदर्शन करता है, रोबोट यूजर उसे देखता रहता है। यदि AI पटरी से उतर जाता है या उस बिंदु को छोड़ देता है जिसे मूल मानव नोटिस करता, तो रोबोट यूजर हस्तक्षेप करता है और कहता है, "रुको, मेरा वास्तव में X से मतलब था," या "तुम Y भूल गए।"
- लक्ष्य: रोबोट यूजर बिल्कुल उसी तरह व्यवहार करता है जैसे मूल मानव करता, लेकिन यह नए AI के प्रदर्शन के अनुसार अपने समय (timing) को अनुकूलित करता है। यह सुनिश्चित करता है कि हर AI को एक ही "इरादे" (intent) के विरुद्ध परखा जाए, भले ही वे अलग-अलग रास्ते अपनाएं।
3. नया स्कोरकार्ड
पुराने परीक्षणों में, आपको केवल एक स्कोर मिलता था: क्या कोड काम कर गया?
SWE-Together में, वे दो-भागों वाले स्कोरकार्ड का उपयोग करते हैं:
- भाग A: अंतिम ग्रेड (सटीकता - Correctness): क्या AI ने अंततः वही बनाया जो पूछा गया था?
- भाग B: "मदद की आवश्यकता" का स्कोर (यूजर करेक्शन - User Correction): यही बड़ी नवीनता है। वे गिनते हैं कि रोबोट यूजर को AI को कितनी बार सुधारना पड़ा।
- उपमा: कल्पना कीजिए कि दो छात्र गणित का टेस्ट दे रहे हैं। दोनों सही उत्तर प्राप्त करते हैं।
- छात्र A ने इसे खुद सुलझा लिया।
- छात्र B को सही उत्तर मिला, लेकिन केवल तब जब शिक्षक को उन्हें तीन बार संकेत देना पड़ा और एक बड़ी गलती सुधारनी पड़ी।
- SWE-Together में, छात्र A को बेहतर स्कोर मिलता है क्योंकि उसे कम हस्तक्षेप की आवश्यकता थी। शोध पत्र इसे "यूजर करेक्शन" कहता है।
- उपमा: कल्पना कीजिए कि दो छात्र गणित का टेस्ट दे रहे हैं। दोनों सही उत्तर प्राप्त करते हैं।
उन्होंने क्या पाया
शोधकर्ताओं ने उपलब्ध सात सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। यहाँ क्या हुआ:
- स्मार्ट AI को कम मदद चाहिए: एक स्पष्ट पैटर्न था। "स्मार्टर" AI मॉडल (जैसे Claude Opus 4.8) उच्च अंतिम स्कोर प्राप्त करते थे और उन्हें रोबोट यूजर से कम सुधारों की आवश्यकता थी। "कमजोर" मॉडल कम स्कोर प्राप्त करते थे और उन्हें रोबोट यूजर द्वारा लगातार टोकने और सुधारने की आवश्यकता होती थी।
- रोबोट यूजर विश्वसनीय है: उन्होंने परीक्षण किया कि क्या इंसान रोबोट यूजर और एक वास्तविक इंसान के बीच अंतर कर सकते हैं। वे नहीं कर सके। सिमुलेशन इतना अच्छा था कि इंसान उनके बीच अंतर नहीं कर पाए।
- दक्षता (Efficiency): कुछ मॉडल काम पूरा करने के लिए तेज़ थे और कम "टोकन" (शब्दों/कंप्यूटिंग शक्ति) का उपयोग करते थे, जबकि अन्य धीमे लेकिन अधिक सटीक थे।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि हमें AI कोडर्स को एक लिखित परीक्षा की तरह टेस्ट करना बंद करना चाहिए जिसमें एक आदर्श उत्तर कुंजी होती है। हमें उन्हें एक वास्तविक कार्यालय में काम करने वाले व्यक्ति की तरह टेस्ट करने की आवश्यकता है।
SWE-Together यह सिद्ध करता है कि सर्वश्रेष्ठ कोडिंग एजेंट केवल वे नहीं हैं जो अंततः कोड को ठीक कर सकते हैं; बल्कि वे हैं जो सुन सकते हैं, अस्पष्ट निर्देशों को समझ सकते हैं, और अपनी गलतियों को खुद सुधार सकते हैं बिना किसी इंसान के बार-बार आकर यह कहने के कि, "नहीं, मेरा मतलब यह नहीं था।"
संक्षेप में: यह एक ऐसा बेंचमार्क है जो AI को एक अच्छे सहयोगी (collaborator) के रूप में होने के लिए पुरस्कृत करता है, न कि केवल एक अच्छे कोड जनरेटर के रूप में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।