SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions
यह शोध पत्र SWE-Interact को प्रस्तुत करता है, जो एक नया बेंचमार्क है जो यथार्थवादी, मल्टी-टर्न, उपयोगकर्ता-संचालित सॉफ्टवेयर इंजीनियरिंग कार्यों पर कोडिंग एजेंटों का मूल्यांकन करता है, जिससे यह पता चलता है कि पारंपरिक सिंगल-टर्न बेंचमार्क पर मजबूत प्रदर्शन प्रभावी वास्तविक दुनिया के विकास के लिए आवश्यक इंटरैक्टिव, इटरेटिव वर्कफ़्लो में विश्वसनीय रूप से परिवर्तित नहीं होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक घर बनाने के लिए एक प्रतिभाशाली लेकिन अनुभवहीन वास्तुकार (architect) को काम पर रख रहे हैं।
पुराना तरीका (पारंपरिक बेंचमार्क)
अतीत में, शोधकर्ता इन AI "वास्तुकारों" का परीक्षण करने के लिए उन्हें पहले ही दिन एक पूर्ण, 50 पन्नों का ब्लूप्रिंट थमा देते थे। उस ब्लूप्रिंट में हर एक विवरण सूचीबद्ध होता था: लकड़ी का प्रकार, पेंट का सटीक शेड, हर आउटलेट की स्थिति और नल का ब्रांड। AI का काम केवल उस योजना को पढ़ना और घर को पूरी तरह से बनाना था।
- समस्या: यह वास्तविक निर्माण कार्य के अनुरूप नहीं है। वास्तविक दुनिया में, ग्राहकों के पास शायद ही कभी कोई सटीक ब्लूप्रिंट तैयार होता है। वे आमतौर पर कहते हैं, "मुझे एक आरामदायक घर चाहिए जिसमें एक बड़ा किचन हो," और फिर जैसे-जैसे वे प्रगति देखते हैं, वे अपना मन बदल लेते हैं।
नया तरीका (SWE-INTERACT)
यह पेपर SWE-INTERACT पेश करता है, जो एक वास्तविक जीवन के निर्माण प्रोजेक्ट का अनुकरण (simulate) करने वाला एक नया परीक्षण है।
- सेटअप: एक सटीक ब्लूप्रिंट के बजाय, AI एक अस्पष्ट अनुरोध के साथ शुरू करता है: "मेरे लिए एक घर बनाओ।"
- क्लाइंट (सिम्युलेटर): एक कंप्यूटर प्रोग्राम "क्लाइंट" की भूमिका निभाता है। वह केवल चुपचाप बैठा नहीं रहता; वह निर्माण स्थल के चारों ओर घूमता रहता है।
- वह नींव को देखता है और कहता है, "अरे, मुझे पता नहीं था कि मुझे बेसमेंट भी चाहिए था।"
- वह किचन को देखता है और कहता है, "दरअसल, मैं चूल्हा यहाँ चाहता हूँ, वहाँ नहीं।"
- वह वायरिंग की जाँच करता है और कहता है "रुको, मुझे और अधिक आउटलेट्स की आवश्यकता है।"
- लक्ष्य: AI को यह समझना होगा कि क्लाइंट वास्तव में क्या चाहता है, इन विकसित होती टिप्पणियों को सुनकर, अपनी गलतियों को सुधारकर, और घर को टुकड़ों में बनाते हुए, जबकि क्लाइंट नई आवश्यकताएं जोड़ता रहता है।
बड़ी खोज
शोधकर्ताओं ने दोनों परिदृश्यों में दुनिया के सबसे स्मार्ट AI कोडिंग मॉडल्स का परीक्षण किया। यहाँ उन्हें क्या मिला:
- पढ़ने में अच्छे, सुनने में बुरे: वे मॉडल जो सटीक ब्लूप्रिंट से घर बनाने में माहिर थे ("सिंगल-टर्न" टेस्ट), वे संघर्ष कर गए जब क्लाइंट बार-बार अपना मन बदलने लगा। उनकी सफलता दर लगभग 50% से गिरकर 25% रह गई।
- "अति-आत्मविश्वासी" गलती: सबसे अच्छे मॉडल (जैसे GPT-5.5 और Opus 4.8) अस्पष्ट निर्देशों के बावजूद निर्माण शुरू करने के लिए साहसी थे। वे सुधार कर सकते थे और चीजों को ठीक कर सकते थे जब क्लाइंट उन्हें सुधारता था। हालाँकि, बहुत अधिक चतुर बनने की कोशिश करते समय वे अक्सर पिछले निर्देशों को भूल जाते थे या तकनीकी गलतियाँ कर देते थे।
- "हार मान लेने" वाली गलती: कमजोर मॉडल अस्पष्ट शुरुआत से भ्रमित हो गए, बहुत जल्दी हार मान ली, या क्लाइंट के नए निर्देशों को पूरी तरह से अनदेखा कर दिया।
यह क्यों महत्वपूर्ण है
इसे एक वीडियो गेम की तरह समझें। पुराने परीक्षण एक ऐसे लेवल की तरह थे जहाँ आपको पता होता है कि दुश्मन कहाँ हैं और बॉस कैसा दिखता है। नया परीक्षण एक लाइव-एक्शन रोल-प्लेइंग गेम की तरह है जहाँ "गेम मास्टर" (क्लाइंट) आपके खेलते समय कहानी बदल देता है।
पेपर निष्कर्ष निकालता है कि एक अच्छा कोडर होने का मतलब केवल कोड लिखना (ब्लूप्रिंट) जानना नहीं है; इसका मतलब धैर्य रखना और उस इंसान के साथ काम करने का कौशल होना है जिसे खुद नहीं पता कि वह क्या चाहता है जब तक कि वह उसे देख न ले। वर्तमान AI मॉडल इस मामले में बेहतर हो रहे हैं, लेकिन वास्तविक दुनिया के जटिल और सहयोगात्मक वातावरण में मानव डेवलपर की जगह लेने के लिए उन्हें अभी भी एक लंबा रास्ता तय करना है।
संक्षेप में: इस पेपर ने AI कोडर्स को प्रशिक्षित करने के लिए एक नया "जिम" बनाया है, ताकि वे न केवल आदेशों का पालन करना सीखें, बल्कि उन इंसानों के साथ वास्तव में सहयोग करना भी सीखें जो चीजें सीखते हुए आगे बढ़ रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।