Dialogue SWE-Bench: A Benchmark for Dialogue-Driven Coding Agents
यह शोध पत्र डायलॉग SWE-Bench पेश करता है, जो एक नया बेंचमार्क और व्यक्तित्व-आधारित (persona-grounded) यूजर सिम्युलेटर है, जिसका उपयोग संवाद के माध्यम से सॉफ्टवेयर इंजीनियरिंग समस्याओं को हल करने की कोडिंग एजेंटों की क्षमता का मूल्यांकन करने के लिए किया जाता है, जो यह प्रकट करता है कि संवाद क्षमता प्रदर्शन का एक विशिष्ट आयाम है जो अनिवार्य रूप से कोडिंग मॉडल की मजबूती के साथ सहसंबंध नहीं रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक खराब टोस्टर को ठीक करने की कोशिश कर रहे हैं।
पुराना तरीका (वर्तमान बेंचमार्क):
अभी, जब हम AI कोडिंग असिस्टेंट का परीक्षण करते हैं, तो हम एक रोबोट की तरह व्यवहार करते हैं जो दूसरे रोबोट को एक सटीक, 10 पन्नों का मैनुअल दे रहा है। मैनुअल कहता है: "टोस्टर इसलिए खराब है क्योंकि हीटिंग एलिमेंट ढीला है। कृपया इसे कस दें।" AI उस मैनुअल को पढ़ता है, टोस्टर को ठीक करता है, और हम उसे एक गोल्ड स्टार देते हैं।
समस्या यह है कि असली इंसान इस तरह बात नहीं करते। हमारे पास सटीक मैनुअल नहीं होते। हम कहते हैं, "हे, मेरा टोस्टर अजीब व्यवहार कर रहा है," और AI को पूछना पड़ता है, "क्या यह कोई आवाज़ कर रहा है? क्या इसमें से धुआं निकल रहा है? जब आप लीवर दबाते हैं तो क्या होता है?"
नया तरीका (Dialogue-SWEBench):
यह पेपर एक नया परीक्षण क्षेत्र पेश करता है जिसे Dialogue-SWEBench कहा जाता है। AI को एक सटीक मैनुअल देने के बजाय, उन्होंने एक ऐसा सिमुलेशन तैयार किया है जहाँ AI को एक वास्तविक सॉफ़्टवेयर समस्या को हल करने के लिए एक "घोस्ट यूजर" (भूतिया उपयोगकर्ता) से बात करनी होगी।
उन्होंने इसे इस प्रकार बनाया है:
1. "घोस्ट यूजर" सिम्युलेटर
शोधकर्ताओं ने मानव उपयोगकर्ता की भूमिका निभाने के लिए एक विशेष AI प्रोग्राम बनाया।
- व्यक्तित्व (Persona): इस घोस्ट यूजर का एक व्यक्तित्व होता है (जैसे "चिंतित और सतर्क" या "आलसी और अधीर")।
- ज्ञान: घोस्ट को पूरे बग की पूरी कहानी पता होती है (एक गुप्त स्क्रिप्ट की तरह), लेकिन उसे सख्ती से एक साथ सब कुछ बताने से मना किया गया है। उसे विवरण केवल तभी प्रकट करने चाहिए जब पूछा जाए।
- स्व-सुधार (Self-Correction): यदि घोस्ट यूजर गलती से कुछ असंभव कह देता है (जैसे "मैंने अभी अपना कोड फोन पर चलाया"), तो सिम्युलेटर खुद को पकड़ लेता है, कहता है "ओप्स, मैं ऐसा नहीं कर सकता," और संदेश को यथार्थवादी बनाने के लिए उसे फिर से लिख देता है। यह सुनिश्चित करता है कि परीक्षण निष्पक्ष हो।
2. टेस्ट रन
इस नए टेस्ट में, AI कोडिंग एजेंट केवल एक फ़ाइल को देखकर उसे ठीक नहीं कर सकता। उसे निम्नलिखित चरणों का पालन करना होगा:
- उपयोगकर्ता की अस्पष्ट शिकायत को सुनना ("मेरा कोड क्रैश हो रहा है!")।
- स्पष्ट करने वाले प्रश्न पूछना ("आपको क्या एरर मैसेज दिख रहा है?")।
- उत्तर प्राप्त करना।
- कोड को ठीक करना।
- उपयोगकर्ता के साथ सुधार की पुष्टि करना।
यदि AI बिना पूछे उत्तर का अनुमान लगाने की कोशिश करता है, या यदि वह बहुत अधिक बेतुके सवाल पूछता है, तो वह फेल हो जाता है।
3. बड़ा सरप्राइज
शोधकर्ताओं ने इस नए "चैट" वातावरण में सबसे स्मार्ट कोडिंग AI (जैसे GPT-5 और अन्य) का परीक्षण किया। उन्होंने कुछ चौंकाने वाला पाया:
एक बेहतरीन कोडर होने का मतलब यह नहीं है कि आप एक बेहतरीन बातचीत करने वाले भी हैं।
- "बिग ब्रेन" ट्रैप: सबसे बड़े, सबसे शक्तिशाली मॉडल (जो "बड़े दिमाग" हैं) बातचीत के मामले में वास्तव में बुरे थे। वे अनावश्यक प्रश्न पूछते रहते थे या चैट के प्रवाह में उलझ जाते थे।
- "छोटा लेकिन स्मार्ट" विजेता: एक थोड़ा छोटा मॉडल (GPT-5-mini) बातचीत में बेहतर प्रदर्शन करता है, कम लागत में अधिक समस्याओं को हल करता है।
- सीक्रेट सॉस (Secret Sauce): शोधकर्ताओं ने एक नए प्रकार का एजेंट बनाया जो एक "स्कीमा" (Schema - इसे एक चेकलिस्ट या मानसिक व्हाइटबोर्ड की तरह समझें) का उपयोग करता है। जैसे-जैसे AI चैट करता है, वह अपनी चेकलिस्ट में बॉक्स भरता जाता है: बग क्या है? अपेक्षित परिणाम क्या है? क्या जानकारी गायब है?
- यह "स्कीमा-गाइडेड" एजेंट समस्याओं को हल करने में सबसे अच्छा था क्योंकि वह केवल अनुमान लगाने के बजाय बातचीत के दौरान व्यवस्थित रहा।
4. निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हम कोडिंग एजेंटों का परीक्षण ऐसे कर रहे हैं जैसे वे लैब में अकेले काम करने वाले रोबोट हों। लेकिन वास्तविक दुनिया में, वे मनुष्यों के साथ टीम के रूप में काम करने वाले साथी हैं।
- कोडिंग कौशल ≠ चैट कौशल: एक मॉडल कोडिंग लिखने में शानदार हो सकता है लेकिन यह समझने में बहुत बुरा हो सकता है कि मनुष्य वास्तव में क्या चाहता है।
- समाधान: बेहतर कोडिंग असिस्टेंट बनाने के लिए, हमें उन्हें बेहतर सुनने वाले और बेहतर सवाल पूछने वाले के रूप में प्रशिक्षित करने की आवश्यकता है, न कि केवल बेहतर कोडर के रूप में।
संक्षेप में: पेपर ने एक "चैट सिम्युलेटर" बनाया ताकि यह परीक्षण किया जा सके कि क्या कोडिंग AI वास्तव में बग फिक्स करने के लिए मनुष्यों से बात कर सकते हैं। उन्होंने पाया कि सबसे बड़े, सबसे महंगे मॉडल हमेशा सबसे अच्छे बातचीत करने वाले नहीं होते हैं, और AI को एक मानसिक चेकलिस्ट देने से वह समस्याओं को बहुत बेहतर तरीके से हल करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।