IDE-Bench: Evaluating Large Language Models as IDE Agents on Real-World Software Engineering Tasks
IDE-Bench एक व्यापक, डॉकरयुक्त (Dockerized) मूल्यांकन ढांचे को पेश करता है जिसमें आठ कभी न प्रकाशित हुए रिपॉजिटरीज़ के माध्यम से 80 कार्य शामिल हैं, जो एक संरचित, IDE-नेटिव टूल इंटरफ़ेस के माध्यम से वास्तविक दुनिया के, बहु-भाषा सॉफ्टवेयर इंजीनियरिंग कार्यों में AI IDE एजेंटों की क्षमताओं का आकलन करने के लिए है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने सॉफ़्टवेयर प्रोजेक्ट के लिए एक नया जूनियर डेवलपर काम पर रख रहे हैं। आप यह जानना चाहते हैं कि क्या वे वास्तव में काम कर सकते हैं: बग ढूँढना, नई सुविधाएँ जोड़ना और बाकी चीज़ों को खराब किए बिना टूटे हुए कोड को ठीक करना।
लंबे समय से, हम AI कोडिंग असिस्टेंट का परीक्षण उन्हें एक खाली कमरे में एक पहेली हल करने के लिए देकर करते रहे हैं। लेकिन वास्तविक सॉफ़्टवेयर विकास एक कमरे में पहेली जैसा नहीं है; यह एक व्यस्त, हाई-टेक वर्कशॉप (कार्यशाला) की तरह है जो औजारों, ब्लूप्रिंट और अन्य श्रमिकों से भरी हुई है।
IDE-Bench एक नया "वर्कशॉप" है जिसे AI मॉडल का परीक्षण ठीक उसी तरह करने के लिए डिज़ाइन किया गया है जैसे उन्हें वास्तविक दुनिया में उपयोग किया जाएगा। यहाँ इस पेपर में जो पाया गया है उसका विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है।
1. नया परीक्षण: "पेंसिल और कागज" से "पूर्ण वर्कशॉप" तक
पिछले परीक्षण (जैसे SWE-Bench) एक छात्र को कागज पर गणित की समस्या देने और उनसे उत्तर लिखने के लिए कहने जैसे थे। वे कैलकुलेटर का उपयोग नहीं कर सकते थे या फॉर्मूले देख नहीं सकते थे; उन्हें बस जो उन्होंने याद किया है उसके आधार पर उत्तर का अनुमान लगाना था।
IDE-Bench अलग है। यह AI को एक Dockerized वर्कशॉप (एक सुरक्षित, अलग डिजिटल कमरा) और औजारों का एक पूरा सेट देता है, ठीक वैसे ही जैसे डेवलपर्स Cursor या Windsurf जैसे ऐप्स में उपयोग करते हैं।
- औज़ार: AI कोड खोज सकता है, फ़ाइलों को पढ़ सकता है, लाइनों को संपादित कर सकता है, टेस्ट चला सकता है, और यहाँ तक कि डेटाबेस भी चेक कर सकता है।
- लक्ष्य: AI को एक वास्तविक इंजीनियर की तरह कार्य करना होगा। वह केवल अनुमान नहीं लगा सकता; उसे अन्वेषण करना होगा, बदलाव करने होंगे, यह जांचना होगा कि क्या वे काम कर रहे हैं, और यदि वे कुछ तोड़ देते हैं तो गलतियों को ठीक करना होगा।
2. "गुप्त रेसिपी" वाली कुकबुक्स
यह सुनिश्चित करने के लिए कि AI ने इंटरनेट से उत्तर केवल रटे नहीं हैं, शोधकर्ताओं ने 8 गुप्त कोडबेस में 80 बिल्कुल नए कार्य बनाए।
- उपमा: एक कुकिंग प्रतियोगिता की कल्पना करें जहाँ जज 8 बिल्कुल नई, पहले कभी न देखी गई रेसिपी बनाते हैं। प्रतियोगी (AI मॉडल) को उन्हें बनाना होता है। क्योंकि ये रेसिपी ऑनलाइन कभी प्रकाशित नहीं हुई हैं, इसलिए AI अपने ट्रेनिंग डेटा में समाधान ढूँढकर नकल नहीं कर सकता।
- विविधता: रेसिपी विभिन्न "व्यंजनों" (प्रोग्रामिंग भाषाएं) को कवर करती हैं: C/C++ (सिस्टम प्रोग्रामिंग), Java (एंटरप्राइज ऐप्स), और MERN (आधुनिक वेब ऐप्स)।
3. परिणाम: मास्टर शेफ कौन है?
शोधकर्ताओं ने 15 अलग-अलग AI मॉडल का परीक्षण किया। यहाँ उन्होंने क्या पाया:
- शीर्ष स्तर (मास्टर शेफ): कुछ मॉडल्स, जिसका नेतृत्व GPT-5.2 कर रहा है, ने लगभग 95% कार्यों को हल किया। वे उन शेफ की तरह थे जो रेसिपी पढ़ सकते हैं, सही औजार उठा सकते हैं और पहली बार में ही व्यंजन को पूरी तरह से बना सकते हैं।
- मध्यम स्तर (सक्षम रसोइये): Claude Sonnet और Claude Haiku जैसे मॉडल्स ने लगभग 85–88% कार्यों को हल किया। वे बहुत अच्छे हैं, लेकिन उन्हें इसे परफेक्ट करने के लिए दूसरे प्रयास की आवश्यकता हो सकती है।
- निचला स्तर (नौसिखिए): कई ओपन-सोर्स मॉडल्स संघर्ष करते दिखे, जिन्होंने 50% से कम कार्य हल किए। वे अक्सर वर्कशॉप में खो जाते थे या कोड को ठीक करने के प्रयास में उसे तोड़ देते थे।
4. "बस पहुँच ही गए थे" वाली समस्या
एक सबसे दिलचस्प खोज यह है कि बाइनरी स्कोर (पास/फेल) बहुत सारी बारीकियों को छिपा देते हैं।
- उपमा: कल्पना कीजिए कि एक छात्र टेस्ट देता है और 12 में से 11 प्रश्न सही करता है। एक सख्त ग्रेडिंग सिस्टम में, उसे "F" मिलता है क्योंकि उसे 100% नहीं मिला।
- वास्तविकता: IDE-Bench में, कई मॉडल्स ने कोड का मुख्य हिस्सा सही बनाया लेकिन एक छोटी सी डिटेल, जैसे कि एक कॉमा की कमी या थोड़ा गलत फॉर्मेट, के कारण फेल हो गए। पेपर इन्हें "नियर मिस" (Near Misses) कहता है।
- सबक: एक मॉडल समाधान के 90% करीब हो सकता है, लेकिन यदि वह छोटी बारीकियों को चूक जाता है, तो टेस्ट उसे पूर्ण विफलता के रूप में चिह्नित करता है। यह सुझाव देता है कि वास्तविक दुनिया के उपयोग के लिए, हमें शायद कोड को फेंकने और फिर से शुरू करने की आवश्यकता नहीं है; हमें बस मानवीय हस्तक्षेप की आवश्यकता हो सकती है ताकि छोटी फॉर्मेटिंग त्रुटियों को ठीक किया जा सके।
5. दक्षता बनाम गहनता (Efficiency vs. Thoroughness)
पेपर ने यह भी देखा कि AI के लिए किसी कार्य को हल करना कितना "महंगा" था (जिसे "टोकन" या विचारों के शब्दों के रूप में मापा गया है)।
- तेज़ और सस्ता: कुछ मॉडल्स (जैसे Grok 4.1 Fast) बहुत कुशल थे। उन्होंने कार्यों को जल्दी हल किया और कम संसाधनों का उपयोग किया, लेकिन वे अधिक बार विफल हुए।
- धीमा और गहन: अन्य मॉडल्स (जैसे Claude Opus) ने बहुत लंबा समय लिया, कई फाइलें पढ़ीं और गहराई से सोचा। उनके सफल होने की संभावना अधिक थी, लेकिन इसमें समय और कंप्यूटिंग पावर के रूप में बहुत अधिक लागत आई।
- निष्कर्ष: कोई एक "सर्वश्रेष्ठ" मॉडल नहीं है। यदि आप गति और कम लागत चाहते हैं, तो आप एक प्रकार चुनते हैं। यदि आपको उच्च विश्वसनीयता चाहिए और आपको लागत से फर्क नहीं पड़ता, तो आप दूसरा चुनते हैं।
6. वे कैसे विफल होते हैं
शोधकर्ताओं ने AI मॉडल्स के विफल होने के तरीकों को वर्गीकृत किया, जो एक मैकेनिक द्वारा कार के स्टार्ट न होने के कारणों का निदान करने जैसा है:
- असमय संपादन (Premature Editing - 63% विफलताएं): AI ने ब्लूप्रिंट को समझने से पहले ही कोड बदलना शुरू कर दिया। यह कार का हुड खोलने से पहले ही उसके इंजन को ठीक करने की कोशिश करने जैसा था।
- थ्रैशिंग (Thrashing - 28%): AI एक ही फ़ाइल को बार-बार बदलता रहा, अपने ही काम को वापस लेता रहा, जैसे कोई व्यक्ति जो यह तय नहीं कर पा रहा कि कौन सा रास्ता लेना है और गोल-गोल घूम रहा है।
- संदर्भ की हानि (Context Loss - 27%): AI कार्य के बीच में ही भूल गया कि उसे क्या करना था, जैसे एक शेफ जो केक बनाना शुरू करता है लेकिन भूल जाता है कि उसे पिज्जा बनाना था।
सारांश
IDE-Bench यह सिद्ध करता है कि सर्वश्रेष्ठ AI मॉडल अब एक जटिल, टूल-रिच वातावरण में वास्तविक सॉफ़्टवेयर इंजीनियरों की तरह कार्य करने में सक्षम हैं। हालाँकि, यह यह भी दिखाता है कि:
- विशेषज्ञता मायने रखती है: कुछ मॉडल्स वेब ऐप्स के लिए बेहतरीन हैं लेकिन लो-लेवल सिस्टम कोड के लिए खराब हैं।
- पूर्णता कठिन है: 99% तक पहुँचना आम है, लेकिन आखिरी 1% (छोटी बारीकियाँ) वह जगह है जहाँ अधिकांश मॉडल विफल होते हैं।
- रणनीति मायने रखती है: सबसे अच्छा दृष्टिकोण एक "फास्ट" मॉडल का उपयोग करना हो सकता है, और यदि वह विफल हो जाता है, तो काम पूरा करने के लिए एक "थोरस" (गहन) मॉडल पर स्विच करना हो सकता है।
पेपर निष्कर्ष निकालता है कि हमें AI को आंकने के लिए केवल एक "स्कोर" देखने के बजाय यह देखना शुरू करने की आवश्यकता है कि वे कैसे काम करते हैं, वे किन चीजों में अच्छे हैं, और काम पूरा करने में उनकी लागत कितनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।