SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?
यह शोध पत्र **SWE-Bench Mobile** को प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे जटिल, उद्योग-स्तर के iOS विकास कार्यों को संभालने के लिए LLM एजेंटों की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिससे यह पता चलता है कि वर्तमान अत्याधुनिक (state-of-the-art) एजेंट अभी भी वास्तविक दुनिया के मोबाइल सॉफ्टवेयर इंजीनियरिंग के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक विशाल, जटिल गगनचुंबी इमारत बनाने में मदद करने के लिए एक बेहद बुद्धिमान, बिजली की तरह तेज़ इंटर्न को काम पर रखा है। इस इंटर्न ने लाइब्रेरी की हर किताब पढ़ ली है और वह आपसे भी तेज़ कोड लिख सकता है। आप सोचेंगे कि वे एक सुपरस्टार होंगे, है ना?
खैर, एक नए रिसर्च पेपर "SWE-Bench Mobile" ने इन "AI इंटर्न्स" (Cursor, Claude और GPT जैसे Large Language Model Agents) को अंतिम परीक्षा में डाला। उन्हें केवल सरल गणित के सवाल हल करने या कोड के छोटे टुकड़े लिखने के बजाय, एक वास्तविक दुनिया की चुनौती दी गई: "ये रहे ब्लूप्रिंट, ये रहे इंटीरियर डिजाइन के स्केच, और यह रही हमारी विशाल, मौजूदा इमारत। अब, इसमें एक नया लिफ्ट सिस्टम जोड़ें।"
यहाँ बताया गया है कि क्या हुआ, जिसे कुछ सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
1. चुनौती: "मास्टर आर्किटेक्ट" टेस्ट
अधिकांश AI टेस्ट ऐसे होते हैं जैसे किसी छात्र को कागज पर एक अकेला समीकरण हल करने के लिए कहना। वे आसान, अलग-थलग और अनुमानित होते हैं।
SWE-Bench Mobile अलग है। यह एक AI को एक विशाल, 500,000-लाइन वाला "जीवित" शहर (XiaoHongshu नामक कंपनी का एक वास्तविक प्रोफेशनल iOS ऐप) देने जैसा है। एक कार्य को पूरा करने के लिए, AI केवल कोड नहीं लिख सकता; उसे:
- मैनुअल पढ़ना होगा (PRD): लिखित निर्देशों को समझना होगा।
- स्केच देखना होगा (Figma): यह देखने के लिए विजुअल डिजाइनों को देखना होगा कि बटन और रंग कहाँ होने चाहिए।
- भूलभुलैया में रास्ता खोजना होगा (The Codebase): बिना रास्ता भटके एक विशाल, फैलती हुई इमारत में सही "कमरों" को ढूंढना होगा।
2. परिणाम: "प्रतिभाशाली लेकिन अनाड़ी" इंटर्न
परिणाम वास्तविकता का आईना दिखाते हैं। यहाँ तक कि सर्वश्रेष्ठ AI "इंटर्न्स" भी केवल 12% कार्यों को सफलतापूर्वक पूरा कर पाए।
इसे इस तरह सोचें: AI एक ऐसे प्रतिभाशाली छात्र की तरह है जो सारा सिद्धांत जानता है लेकिन उसने कभी हथौड़ा नहीं पकड़ा है।
- उन्हें पता हो सकता है कि एक दरवाजा कैसा दिखना चाहिए (कोड), लेकिन वे यह देखना भूल जाते हैं कि क्या वास्तव में वहां दरवाजे का फ्रेम मौजूद है (मौजूदा कोडबेस)।
- वे एक सुंदर नया कमरा बना सकते हैं, लेकिन वे घर के बाकी हिस्सों से बिजली जोड़ना भूल सकते हैं (फीचर फ्लैग्स और डेटा मॉडल)।
सबसे बड़ी सीख क्या है? जो "टूल्स" (औज़ार) इंटर्न इस्तेमाल करता है, वे उसके "दिमाग" से अधिक महत्वपूर्ण हैं। एक स्मार्ट टूलकिट (जैसे कि कमर्शियल एजेंट Cursor) का उपयोग करने वाला स्मार्ट इंटर्न, एक बेसिक, DIY टूलकिट (ओपन-सोर्स OpenCode) का उपयोग करने वाले उसी स्मार्ट इंटर्न की तुलना में 6 गुना बेहतर प्रदर्शन करता है।
3. वे क्यों विफल हुए? ("मिसिंग स्क्रू" की समस्या)
शोधकर्ताओं ने यह देखने के लिए "मलवे" (wreckage) का विश्लेषण किया कि वे क्यों विफल हुए। उनकी विफलताएं आमतौर पर तीन श्रेणियों में आती थीं:
- "भुलक्कड़ बिल्डर" (Missing Feature Flags): प्रोफेशनल सॉफ्टवेयर में, आप एक नई सुविधा को एक साथ सभी के लिए चालू नहीं करते हैं; आप इसे धीरे-धीरे टेस्ट करने के लिए एक "छिपे हुए स्विच" (फीचर फ्लैग) का उपयोग करते हैं। AI अक्सर उस स्विच को लगाना भूल जाता है, जो वास्तविक दुनिया में एक बहुत बड़ी गलती है।
- "टनल विजन" की समस्या (अधूरी कार्यान्वयन/Implementation): AI एक छोटी सी चीज़ को ठीक कर देता था लेकिन भूल जाता था कि उस बदलाव का पांच अन्य कमरों पर प्रभाव पड़ेगा। वह सिंक तो ठीक कर देता था लेकिन पानी की मुख्य लाइन चालू करना भूल जाता था।
- "जटिलता की दीवार" (The Complexity Wall): यदि कार्य आसान था (एक लाइन बदलना), तो AI ठीक था। लेकिन जैसे ही कार्य के लिए एक साथ 7 या 8 अलग-अलग फाइलों को बदलने की आवश्यकता हुई, AI का प्रदर्शन तेजी से गिर गया। यह एक ऐसे व्यक्ति की तरह है जो एक साधारण रेसिपी का पालन कर सकता है लेकिन पूरी तरह से घबरा जाता है यदि उसे एक साथ पांच-कोर्स का थैंक्सगिविंग डिनर बनाना पड़े।
4. निचोड़ (The Bottom Line)
पेपर निष्कर्ष निकालता है कि हालांकि AI कोडिंग एजेंट्स अविश्वसनीय रूप से आशाजनक हैं, लेकिन वे अभी तक "लीड आर्किटेक्ट" बनने के लिए तैयार नहीं हैं।
अभी, वे "सुपर-पावर्ड को-पायलट" हैं। वे विमान उड़ाने में आपकी मदद कर सकते हैं, लेकिन आपको कॉकपिट में एक इंसान की आवश्यकता है ताकि यह सुनिश्चित हो सके कि वे एयर कंडीशनिंग को एडजस्ट करने के चक्कर में गलती से इंजन बंद न कर दें।
संक्षेप में: हमने दुनिया के सबसे तेज़ प्रशिक्षु (apprentices) तो बना लिए हैं, लेकिन निर्माण की निगरानी करने के लिए हमें अभी भी विशेषज्ञों (masters) की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।