Vibe Code Bench: Evaluating AI Models on End-to-End Web Application Development
यह शोध पत्र वाइब कोड बेंच (Vibe Code Bench) को प्रस्तुत करता है, जो 100 वेब एप्लिकेशन विनिर्देशों (specifications) वाला एक नया बेंचमार्क है जिसका स्वायत्त ब्राउज़र एजेंटों द्वारा मूल्यांकन किया गया है, जो यह प्रकट करता है कि सर्वश्रेष्ठ फ्रंटियर मॉडल भी एंड-टू-एंड विकास कार्यों पर केवल 58.0% सटीकता प्राप्त करते हैं और स्वयं-परीक्षण (self-testing) एवं इवैल्यूएटर अलाइनमेंट (evaluator alignment) को सफलता के लिए महत्वपूर्ण कारकों के रूप में रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने लिए एक घर बनाने के लिए एक प्रतिभाशाली, सुपर-फास्ट प्रशिक्षु (apprentice) को काम पर रखा है। आप उन्हें कोई ब्लूप्रिंट नहीं देते; आप बस कहते हैं, "मुझे एक आरामदायक कॉटेज चाहिए जिसमें एक बड़ा किचन हो, एक बगीचा हो, और एक ऐसा सामने का दरवाजा हो जो अपने आप खुल जाए।"
अतीत में, हमने इन AI प्रशिक्षुओं का परीक्षण बहुत छोटे, अलग-थलग कार्यों के माध्यम से किया था: "क्या तुम इस कील को ठोक सकते हो?" या "क्या तुम इस विशिष्ट प्रकार के कंक्रीट को मिला सकते हो?" वे उन छोटे कामों में बहुत अच्छे हो गए थे।
लेकिन असली सवाल यह है: क्या वे वास्तव में पूरे घर को बना सकते हैं, नींव से लेकर छत तक, और यह सुनिश्चित कर सकते हैं कि स्विच दबाने पर लाइट जल जाए?
यह पेपर, "Vibe Code Bench," उन्हें ठीक इसी तरह से टेस्ट करने का एक नया तरीका पेश करता है। कोड की एक अकेली खिड़की को ठीक करने के बजाय, शोधकर्ताओं ने दुनिया के 16 सबसे स्मार्ट AI मॉडल्स को एक चुनौती दी: एक साधारण टेक्स्ट विवरण से एक पूरी, काम करने वाली वेबसाइट बनाएं।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया और उन्हें क्या मिला, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।
1. परीक्षण: "द वाइब कोड बेंच" (The Vibe Code Bench)
इसे AI के लिए एक ड्राइविंग टेस्ट की तरह समझें, लेकिन यहाँ वे कार नहीं चला रहे हैं, बल्कि वे एक निर्माण दल (construction crew) का संचालन कर रहे हैं।
- चुनौती: AI को 100 अलग-अलग "जॉब डिस्क्रिप्शन" दिए गए (जैसे "आपकी आदतों को ट्रैक करने के लिए एक ऐप बनाएं" या "छोटे व्यवसाय के भुगतान प्रबंधित करने के लिए एक टूल बनाएं")।
- वातावरण: AI को एक डिजिटल सैंडबॉक्स में डाला गया था जिसमें एक कंप्यूटर टर्मिनल, एक वेब ब्राउज़र और डेटाबेस एवं पेमेंट प्रोसेसर (जैसे Stripe) जैसे टूल्स तक पहुंच थी।
- लक्ष्य: AI को कोड लिखना था, सर्वर सेटअप करना था, और अपने आप वेबसाइट लॉन्च करनी थी।
- ग्रेडर (मूल्यांकनकर्ता): एक बार जब AI ने काम पूरा कर लिया, तो एक रोबोटिक "निरीक्षक" (एक ऑटोनॉमस ब्राउज़र एजेंट) वास्तव में उस वेबसाइट पर गया। उसने बटन क्लिक किए, लॉग इन करने की कोशिश की, टेस्ट खरीदारी की, और यह जांचा कि क्या ऐप वास्तव में काम कर रहा है। उसने केवल कोड नहीं पढ़ा; उसने ऐप का उपयोग किया।
2. परिणाम: "प्रशिक्षु बेहतर हो रहा है, लेकिन उसे अभी भी एक सुपरवाइजर की जरूरत है"
शोधकर्ताओं ने 16 शीर्ष-स्तरीय AI मॉडल्स का परीक्षण किया। यहाँ निर्णय दिया गया है:
- सर्वश्रेष्ठ प्रदर्शन करने वाला: शीर्ष मॉडल (GPT-5.3-Codex) लगभग 62% कार्यों में सफल रहा।
- रियलिटी चेक: इसका मतलब है कि 10 में से लगभग 4 कामों के लिए, या तो AI घर नहीं बना सका, या जैसे ही किसी ने सामने के दरवाजे से अंदर जाने की कोशिश की, घर ढह गया।
- अंतराल (Gap): जबकि AI कोड की एक एकल पैराग्राफ लिखने में अद्भुत है, एक पूरा सिस्टम बनाना जो डेटाबेस, लॉगिन स्क्रीन और पेमेंट प्रोसेसर को जोड़ता हो, अभी भी एक विशाल, अनसुलझी पहेली है।
3. सीक्रेट सॉस: "स्व-परीक्षण" (Self-Testing)
इस पेपर ने एक दिलचस्प आदत का पता लगाया जो अच्छे बिल्डरों को महान बिल्डरों से अलग करती है।
- "एडिट-ओनली" बिल्डर: कुछ मॉडल्स ने बस कोड लिखा, "सबमिट" दबाया, और उम्मीद की कि सब ठीक होगा। ये मॉडल्स अक्सर विफल रहे।
- "सेल्फ-टेस्टिंग" बिल्डर: शीर्ष प्रदर्शन करने वाले मॉडल्स ने सावधान कारीगरों की तरह काम किया। वे थोड़ा कोड लिखते, ब्राउज़र खोलते, इधर-उधर क्लिक करते, देखते कि क्या यह काम कर रहा है, बग ढूंढते, उसे ठीक करते, और यही प्रक्रिया दोहराते।
- उपमा: यह उस शेफ के बीच का अंतर है जो बस सामग्री को बर्तन में डाल देता है और परोस देता है, बनाम उस शेफ के बीच जो सूप को चखता है, नमक डालता है, फिर से चखता है, और आंच को एडजस्ट करता है। पेपर ने पाया कि AI जितना अधिक अपने "सूप को खुद चखता था" (अपने कोड का परीक्षण करता था), अंतिम व्यंजन उतना ही बेहतर होता था।
4. मानवीय कारक: "न्यायाधीश कौन है?" (The Human Factor)
इस अध्ययन का सबसे दिलचस्प हिस्सा यह था कि ऐप्स को कैसे ग्रेड किया गया था।
- समस्या: यदि आप एक AI को दूसरे AI के काम को ग्रेड करने के लिए कहते हैं, तो वे असहमत हो सकते हैं। एक कह सकता है, "लॉगिन बटन नीला है, इसलिए यह परफेक्ट है!" जबकि दूसरा कह सकता है, "बटन बहुत छोटा है, इसलिए यह फेल है!"
- निष्कर्ष: शोधकर्ताओं ने पाया कि आप किसे न्यायाधीश चुनते हैं, यह बहुत मायने रखता है। कुछ AI जज मानव विशेषज्ञों के साथ 93% बार सहमत थे, जबकि अन्य केवल 32% बार सहमत थे।
- सबक: आप काम को ग्रेड करने के लिए किसी भी AI का उपयोग नहीं कर सकते। निष्पक्ष स्कोर प्राप्त करने के लिए आपको सही "निरीक्षक" चुनना होगा।
5. बड़ी तस्वीर: "'क्या यह लिख सकता है?' से 'क्या यह बना सकता है?' तक"
लंबे समय तक, सवाल यह था, "क्या AI कोड लिख सकता है?" जवाब है एक ज़ोरदार हाँ।
अब, सवाल बदल गया है: "क्या AI सॉफ्टवेयर बना सकता है?"
यह पेपर दिखाता है कि हम करीब तो पहुँच रहे हैं, लेकिन हम अभी वहां नहीं पहुंचे हैं। AI एक बहुत ही प्रतिभाशाली जूनियर डेवलपर की तरह है जिसे एक सीनियर इंजीनियर की आवश्यकता है जो उनके कंधे के ऊपर से नज़र रखे, बड़ी गलतियों को पकड़े, और यह सुनिश्चित करे कि अंतिम उत्पाद वास्तव में वास्तविक लोगों के लिए काम करता है।
संक्षेप में: AI अब केवल कोड के लिए स्पेल-चेकर नहीं है; यह एक बिल्डर बन रहा है। लेकिन जब तक यह छत गिरने के बिना पूरा घर भरोसेमंद तरीके से नहीं बना सकता, हमें ब्लूप्रिंट को सुरक्षित रखने के लिए मानव आर्किटेक्ट्स की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।