Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning
यह शोध पत्र एक टूर्नामेंट-आधारित बेंचमार्क प्रस्तुत करता है जो एक जटिल बाजार-संचालित लॉजिस्टिक्स समस्या पर स्नातक छात्रों के विरुद्ध लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करता है, जिससे यह खुलासा होता है कि मानव-कोडित एजेंट LLM-जनरेटेड समाधानों से काफी बेहतर प्रदर्शन करते हैं, जहाँ अधिकांश LLM एजेंट सरल बेसलाइन को पार करने में विफल रहते हैं और यहाँ तक कि उन्हें सुधारने के लिए प्रेरित किए जाने पर वे इष्टतम मानवीय रणनीतियों को और भी खराब कर देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ा सवाल: क्या "वाइब कोडिंग" (Vibe Coding) एक ग्रेजुएट छात्र को हरा सकती है?
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो आपके बोलने मात्र से कोड लिख सकता है। आप कहते हैं, "मेरे लिए एक डिलीवरी ऐप बनाओ," और वह कुछ ही सेकंड में कोड टाइप कर देता है। इसे "वाइब कोडिंग" कहा जाता है।
यह शोध पत्र जो बड़ा सवाल पूछता है, वह यह है: क्या यह रोबोट वास्तव में जटिल, उच्च-दांव वाले व्यावसायिक समस्याओं को हल करने के लिए पर्याप्त स्मार्ट है, या यह केवल ऐसा कोड लिखने में अच्छा है जो दिखने में सही लगता है लेकिन चीजें जटिल होने पर विफल हो जाता है?
यह जानने के लिए, शोधकर्ताओं ने एक विशाल कोडिंग टूर्नामेंट आयोजित किया।
अरीना (The Arena): "ऑक्शन, पिकअप, एंड डिलीवरी" गेम
रोबोट्स से सरल गणित के सवाल (जैसे "2+2 क्या है?") पूछने के बजाय, उन्होंने उन्हें ऑक्शन, पिकअप, एंड डिलीवरी प्रॉब्लम (APDP) नामक एक जटिल सिमुलेशन में डाल दिया।
इसे "लॉजिस्टिक्स चेस" के एक हाई-स्टेक गेम की तरह समझें:
- द ऑक्शन (नीलामी): कई कंपनियां (एजेंट्स) डिलीवरी के कामों पर बोली लगा रही हैं। काम एक-एक करके बेचे जाते हैं। आपको अनुमान लगाना होता है कि कितनी बोली लगानी है। यदि आप बहुत अधिक बोली लगाते हैं, तो आप पैसा खो देंगे। यदि आप बहुत कम बोली लगाते हैं, तो हो सकता है कि आप काम जीत लें लेकिन डिलीवरी करने में घाटा उठाएं। आपको यह अनुमान लगाना होगा कि आपके प्रतिस्पर्धी क्या करेंगे।
- द प्लानिंग (योजना): एक बार जब आप कोई काम जीत लेते हैं, तो आपको अपने ट्रकों के लिए सबसे अच्छा रास्ता तय करना होता है ताकि सामान उठाया और छोड़ा जा सके। आपके पास ट्रकों के लिए सीमित जगह है, और आप नियम नहीं तोड़ सकते।
- लक्ष्य (The Goal): विजेता वह कंपनी होती है जो सबसे अधिक मुनाफा (बोली से अर्जित धन - ड्राइविंग की लागत) कमाती है।
यह केवल ऐसा कोड लिखने के बारे में नहीं है जो क्रैश न हो; यह ऐसा कोड लिखने के बारे में है जो रणनीतिक रूप से सोच सके, भविष्य की भविष्यवाणी कर सके और विरोधियों को मात दे सके।
प्रतियोगी
शोधकर्ताओं ने दो टीमों को एक-दूसरे के खिलाफ खड़ा किया:
- टीम ह्यूमन (मानव टीम): 17 एजेंट जिन्हें एक विश्वविद्यालय (EPFL) के ग्रेजुएट छात्रों द्वारा AI कोडिंग टूल्स के अस्तित्व में आने से पहले लिखा गया था। इन छात्रों ने हफ्तों तक सोचने, योजना बनाने और हाथ से कोडिंग करने में बिताया।
- टीम AI (AI टीम): दुनिया के सबसे उन्नत AI मॉडल्स (जैसे GPT-5, Claude, Gemini) द्वारा "वाइब कोडिंग" का उपयोग करके लिखे गए 40 एजेंट। शोधकर्ताओं ने AI को बिल्कुल वही निर्देश दिए जो छात्रों को मिले थे।
परिणाम: इंसान आसानी से जीत गए
परिणाम आश्चर्यजनक और स्पष्ट थे:
- टॉप 5 इंसान हैं: हर एक टूर्नामेंट में, शीर्ष 5 स्थान मानव छात्रों द्वारा लिए गए। AI एजेंट टॉप 5 में जगह नहीं बना सके।
- AI बनाम "नो-ब्रेनर" बेसलाइन: शोधकर्ताओं ने एक बहुत ही सरल, मूर्खतापूर्ण AI एजेंट बनाया (मूल रूप से एक रैंडम गेसर)। 40 में से 33 AI एजेंट इस साधारण एजेंट से हार गए। AI रणनीति बनाने में इतना बुरा था कि एक बेसिक कैलकुलेटर भी उसे हरा गया।
- "फिक्स-इट" आपदा (The "Fix-It" Disaster): एक अंतिम परीक्षण में, शोधकर्ताओं ने जीतने वाले मानव कोड को लिया और सबसे अच्छे AI से उसे "सुधारने" के लिए कहा। AI ने कोड में बदलाव करने की कोशिश की, लेकिन उसे बेहतर बनाने के बजाय, उसने उसे और खराब कर दिया। सुधरा हुआ संस्करण पहले स्थान से गिरकर 10वें स्थान पर आ गया।
AI क्यों विफल हुआ?
यह शोध पत्र बताता है कि जबकि AI सिंटैक्स (बिना स्पेलिंग एरर के कोड लिखना) में उत्कृष्ट है, यह रीजनिंग (जटिल रणनीतियों के "क्यों" और "कैसे" को समझने) में संघर्ष करता है।
- "एडमिसेबल ह्यूरिस्टिक" की विफलता: एक सरल परीक्षण में, AI को सबसे अच्छा रास्ता खोजने के लिए एक विशिष्ट गणितीय ट्रिक (A* सर्च) का उपयोग करने के लिए कहा गया था। AI इस ट्रिक के सबसे बुनियादी नियम को बार-बार भूल जाता था, भले ही शोधकर्ताओं ने उसे स्पष्ट रूप से बताया हो। यह एक शेफ को केक बनाने के लिए कहने जैसा है, लेकिन शेफ यह भूल जाता है कि अंडे एक मुख्य सामग्री हैं, भले ही उसे बताया गया हो।
- "टाइम-आउट" बग: AI एजेंट अक्सर लूप में फंस जाते थे या सोचने में बहुत अधिक समय लेते थे, जिससे वे नीलामी हार जाते थे क्योंकि उनका समय समाप्त हो जाता था। मानव कोड के साथ ऐसा नहीं हुआ।
- रणनीति का अभाव: AI एजेंट अक्सर बिना सोचे-समझे बोली लगाते थे या ऐसे रास्ते चुनते थे जिससे ईंधन बर्बाद होता था। वे "माहौल को पढ़" नहीं सके या यह अनुमान नहीं लगा सके कि उनके प्रतिस्पर्धी क्या कर रहे हैं।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि LLMs अभी तक "ग्रेजुएट-लेवल कोडर" नहीं हैं।
वे ऐसा कोड लिखने में उत्कृष्ट हैं जो चलता है (कोई सिंटैक्स एरर नहीं), लेकिन वे वर्तमान में उन जटिल, वास्तविक दुनिया के परिदृश्यों में प्रतिस्पर्धा करने वाले कोड लिखने में बहुत खराब हैं जिनमें दीर्घकालिक योजना और रणनीति की आवश्यकता होती है।
उपमा (Analogy):
कल्पना कीजिए कि आपके पास एक रोबोट है जो केक के लिए एक परफेक्ट रेसिपी लिख सकता है। वह जानता है कि आटे के कितने कप इस्तेमाल करने हैं। लेकिन यदि आप उसे एक ऐसे शहर में बेकरी चलाने के लिए कहें जहाँ कीमतें हर मिनट बदलती हैं, प्रतियोगी आपके ग्राहक चुराने की कोशिश कर रहे हैं, और आपके पास सीमित बजट है, तो वह रोबोट दिवालिया हो जाएगा। वह रेसिपी तो लिख सकता है, लेकिन वह व्यवसाय नहीं चला सकता।
शोधकर्ता कहते हैं कि अब केवल यह जांचने का समय आ गया है कि कोड "काम करता है" (टेस्ट पास करता है) या यह कि क्या कोड वास्तव में वास्तविक दुनिया में जीत सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।