RubberDuckBench: A Benchmark for AI Coding Assistants
यह शोध पत्र RubberDuckBench को प्रस्तुत करता है, जो AI कोडिंग सहायकों का मूल्यांकन करने के लिए वास्तविक दुनिया के GitHub पुल रिक्वेस्ट से व्युत्पन्न एक बहुभाषी बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी निरंतरता और शुद्धता के साथ संघर्ष करते हैं और बार-बार मतिभ्रम (hallucination) का शिकार होते हैं, जबकि लागत और प्रदर्शन के बीच कोई देखा गया संबंध नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, बहुत तेज़ रोबोटों की एक टीम है जो आपके लिए कंप्यूटर कोड लिख सकते हैं। आप उनसे सवाल पूछते हैं जैसे, "यह कोड का हिस्सा अजीब व्यवहार क्यों कर रहा है?" या "अगर मैं इस नंबर को बदल दूँ तो क्या होगा?" आप उम्मीद करते हैं कि वे आपके काम कर रहे विशिष्ट कोड को देखेंगे और आपको एक सटीक उत्तर देंगे।
यह शोध पत्र, RubberDuckBench, इन रोबोट सहायकों के लिए एक अंतिम परीक्षा की तरह है। लेखकों (ब्रायन मारवॉर कॉलेज, गूगल और मेटा के शोधकर्ताओं) ने यह देखना चाहा कि क्या ये रोबोट वास्तव में विशिष्ट कोड के बारे में सवालों के जवाब देने में अच्छे हैं, या वे केवल अनुमान लगा रहे हैं।
यहाँ उनके अध्ययन का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "संदर्भ से बाहर" का जाल (The "Out-of-Context" Trap)
इस अध्ययन से पहले, एआई कोडर्स के लिए अधिकांश परीक्षण एक छात्र को प्रॉम्प्ट के आधार पर बिल्कुल नया निबंध लिखने के लिए कहने जैसा था। लेकिन वास्तविक जीवन में, प्रोग्रामर केवल नया कोड नहीं मांगते; वे उस कोड के बारे में सवाल पूछते हैं जो पहले से ही एक विशिष्ट प्रोजेक्ट में मौजूद है।
- पुराने परीक्षण: एक शेफ से पूछने जैसा, "केक कैसे बनाया जाता है?"
- वास्तविक दुनिया: एक शेफ द्वारा पूछने जैसा, "मेरा केक ओवन के तीसरे रैक में क्यों जल गया?"
शोधकर्ताओं को एहसास हुआ कि किसी ने दूसरे प्रकार के प्रश्न के लिए अच्छा परीक्षण नहीं बनाया था।
2. परीक्षा बनाना: "रबर डक" विधि (The "Rubber Duck" Method)
प्रोग्रामर अक्सर कोड की समस्याओं को सुलझाने के लिए "रबर डक्स" (या अपने सहयोगियों) से बात करते हैं। शोधकर्ताओं ने GitHub (एक ऐसी जगह जहाँ लोग कोड साझा करते हैं) पर डेवलपर्स के बीच वास्तविक बातचीत को देखा।
- स्रोत: उन्हें GitHub पर हजारों कमेंट मिले जहाँ डेवलपर्स अपने कोड के बारे में विशिष्ट प्रश्न पूछ रहे थे।
- फ़िल्टर: कई कमेंट्स केवल सुझाव जैसे थे कि "इस टाइपो को ठीक करें।" शोधकर्ताओं ने शोर को फ़िल्टर करने और अच्छे सवालों को एक स्पष्ट, 15-प्रश्नों वाली परीक्षा में बदलने के लिए एआई और मनुष्यों का उपयोग किया।
- ग्रेडिंग कुंजी: क्योंकि कोड समझाने का केवल एक ही "सही" तरीका नहीं होता, इसलिए उन्होंने विस्तृत रुब्रिक्स (ग्रेडिंग शीट) बनाए। इसे एक शिक्षक के गाइड की तरह समझें जो कहता है, "यदि छात्र 'const' कीवर्ड का उल्लेख करता है, तो उन्हें 2 अंक दें। यदि वे कोड के काम करने के तरीके के बारे में झूठ बोलते हैं, तो 3 अंक काट लें।"
3. परीक्षण: 20 रोबोट परीक्षा दे रहे हैं
उन्होंने 20 अलग-अलग एआई मॉडल ( "रोबोट") को इस परीक्षा के माध्यम से गुजारा। इनमें GPT-5, Claude Opus, Grok 4 और अन्य जैसे प्रसिद्ध नाम शामिल थे। उन्होंने उन्हें दिए गए विशिष्ट कोड के आधार पर 15 प्रश्नों के उत्तर देने के लिए कहा।
4. परिणाम: रोबोट दोषपूर्ण हैं
परिणाम आश्चर्यजनक और इन "सुपर-स्मार्ट" रोबोटों के लिए थोड़े निराशाजनक थे:
- कोई स्पष्ट विजेता नहीं: शीर्ष रोबोट, Grok 4, ने लगभग 69% सवालों के सही जवाब दिए। अगले सर्वश्रेष्ठ मॉडलों ने लगभग 68% प्राप्त किया। सांख्यिकीय रूप से, वे सभी एक ही "लीग" में थे। कोई स्पष्ट चैंपियन नहीं था।
- "परफेक्ट स्कोर" का मिथक: सर्वश्रेष्ठ रोबलेट भी शायद ही कभी किसी प्रश्न का पूरी तरह से सही उत्तर दे पाते थे। शीर्ष मॉडलों ने अपने सभी प्रयासों में केवल 15 में से 2 प्रश्नों का पूरी तरह से उत्तर दिया। उनके अधिकांश अंक "आंशिक क्रेडिट" (उत्तर का कुछ हिस्सा सही होना) से आए थे।
- झूठ बोलने की समस्या (Hallucinations): सबसे बड़ी समस्या यही थी। औसतन, रोबोटों ने अपने उत्तरों में 58% बार झूठ बोला या तथ्य गढ़े।
- उपमा: कल्पना कीजिए कि आप अपने शहर की एक विशिष्ट सड़क के बारे में एक टूर गाइड से पूछते हैं। आधे समय में, वे आत्मविश्वास के साथ आपको बताते हैं कि वह सड़क एक पार्क है जबकि वास्तव में वह एक बेकरी है।
- यहाँ तक कि o3 जैसे सर्वश्रेष्ठ मॉडल भी 67% मामलों में झूठ बोलते थे।
- पायथन (Python) के साथ संघर्ष: रोबोट जावा (Java) और सी++ (C++) कोड के बारे में सवालों के जवाब देने में बहुत बेहतर थे, लेकिन जब कोड पायथन में लिखा गया था, तो वे काफी लड़खड़ा गए।
5. कीमत बनाम प्रदर्शन
शोधकर्ताओं ने यह भी जांचा कि क्या अधिक पैसा खर्च करने या "बड़ा दिमाग" (अधिक पैरामीटर्स) का उपयोग करने से रोबोट अधिक स्मार्ट बनते हैं।
- पैसा प्रतिभा नहीं खरीदता: सबसे महंगे मॉडल (जैसे Claude Opus) को चलाने के लिए बहुत खर्च आता है लेकिन वे सस्ते मॉडलों की तुलना में बहुत बेहतर प्रदर्शन नहीं करते हैं। वास्तव में, Grok 4 सबसे अच्छा प्रदर्शन करने वाला था लेकिन यह महंगे Claude मॉडलों की तुलना में 12 गुना कम लागत वाला था।
- बड़ा मतलब बेहतर नहीं: ओपन-सोर्स मॉडलों के लिए, सबसे बड़ा मॉडल (120 बिलियन पैरामीटर्स) वास्तव में एक छोटे मॉडल (20 बिलियन पैरामीटर्स) की तुलना में खराब प्रदर्शन करता था।
निष्कर्ष (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि हालांकि एआई कोडिंग असिस्टेंट बेहतर हो रहे हैं, लेकिन वे विशिष्ट कोड के बारे में जटिल प्रश्नों के उत्तर देने के लिए अभी तक विश्वसनीय नहीं हैं। वे अक्सर अनुमान लगाते हैं, अक्सर झूठ बोलते हैं, और सबसे महंगे विकल्प अनिवार्य रूप से सबसे स्मार्ट नहीं होते हैं।
लेखकों ने RubberDuckBench को भविष्य के अनुसंधान के लिए एक लक्ष्य के रूप में बनाया है, इस उम्मीद में कि वे डेवलपर्स को ऐसे एआई असिस्टेंट बनाने के लिए प्रेरित करेंगे जो ईमानदार, सटीक और वास्तव में उस कोड को समझने वाले हों जिस पर वे काम कर रहे हैं, न कि केवल मनगढ़ंत बातें बनाने वाले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।