Beyond Pass Rate: A Multilingual, Execution-Grounded Evaluation of Open Code LLMs
यह शोध पत्र 2,700 से अधिक लीटकोड (LeetCode) समस्याओं पर नौ ओपन कोड एलएलएम (LLMs) का एक बड़े पैमाने पर, बहुभाषी, निष्पादन-आधारित (execution-grounded) मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि वर्तमान मॉडल मानव प्रदर्शन से काफी पीछे हैं और उनकी रैंकिंग एवं विफलता के स्वरूप विभिन्न भाषाओं और समस्या की कठिनाइयों के आधार पर काफी भिन्न होते हैं, जिससे एकल-मीट्रिक लीडरबोर्ड की सीमाओं पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कोडिंग टीम के हेड कोच हैं, और आपको एक नया असिस्टेंट प्रोग्रामर नियुक्त करना है। उम्मीदवारों का साक्षात्कार लेने का मानक तरीका उन्हें एक छोटा सा पहेली देना और देखना है कि क्या वे उसे हल करते हैं। यदि वे इसे सही हल करते हैं, तो उन्हें "पास" मिलता है। यदि वे इसे गलत करते हैं, तो उन्हें "फेल" मिलता है।
यह शोध पत्र तर्क देता है कि यह "पास/फेल" विधि वैसी ही है जैसे किसी शेफ का आकलन केवल इस आधार पर करना कि क्या वह अंडा उबाल सकता है। यह आपको बहुत कम बताता है कि क्या वह एक जटिल भोजन बना सकता है, मसालेदार सामग्री को संभाल सकता है, या अपने किचन को साफ रख सकता है।
यहाँ शोधकर्ताओं ने क्या किया, इसे सरल भाषा में समझाया गया है:
द बिग एक्सपेरिमेंट: अ मैसिव कोडिंग ओलंपिक्स
एक एकल पहेली के बजाय, शोधकर्ताओं ने एक विशाल "कोडिंग ओलंपिक्स" आयोजित किया।
- प्रतिभागी: उन्होंने 9 अलग-अलग ओपन-सोर्स AI मॉडल (सहायकों) को प्रतिस्पर्धा करने के लिए आमंत्रित किया।
- अरीना: उन्होंने LeetCode (कोडिंग अभ्यास के लिए एक लोकप्रिय साइट) से 2,707 मुफ्त कोडिंग समस्याओं का उपयोग किया।
- भाषाएँ: उन्होंने केवल एक भाषा (जैसे अंग्रेजी) का उपयोग नहीं किया; उन्होंने 12 अलग-अलग प्रोग्रामिंग भाषाओं (जैसे Python, Java, C++ आदि) में एआई का परीक्षण किया।
- पैमाना: कुल मिलाकर, उन्होंने 3,25,000 से अधिक प्रयास चलाए। यह ऐसा है जैसे हर प्रतिभागी ने हर भाषा में हर पहेली को आज़माया हो।
निष्कर्ष: यह जटिल है
शोधकर्ताओं ने पाया कि कोई एक "सर्वश्रेष्ठ" AI नहीं है। विजेता इस बात पर निर्भर करता है कि आप वास्तव में क्या खोज रहे हैं।
1. "जनरलिस्ट" बनाम "स्पेशलिस्ट"
- Yi-Coder-9B-Chat सबसे सुसंगत "औसत" प्रदर्शन करने वाला था। यदि आप उससे समस्याओं का एक रैंडम मिश्रण पूछते, तो वह कुल मिलाकर सबसे अधिक समस्याओं को सही हल करता।
- Qwen2.5-Coder-14B-Instruct एक "हार्ड-मोड" विशेषज्ञ था। इसने सबसे आसान समस्याओं को सबसे अधिक नहीं जीता, लेकिन जब पहेलियाँ वास्तव में कठिन हो गईं, तो यह AI वह था जिसे हराना मुश्किल था। इसने विभिन्न प्रकार की समस्याओं को हल करने की क्षमता भी दिखाई, भले ही इसने हर एक को पूरी तरह से सही न किया हो।
- Gemma-2-27B-IT एक "साफ-सफाई पसंद" (neat freak) था। हालांकि इसने सबसे अधिक समस्याएं हल नहीं कीं, लेकिन इसके द्वारा लिखा गया कोड सबसे स्वच्छ था और सबसे अधिक नियमों का पालन करता था।
2. मानव अंतराल (The Human Gap)
इस अध्ययन में सर्वश्रेष्ठ AI ने भी औसतन केवल 23% समस्याओं को सही ढंग से हल किया। इसकी तुलना में, एक मानव प्रोग्रामर लगभग 57% को हल कर देगा। इसका मतलब है कि AI अभी भी अकेले काम करने के लिए पर्याप्त विश्वसनीय होने से बहुत दूर हैं; वे जूनियर इंटर्न की तरह हैं जिन्हें बहुत अधिक पर्यवेक्षण की आवश्यकता होती है।
3. "कंपाइल एरर" की दीवार
शोधकर्ताओं ने देखा कि AI विफल क्यों हुए। उन्हें एक आश्चर्यजनक पैटर्न मिला: 63% विफलताएं कोड चलने से पहले ही हो गईं।
इसे ऐसे समझें जैसे एक कार जो स्टार्ट नहीं हो पा रही क्योंकि उसका इंजन ब्लॉक टूटा हुआ है। आप यह परीक्षण भी नहीं कर सकते कि कार कितनी तेज़ चलती है या धीमी, क्योंकि वह चालू ही नहीं हो पा रही। अधिकांश AI इसलिए विफल हो रहे थे क्योंकि उन्होंने बुनियादी सिंटैक्स त्रुटियों (टाइपिंग की गलती, मिसिंग ब्रैकेट) के साथ कोड लिखा था, न कि लॉजिक की गलतियों के कारण। वे कोड के सही होने का परीक्षण किए जाने से बहुत पहले ही "कंपाइल" (एक कामकाजी प्रोग्राम में बदलने) में विफल हो रहे थे।
4. "क्लीन कोड" का विरोधाभास
यहाँ एक मोड़ है: जिस AI ने सबसे स्वच्छ कोड लिखा (Gemma), उसने सबसे अधिक समस्याएं हल नहीं कीं। इसके विपरीत, जिस AI ने सबसे अधिक समस्याएं हल कीं (Qwen), उसने "गंदा" कोड लिखा और उसमें कोड-क्लीनिंग टूल से अधिक चेतावनियाँ मिलीं।
- उपमा: कल्पना कीजिए कि दो छात्र एक परीक्षा दे रहे हैं। छात्र A एक बहुत ही सुंदर, सही फॉर्मेट वाला निबंध लिखता है लेकिन उत्तर गलत देता है। छात्र B एक बिखरा हुआ, काट-छाँट वाला निबंध लिखता है, लेकिन उत्तर सही देता है।
- शोध पत्र दिखाता है कि "कार्यात्मक सफलता" (उत्तर सही होना) और "स्टैटिक गुणवत्ता" (साफ कोड लिखना) दो अलग चीजें हैं। आप यह मान नहीं सकते कि जो मॉडल साफ कोड लिखता है वह आपकी समस्या हल करेगा, और जो मॉडल आपकी समस्या हल करता है वह गंदा कोड लिख सकता है।
5. भाषा मायने रखती है
एक AI जो Python लिखने में माहिर है, वह C++ लिखने में बहुत खराब हो सकता है। रैंकिंग बदल जाती थी जब AI को अलग-अलग भाषा का उपयोग करने के लिए कहा जाता था। यह साबित करता है कि आप केवल यह नहीं कह सकते कि "मॉडल X सबसे अच्छा है।" आपको कहना होगा "मॉडल X Python के लिए सबसे अच्छा है, लेकिन मॉडल Y Java के लिए बेहतर है।"
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि हमें कोडिंग एआई को आंकने के लिए एक एकल "स्कोर" देखना बंद कर देना चाहिए। ठीक वैसे ही जैसे आप किसी डॉक्टर का आकलन केवल घाव सिलने की उसकी क्षमता के आधार पर नहीं करेंगे (बीमारी का निदान करने की उसकी क्षमता को अनदेखा करके), हमें कोडिंग एआई को केवल एक "पास रेट" के आधार पर भी नहीं आंकना चाहिए।
इन उपकरणों को वास्तव में समझने के लिए, हमें देखना होगा कि:
- वे किन भाषाओं को अच्छी तरह बोलते हैं।
- वे कठिन समस्याओं को कैसे संभालते हैं।
- क्या वे टाइपिंग की गलती के कारण विफल होते हैं या खराब लॉजिक के कारण।
- क्या उनके द्वारा लिखा गया कोड बनाए रखने योग्य (maintainable) रूप से साफ है।
शोधकर्ताओं ने इन परिणामों का एक विस्तृत डेटाबेस बनाया है ताकि अन्य लोग देख सकें कि ये मॉडल वास्तव में कैसे और क्यों सफल या विफल होते हैं, बजाय इसके कि वे केवल लीडरबोर्ड पर एक संख्या देखें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।