Where Do LLMs Still Struggle? An In-Depth Analysis of Code Generation Benchmarks
यह शोध पत्र उन कार्यों की पहचान करने के लिए कोड जनरेशन बेंचमार्क का विश्लेषण करता है जहाँ लार्ज लैंग्वेज मॉडल्स लगातार विफल होते हैं, जो चार आवर्ती कमजोरी पैटर्न और सामान्य कार्य जटिलताओं को प्रकट करता है जो प्रदर्शन में बाधा डालते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि अत्यधिक बुद्धिमान, सुपर-फास्ट रोबोटों (लार्ज लैंग्वेज मॉडल्स, या LLMs) का एक समूह है जिन्हें कंप्यूटर कोड लिखने के लिए प्रशिक्षित किया गया है। वे प्रतिभाशाली प्रशिक्षुओं (apprentices) की तरह हैं जिन्होंने दुनिया की लगभग हर रेसिपी वाली किताब पढ़ ली है और अब वे आपके द्वारा मांगी गई चीज़ के विवरण को सुनकर तुरंत एक व्यंजन (कोड का एक टुकड़ा) तैयार कर सकते हैं।
जर्मनी के शोधकर्ताओं ने इन रोबोटों को कुछ कठोर कुकिंग कॉन्टेस्ट (बेंचमार्क्स) में डाला ताकि यह देखा जा सके कि वे वास्तव में कितने अच्छे हैं। केवल यह देखने के बजाय कि किसने सबसे अधिक पदक जीते, वे यह पता लगाना चाहते थे कि ये रोबोट बार-बार एक ही विशिष्ट व्यंजन क्यों जला देते हैं, भले ही उन्हें विशेषज्ञ माना जाता हो।
यहाँ जो उन्होंने पाया है, उसे सरल रूप में समझाया गया है:
1. सेटअप: कुकिंग कॉन्टेस्ट
शोधकर्ताओं ने इन रोबोटों का परीक्षण करने के लिए चार प्रसिद्ध "कुकिंग प्रतियोगिताओं" (बेंचमार्क्स) को चुना:
- HumanEval और MBPP: ये बुनियादी रेसिपी टेस्ट की तरह हैं। "एक केक बनाओ," "कुछ प्याज काट लो।" ये छोटे और सरल हैं।
- LiveCodeBench और BigCodeCrunch (Hard): ये उच्च-दांव वाले पाक चुनौतियों (culinary challenges) की तरह हैं। "एक 10-कोर्स का भोजन तैयार करें जो अतिथि की एलर्जी के अनुसार बदल सके, उन सामग्रियों का उपयोग करके जिन्हें आपने पहले कभी नहीं देखा है, जबकि रसोई में आग लगी हो।" ये बहुत कठिन हैं।
उन्होंने सैकड़ों कार्यों पर छह अलग-अलग "शेफ" (AI मॉडल्स) का परीक्षण किया।
2. पहला प्रश्न: क्या यह सिर्फ इसलिए है क्योंकि रेसिपी बहुत कठिन हैं?
शोधकर्ता सोचने लगे: क्या रोबोट इसलिए विफल हो रहे हैं क्योंकि व्यंजन बहुत जटिल हैं?
यह जाँचने के लिए, उन्होंने सही उत्तरों (सॉल्यूशन कोड) की "जटिलता" को मापा। उन्होंने निम्नलिखित चीजों को देखा:
- रेसिपी में कितने चरण हैं? (कोड की लंबाई - Code Length)
- आपको कितनी बार निर्णय लेना पड़ता है? (साइक्लोमैटिक कॉम्प्लेक्सिटी - Cyclomatic Complexity)
- नेस्टेड निर्देश कितने गहरे हैं? (नेस्टिंग डेप्थ - Nesting Depth)
चौंकाने वाला तथ्य:
आसान प्रतियोगिताओं (HumanEval और MBPP) के लिए, रेसिपी की कठिनाई का ज्यादा महत्व नहीं था। रोबोट कठिन कार्यों की तुलना में सरल कार्यों में भी उतनी ही बार विफल हुए। यह गणित का कठिन होना नहीं था; कुछ और गलत हो रहा था।
हालाँकि, सबसे कठिन प्रतियोगिता (LiveCodeCrunch) के लिए, एक संबंध था: रेसिपी जितनी जटिल होती गई, रोबोट के गलती करने की संभावना उतनी ही बढ़ गई। लेकिन वहाँ भी, जटिलता पूरी कहानी नहीं थी।
3. दूसरा प्रश्न: वे वास्तव में क्यों विफल होते हैं?
शोधकर्ताओं ने 114 विशिष्ट कार्यों का बारीकी से अध्ययन किया जहाँ प्रत्येक रोबोट विफल रहा। उन्होंने चार आवर्ती "बुरी आदतों" को पाया जो इन रोबोटों में समान हैं:
"गलत मेनू" की गलती (गलत समस्या मैपिंग - Wrong Problem Mapping):
कल्पना कीजिए कि एक ग्राहक "तीखा सूप" मांगता है, लेकिन रोबोट "तीखा स्टू" सुन लेता है और स्टू बनाना शुरू कर देता है। रोबत मान लेता है कि कार्य उस श्रेणी का है जिसे वह अच्छी तरह जानता है, और विशिष्ट विवरणों को अनदेखा कर देता है।- उदाहरण: एक कार्य में एक विशिष्ट प्रकार के ब्रैकेट सीक्वेंस की मांग की गई थी, लेकिन रोबोट ने बस एक मानक "बैलेंस्ड ब्रैकेट" रेसिपी का उपयोग किया जिसे उसने याद कर लिया था, जिससे वह अनूठे मोड़ (twist) को मिस कर गया।
"अधपका" रेसिपी (दोषपूर्ण एल्गोरिदम - Flawed Algorithm):
रोबोट को सामान्य विचार तो सही मिल जाता है लेकिन वह एक महत्वपूर्ण चरण भूल जाता है। यह वैसा ही है जैसे यह जानना कि केक बनाना है लेकिन ओवन को प्रीहीट करना भूल जाना।- उदाहरण: एक रोबोट ने बिक्री के रुझानों (sales trends) की भविष्यवाणी करने की कोशिश की लेकिन बिक्री कम होने के परिदृश्य को संभालने के लिए कदम उठाना भूल गया।
"एज केस" के प्रति अंधापन (Edge Case Blindness):
रोबोट सामान्य स्थितियों को संभालने में बेहतरीन हैं लेकिन अजीब या दुर्लभ स्थितियों में खराब हैं। यह एक ऐसे ड्राइवर की तरह है जो धूप वाले हाईवे पर तो परफेक्ट है लेकिन जैसे ही बारिश शुरू होती है या सड़क पर कोई गिलहरी आती है, दुर्घटनाग्रस्त हो जाता है।- उदाहरण: एक रोबोट मुख्य फोल्डर में फाइलों को व्यवस्थित कर सकता था लेकिन सब-फोल्डर्स (sub-folders) के अंदर देखना पूरी तरह से भूल गया।
"नखरेबाज खाने वाले" की गलती (फॉर्मेटिंग - Formatting):
रोबोट ने एकदम सही भोजन पकाया, लेकिन जज ने उसे इसलिए खारिज कर दिया क्योंकि खाना सफेद प्लेट के बजाय नीली प्लेट पर था। तर्क सही था, लेकिन आउटपुट का फॉर्मेट थोड़ा अलग था।- उदाहरण: कार्य में एक संख्या को शब्द के रूप में मांगा गया था ("23"), लेकिन रोबोट ने केवल संख्या (23) दी।
4. ट्विस्ट: कभी-कभी "कम बुद्धिमान" रोबोट जीत जाता है
यहाँ सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने देखा कि "स्मार्ट" रोबोट (जैसे Claude Sonnet-4) कभी-कभी उन कार्यों में विफल हो जाते हैं जिन्हें एक "साधारण" रोबोट (Llama-3.3-70B) हल कर लेता है।
क्यों?
स्मार्ट रोबोट कार्य के बारे में जरूरत से ज्यादा सोच (over-thinking) रहे थे। उन्होंने "व्यावहारिक" होने की कोशिश की और ऐसे अनुमान लगाए जो वास्तविक दुनिया में तो सही लगते हैं लेकिन टेस्ट के सख्त नियमों को तोड़ देते हैं।
- उपमा: यदि टेस्ट कहता है "प्रत्येक IP एड्रेस की सूची बनाएं," तो स्मार्ट रोबोट सोच सकता है, "ओह, मुझे नेटवर्क एड्रेस को छोड़ देना चाहिए क्योंकि यह मानक अभ्यास है," और वह गलत हो जाता है। साधारण रोबोट बस निर्देशों का शाब्दिक पालन करता है: "प्रत्येक एक की सूची बनाएं," और वह सही हो जाता है।
5. टेस्ट (परीक्षण) की अपनी समस्याएँ
शोधकर्ताओं ने यह भी पाया कि कभी-कभी "कुकिंग कॉन्टेस्ट" खुद ही दोषपूर्ण थे।
- अस्पष्ट प्रॉम्प्ट्स (Vague Prompts): निर्देश कभी-कभी इतने अस्पष्ट थे कि रोबतों को अनुमान लगाना पड़ा कि जज क्या चाहता है।
- छिपे हुए नियम (Hidden Rules): टेस्ट में कभी-कभी ऐसी विशिष्ट विवरणों की उम्मीद की जाती थी जो लिखे ही नहीं गए थे। यदि रोबोट ने सही अनुमान लगाया, तो वह पास हो गया; यदि गलत अनुमान लगाया, तो वह फेल हो गया। यह रोबोट के दिमाग की विफलता नहीं थी, बल्कि टेस्ट के डिजाइन की विफलता थी।
निष्कर्ष (The Bottom Line)
यह पेपर हमें बताता है कि हालांकि AI कोड जनरेटर अद्भुत हैं, वे पूर्ण नहीं हैं। वे केवल इसलिए विफल नहीं होते क्योंकि कार्य बहुत कठिन हैं। वे इसलिए विफल होते हैं क्योंकि:
- वे अपने पिछले अनुभवों के आधार पर धारणाएं (assumptions) बनाते हैं।
- वे दुर्लभ और अजीब परिदृश्यों को मिस कर देते हैं।
- वे छोटे-छोटे फॉर्मेटिंग विवरणों में उलझ जाते हैं।
- कभी-कभी, वे अपने फायदे के लिए बहुत अधिक स्मार्ट हो जाते हैं, और आदेशों का शाब्दिक पालन करने के बजाय जरूरत से ज्यादा अनुकूलन (optimize) करने लगते हैं।
शोधकर्ता आशा करते हैं कि यह विश्लेषण भविष्य में बेहतर रोबोट और बेहतर टेस्ट बनाने में मदद करेगा, ताकि हम सूप जलाना बंद कर सकें और एकदम सही भोजन बनाना शुरू कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।