Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required
यह शोध पत्र तर्क देता है कि SWE-bench जैसे संकीर्ण कोडिंग बेंचमार्क के लिए लार्ज लैंग्वेज मॉडल्स को अनुकूलित करना सामान्य कोडिंग क्षमताओं में सुधार करने या अन्य कार्यों में स्थानांतरण करने में विफल रहता है, जिससे विश्वसनीय मूल्यांकन सुनिश्चित करने के लिए विविध, समग्र मूल्यांकन विधियों और निरंतर बेंचमार्क रखरखाव की ओर बदलाव आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सेटअप: कोड की दुनिया और "स्कोरकार्ड" का जाल
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर अपना स्वयं का सॉफ़्टवेयर लिखना सीख रहे हैं, जिसे "डीप लर्निंग फॉर कोड" के रूप में जाना जाता है। इस दुनिया में, शोधकर्ता विशाल डिजिटल मस्तिष्क बनाते हैं जिन्हें "फाउंडेशन मॉडल्स" कहा जाता है जो प्रोग्रामिंग भाषाओं को समझ सकते हैं। यह मापने के लिए कि ये मस्तिष्क कितने स्मार्ट हैं, वैज्ञानिक "बेंचमार्क" का उपयोग करते हैं—जो अनिवार्य रूप से मानकीकृत परीक्षणों की तरह हैं, जैसे एआई के लिए SAT या ओलंपिक। वर्तमान में सबसे प्रसिद्ध परीक्षणों में से एक SWE-bench है। यह एक विशिष्ट चुनौती है जहाँ एक एआई को वास्तविक दुनिया का एक सॉफ़्टवेयर बग दिया जाता है और उसे ठीक करने के लिए कहा जाता है।
लंबे समय से, समुदाय एक सरल धारणा के तहत काम कर रहा है: यदि कोई एआई SWE-bench पर उच्च स्कोर प्राप्त करता है, तो वह निश्चित रूप से एक सामान्य रूप से प्रतिभाशाली कोडर होगा। यह ऐसा ही है जैसे यह मान लेना कि क्योंकि एक छात्र ने गणित के एक मानकीकृत परीक्षण में उत्कृष्ट प्रदर्शन किया है, तो वह भौतिकी, इतिहास और कला में भी स्वतः ही प्रतिभाशाली है। यह शोध पत्र एक बहुत ही महत्वपूर्ण प्रश्न पूछता है: क्या वह धारणा वास्तव में सच है? लेखक चिंतित हैं कि हम खुद को धोखा दे रहे हैं। उन्हें संदेह है कि एआई मॉडल "विचारक" बनने के बजाय "परीक्षार्थी" (test-takers) बनते जा रहे हैं—वे वास्तव में कोडिंग के व्यापक, जटिल और वास्तविक कार्य में बेहतर होने के बजाय, विशेष रूप से SWE-bench परीक्षा पास करने का तरीका सीख रहे हैं।
शोध पत्र: क्यों स्कोरकार्ड हमें झूठ बोल सकता है
इस शोध पत्र के लेखकों ने, जो JetBrains और विभिन्न विश्वविद्यालयों के शोधकर्ताओं की एक टीम है, इस धारणा को परखने का निर्णय लिया। उनका तर्क है कि इन बेंचमार्क के जो वे वास्तव में मापते हैं और जो हम दावा करते हैं कि वे सिद्ध करते हैं, उनके बीच एक "अर्थ अंतराल" (meaning gap) है। सच्चाई का पता लगाने के लिए, उन्होंने केवल मौजूदा स्कोर को नहीं देखा; बल्कि उन्होंने अपना नया परीक्षण मैदान बनाया।
प्रयोग: एक नया खेल का मैदान
शोधकर्ताओं ने Django पर आधारित एक कस्टम बेंचमार्क सुइट बनाया, जो एक लोकप्रिय वेब फ्रेमवर्क है। Django क्यों? क्योंकि यह SWE-bench के लगभग आधे प्रश्नों का हिस्सा बनाता है। यदि कोई एआई वास्तव में कोडिंग का जीनियस है, तो वह Django के बग्स को उतनी ही अच्छी तरह से हल करने में सक्षम होना चाहिए जितना कि वह SWE-bench की समस्याओं को हल करता है।
उन्होंने तीन विशिष्ट प्रकार की चुनौतियाँ डिज़ाइन कीं ताकि यह देखा जा सके कि क्या एआई विभिन्न प्रकार के कार्यों को संभाल सकता है:
- मेथड जनरेशन (Method Generation): एक विवरण के आधार पर शुरू से एक बिल्कुल नया फंक्शन लिखना।
- मेथड कंप्लीशन (Method Completion): एक फंक्शन को पूरा करना जो पहले से ही शुरू किया जा चुका है।
- प्रोग्राम रिपेयर (Program Repair): कोड के एक टूटे हुए हिस्से को खोजना और त्रुटि संदेशों (error messages) का उपयोग करके उसे ठीक करना।
इसके बाद उन्होंने कई एआई मॉडल्स को लिया जिन्हें SWE-bench में महारत हासिल करने के लिए तीव्रता से "प्रशिक्षित" किया गया था और उन्हें अपनी नई Django चुनौतियों पर परखा। उन्होंने उन मॉडल्स का भी परीक्षण किया जिन्हें उन्होंने स्वयं केवल एक विशिष्ट कार्य पर प्रशिक्षित किया था, ताकि यह देखा जा सके कि क्या वह कौशल अन्य कार्यों में फैलता है।
बड़ी खोज: "स्पेशलिस्ट" की समस्या
परिणाम चौंकाने वाले थे। शोध पत्र सुझाव देता है कि किसी एआई को SWE-bench के लिए अनुकूलित (optimize) करने से वह एक बेहतर सामान्य कोडर नहीं बनता है। वास्तव में, यह अक्सर अन्य चीजों में उसे कमजोर बना देता है।
- कौशल का स्थानांतरण नहीं (No Transfer of Skills): जब उन्होंने SWE-bench के सुपरस्टार मॉडल्स को नए Django कार्यों को करने के लिए कहा, तो वे मॉडल अक्सर विफल रहे। वे बग्स को ठीक करने या नया कोड लिखने में बेहतर नहीं हुए; वे बस उस विशिष्ट प्रकार की पहेली को हल करने में बेहतर हो गए जो SWE-bench उपयोग करता है। यह एक कुत्ते को एक विशिष्ट प्रकार की गेंद लाने के लिए प्रशिक्षित करने जैसा है, और फिर यह देखकर आश्चर्यचकित होना कि वह फ्रिसबी नहीं पकड़ पा रहा है।
- "फॉर्मेट" का जाल (The "Format" Trap): कई मॉडल जो विफल हुए, वे इसलिए विफल नहीं हुए क्योंकि वे कोड नहीं लिख सके। वे इसलिए विफल हुए क्योंकि वे उत्तर के फॉर्मेट (प्रारूप) से भ्रमित हो गए। SWE-bench प्रशिक्षण ने उन्हें विशिष्ट टैग या शैलियों में लिपटे कोड को आउटपुट करने के लिए इतना कुशल बना दिया था कि नए परीक्षणों ने उनकी अपेक्षा नहीं की थी। मॉडल "परीक्षा के निर्देशों" का पालन करने में इतने कुशल हो गए कि वे बस काम करना ही भूल गए।
- "एक-कार्य" का भ्रम (The "One-Task" Illusion): जब शोधकर्ताओं ने मॉडल्स को केवल एक कार्य (जैसे केवल बग ठीक करना) पर प्रशिक्षित किया, तो वे बग ठीक करने में तो बेहतरीन हो गए लेकिन वे नया कोड लिखने या अधूरे कोड को पूरा करने में बेहतर नहीं हुए। यह साबित करता है कि "सुधार" संकीर्ण और विशिष्ट था, न कि बुद्धिमत्ता में कोई सामान्य उछाल।
निष्कर्ष: लीडरबोर्ड पर भरोसा न करें
शोध पत्र निष्कर्ष निकालता है कि किसी मॉडल की "सामान्य कोडिंग क्षमता" का दावा करने के लिए SWE-bench जैसे एकल बेंचमार्क पर निर्भर रहना भ्रामक है। लेखक सुझाव देते हैं कि क्षेत्र एक ऐसे जाल में फंस गया है जहाँ हम वास्तविक कौशल के बजाय टेस्ट स्कोर के लिए अनुकूलन (optimize) कर रहे हैं।
वे सोचने का एक नया तरीका प्रस्तावित करते हैं:
- सबसे बड़े, सबसे उन्नत मॉडल्स के लिए: हमें "समग्र" (holistic) मूल्यांकन की आवश्यकता है, जैसे उन्हें ओपन-एंडेड, वास्तविक दुनिया के प्रोजेक्ट्स पर काम करते हुए देखना, न कि केवल उन्हें बहुविकल्पीय परीक्षण देना।
- अनुसंधान के लिए: हमें कई अलग-अलग प्रकार के कोडिंग कार्यों को कवर करने वाले विविध परीक्षणों के सेट की आवश्यकता है, न कि केवल एक की।
- वास्तविक दुनिया के उपयोग के लिए: हमें उन विशिष्ट कार्यों पर मॉडल्स का परीक्षण करने की आवश्यकता है जिनकी हमें वास्तव में परवाह है, संभवतः काम की जांच करने के लिए मनुष्यों की भागीदारी के साथ।
संक्षेप में, शोध पत्र चेतावनी देता है कि कोडिंग लीडरबोर्ड पर उच्च स्कोर का मतलब यह नहीं है कि एआई एक मास्टर बिल्डर है; इसका मतलब यह भी हो सकता है कि वह एक मास्टर टेस्ट-टेकर है। यह जानने के लिए कि क्या कोई एआई वास्तव में स्मार्ट है, हमें एक एकल संख्या को देखना बंद करना होगा और पूरी तस्वीर को देखना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।