UniCode: Augmenting Evaluation for Code Reasoning
यह शोध पत्र UniCode को पेश करता है, जो एक जनरेटिव मूल्यांकन ढांचा (generative evaluation framework) है जो बहु-आयामी समस्या संवर्धन (multi-dimensional problem augmentation) और स्वचालित परीक्षण का उपयोग करके अत्याधुनिक LLMs की कोड तर्क (code reasoning) में भंगुरता को उजागर करता है, जिससे यह प्रकट होता है कि वास्तविक वैचारिक तर्क के बजाय याद किए गए शॉर्टकट्स पर निर्भरता के कारण प्रदर्शन में महत्वपूर्ण गिरावट आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। लंबे समय से, हमने इन रोबोटों का परीक्षण उन्हें बार-बार बिल्कुल एक जैसी पहेलियाँ देकर किया है। यदि रोबोट सही उत्तर देता है, तो हम खुशी से चिल्लाते हैं, "वाह, यह तो जीनियस है!" लेकिन इसमें एक छिपी हुई समस्या है: रोबोट वास्तव में पहेली को हल नहीं कर रहा हो सकता है। वह शायद पिछली बार देखी गई पहेली से उत्तर को याद कर रहा हो, ठीक उसी छात्र की तरह जिसने गणित सीखने के बजाय उत्तर कुंजी (answer key) को रट लिया हो। इसे "डेटा कंटैमिनेशन" (data contamination) कहा जाता है, और यह हमें यह सोचने पर मजबूर करता है कि हमारे रोबोट वास्तव में उससे कहीं अधिक बुद्धिमान हैं जितना वे हैं। इसे ठीक करने के लिए, वैज्ञानिक नए परीक्षण बनाने की कोशिश कर रहे हैं जो पहेलियों को बस इतना बदल दें कि रोबोट याद करके नकल न कर सके, जिससे उसे वास्तव में सोचने के लिए मजबूर होना पड़े।
यहाँ UniCode आता है, एक नया, सुपर-स्मार्ट टेस्टिंग फ्रेमवर्क जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स और कोडिंग असिस्टेंट के पीछे के AI दिमाग हैं—वास्तव में तर्क (reasoning) कर रहे हैं या सिर्फ दिखावा कर रहे हैं। UniCode के पीछे के शोधकर्ताओं ने जानना चाहा: क्या ये मॉडल वास्तव में नई समस्याओं को हल कर सकते हैं, या वे केवल याद किए गए तरीकों (memorized tricks) पर निर्भर हैं? उन्होंने एक ऐसा सिस्टम बनाया जो मानक कोडिंग समस्याओं को लेता है और उन्हें स्वचालित रूप से रीमिक्स करता है, जिससे हजारों ताज़ा और पेचीदा बदलाव (variations) पैदा होते हैं जिन्हें पहले कभी नहीं देखा गया है।
यहाँ उन्हें क्या पता चला, और यह थोड़ा चौंकाने वाला है। जब उन्होंने दुनिया के सर्वश्रेष्ठ AI मॉडल्स का इन नए, रीमिक्स किए गए (remix-ed) सवालों पर परीक्षण किया, तो वे मॉडल केवल लड़खड़ाए ही नहीं; बल्कि पूरी तरह विफल हो गए। औसतन, उनका प्रदर्शन 31.2% की भारी गिरावट के साथ गिर गया। यह सच है कि जबकि ये AI एक परिचित रेसिपी का पालन करने में माहिर हैं, वे बिखर जाते हैं जब शेफ सामग्री बदल देता है। अध्ययन ने एक ऐसी घटना को उजागर किया जिसे लेखकों ने "सीड-प्रॉब्लम रिग्रेशन" (seed-problem regression) कहा है। कल्पना कीजिए कि एक रोबोट ने चॉकलेट केक बनाना सीखा है। यदि आप उससे वनीला केक बनाने के लिए कहते हैं, तो चॉकलेट को वनीला से बदलने के बजाय, वह बस चॉकलेट बनाने की कोशिश करता रहता है क्योंकि उसने वही याद किया है। इसी तरह, जब AI को कोडिंग समस्या के एक नए संस्करण का सामना करना पड़ा, तो वह अक्सर पुराने, याद किए गए तर्क (logic) पर वापस चला गया, भले ही वह तर्क नई स्थिति के लिए गलत था।
शोधकर्ताओं ने केवल विफलता को खोजने में ही नहीं रोका; उन्होंने इन परीक्षणों को उत्पन्न करने के लिए एक विशाल, स्वचालित फैक्ट्री भी बनाई। उन्होंने एक "स्ट्रेस-ड्रिवन" (stress-driven) पाइपलाइन का उपयोग किया जो टेस्ट केस बनाती है, उनकी जांच ब्रूट-फोर्स समाधानों (धीमा लेकिन 100% सही तरीका) के विरुद्ध करती है, और यहाँ तक कि सही उत्तरों पर वोट देने के लिए अन्य AI का उपयोग करती है। यह सिस्टम इतना अच्छा है कि इसने बिना किसी मानव द्वारा समाधान लिखे 94.5% शुद्धता दर हासिल की। उन्होंने 19 अलग-अलग शीर्ष-स्तरीय मॉडल्स का परीक्षण किया और पाया कि हालांकि कुछ दूसरों की तुलना में बेहतर थे, लगभग सभी ने "भंगुरता" (fragility) दिखाई जब समस्या की संरचना बदल दी गई। उदाहरण के लिए, यदि आपने नियमों को थोड़ा बदल दिया या समस्या को बहुत बड़ा बना दिया, तो मॉडल अक्सर अनुकूलित होने में विफल रहे, जिससे पता चला कि उनका "तर्क" आश्चर्यजनक रूप से उथला (shallow) है।
संक्षेप में, UniCode सुझाव देता है कि हमारे वर्तमान कोडिंग बेंचमार्क एक ऐसे वीडियो गेम की तरह हैं जहाँ बॉस हमेशा एक ही जगह खड़ा रहता है। AI ने उस विशिष्ट स्थान से बचना सीख लिया है। लेकिन जब UniCode बॉस को एक नई जगह पर ले जाता है, उसके हमलों को बदल देता है, और अखाड़े को बड़ा कर देता है, तो AI भ्रमित हो जाते हैं। अध्ययन निष्कर्ष निकालता है कि हमें मॉडल्स को अतीत को याद करने के लिए प्रशंसा करना बंद करना चाहिए और उन्हें भविष्य के तर्क को वास्तव में समझने के लिए बनाना शुरू करना चाहिए। इस नए, कठिन परीक्षण का कोड अब सार्वजनिक है, जो सभी को यह देखने के लिए आमंत्रित करता है कि हमारे AI मित्र अभी कितना सीखना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।