AlgoBench: Benchmarking Algorithmic Adaptation in Code Generation
यह शोध पत्र ALGOBENCH को प्रस्तुत करता है, जो एक नवीन ढांचा है जो समाधानों के पुन: उपयोग को रोकने के लिए मौजूदा प्रतिस्पर्धी प्रोग्रामिंग चुनौतियों को रूपांतरित करके अनुकूलित एल्गोरिदम संबंधी समस्याएँ उत्पन्न करता है, जिसके साथ जटिलता-जागरूक मेट्रिक्स भी दिए गए हैं ताकि यह कठोरता से मूल्यांकन किया जा सके कि क्या भाषा मॉडल कार्यात्मक शुद्धता से परे वास्तविक एल्गोरिदम तर्क क्षमताओं के स्वामी हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को गणित के सवाल हल करने का प्रशिक्षण दे रहे हैं। आप उन्हें एक अभ्यास टेस्ट देते हैं, और वे उसमें बेहतरीन प्रदर्शन करते हैं। आप सोच सकते हैं, "वाह, वे वास्तव में कैलकुलस समझते हैं!" लेकिन क्या होगा अगर उन्होंने वास्तव में गणित नहीं सीखा हो? क्या होगा अगर उन्होंने केवल उन विशिष्ट प्रश्नों के उत्तर याद कर लिए हों क्योंकि उन्होंने पहले किसी पाठ्यपुस्तक में उन्हें देखा था?
यही वह समस्या है जिसे ALGOBENCH नामक शोध पत्र (paper) लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ हल करने की कोशिश कर रहा है—जो कि कोड लिखने वाले AI सिस्टम हैं।
समस्या: "चीट शीट" प्रभाव (The "Cheat Sheet" Effect)
वर्तमान AI मॉडल HumanEval जैसे मानक कोडिंग टेस्ट पास करने में बहुत अच्छे हैं। हालाँकि, यह शोध पत्र तर्क देता है कि ये टेस्ट "दूषित" (contaminated) होते जा रहे हैं। क्योंकि ये समस्याएँ सार्वजनिक हैं, इसलिए संभावना है कि AI ने अपने प्रशिक्षण के दौरान ठीक वही प्रश्न और उनके समाधान देखे होंगे।
यह वैसा ही है जैसे कोई छात्र ऐसा टेस्ट दे रहा हो जहाँ शिक्षक ने गलती से उत्तर कुंजी (answer key) मेज पर छोड़ दी हो। छात्र एक परफेक्ट स्कोर प्राप्त करता है, इसलिए नहीं कि वह प्रतिभाशाली है, बल्कि इसलिए क्योंकि उसने उत्तर कुंजी को रट लिया है। शोध पत्र इसे तर्क (reasoning) के बजाय याद करना (memorization) कहता है। AI समस्या को हल करने का तरीका नहीं समझ रहा है; वह बस यह याद कर रहा है कि समाधान कैसा दिखता है।
समाधान: ALGOBENCH (द "ट्विस्ट" टेस्ट)
इसे ठीक करने के लिए, शोधकर्ताओं ने ALGOBENCH बनाया है। इसे AI के लिए एक "ट्विस्ट टेस्ट" के रूप में समझें।
AI को एक स्थिर (static) समस्या देने के बजाय, वे एक ज्ञात समस्या को लेते हैं और उसमें एक "जादुई ट्विस्ट" लागू करते हैं। वे नियमों को थोड़ा सा बदल देते हैं ताकि पुराना, रटा-रटाया उत्तर काम न करे, लेकिन समस्या कुछ हद तक परिचित ही लगे।
यहाँ वे "ट्विस्ट" दिए गए हैं जिनका वे उपयोग करते हैं:
- "स्केल अप" ट्विस्ट (The "Scale Up" Twist): यदि मूल समस्या ने आपसे 100 नंबरों को सॉर्ट करने के लिए कहा था, तो नई समस्या आपसे 1,000,000 नंबरों को सॉर्ट करने के लिए कहती है। पुराना "धीमा" तरीका क्रैश हो जाएगा, और AI को एक तेज़, स्मार्ट तरीका बनाना होगा।
- "चलता लक्ष्य" ट्विस्ट (The "Moving Target" Twist): यदि मूल समस्या संख्याओं की एक स्थिर सूची के बारे में थी, तो नई समस्या में एक नियम जोड़ दिया जाता है जहाँ आपके काम करने के दौरान संख्याएँ बदलती रहती हैं। पुराना "रीड-ओनली" समाधान विफल हो जाता है, और AI को एक गतिशील रणनीति की आवश्यकता होती है।
- "ट्रैप" ट्विस्ट (The "Trap" Twist): वे एक ऐसी स्थिति बनाते हैं जहाँ एक सामान्य शॉर्टकट (जैसे कि एक लालची अनुमान/greedy guess) शुरू में तो सही लगता है लेकिन छिपे हुए, पेचीदा मामलों में विफल हो जाता है।
यदि AI अपने पुराने रटे हुए समाधान का उपयोग करने की कोशिश करता है, तो वह विफल हो जाता है। पास होने के लिए, उसे वास्तव में अपने सोचने के तरीके को अनुकूलित (adapt) करना होगा और एक नया एल्गोरिदम बनाना होगा।
"स्पीड लिमिट" चेक
शोध पत्र इस ओर भी इशारा करता है कि हम आमतौर पर AI को कैसे ग्रेड देते हैं, इसमें एक खामी है। आमतौर पर, हम केवल यह देखते हैं: "क्या कोड बिना किसी त्रुटि के चला?" (पास/फेल)।
लेकिन वास्तविक दुनिया में, एक ऐसा समाधान जो काम तो करता है लेकिन उसे पूरा होने में 100 साल लगते हैं, वह बेकार है। ALGOBENCH एक कॉम्प्लेक्सिटी वेरीफायर (Complexity Verifier) पेश करता है। यह एक रेफरी की तरह है जो न केवल यह जाँचता है कि कार ने फिनिश लाइन पार की या नहीं, बल्कि यह भी कि वह कितनी तेज़ गई।
- OPTT (इष्टतम समय - Optimal Time): क्या AI ने एक तेज़ समाधान लिखा?
- OPTS (इष्टतम स्थान - Optimal Space): क्या AI ने ऐसा समाधान लिखा जो कंप्यूटर की सारी मेमोरी का उपयोग नहीं करता है?
शोध पत्र ने पाया कि कई AI मॉडल टेस्ट पास कर लेते हैं लेकिन स्पीड चेक में विफल हो जाते हैं। वे ऐसा कोड लिखते हैं जो छोटे उदाहरणों के लिए तो काम करता है लेकिन वास्तविक बाधाओं (constraints) के लिए बहुत धीमा होता है।
उन्होंने क्या पाया
जब उन्होंने 7 अलग-अलग AI मॉडल्स का इन "ट्विस्ट" समस्याओं पर परीक्षण किया, तो परिणाम चौंकाने वाले थे:
- प्रदर्शन में गिरावट (Performance Drops): जब समस्याओं को "ट्विस्ट" किया गया, तो AI का स्कोर काफी गिर गया। यह साबित करता है कि AI रटे हुए टेम्पलेट्स पर निर्भर था न कि वास्तविक समझ पर।
- "रिट्रीवल" का जाल (The "Retrieval" Trap): जब शोधकर्ताओं ने मूल समस्या दिखाकर AI की मदद की (रिट्रीवल), तो AI वास्तव में और भी खराब प्रदर्शन करने लगा। वह पुराने समाधान को नई समस्या पर जबरदस्ती थोपने की कोशिश में फंस गया, जैसे किसी चौकोर टुकड़े को गोल छेद में फिट करने की कोशिश करना।
- वास्तविक तर्क कठिन है (Real Reasoning is Hard): अधिकांश विफलताएँ इसलिए नहीं थीं कि AI ने कोई टाइपिंग मिस्टेक की या छोटी कोडिंग गलती की। वे इसलिए विफल हुए क्योंकि वे आवश्यक नए तर्क को समझ नहीं पाए। उन्होंने पुराने, धीमे तरीके का उपयोग करने की कोशिश की जब एक नए, तेज़ तरीके की आवश्यकता थी।
निष्कर्ष (The Bottom Line)
ALGOBENCH परीक्षण करने का एक नया तरीका है जो AI को पुराने उत्तर रटकर "चीटिंग" करने से रोकता है। यह AI को यह दिखाने के लिए मजबूर करता है कि वह वास्तव में नियमों के बदलने पर कैसे सोच सकता है और अनुकूलित हो सकता है, न कि केवल एक स्क्रिप्ट को दोहरा सकता है जो उसने स्कूल में सीखी थी।
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI कोड लिखने में बेहतर हो रहा है, लेकिन वह अभी भी कोड के पीछे के एल्गोरिदम को वास्तव में समझने में संघर्ष करता है जब नियम बदल जाते हैं। वह एक रेसिपी का पालन करने में अच्छा है, लेकिन वह अभी भी शून्य से एक नया व्यंजन बनाना सीख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।