AutoVecCoder: Teaching LLMs to Generate Explicitly Vectorized Code
यह शोध पत्र AutoVecCoder प्रस्तुत करता है, जो एक डेटा सिंथेसिस पाइपलाइन (VecPrompt) और एक सुदृढीकरण शिक्षण दृष्टिकोण (VecRL) को संयोजित करने वाला एक नवीन ढांचा है, ताकि लार्ज लैंग्वेज मॉडल्स को उच्च-प्रदर्शन वाला, स्पष्ट रूप से वेक्टराइज्ड कोड उत्पन्न करने में सक्षम बनाया जा सके जो पारंपरिक कंपाइलर अनुकूलन से बेहतर हो।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल कारखाना (एक कंप्यूटर प्रोसेसर) है जिसमें एक सुपर-कुशल असेंबली लाइन है जिसे एक ही समय में 8 कारें बनाने के लिए डिज़ाइन किया गया है। इसे SIMD (Single Instruction, Multiple Data) कहा जाता है। इस कारखाने का अधिकतम लाभ उठाने के लिए, आपको श्रमिकों को ऐसे निर्देश देने की आवश्यकता है जो उन्हें सभी 8 कारों को एक साथ बनाने के लिए कहें।
हालाँकि, एक समस्या है:
- बॉस (कंपाइलर): मानक "बॉस" सॉफ्टवेयर जो आमतौर पर कारखाने के लिए निर्देश लिखता है, वह बहुत सतर्क होता है। वह अक्सर एक जटिल कार्य को देखता है और कहता है, "मैं 100% निश्चित नहीं हूँ कि यह 8-एक-साथ किया जा सकता है, इसलिए मैं सुरक्षित रहने के लिए इसे एक बार में एक कार करके ही करूँगा।" यह कारखाने की क्षमता को बर्बाद करता है।
- मानव विशेषज्ञ: एक मानव प्रोग्रामर इंट्रिंसिक्स (intrinsics) नामक एक विशेष, कठिन भाषा का उपयोग करके आदर्श "8-एक-साथ" निर्देश लिख सकता है। लेकिन यह एक इंसान से रॉकेट शिप के लिए हाथ से मैनुअल लिखने के लिए कहने जैसा है—यह अविश्वसनीय रूप से कठिन है, गलतियों की संभावना अधिक है, और इसमें बहुत समय लगता है।
- AI (LLM): हमने एक स्मार्ट AI को ये निर्देश लिखने के लिए सिखाने की कोशिश की। लेकिन AI ऐसा था जैसे किसी छात्र ने बहुत सारी किताबें तो पढ़ ली हों लेकिन उसने कभी कारखाने में काम नहीं किया हो। वह ऐसे निर्देश लिखता था जो दिखने में तो सही लगते थे लेकिन काम नहीं करते थे, या फिर वे उपयोग के लिए बहुत धीमे होते थे।
** much Enter AUTOVECCODER:**
यह पेपर एक नए प्रशिक्षण सिस्टम को पेश करता है जो एक AI (विशेष रूप से एक 8-बिलियन पैरामीटर मॉडल) को एक मास्टर फैक्ट्री फोरमैन बनने के लिए डिज़ाइन किया गया है। यह AI को स्वचालित रूप से उन सटीक "8-एक-साथ" निर्देशों को लिखना सिखाता है।
उन्होंने इसे दो मुख्य उपकरणों का उपयोग करके किया, जो यहाँ दिए गए हैं:
1. "नॉलेज इंजेक्शन" (VECPROMPT)
AI को अनुकूलित (optimize) करना सीखने से पहले, उसे कारखाने के नियमों को सीखने की आवश्यकता थी।
- समस्या: AI को कारखाने की मशीनरी (हार्डवेयर निर्देश) के विशिष्ट, अज्ञात नियमों के बारे में पता नहीं था।
- समाधान: शोधकर्ताओं ने एक प्रणाली बनाई जो एक सुपर-लाइब्रेरियन की तरह कार्य करती है। जब AI को कोड लिखने के लिए कहा जाता है, तो सिस्टम तुरंत उस विशिष्ट मशीन के पुर्जों के सटीक आधिकारिक मैनुअल (डॉक्यूमेंटेशन) को खोज निकालता है।
- परिणाम: AI सही मैनुअल देखते हुए कोड लिखना सीखता है। वह अभ्यास के लिए हजारों समस्याएं उत्पन्न करता है, जांचता है कि क्या कोड वास्तव में संकलित (compile) होता है (यानी काम करता है), और खराब कोड को हटा देता है। यह AI के अध्ययन के लिए एक उच्च-गुणवत्ता वाला "पाठ्यपुस्तक" बनाता है।
2. "स्पीड कोच" (VECRL)
एक बार जब AI ने नियमों को सीख लिया, तो उसे तेज़ होना सीखना था।
- समस्या: केवल काम करने वाला कोड लिखना ही काफी नहीं है; इसे सतर्क "बॉस" सॉफ्टवेयर से तेज़ होना चाहिए।
- समाधान: उन्होंने AI को एक आभासी जिम (एक सैंडबॉक्स) में रखा। हर बार जब AI कोड का एक टुकड़ा लिखता है, तो सिस्टम यह देखने के लिए कि वह कितना तेज़ है, उसे वास्तव में एक वास्तविक CPU पर चलाता है।
- यदि कोड क्रैश हो जाता है या गलत उत्तर देता है, तो AI को "शून्य" स्कोर मिलता है।
- यदि कोड काम करता है, तो AI को एक आधार स्कोर मिलता है।
- यदि कोड मूल कोड से तेज़ है, तो AI को एक बोनस मिलता है।
- जादू: AI हजारों विविधताओं को आजमाता है। वह सीखता है कि "हे, अगर मैं इसमें यह एक छोटी सी चीज़ बदल दूँ, तो कारें दोगुनी तेज़ी से बनेंगी!" वह ट्रायल और एरर (परीक्षण और त्रुटि) के माध्यम से सीखता है, स्पीड कोच के मार्गदर्शन में, उन शॉर्टकट को खोजने के लिए जिन्हें सतर्क "बॉस" सॉफ्टवेयर ने कभी नहीं सोचा था।
परिणाम
पेपर का दावा है कि यह नया AI, AUTOVECCODER-8B, एक सुपरस्टार है:
- दिग्गजों को पछाड़ना: भले ही यह एक अपेक्षाकृत छोटा मॉडल (8 बिलियन पैरामीटर) है, इसने इस विशिष्ट कार्य के लिए विशाल, प्रसिद्ध AI मॉडलों (जैसे GPT-5, Claude, और Gemini) को पछाड़ दिया।
- बॉस को पछाड़ना: कई मामलों में, इसके द्वारा लिखा गया कोड वास्तव में उद्योग-मानक "बॉस" सॉफ्टवेयर (कंपाइलर ऑप्टिमाइज़ेशन लेवल -O3) द्वारा उत्पादित कोड से तेज़ था।
- विश्वसनीयता: अन्य मॉडलों के विपरीत जो तेज़ कोड लिख सकते हैं लेकिन क्रैश हो जाते हैं, यह AI ऐसा कोड लिखता है जो तेज़ भी है और सही भी।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर का तर्क है कि बहुत विशिष्ट, उच्च-प्रदर्शन वाले कार्यों (जैसे डीप लर्निंग या वैज्ञानिक गणित) के लिए, आपको केवल एक "स्मार्ट" AI की आवश्यकता नहीं है; आपको एक ऐसे AI की आवश्यकता है जिसे विशिष्ट ज्ञान और वास्तविक दुनिया के गति फीडबैक के साथ प्रशिक्षित किया गया हो।
उन्होंने पाया कि AI ने ऐसी चीजें करना सीख लिया जो मानक सॉफ्टवेयर नहीं कर सका, जैसे कि:
- जटिल लूप्स को संभालना जहाँ वस्तुओं की संख्या गतिशील रूप से बदलती है।
- डेटा को मेमोरी से प्राप्त करने के तरीके को पुनर्गठित करना ताकि असेंबली लाइन चलती रहे।
- पूरी लाइन को रोके बिना खराब डेटा को छोड़ने के लिए "मास्क्स" (masks) का उपयोग करना।
संक्षेप में, उन्होंने एक AI को अनुमान लगाना बंद करने और कंप्यूटर चिप्स के लिए एकदम सटीक, उच्च-गति वाले निर्देश लिखना सिखाया, जिसने सतर्क मानक सॉफ्टवेयर और सबसे बड़े सामान्य-उद्देश्य वाले AI मॉडल दोनों को इस विशिष्ट काम में मात दी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।