Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU
यह शोध पत्र प्रदर्शित करता है कि GaaR इवोल्यूशनरी आर्किटेक्चर सर्च फ्रेमवर्क, जिसे मूल रूप से कनवल्शनल नेटवर्क पर मान्य किया गया था, DirectML के माध्यम से एक कंज्यूमर AMD GPU पर ऑटोरेग्रेसिव ट्रांसफॉर्मर लैंग्वेज मॉडल्स पर सफलतापूर्वक स्थानांतरित होता है, जो प्रतिस्पर्धी प्रदर्शन प्राप्त करता है और यह प्रकट करता है कि रेगुलेटेड एक्सप्लोइटेशन, स्ट्रक्चर्ड लैंडस्केप्स पर रैंडम सर्च की तुलना में बेहतर प्रदर्शन करता है और निश्चित स्टेप बजट के तहत वाइड-शैलो आर्किटेक्चर को प्राथमिकता देता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बोलना, चित्र बनाना या पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको इसके लिए एक "मस्तिष्क" बनाना होगा, जिसे वैज्ञानिक न्यूरल नेटवर्क कहते हैं। लेकिन पेचीदा बात यह है कि आप यह नहीं जानते कि उसका आकार कितना बड़ा होना चाहिए, उसमें कितने स्तर (layers) होने चाहिए, या उसकी सेटिंग्स को कैसे ट्यून करना है। यहीं पर न्यूरल आर्किटेक्चर सर्च (NAS) काम आता है। NAS को एक सुपर-संगठित, अथक रोबोट आर्किटेक्ट के रूप में सोचें जो यह देखने के लिए हजारों अलग-अलग मस्तिष्क डिजाइनों को आजमाता है कि कौन सा सबसे अच्छा काम करता है।
आमतौर पर, यह काम विशाल, महंगे डेटा सेंटरों में किया जाता है जो एक विशिष्ट कंपनी (NVIDIA) के शक्तिशाली कंप्यूटर चिप्स से भरे होते हैं, जिसमें हजारों डॉलर की बिजली और समय खर्च होता है। यह एक गगनचुंबी इमारत बनाने के लिए केवल विशाल क्रेनों के बेड़े का उपयोग करने जैसा है। लेकिन क्या होगा यदि आप इसे अपने साधारण लैपटॉप या गेमिंग कंप्यूटर पर कर सकें जो आपके पास पहले से ही है? यही वह बड़ा सवाल है जिसे यह शोध पत्र हल करने की कोशिश कर रहा है: क्या हम एक दूसरी कंपनी के साधारण, किफायती ग्राफिक्स कार्ड (AMD) का उपयोग करके एक आदर्श AI मस्तिष्क डिजाइन खोज सकते हैं, बिना उन फैंसी, महंगे डेटा सेंटरों की आवश्यकता के? इसका उत्तर महत्वपूर्ण है क्योंकि यह किसी भी व्यक्ति को, चाहे वह बेडरूम में बैठा छात्र हो या कम बजट वाला शोधकर्ता, बिना भारी खर्च किए या पर्यावरण को नुकसान पहुँचाए AI डिजाइनों के साथ प्रयोग करने की अनुमति दे सकता है।
बजट-अनुकूल AI आर्किटेक्ट की कहानी
मिलिए GaaR (गोल-अवेयर एडेप्टिव रेगुलेशन) से। GaaR को एक चतुर, सिंगल-फाइल रोबोट आर्किटेक्ट के रूप में समझें जो आपके कंप्यूटर पर रहता है। एक पिछले साहसिक कार्य में, इस रोबोट ने केवल एक उपभोक्ता-श्रेणी के AMD ग्राफिक्स कार्ड का उपयोग करके एक विजन सिस्टम (एक मस्तिष्क जो छवियों को "देख" सकता है) को सफलतापूर्वक डिजाइन किया था। इसने एक ऐसा डिजाइन खोजा जो छवियों को पहचानने में 45 मिनट में 94.36% सटीक था, और इसने हर एक कदम को एक सरल स्थानीय डेटाबेस में दर्ज किया।
अब, लेखक, लियोन सैंडलर पूछते हैं: "क्या यह समान रोबोट आर्किटेक्ट पूरी तरह से अलग काम संभाल सकता है?" AI को देखना सिखाने के बजाय (जैसे पिछला इमेज टास्क था), क्या यह AI को बोलना सिखा सकता है? इस नए काम में ट्रांसफॉर्मर लैंग्वेज मॉडल्स शामिल हैं, जो उस तकनीक को शक्ति प्रदान करते हैं जो चैटबॉट्स और टेक्स्ट जनरेटर को चलाती है। ये इमेज ब्रेन्स से बहुत अलग हैं; वे किसी चित्र में वस्तुओं की पहचान करने के बजाय वाक्य में अगले शब्द की भविष्यवाणी करते हैं।
प्रयोग: एक छोटा शेक्सपियर प्ले
इसका परीक्षण करने के लिए, शोधकर्ता ने उसी पुराने AMD ग्राफिक्स कार्ड (एक RX 5700 जिसमें 8 GB मेमोरी है) पर एक दौड़ आयोजित की। यह कार्ड विशेष है क्योंकि यह सामान्य "CUDA" सॉफ्टवेयर के साथ तालमेल नहीं बिठाता है जिसे अधिकांश AI उपकरण उपयोग करते हैं; इसे DirectML नामक एक अलग पथ की आवश्यकता होती है। रोबोट आर्किटेक्ट को बिना किसी बड़े-डेटा टूल्स की मदद के इस पथ पर नेविगेट करना था।
कार्य सरल लेकिन सख्त था:
- लक्ष्य: AI को विलियम शेक्सपियर के संपूर्ण कार्यों (विशेष रूप से "टाइनी शेक्सपियर" संस्करण) के टेक्स्ट में अगले अक्षर की भविष्यवाणी करना सिखाना।
- नियम: रोबोट केवल एक बहुत ही कम समय के लिए एक डिजाइन को आजमा सकता था—प्रत्येक डिजाइन के लिए सीखने के ठीक 300 स्टेप्स। वह बस अनंत काल तक नहीं चल सकता था; उसे कुशल होना था।
- चर (Variables): रोबोट AI के मस्तिष्क के बारे में छह चीजों को बदल सकता था: यह कितना चौड़ा है, इसमें कितने "हेड्स" (अटेंशन मैकेनिज्म) हैं, यह कितना गहरा है, यह एक बार में कितना टेक्स्ट याद रख सकता है, यह एक बार में कितने उदाहरण देखता है, और यह कितनी तेजी से सीखता है।
परिणाम: गति बनाम आकार
रोबोट काम पर लग गया, और डिजाइनों की आठ पीढ़ियों के माध्यम से चला। वास्तविक दुनिया के समय में मात्र 3 मिनट और 16 सेकंड में, उसने एक विजेता डिजाइन खोज लिया।
- विजेता: सबसे अच्छे डिजाइन में 0.8 मिलियन पैरामीटर्स (मस्तिष्क के आकार का एक माप) थे।
- स्कोर: इसने AI की "भ्रम" (वैलिडेशन लॉस) को 2.171 से घटाकर 2.021 कर दिया। सरल शब्दों में, AI कहानी में अगले अक्षर का अनुमान लगाने में बेहतर हो गया।
- आश्चर्य: रोबोट ने सबसे बड़ा, सबसे गहरा, सबसे जटिल मस्तिष्क नहीं चुना। इसके बजाय, उसने एक चौड़ा लेकिन उथला (wide but shallow) मस्तिष्क चुना जिसकी याददाश्त (context) छोटी थी।
क्यों? बजट प्रभाव (Budget Effect) के कारण। चूंकि प्रत्येक डिजाइन को सीखने के लिए केवल 300 स्टेप्स मिले थे, इसलिए वे डिजाइन जीत गए जो उन स्टेप्स को सबसे तेजी से प्रोसेस कर सकते थे। एक विशाल, गहरा मस्तिष्क प्रशिक्षित होने में धीमा होता है; एक चौड़ा, उथला मस्तिष्क तेज होता है। समय के बजट पर, रोबोट ने सीखा कि "तेज और सरल" "धीमे और जटिल" को हरा देता है। यह एक ऐसी दौड़ की तरह है जहाँ सभी को ठीक 100 मीटर दौड़ना है; जो व्यक्ति सबसे तेज स्प्रिंट कर सकता है वह जीतता है, भले ही वह सबसे मजबूत धावक न हो।
वास्तविकता की जांच: रोबोट वास्तव में कब जीतता है?
यहाँ कहानी का सबसे ईमानदार हिस्सा है। शोधकर्ता ने केवल यह नहीं कहा, "रोबोट एक जीनियस है!" उन्होंने इसे एक रैंडम गेसर (random guesser) के खिलाफ टेस्ट किया। उन्होंने 10 बार दौड़ चलाई, रोबोट की "लालची" रणनीति (हमेशा अब तक के सबसे अच्छे को चुनना और उसमें सुधार करना) की तुलना उस व्यक्ति से की जो पूरी तरह से रैंडम डिजाइन चुन रहा था।
- परिणाम: केवल 8 प्रयासों (मुख्य प्रयोग में उपयोग किया गया छोटा बजट) के साथ, रोबोट और रैंडम गेसर बराबर प्रदर्शन करते थे। रोबोट ने रैंडम गेसर को नहीं हराया; वे बराबरी पर रहे।
- सबक: रोबोट की "स्मार्ट" रणनीति तभी काम करती है जब समस्या पर्याप्त बड़ी हो और बजट पैटर्न देखने के लिए पर्याप्त लंबा हो। एक छोटे, स्मूथ लैंडस्केप पर, जहाँ बहुत कम प्रयास करने हों, तो स्मार्ट होने से ज्यादा फर्क नहीं पड़ता।
- प्रमाण: यह दिखाने के लिए कि रोबोट वास्तव में स्मार्ट हो सकता है, शोधकर्ता ने इसे बहुत बड़ी, जटिल समस्या (6,000 संभावित डिजाइनों के साथ एक भौतिकी सिमुलेशन) पर टेस्ट किया। वहां, रोबोट ने 70% बार सटीक समाधान खोजा, जबकि रैंडम गेसर ने 0% बार भी नहीं खोजा।
इसका आपके लिए क्या अर्थ है
यह शोध पत्र सिद्ध करता है कि क्रॉस-मोडल NAS (विभिन्न प्रकार के AI के लिए एक ही सर्च इंजन का उपयोग करना) सस्ते, उपभोक्ता-स्तर के हार्डवेयर पर काम करता है। यह दिखाता है कि आप बिना सुपरकंप्यूटर की आवश्यकता के, एक मानक AMD ग्राफिक्स कार्ड पर मिनटों में एक टेक्स्ट-जनरेटिंग AI डिजाइन कर सकते हैं।
हालाँकि, यह एक स्पष्ट सीमा भी निर्धारित करता है: यदि आपके पास डिजाइनों को टेस्ट करने के लिए बहुत कम समय या पैसा है, तो एक "स्मार्ट" सर्च रणनीति केवल रैंडम अनुमान लगाने से बेहतर नहीं हो सकती है। आपको रणनीति को अपना जादू दिखाने के लिए पर्याप्त जगह देनी होगी।
लेखक ने सारा कोड, लॉग और डेटाबेस साझा किया है ताकि कोई भी इस प्रयोग को दोहरा सके। संदेश स्पष्ट है: AI रिसर्च को महंगे दरवाजों के पीछे बंद रखने की जरूरत नहीं है। सही उपकरणों के साथ, एक उपभोक्ता-ग्रेड कंप्यूटर एक स्मार्ट और अधिक कुशल AI मस्तिष्क बनाने के लिए एक शक्तिशाली प्रयोगशाला बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।