Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference
डेडलस-150एम (Daedalus-150M) एक छोटा भाषा मॉडल है जिसे विशेष रूप से अपने दो-तिहाई अटेंशन परतों को फिक्स्ड-विड्थ कनवल्शनों से बदलकर कुशल सीपीयू इन्फरेंस के लिए आर्किटेक्ट किया गया है, जिससे यह काफी अधिक टोकन पर प्रशिक्षित बड़े, डेटा-भारी मॉडलों से बेहतर प्रदर्शन करते हुए लंबे संदर्भों पर उत्कृष्ट गति और संपीड़न प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आज के समय में अधिकांश लोग जो आर्टिफिशियल इंटेलिजेंस का उपयोग करते हैं, वे उन सिस्टम के साथ बातचीत करते हैं जो विशाल डेटा सेंटरों के लिए डिज़ाइन किए गए शक्तिशाली, विशेष कंप्यूटर चिप्स पर चलते हैं। ये सिस्टम एक साथ हजारों अनुरोधों को संभालने के लिए बनाए गए हैं, एक ऐसी प्रक्रिया जो उन्हें कई उपयोगकर्ताओं के बीच अपनी भारी गणनाओं की लागत को बांटने की अनुमति देती है। लेकिन एक साधारण लैपटॉप या डेस्कटॉप कंप्यूटर का उपयोग करने वाले एकल व्यक्ति के लिए, दक्षता के नियम पूरी तरह से बदल जाते हैं। एक व्यक्तिगत मशीन पर, कंप्यूटर बड़े पैमाने पर समानांतर प्रसंस्करण (पैरेलल प्रोसेसिंग) पर निर्भर नहीं हो सकता; इसके बजाय, यह इस बात से सीमित होता है कि यह अपनी मेमोरी से अपने प्रोसेसर तक डेटा कितनी तेज़ी से ले जा सकता है। हर बार जब कंप्यूटर एक वाक्य में एक नया शब्द उत्पन्न करता है, तो उसे संदर्भ समझने के लिए उस बातचीत के पूरे इतिहास को फिर से पढ़ना पड़ता है। जैसे-जैसे बातचीत लंबी होती जाती है, यह पुन: पढ़ना एक भारी कर (टैक्स) बन जाता है, जिससे सिस्टम की गति काफी धीमी हो जाती है। शोधकर्ताओं के लिए चुनौती एक ऐसा मॉडल बनाने की है जो भाषा को अच्छी तरह से समझता हो लेकिन सामान्य हार्डवेयर पर चलते समय इस बढ़ते मेमोरी बोझ से दब न जाए।
एक शोधकर्ता ने एक नए प्रकार के लैंग्वेज मॉडल, 'डेडेलस-150एम' (Daedalus-150M) को डिजाइन करके इस समस्या का समाधान किया, जो विशेष रूप से मानक कंप्यूटर प्रोसेसरों पर एकल उपयोगकर्ताओं के लिए बनाया गया है। एक बड़े, जटिल मॉडल को लेने और उसे छोटा करने की कोशिश करने के बजाय, उन्होंने उपयोगकर्ता की मशीन की सीमाओं से शुरुआत की और इसे फिट होने के लिए ज़ीरो से आर्किटेक्चर तैयार किया। इसका परिणाम एक ऐसा सिस्टम है जो एक हाइब्रिड इंजन की तरह व्यवहार करता है। यह सूचना को संसाधित करने के दो अलग-अलग तरीकों को जोड़ता है: एक पारंपरिक तरीका जो बातचीत के पूरे इतिहास को याद रखता है, और एक नया, सरल तरीका जो केवल पिछले कुछ क्षणों को ही याद रखता है। इस डिज़ाइन में, मॉडल में प्रसंस्करण के अठारह स्तर (लेयर्स) हैं। छह स्तर दीर्घकालिक संदर्भ की गहरी समझ बनाए रखने के लिए पारंपरिक तरीके का उपयोग करते हैं, जबकि अन्य बारह स्तर एक अल्पकालिक स्मृति तकनीक का उपयोग करते हैं जो केवल दो कदम पीछे देखती है। इसका अर्थ यह है कि कंप्यूटर के सोचने के समय के दो-तिहाई हिस्से के लिए, उसे पूरी बातचीत के इतिहास को फिर से पढ़ने की आवश्यकता नहीं होती, केवल तत्काल अतीत की ही आवश्यकता होती है।
शोधकर्ता ने इस डिज़ाइन का परीक्षण लगभग एक समान मॉडल के विरुद्ध किया जिसने सभी अठारह स्तरों के लिए पारंपरिक, मेमोरी-भारी पद्धति का उपयोग किया था। दोनों मॉडल को समान मात्रा में डेटा, लगभग साठ अरब शब्दों पर प्रशिक्षित किया गया था, और दोनों को एक मानक कंप्यूटर पर चलाने के लिए एक छोटे आकार में संकुचित (कंप्रेस) किया गया था। तुलना सख्त और पूर्व-नियोजित थी: शोधकर्ता ने परिणाम देखने से पहले ही यह तय कर लिया था कि जीत किसे माना जाएगा। हाइब्रिड मॉडल ने प्रश्नों के उत्तर देने और कार्यों को पूरा करने की अपनी क्षमता में पारंपरिक मॉडल के बराबर प्रदर्शन किया, लेकिन गति के मामले में इसने काफी बेहतर प्रदर्शन किया। जब बातचीत छोटी थी, तो दोनों मॉडल समान गति से चले। हालाँकि, जैसे-जैसे बातचीत लंबी होती गई, पारंपरिक मॉडल काफी धीमा हो गया क्योंकि उसे अधिक और अधिक इतिहास को फिर से पढ़ना पड़ा। इसके विपरीत, हाइब्रिड मॉडल ने एक बहुत ही स्थिर गति बनाए रखी। दो हजार शब्दों की बातचीत की लंबाई पर, हाइब्रिड मॉडल ने अपने पारंपरिक समकक्ष की तुलना में लगभग दोगुनी तेज़ी से टेक्स्ट जेनरेट किया।
यह गति का लाभ केवल एक सैद्धांतिक गणना नहीं थी; इसे एक मानक कंप्यूटर प्रोसेसर पर सीधे मापा गया था। शोधकर्ता ने पाया कि हाइब्रिड मॉडल की पूरी हिस्ट्री को फिर से पढ़ने से बचने की क्षमता ने डेटा मूवमेंट की एक बड़ी मात्रा को बचा लिया, जो इन मशीनों के लिए मुख्य बाधा (बॉटलनेक) है। हालांकि डेटा आकार की एक सरल गणना ने सुझाव दिया था कि हाइब्रिड मॉडल केवल थोड़ा ही तेज़ होना चाहिए, वास्तविक प्रदर्शन का अंतर बहुत अधिक था। ऐसा इसलिए है क्योंकि पारंपरिक पद्धति में जटिल, चरण-दर-चरण गणनाएँ शामिल हैं जो संपूर्ण इतिहास पर निर्भर करती हैं, जिन्हें एक एकल प्रोसेसर पर निष्पादित करना धीमा होता है। हाइब्रिड पद्धति, अपने मेमोरी स्टेट को छोटा और स्थिर रखकर, इन धीमी प्रक्रियाओं से पूरी तरह बच जाती है। मॉडल का फ़ाइल आकार भी छोटा आया, जो हार्ड ड्राइव पर लगभग छह प्रतिशत कम जगह लेता है, जो सीमित स्टोरेज वाले उपयोगकर्ताओं के लिए एक व्यावहारिक लाभ है।
इन सफलताओं के बावजूद, शोधकर्ता ने यह रिपोर्ट करने में सावधानी बरती कि क्या पूरी तरह से काम नहीं किया। उन्होंने पाया कि मॉडल के शॉर्ट-टर्म मेमोरी सेक्शन में लगभग आधे चैनल बेकार रहे, जो अनिवार्य रूप से निष्क्रिय बैठे रहे। उन्होंने यह भी पाया कि मॉडल शब्दों का एक ऐसा वोकैबुलरी (शब्दकोश) उपयोग करता है जो इसके आकार के लिए अनावश्यक रूप से बड़ा है, जिससे इसकी कुछ क्षमता बर्बाद होती है। इसके अलावा, जब उन्होंने मॉडल को विशेष रूप से गति के लिए उपयोग किए जाने वाले संकुचित डेटा प्रारूप को संभालने के लिए प्रशिक्षित करने की कोशिश की, तो प्रक्रिया विफल रही, जिसका अर्थ है कि मॉडल को प्रशिक्षण के बाद संकुचित करना पड़ा, जिससे इसकी सटीकता थोड़ी कम हो गई। ये इंजीनियरिंग संबंधी मुद्दे हैं न कि डिज़ाइन के मौलिक दोष, और शोधकर्ता ने उल्लेख किया कि भविष्य का संस्करण मॉडल की शुरुआत और इसके संपीड़न (कंप्रेशन) को समायोजित करके इन्हें ठीक कर सकता है।
अंतिम परिणामों ने दिखाया कि यह विशिष्ट डिज़ाइन विकल्प—दीर्घकालिक स्मृति को अल्पकालिक स्मृति के साथ मिलाना—ठीक उसी तरह काम करता है जैसा कि लक्षित वातावरण के लिए इरादा था। मॉडल ने पांच मानक भाषा परीक्षणों के एक सेट में उन अन्य मॉडलों की तुलना में उच्च स्कोर किया जो तीन से छह गुना अधिक डेटा पर प्रशिक्षित किए गए थे और समान आकार के थे। इसने एक ऐसे मॉडल को भी पछाड़ दिया जिसे एक ट्रिलियन शब्दों पर प्रशिक्षित किया गया था, हालांकि एक बहुत बड़े मॉडल ने कच्ची बुद्धिमत्ता (रॉ इंटेलिजेंस) में थोड़ा बढ़त बनाए रखी। मुख्य निष्कर्ष यह है कि एक मानक कंप्यूटर पर एकल उपयोगकर्ता के लिए, भाषा मॉडल बनाने का सबसे कुशल तरीका इसे यथासंभव स्मार्ट बनाना नहीं है, बल्कि इसे मेमोरी के मामले में यथासंभव हल्का बनाना है। यह स्वीकार करके कि मॉडल को हर एक चरण के लिए पूरी बातचीत को फिर से पढ़ने की आवश्यकता नहीं है, शोधकर्ता ने एक ऐसा सिस्टम बनाया जो लंबी बातचीत के दौरान भी प्रतिक्रियाशील और तेज़ महसूस होता है, यह सिद्ध करते हुए कि एक अलग आर्किटेक्चरल दृष्टिकोण रोजमर्रा की कंप्यूटिंग की विशिष्ट समस्याओं को हल कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।