FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration

आर्टिफिशियल इंटेलिजेंस की दुनिया वर्तमान में एक भौतिक सीमा की ओर दौड़ रही है। सबसे उन्नत भाषा मॉडल, वे सिस्टम जो कोड लिखते हैं, कहानियाँ तैयार करते हैं और जटिल समस्याओं को हल करते हैं, इतने विशाल हो गए हैं कि वे अब उन मानक मेमोरी चिप्स में फिट नहीं होते जो उन्हें चलाने वाले कंप्यूटर प्रोसेसर से जुड़ी होती हैं। कल्पना कीजिए कि आप एक ऐसे बैकपैक में एक अरब किताबों का पुस्तकालय ले जाने की कोशिश कर रहे हैं जो केवल कुछ दर्जन किताबें ही रख सकता है; इन मॉडलों को चलाने वाले हार्डवेयर के लिए यह वर्तमान वास्तविकता है। इन सिस्टमों को काम करने के लायक बनाने के लिए, इंजीनियरों को इन मॉडलों को कई अलग-अलग कंप्यूटरों में विभाजित करने के लिए मजबूर होना पड़ा है, जो एक ऐसा समाधान है जो महंगा, धीमा और ऊर्जा-खपत वाला है क्योंकि कंप्यूटरों को भार साझा करने के लिए लगातार एक-दूसरे से बात करनी पड़ती है। हाई-बैंडविड्थ फ्लैश नामक एक नई तकनीक इन विशाल पुस्तकालयों को प्रोसेसर के ठीक बगल में संग्रहीत करने का एक तरीका प्रदान करती है, जो एक छोटे से पैकेज में टेराबाइट्स की जगह देती है। हालांकि, यह नई स्टोरेज प्रोसेसर की अपनी मेमोरी की तुलना में पढ़ने में बहुत धीमी है, जिससे एक बाधा उत्पन्न होती है जहाँ कंप्यूटर अपना अधिकांश समय डेटा आने की प्रतीक्षा करने में बिता देता है।

हुआवेई और ETH ज्यूरिख के शोधकर्ताओं ने इस प्रतीक्षा की समस्या को हल करने के लिए FLINT नामक एक सिस्टम डिजाइन किया है। उनका कार्य, जो हाल ही के एक अध्ययन में विस्तृत है, एक ऐसा तरीका प्रस्तावित करता है जिससे इस उच्च-क्षमता वाले फ्लैश स्टोरेज को प्रोसेसर की मांगों के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ बनाया जा सके, जिसके लिए पिछले डिजाइनों की तरह जटिल, पूर्व-नियोजित शेड्यूलों की आवश्यकता न हो। प्रोसेसर को आगे किस डेटा की आवश्यकता होगी, इसका अनुमान लगाने के बजाय, FLINT वास्तविक समय में प्रोसेसर को देखता है और जैसे-जैसे अनुरोध होते हैं, डेटा को व्यवस्थित करता है। इन अनुरोधों को एक साथ समूहबद्ध करके और चिप के आंतरिक बफ़र्स का अधिक कुशलता से उपयोग करके, यह सिस्टम डेटा को ऐसी गति से स्ट्रीम कर सकता है जो लगभग प्रोसेसर की अपनी मेमोरी के बराबर हो। टीम ने छह अलग-अलग बड़े भाषा मॉडलों का उपयोग करके इस सिस्टम का अनुकरण (सिमुलेशन) किया, जिनमें वर्तमान में मौजूद कुछ सबसे बड़े और जटिल मॉडल भी शामिल हैं। उनके परिणाम दिखाते हैं कि यह दृष्टिकोण एक एकल कंप्यूटर पैकेज को उन कार्यों को संभालने की अनुमति देता है जिनके लिए पहले दर्जनों मशीनों की आवश्यकता थी, जबकि यह काफी कम ऊर्जा का उपयोग करता है और बहुत तेज़ी से परिणाम देता है।

समस्या का मूल कारण यह है कि ये मॉडल कैसे बनाए जाते हैं। एक 'इन्फरेंस' (inference) चलाने के लिए, जो मॉडल द्वारा प्रतिक्रिया उत्पन्न करने की क्रिया है, कंप्यूटर को लगातार मॉडल के 'वेट्स' (weights) तक पहुंचना चाहिए, जो अनिवार्य रूप से वे अरबों संख्याएं हैं जो इसके ज्ञान को परिभाषित करती हैं। अतीत में, ये वेट्स इतने छोटे थे कि सीधे प्रोसेसर से जुड़े उच्च-गति वाली मेमोरी में पूरी तरह से समा सकें। अब, सैकड़ों अरबों या यहाँ तक कि ट्रिलियन पैरामीटर्स वाले मॉडलों के साथ, ये वेट्स उस तेज़ मेमोरी के लिए बहुत बड़े हैं। विकल्प सॉलिड-स्टेट ड्राइव का उपयोग करना रहा है, जो बड़े और सस्ते तो हैं लेकिन बहुत धीमे हैं, या कई प्रोसेसरों का उपयोग करना, जो उनके काम को सिंक्रोनाइज़ करने के दौरान देरी पैदा करता है। हाई-बैंडविड्थ फ्लैश को एक मध्य मार्ग के रूप में प्रस्तावित किया गया था: एक ऐसी स्टोरेज तकनीक जो प्रोसेसर के समान छोटे पैकेज में फिट होती है और भारी क्षमता प्रदान करती है, लेकिन इसकी पढ़ने की गति अभी भी प्रोसेसर के लिए सीधे उपयोग करने हेतु बहुत धीमी है जिससे सिस्टम रुक सकता है।

फ्लैश स्टोरेज का उपयोग करने के पिछले प्रयासों ने एक ऐसी विधि पर भरोसा किया जो एक लाइब्रेरियन के अनुमान लगाने जैसा था कि पाठक को अगली कौन सी किताबों की आवश्यकता होगी। सिस्टम अगले लेयर (layer) का अनुमान लगाने और प्रोसेसर द्वारा मांगे जाने से पहले उन वेट्स को लाने की कोशिश करता था। शोधकर्ताओं ने पाया कि यह अनुमान लगाने का खेल बुरी तरह विफल रहा। क्योंकि मॉडल इतने जटिल हैं और विशिष्ट प्रश्न पूछे जाने के आधार पर उनका व्यवहार बदल जाता है, इसलिए अनुमान अक्सर गलत होते थे। सिस्टम वह डेटा लाने लगता था जिसकी प्रोसेसर को अभी आवश्यकता नहीं थी, जिससे सीमित बफ़र स्पेस भर जाता था और उसे उस डेटा को फेंकने के लिए मजबूर होना पड़ता था जिसकी वास्तव में आवश्यकता थी। इसके परिणामस्वरूप प्रोसेसर अपना अधिकांश समय सही डेटा के फिर से लाए जाने की प्रतीक्षा करने में बर्बाद कर देता था, जिससे फ्लैश स्टोरेज की उच्च गति भी व्यर्थ हो जाती थी।

FLINT इस दृष्टिकोण को बदलकर अनुमान लगाने की प्रक्रिया को पूरी तरह से समाप्त कर देता है। एक लाइब्रेरियन के अनुमान लगाने के बजाय, यह सिस्टम वास्तविक समय में कारों के प्रवाह को देखने वाले एक अत्यधिक कुशल ट्रैफिक कंट्रोलर की तरह कार्य करता है। जब प्रोसेसर डेटा के एक विशिष्ट टुकड़े के लिए अनुरोध करता है, तो FLINT केवल उस टुकड़े को नहीं लाता। यह प्रोसेसर से आने वाले अनुरोधों के प्रवाह को देखता है और उन्हें एक साथ समूहित करता है। यदि प्रोसेसर डेटा के कई टुकड़ों के लिए पूछता है जो संयोग से फ्लैश चिप के एक ही भौतिक क्षेत्र में संग्रहीत हैं, तो FLINT उन्हें एक एकल, बड़े अनुरोध में बांध देता है। यह फ्लैश चिप को एक बार में भारी मात्रा में डेटा पढ़ने की अनुमति देता है, जिससे इसकी पूर्ण गति का उपयोग होता है। यह सिस्टम इस डेटा को चिप के आंतरिक बफ़र्स में रखता है, ताकि इसे ठीक उसी समय प्रोसेसर को सौंपा जा सके जब इसकी आवश्यकता हो। यह गतिशील समूहन सुनिश्चित करता है कि सिस्टम कभी भी वह डेटा लाने में समय बर्बाद नहीं करता जिसकी आवश्यकता नहीं है, और यह डेटा पाइपलाइन को भरा हुआ और प्रवाहित रखता है।

फ्लैश स्टोरेज के लिए एक अन्य बड़ा अवरोध यह है कि इसे रखरखाव की आवश्यकता होती है। समय के साथ, डेटा को पढ़ने की क्रिया चिप के भीतर विद्युत आवेशों (electrical charges) को कम कर सकती है, जिससे त्रुटियां हो सकती हैं। इसे ठीक करने के लिए, चिप को समय-समय पर रुकना होगा और डेटा को नए स्थानों पर फिर से लिखना होगा। पिछले डिजाइनों में, यह रखरखाव तब होना पड़ता था जब प्रोसेसर डेटा पढ़ने की कोशिश कर रहा होता था, जिससे सिस्टम लंबे समय के लिए रुक जाता था। शोधकर्ताओं ने एक "फैंटम प्लेन" (phantom plane) सिस्टम बनाकर इस समस्या को हल किया। उन्होंने चिप में थोड़ी अतिरिक्त जगह जोड़ी है जो एक 'स्पेयर लेन' के रूप में कार्य करती है। जब चिप के एक हिस्से को रखरखाव की आवश्यकता होती है, तो सिस्टम बिना प्रोसेसर के मुख्य डेटा प्रवाह को रोके, पृष्ठभूमि (background) में चुपचाप डेटा को इस स्पेयर लेन में कॉपी करता है। यह सुनिश्चित करता है कि रखरखाव का काम प्रोसेसर के काम में कभी बाधा न डाले, जिससे चिप के पुराना होने पर भी सिस्टम सुचारू रूप से चलता रहे।

टीम ने उस तरीके को भी सरल बनाया जिससे सिस्टम प्रोसेसर के अनुरोधों को चिप पर भौतिक स्थानों में अनुवादित करता है। मानक स्टोरेज सिस्टम निरंतर लिखने और फिर से लिखने को संभालने के लिए बनाए जाते हैं, जिसके लिए प्रबंधन के लिए जटिल मानचित्रों और भारी मशीनरी की आवश्यकता होती है। चूंकि भाषा मॉडल के वेट्स एक बार लिखे जाते हैं और कभी बदले नहीं जाते, इसलिए FLINT एक बहुत ही सरल, हल्का मानचित्र उपयोग करता है जो केवल पढ़ने के लिए अनुकूलित है। इस जटिलता में कमी का अर्थ है कि सिस्टम अनुरोधों का लगभग तुरंत अनुवाद कर सकता है, जिससे देरी की एक और परत हट जाती है।

जब शोधकर्ताओं ने इन विचारों का विस्तृत सिमुलेशन में परीक्षण किया, तो परिणाम चौंकाने वाले थे। उन्होंने अपने नए सिस्टम की तुलना तीन अन्य सेटअपों से की: सॉलिड-स्टेट ड्राइव का उपयोग करने वाला एक मानक सिस्टम, कई प्रोसेसरों के साथ काम करने वाला एक सिस्टम, और फ्लैश स्टोरेज का उपयोग करने वाला एक पिछला प्रयास। FLINT सिस्टम सॉलिड-स्टेट ड्राइव का उपयोग करने वाले सिस्टम की तुलना में 1,205 गुना तेजी से टेक्स्ट को डिकोड (decode) करने में सक्षम था। कई प्रोसेसरों के साथ मिलकर काम करने वाले सिस्टम की तुलना में, FLINT औसतन दोगुने से अधिक तेज़ था। शायद सबसे महत्वपूर्ण बात यह है कि इसने बहुत कम कंप्यूटरों का उपयोग करके यह प्रदर्शन हासिल किया। अनुरोधों के एक छोटे बैच के लिए, FLINT से लैस एक एकल कंप्यूटर वह काम कर सका जिसके लिए पहले चार से आठ कंप्यूटरों की आवश्यकता थी, और इसने यह काम काफी कम ऊर्जा का उपयोग करते हुए किया।

अध्ययन ने यह भी देखा कि सिस्टम कितने समय तक चलेगा। चूंकि फ्लैश स्टोरेज को लगातार पढ़ा जा रहा है, इसलिए शोधकर्ता इस बात को लेकर चिंतित थे कि चिप कितनी जल्दी घिस जाएगी। उन्होंने पाया कि उनका रखरखाव सिस्टम, जो त्रुटियों के होने से पहले डेटा को फिर से लिखता है, भारी उपयोग के तहत भी स्टोरेज के जीवन को कई वर्षों तक बढ़ा देता है। सिस्टम का परीक्षण छह अलग-अलग मॉडलों के साथ किया गया, जिसमें सघन (dense) मॉडल से लेकर जटिल मॉडल जो समस्याओं को हल करने के लिए विभिन्न विशेषज्ञों के बीच स्विच करते हैं, शामिल थे, और इसने सभी स्तरों पर अच्छा प्रदर्शन किया। शोधकर्ताओं ने उल्लेख किया कि हालांकि सिस्टम चिप में थोड़ी भौतिक जगह जोड़ता है, लेकिन गति और क्षमता में भारी लाभ की तुलना में यह लागत नगण्य है।

यह कार्य यह प्रदर्शित करता है कि आर्टिफिशियल इंटेलिजेंस की सीमाएं केवल इस बारें नहीं हैं कि मॉडल कितने स्मार्ट हैं, बल्कि इस बारे में भी हैं कि हम उनके आसपास डेटा को कैसे घुमाते हैं। प्रोसेसर के साथ स्टोरेज के इंटरैक्शन को फिर से सोचकर, शोधकर्ताओं ने दिखाया है कि ऐसे सिस्टम बनाना संभव है जो क्षमता में विशाल और गति में तेज़ दोनों हों। FLINT सिस्टम उस तकनीक को, जिसे कभी वास्तविक समय के उपयोग के लिए बहुत धीमा माना जाता था, अगली पीढ़ी के आर्टिफिशियल इंटेलिजेंस के लिए एक व्यावहारिक समाधान में बदल देता है, जिससे शक्तिशाली मॉडलों को पूरे डेटा केंद्रों के बजाय एकल मशीनों पर चलाना संभव हो जाता है। निष्कर्ष बताते हैं कि सही इंजीनियरिंग के साथ, मेमोरी की भौतिक बाधाओं को दूर किया जा सकता है, जो भविष्य में अधिक सक्षम और कुशल एआई सिस्टम के द्वार खोलता है।