आधुनिक डिजिटल परिदृश्य में, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) के रूप में जानी जाने वाली शक्तिशाली आर्टिफिशियल इंटेलिजेंस प्रणालियों ने कंप्यूटरों के मानव भाषा को समझने और उत्पन्न करने के तरीके को बदल दिया है। ये प्रणालियाँ डेटा बिंदुओं के विशाल संग्रह पर आधारित होती हैं जिन्हें 'पैरामीटर्स' कहा जाता है, जो मॉडल के आंतरिक ज्ञान आधार के रूप में कार्य करते हैं। एक विशिष्ट मॉडल में अरबों ऐसे पैरामीटर्स हो सकते हैं, जिन्हें स्टोर करने के लिए कंप्यूटर मेमोरी की एक बड़ी मात्रा की आवश्यकता होती है। वर्षों से, इन जटिल प्रणालियों को चलाना विशाल डेटा केंद्रों का क्षेत्र रहा है जो विशेष, उच्च गति वाले ग्राफिक्स प्रोसेसर से लैस होते हैं। हालाँकि, एक बढ़ता हुआ आंदोलन इस बुद्धिमत्ता को उस स्थान के करीब लाने का प्रयास कर रहा है जहाँ लोग वास्तव में रहते और काम करते हैं, यानी इसे छोटे, स्थानीय कंप्यूटरों पर रखना जिन्हें 'एज नोड्स' कहा जाता है। ये उपकरण अक्सर कार्यालयों, घरों या दूरस्थ स्थानों में पाए जाते हैं जहाँ इंटरनेट कनेक्शन अविश्वसनीय होता है या जहाँ गोपनीयता संबंधी चिंताएँ डेटा को इमारत से बाहर जाने से रोकती हैं। इंजीनियरों के लिए चुनौती यह है कि इन स्थानीय उपकरणों में आमतौर पर डेटा केंद्रों में पाए जाने वाले शक्तिशाली ग्राफिक्स प्रोसेसर नहीं होते, बल्कि वे मानक 'सेंट्रल प्रोसेसिंग यूनिट्स' (CPU) पर निर्भर करते हैं, जो अधिकांश कंप्यूटरों के सामान्य-उद्देश्य वाले मस्तिष्क हैं। महत्वपूर्ण प्रश्न यह रहा है कि क्या ये साधारण, रोजमर्रा की मशीनें उन्नत भाषा मॉडलों के भारी काम को वास्तव में संभाल सकती हैं, और यदि हाँ, तो उन्हें कितनी मेमोरी की आवश्यकता होगी और वे कितनी तेजी से काम कर सकेंगी।

शोधकर्ताओं की एक टीम ने एक प्रतिनिधि एज कंप्यूटर की सीमाओं का परीक्षण करके इन प्रश्नों का उत्तर देने का प्रयास किया। उन्होंने कोई नया सॉफ्टवेयर नहीं बनाया और न ही कोई तेज़ चिप का आविष्कार किया; इसके बजाय, उन्होंने एक सतर्क पर्यवेक्षक की तरह कार्य किया, और सटीक रूप से मापा कि क्या होता है जब एक मानक कंप्यूटर तीन अलग-अलग आकार के भाषा मॉडलों को चलाने की कोशिश करता है। उन्होंने 1.1 बिलियन पैरामीटर्स वाले एक कॉम्पैक्ट संस्करण से लेकर 7 बिलियन पैरामीटर्स वाले एक अधिक मजबूत संस्करण तक के मॉडलों का परीक्षण किया। प्रत्येक मॉडल के लिए, उन्होंने इसे तीन अलग-अलग 'प्रिसिजन' (परिशुद्धता) स्तरों पर चलाया, जिसे आप कंप्यूटर द्वारा अपने आंतरिक नंबरों को स्टोर करने के लिए उपयोग किए जाने वाले विवरण की मात्रा के रूप में समझ सकते हैं। शोधकर्ता यह देखना चाहते थे कि क्या विवरण को कम करने की सामान्य प्रथा, जिसे 'क्वांटाइजेशन' (quantization) कहा जाता है, इन स्थानीय मशीनों को तेजी से चलाने और कम मेमोरी का उपयोग करने में मदद करेगी, जैसा कि यह शक्तिशाली डेटा केंद्रों में होता है।

उनके द्वारा उजागर किए गए परिणामों ने एक आश्चर्यजनक वास्तविकता को प्रकट किया जो इन प्रणालियों के बारे में व्यापक रूप से मानी जाने वाली धारणाओं का खंडन करती है। दुनिया के उच्च-शक्ति वाले डेटा केंद्रों में, मॉडल की परिशुद्धता को कम करना एक सिद्ध रणनीति है जो मेमोरी के उपयोग को आधा या उससे अधिक कम कर देती है और प्रदर्शन को तेज करती है। इस अध्ययन में परीक्षण किए गए स्थानीय, केवल CPU-आधारित कंप्यूटर पर, बिल्कुल इसके विपरीत हुआ। जब शोधकर्ताओं ने जगह बचाने के लिए परिशुद्धता को कम किया, तो कंप्यूटर को मॉडल चलाने के लिए वास्तव में काफी अधिक मेमोरी की आवश्यकता हुई। परीक्षण किए गए सबसे बड़े मॉडल के लिए, जिसे सैद्धांतिक रूप से लगभग 14 गीगाबाइट मेमोरी की आवश्यकता होनी चाहिए थी, सिस्टम ने लगभग 20 गीगाबाइट की मांग की जब परिशुद्धता को कम किया गया था। लगभग 48 प्रतिशत की यह वृद्धि इसलिए हुई क्योंकि कंप्यूटर का मानक प्रोसेसर स्वाभाविक रूप से संपीड़ित (compressed), कम-परिशुद्धता वाले नंबरों को नहीं समझ सकता था। उन्हें सीधे प्रोसेस करने के बजाय, सिस्टम को हर एक गणना के लिए संपीड़ित भार (weights) को मेमोरी में रखना पड़ा और साथ ही उन्हें मानक प्रारूप में वापस बदलना पड़ा। इसने एक दोहरी समस्या पैदा की जहाँ कंप्यूटर ने संपीड़ित भार और रूपांतरण बफ़र्स दोनों को रखा, जबकि एक्टिवेशन्स और अटेंशन कैश पूरे समय मानक प्रारूप में रहे, जिससे मेमोरी का भार कम होने के बजाय प्रभावी रूप से बढ़ गया।

मेमोरी के मुद्दे के अलावा, अध्ययन ने ठीक से पहचाना कि कंप्यूटर को क्या धीमा कर रहा था। शोधकर्ताओं ने पाया कि प्रोसेसर लगभग 100 प्रतिशत क्षमता पर काम कर रहा था, फिर भी वह बहुत कम परिणाम दे पा रहा था। यह संकेत देता था कि मशीन गणित के साथ संघर्ष नहीं कर रही थी, बल्कि वह मेमोरी से डेटा आने का इंतजार कर रही थी। बाधा (bottleneck) वह गति थी जिस पर सूचना मेमोरी चिप्स से प्रोसेसर तक यात्रा कर सकती थी, जिसे 'मेमोरी बैंडविड्थ' के रूप में जाना जाता है। क्योंकि कंप्यूटर लगातार डेटा का इंतजार कर रहा था, वह एक समय में केवल एक ही अनुरोध को संभाल सका। यदि कोई उपयोगकर्ता एक साथ दो प्रश्न पूछता, तो सिस्टम काम को दो थ्रेड्स के बीच विभाजित नहीं कर पाता; वह बस अभिभूत हो जाता। एकल अनुरोध ने मशीन को संतृप्त (saturate) कर दिया था, जिसका अर्थ था कि कई उपयोगकर्ताओं को सेवा देने के लिए, एक नेटवर्क को एक ही मशीन से अधिक काम निकालने की कोशिश करने के बजाय, अधिक भौतिक कंप्यूटर जोड़ने की आवश्यकता होगी।

जब शोधकर्ताओं ने गति को देखा, तो प्रदर्शन में गिरावट और भी नाटकीय थी। सबसे सक्षम मॉडल, अपने मानक परिशुद्धता पर चलते हुए, लगभग 3.76 शब्द प्रति सेकंड उत्पन्न कर सकता था, जो धीमा है लेकिन बातचीत के लिए उपयोगी है। हालाँकि, जब शोधकर्ताओं ने चीजों को तेज़ बनाने के उद्देश्य से संपीड़न तकनीकों को लागू किया, तो गति तेजी से गिर गई। सिस्टम की गति घटकर एक शब्द प्रति सेकंड से भी कम हो गई, जिससे बातचीत कष्टदायक लगने लगी। संपीड़न के सबसे चरम मामले में, सिस्टम सोलह सेकंड में केवल एक बार नया शब्द उत्पन्न कर रहा था, जो वास्तविक समय की बातचीत के लिए बेकार था। इसने पुष्टि की कि शक्तिशाली ग्राफिक्स कार्डों के लिए डिज़ाइन की गई तकनीकें न केवल इन स्थानीय मशीनों पर अप्रभावी थीं, बल्कि वे सक्रिय रूप से हानिकारक भी थीं, जो गति के बदले ऐसी मेमोरी पेनल्टी लेती थीं जिसे मशीन वहन नहीं कर सकती थी।

इंजीनियरों को इन वास्तविकताओं की योजना बनाने में मदद करने के लिए, शोधकर्ताओं ने यह अनुमान लगाने के लिए एक सरल नियम विकसित किया कि एक स्थानीय कंप्यूटर को वास्तव में कितनी मेमोरी की आवश्यकता होगी। उन्होंने पाया कि आवश्यक मेमोरी केवल मॉडल के पैरामीटर्स के आकार का मामला नहीं है। इसके बजाय, कुल मेमोरी उपयोग चुने गए परिशुद्धता स्तर पर बहुत अधिक निर्भर करता है। एक मानक, बिना संपीड़ित मॉडल के लिए, आवश्यक मेमोरी मॉडल के भार (weights) के आकार के लगभग बराबर होती है। लेकिन संपीड़ित मॉडलों के लिए, शोधकर्ताओं ने पाया कि मेमोरी की आवश्यकता एक स्तर के संपीड़न के लिए भार के आकार के लगभग तीन गुना और गहरे स्तर के लिए लगभग छह गुना बढ़ जाती है। इसका अर्थ यह है कि यदि कोई इंजीनियर किसी स्थानीय डिवाइस पर एक बड़ा मॉडल चलाने की योजना बना रहा है, तो उसे ऐसी मशीन तैयार करनी चाहिए जिसमें मॉडल के फ़ाइल आकार की तुलना में काफी अधिक मेमोरी हो। 32 गीगाबाइट मेमोरी वाला कंप्यूटर एक बड़े मॉडल को चला सकता है, लेकिन उसके पास ऑपरेटिंग सिस्टम या अन्य कार्यों के लिए बहुत कम जगह बचेगी, और वह निश्चित रूप से एक साथ दो ऐसे मॉडल नहीं चला सकता।

अध्ययन निष्कर्ष निकालता है कि हालांकि उन्नत भाषा मॉडलों को स्थानीय, केवल CPU-आधारित उपकरणों पर चलाना संभव है, लेकिन इसके लिए इन प्रणालियों को तैनात करने के तरीके के बारे में पूरी तरह से पुनर्विचार करने की आवश्यकता है। जो रणनीतियाँ क्लाउड में काम करती हैं, वे 'एज' (edge) पर काम नहीं आतीं। इंजीनियर केवल एक डेटा सेंटर के लिए अनुकूलित मॉडल को लेकर यह उम्मीद नहीं कर सकते कि वह एक स्थानीय लैपटॉप या सर्वर पर कुशलतापूर्वक चलेगा। उन्हें इस तथ्य को ध्यान में रखना होगा कि ये मशीनें इस बात से सीमित हैं कि वे डेटा को कितनी तेज़ी से स्थानांतरित कर सकती हैं, न कि इस बात से कि वे कितनी तेज़ी से गणना कर सकती हैं। उन्हें यह भी स्वीकार करना होगा कि मॉडल को स्पेस बचाने के लिए कंप्रेस करने से संभवतः वह धीमा हो जाएगा और अधिक मेमोरी की आवश्यकता होगी, कम की नहीं। उन लोगों के लिए जिन्हें गोपनीयता संबंधी चिंताओं या खराब इंटरनेट वाले स्थानों में इन प्रणालियों को तैनात करने की आवश्यकता है, आगे का रास्ता उपलब्ध मेमोरी के लिए सही मॉडल का आकार चुनने और यह स्वीकार करने में है कि एक स्थानीय कंप्यूटर एक समय में केवल एक ही व्यक्ति की सेवा कर सकता है। एज इंटेलिजेंस का युग आ गया है, लेकिन यह उन डेटा सेंटरों से अलग नियमों की मांग करता है जो इससे पहले आए थे।