Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets
यह शोध पत्र एक वितरित इन्फरेंस सिस्टम प्रस्तुत करता है जो कई खाली इंटेल एआई पीसी (Intel AI PCs) में प्री-कंपाइल्ड ओपनवीएनओ (OpenVINO) पाइपलाइन शार्ड्स का लाभ उठाता है ताकि बड़े एलएलएम (LLMs - 70B पैरामीटर्स तक) के इंटरैक्टिव-स्पीड निष्पादन को सक्षम किया जा सके जो एकल-डिवाइस मेमोरी सीमाओं से अधिक हैं, और अनुकूलित ग्राफ फ्यूजन, स्पेक्युलेटिव डिकोडिंग और रिक्वेस्ट इंटरलीविंग के माध्यम से उच्च थ्रूपुट प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटिंग की दुनिया में, एक नए प्रकार के पर्सनल कंप्यूटर का उदय हुआ है, जो विशेष रूप से आर्टिफिशियल इंटेलिजेंस के लिए डिज़ाइन किए गए शक्तिशाली प्रोसेसरों से लैस है। ये मशीनें, जो अक्सर शानदार लैपटॉप के रूप में पाई जाती हैं, उनमें विशेष चिप्स होते हैं जो बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) चला सकते हैं—ऐसे प्रोग्राम जो लिखने, तर्क करने और बातचीत करने में सक्षम हैं। हालाँकि, एक एकल मशीन की एक कठिन सीमा होती है: इसकी मेमोरी इतनी छोटी होती है कि वह सबसे उन्नत मॉडलों के विशाल "मस्तिष्क" को धारण नहीं कर सकती, जिन्हें किसी भी एक डिवाइस द्वारा प्रदान किए जाable स्टोरेज से कहीं अधिक भंडारण की आवश्यकता होती है। पारंपरिक रूप से, इन विशाल मॉडलों को चलाने के लिए, उपयोगकर्ताओं को दूर स्थित, महंगे क्लाउड सर्वरों पर निर्भर रहना पड़ता था, जिससे अपने प्रश्न इंटरनेट के माध्यम से भेजे जाते थे और जवाब का इंतज़ार करना पड़ता था। यह बाहरी बुनियादी ढांचे पर एक निर्भरता पैदा करता है और डेटा गोपनीयता के बारे में चिंताएँ बढ़ाता है, क्योंकि संवेदनशील जानकारी को स्थानीय मशीन से बाहर जाना पड़ता है। शोधकर्ताओं के सामने सवाल यह था कि क्या इन साधारण, खाली पड़े पर्सनल कंप्यूटरों का एक समूह, जो एक मानक कार्यालय नेटवर्क से जुड़े हों, मिलकर एक ऐसा मॉडल चला सकता है जो उनमें से किसी भी एक के लिए बहुत बड़ा है, और वह भी यह सुनिश्चित करते हुए कि डेटा स्थानीय रहे और प्रतिक्रिया वास्तविक बातचीत के लिए पर्याप्त तेज़ हो।
एक टीम के शोधकर्ताओं ने एक ऐसा सिस्टम बनाकर इस सवाल का जवाब देने का प्रयास किया जो एक बड़े आर्टिफिशियल इंटेलिजेंस मॉडल को छोटे टुकड़ों में विभाजित करता है, और प्रत्येक कंप्यूटर को एक टुकड़ा सौंप देता है। कल्पना कीजिए कि एक विशाल पुस्तक है जो एक व्यक्ति के लिए ले जाने में बहुत भारी है; इसके बजाय अकेले उठाने की कोशिश करने के बजाय, लोगों का एक समूह एक पंक्ति में खड़ा है, जिनमें से प्रत्येक एक अध्याय पकड़े हुए है। जैसे ही कहानी आगे बढ़ती है, पहला व्यक्ति अपना अध्याय पढ़ता है और संदर्भ को अगले व्यक्ति को पास करता है, जो अपना अध्याय पढ़ता है, और इसी तरह, जब तक अंतिम व्यक्ति वाक्य समाप्त नहीं कर देता। इस सिस्टम में, "अध्याय" एआई मॉडल की परतें (layers) हैं, और "पास करना" एक मानक नेटवर्क कनेक्शन के माध्यम से होता है। शोधकर्ताओं ने पाया कि मॉडल को इस तरह से विभाजित करना ही पर्याप्त नहीं था; कंप्यूटरों के बीच का हैंड-ऑफ (हस्तांतरण) बहुत धीमा था, और काम की जाँच करने की प्रक्रिया बहुत बोझिल थी, जिससे सिस्टम सुस्त हो गया था। इसे ठीक करने के लिए, उन्होंने तीन विशिष्ट तकनीकों को विकसित किया जिन्होंने एक धीमे, प्रयोगात्मक सेटअप को एक तेज़, उपयोगी उपकरण में बदल दिया।
पहला breakthrough (महत्वपूर्ण उपलब्धि) इस बात में शामिल था कि मॉडल के टुकड़ों को चालू होने से पहले ही कैसे तैयार किया जाता है। जब शोधकर्ताओं ने शुरू में मॉडल की परतों को कंप्यूटर के ग्राफिक्स चिप पर चलाने के लिए निर्यात किया, तो सॉफ्टवेयर एक महत्वपूर्ण अनुकूलन (optimization) को मिस कर गया जो आमतौर पर चीजों को तेज़ करता है। कोड के प्रत्येक हिस्से में एक विशिष्ट, सरल निर्देश डालकर, उन्होंने ग्राफिक्स प्रोसेसर में एक छिपी हुई दक्षता को अनलॉक किया। इस छोटे से समायोजन ने विभाजित टुकड़ों को मूल, बिना विभाजित मॉडल की तरह लगभग उतनी ही तेज़ी से चलने की अनुमति दी। इस सुधार के बिना, सिस्टम काफी धीमा था, लेकिन इसके साथ, प्रदर्शन का अंतर लगभग समाप्त हो गया, जिससे यह सिद्ध हुआ कि गति से समझौता किए बिना मॉडल को विभाजित किया जा सकता है।
दूसरा चुनौतीपूर्ण कार्य एआई की सोचने की गति बढ़ाने के लिए उपयोग की जाने वाली "ड्राफ्टिंग" प्रक्रिया को संभालना था। सामान्यतः, एक छोटा, तेज़ मॉडल अगले कुछ शब्दों का अनुमान लगाता है, और मुख्य मॉडल उनकी जाँच करता है। यदि अनुमान गलत है, तो मुख्य मॉडल को गलत अनुमान को छोड़ना पड़ता है और फिर से शुरू करना पड़ता है। इन कंप्यूटरों में उपयोग किए जाने वाले विशेष चिप्स पर, गलत अनुमान को छोड़ने का मानक तरीका अविश्वसनीय रूप से धीमा था, जिसमें हर सुधार के लिए लगभग आधा सेकंड लग जाता था—इतना समय कि बातचीत का प्रवाह बिगड़ जाए। शोधकर्ताओं ने एक चतुर समाधान निकाला: गलत अनुमानों को कंप्यूटर की मेमोरी से भौतिक रूप से हटाने के बजाय, उन्होंने बस एआई को उन्हें अनदेखा करने के लिए कहा। बैकग्राउंड डेटा में गलत अनुमानों को अदृश्य के रूप में चिह्नित करके, सिस्टम ने वही परिणाम प्राप्त किया जो उन्हें हटाने से मिलता, लेकिन एक सेकंड के बहुत छोटे हिस्से में। इसने सिस्टम को बिना किसी दंड के तेज़ ड्राफ्टिंग तकनीक का उपयोग करने की अनुमति दी, जिससे एआई बहुत अधिक उत्तरदायी महसूस होने लगा।
तीसरा नवाचार (innovation) था जिसने सिस्टम को एक साथ कई लोगों की सेवा करने की अनुमति दी। एक मानक सेटअप में, जबकि पंक्ति में एक कंप्यूटर काम कर रहा होता है, अन्य अक्सर अपनी बारी का इंतज़ार करते हुए खाली बैठे रहते हैं। शोधकर्ताओं ने एक ऐसी विधि डिज़ाइन की जहाँ कंप्यूटर एक साथ विभिन्न उपयोगकर्ताओं के अनुरोधों को संभाल सकते थे। जबकि एक कंप्यूटर यूजर A के लिए एक वाक्य पूरा कर रहा था, तभी पंक्ति में अगला कंप्यूटर यूजर B के लिए एक वाक्य शुरू कर सकता था। कार्यों के इस इंटरलीविंग (interleaving) ने समूह के प्रत्येक मशीन को व्यस्त रखा, जिससे प्रभावी रूप से समूह की कुल गति कई गुना बढ़ गई। अन्य दो सुधारों के साथ मिलकर, इस दृष्टिकोण ने दो-कंप्यूटर वाले बेड़े को दो उपयोगकर्ताओं को प्रति सेकंड लगभग 44 शब्दों की दर से सेवा देने में सक्षम बनाया, जो एक स्वाभाविक, संवादात्मक बातचीत के लिए पर्याप्त तेज़ है। यह एक ही कंप्यूटर द्वारा केवल एक उपयोगकर्ता के लिए उसी मॉडल चलाने की तुलना में 1.79 गुना तेज़ था। इससे भी अधिक प्रभावशाली बात यह है कि जब शोधकर्ताओं ने एक धीमे, लंबी दूरी के इंटरनेट कनेक्शन का अनुकरण (simulate) किया, तो सिस्टम उपयोगी बना रहा, जबकि उसी सेटअप का एक गैर-अनुकूलित संस्करण इतना धीमा हो गया कि व्यावहारिक नहीं रहा। सिस्टम ने एक विशाल 70-बिलियन-पैरामीटर वाले मॉडल को चलाने के लिए भी सफलतापूर्वक विस्तार किया, जो आकार में इतना बड़ा है कि बेड़े का कोई भी एकल कंप्यूटर उसे अकेले नहीं रख सकता। इस विशाल मॉडल को चार कंप्यूटरों में विभाजित करके, टीम ने इंटरैक्टिव गति प्राप्त की, जिससे यह सिद्ध हुआ कि उपभोक्ता उपकरणों का एक समूह उन कार्यों को संभाल सकता है जो पहले विशाल डेटा केंद्रों के लिए आरक्षित थे।
अध्ययन ने यह भी पता लगाया कि विभिन्न स्थितियों में यह सिस्टम कैसे व्यवहार करता है। उन्होंने पाया कि नेटवर्क की गति से अधिक महत्व कंप्यूटरों के बीच हैंड-ऑफ की दक्षता का था। जब कनेक्शन धीमा था, तो सिस्टम ने एक ही पास में एक बार में अधिक शब्दों को प्रोसेस करके इसकी भरपाई की, जिससे देरी कम हो गई। उन्होंने एक वास्तविक, वाइड-एरिया नेटवर्क कनेक्शन पर सिस्टम का परीक्षण भी किया, जहाँ परिणामों ने पुष्टि की कि सही अनुकूलन के साथ, कंप्यूटर भले ही दूर हों, बेड़ा निरंतर बातचीत की गति बनाए रख सकता है। शोधकर्ताओं ने उल्लेख किया कि हालांकि यह सिस्टम अच्छा काम करता है, लेकिन यह इस बात पर निर्भर करता है कि कंप्यूटर एक विश्वसनीय वातावरण में हों, क्योंकि इसमें एन्क्रिप्शन या ऑथेंटिकेशन जैसी अंतर्निर्मित सुरक्षा सुविधाएँ शामिल नहीं हैं। इसके अलावा, उन्होंने देखा कि निरंतर उपयोग के दौरान कंप्यूटरों से उत्पन्न होने वाली भौतिक गर्मी अंततः उन्हें धीमा कर सकती है, जो एक वास्तविक दुनिया के कार्यान्वयन के लिए प्रबंधित किया जाने वाला कारक है।
अंततः, यह कार्य यह प्रदर्शित करता है कि शक्तिशाली आर्टिफिशियल इंटेलिजेंस चलाने की बाधा केवल हार्डवेयर नहीं है, बल्कि इस बात पर है कि उस हार्डवेयर का उपयोग कैसे किया जाता है। मॉडल को विभाजित करने के तरीके, त्रुटियों को ठीक करने के तरीके और कई उपयोगकर्ताओं को सेवा देने के तरीके पर पुनर्विचार करके, कंप्यूटरों का एक छोटा समूह एक एकल, शक्तिशाली मशीन के रूप में कार्य कर सकता है। शोधकर्ताओं ने अपने कोड और डेटा को जनता के लिए उपलब्ध कराया है, जिससे अन्य लोग परिणामों को सत्यापित कर सकें और सिस्टम को आगे बढ़ा सकें। निष्कर्ष बताते हैं कि निकट भविष्य में, संगठन अपने पास मौजूद कंप्यूटरों का उपयोग करके अपने स्वयं के निजी, उच्च-गति वाले एआई क्लस्टर चला सकते हैं, जिससे डेटा स्थानीय रहता है और बाहरी क्लाउड सेवाओं पर निर्भरता कम होती है। सिस्टम ने सिद्ध कर दिया कि सही सॉफ्टवेयर के साथ, खाली पड़े मशीनों के बेड़े की सामूहिक शक्ति का उपयोग उन समस्याओं को हल करने के लिए किया जा सकता है जिन्हें कभी सुपरकंप्यूटर के लिए आरक्षित माना जाता था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।