When NPUs Are Not Always Faster: A Stage-Level Analysis of Mobile LLM Inference
यह शोध पत्र CPU-NPU हेटेरोजेनियस (heterogeneous) SoC पर मोबाइल LLM इन्फरेंस के पहले स्टेज-लेवल विश्लेषण को प्रस्तुत करता है, जो यह प्रकट करता है कि NPUs अक्सर कंप्यूट-इंटेंसिव प्रीफिल चरणों में CPUs से बेहतर प्रदर्शन करने में विफल रहते हैं और ऊर्जा की खपत भी बढ़ा सकते हैं, जिससे सार्वभौमिक NPU त्वरण (universal NPU acceleration) की धारणा को चुनौती मिलती है और ऑन-डिवाइस इन्फरेंस के लिए नए डिज़ाइन दिशानिर्देश मिलते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका स्मार्टफोन एक व्यस्त रसोई है जो एक जटिल भोजन बनाने की कोशिश कर रही है (एक लार्ज लैंग्वेज मॉडल, या LLM)। इस रसोई में दो मुख्य शेफ हैं: एक CPU (एक बहुमुखी, अनुभवी हेड शेफ जो काटने और व्यवस्थित करने में माहिर है) और एक NPU (एक विशेष, उच्च-गति वाला रोबोटिक हाथ जिसे विशेष रूप से दोहराव वाले, भारी कामों के लिए डिज़ाइन किया गया है)।
लंबे समय तक, लोगों ने माना कि रोबोटिक हाथ (NPU) हमेशा तेज़ होगा क्योंकि यह AI के लिए बना है। हालाँकि, यह पेपर पर्दा हटाकर यह दिखाता है कि रोबोटिक हाथ हमेशा तेज़ रसोइया नहीं होता है। वास्तव में, इस बात पर निर्भर करता है कि आप भोजन का कौन सा हिस्सा बना रहे हैं, मानव शेफ वास्तव में बेहतर हो सकता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. खाना पकाने के दो चरण
पेपर बताता है कि टेक्स्ट जेनरेट करना दो बहुत अलग चरणों में होता है, जैसे खाना पकाने की प्रक्रिया के दो अलग हिस्से:
"प्रीफिल" चरण (रेसिपी पढ़ना): यह तब होता है जब फोन आपके पूरे प्रॉम्प्ट (इनपुट टेक्स्ट) को एक साथ पढ़ता है। यह एक पूरी कुकबुक का अध्याय पढ़ने जैसा है। इसके लिए भारी लिफ्टिंग (एक साथ कई गणनाएँ करना) की आवश्यकता होती है।
- निष्कर्ष: यहाँ CPU (मानव शेफ) जीतता है। रोबोटिक हाथ (NPU) इस चरण में वास्तव में धीमा (1.6 गुना तक धीमा) है।
- क्यों? रोबोटिक हाथ के पास कार्यक्षेत्र (मेमोरी) छोटा है और वह अभी इस विशिष्ट प्रकार की "भारी लिफ्टिंग" के लिए अनुकूलित नहीं है। मानव शेफ के पास इस विशिष्ट काम के लिए बड़ा काउंटर और बेहतर उपकरण हैं।
"डिकोड" चरण (भोजन लिखना): यह तब होता है जब फोन एक बार में एक शब्द, एक के बाद एक जेनरेट करता है। यह रोबोटिक हाथ द्वारा प्लेट पर एक सजावट (garnish) रखने और फिर अगले ऑर्डर का इंतज़ार करने जैसा है। यह एक मेमोरी-हैवी कार्य है, न कि हेवी-लिफ्टिंग कार्य।
- निष्कर्ष: यहाँ NPU (रोबोटिक हाथ) तेज़ है, लेकिन केवल थोड़ा सा (लगभग 5% से 20% तेज़)।
- क्यों? रोबोटिक हाथ डेटा को एक सीधी रेखा में चलाने में अच्छा है, जो इस "एक-एक करके" वाली शैली में फिट बैठता है। हालाँकि, स्पीडअप बहुत बड़ा नहीं है क्योंकि अन्य समस्याएँ हैं (नीचे देखें)।
2. "टैक्सी" की समस्या (शेड्यूलिंग ओवरहेड)
भले ही रोबोटिक हाथ वास्तव में खाना पकाने में तेज़ हो, पेपर ने पाया कि काम को रोबोट को भेजने की प्रक्रिया अविश्वसनीय रूप से धीमी है।
- उपमा: कल्पना कीजिए कि मानव शेफ को रोबोटिक हाथ को फोन करना पड़ता है, फोन उठाने का इंतज़ार करना पड़ता है, कार्य समझाना पड़ता है, सामग्री सौंपनी पड़ती है, रोबोट के खत्म करने का इंतज़ार करना पड़ता है, और फिर परिणाम वापस प्राप्त करना पड़ता है।
- वास्तविकता: छोटे, त्वरित कार्यों (जैसे नमक का एक चुटकी डालना) के लिए, फोन कॉल और हैंड-ऑफ में लगने वाला समय वास्तविक खाना पकाने के समय से 8 से 22 गुना अधिक होता है।
- परिणाम: क्योंकि एक एकल वाक्य जेनरेट करने के लिए रोबोटिक हाथ को इतनी बार "कॉल" किया जाना पड़ता है, इसलिए सारा इंतज़ार करने का समय स्पीड के फायदे को खा जाता है। यह एक ऐसी फेरारी की तरह है जो अपना 90% समय ट्रैफिक में फंसी रहती है।
3. "गलत टूल" का दंड (फ़ालबैक)
कभी-कभी रोबोटिक हाथ को पता नहीं होता कि किसी विशिष्ट कार्य (जैसे एक जटिल अटेंशन मैकेनिज्म) को कैसे करना है।
- उपमा: रोबोटिक हाथ एक सब्जी काटने की कोशिश करता है, महसूस करता है कि वह यह नहीं कर सकता, और इसे वापस मानव शेफ को सौंप देता है। लेकिन क्योंकि वे रसोई के अलग-अलग हिस्सों में हैं, मानव शेफ को अपने हाथ साफ करने पड़ते हैं, वहाँ तक चलना पड़ता है, और शून्य से शुरुआत करनी पड़ती है।
- वास्तविकता: जब NPU कोई काम नहीं कर पाता, तो यह CPU पर फ़ालबैक (वापस आता) करता है। यह "हैंड-ऑफ" अतिरिक्त देरी (लगभग 1.5x धीमा) जोड़ता है क्योंकि फोन के दोनों हिस्सों को अपने डेटा को सिंक करना पड़ता है। यह पूरी प्रक्रिया को धीमा कर देता है।
4. ऊर्जा का आश्चर्य
आप सोच सकते हैं कि विशेष रोबोटिक हाथ का उपयोग करने से बैटरी बचती है।
- निष्कर्ष: आश्चर्यजनक रूप से, NPU का उपयोग करने से वास्तव में बैटरी तेज़ी से खत्म होती है (कुछ मामलों में 51% तक अधिक)।
- क्यों? क्योंकि फोन CPU और NPU के बीच "फोन कॉल" को मैनेज करने और फ़ालबैक एरर से निपटने में इतना समय और ऊर्जा खर्च कर रहा है, इसलिए फोन के काम करने का कुल समय बढ़ जाता है। यह एक मैराथन दौड़ने जैसा है जबकि आप लगातार अपने जूते के फीते बांधने के लिए रुक रहे हैं; आप अंततः अधिक ऊर्जा का उपयोग करते हैं बजाय इसके कि आप एक स्थिर गति से दौड़ते।
निष्कर्ष: डिजाइनरों को क्या करना चाहिए?
लेखकों ने इन फोन चिप्स को बनाने वाले लोगों के लिए तीन नियम सुझाए हैं:
- अपने चरणों को जानें: सब कुछ रोबोट को न भेजें। मानव शेफ (CPU) को "भारी रीडिंग" (प्रिफिल) संभालने दें और केवल "एक-एक करके लिखना" (डिकोड) रोबोट को भेजें।
- ट्रैफिक जाम रोकें: रोबोट को निर्देश तुरंत (10 माइक्रोसेकंड से कम में) स्वीकार करने में सक्षम होना चाहिए। हमें "फोन कॉल" की देरी को रोकना होगा।
- रोबोट को अधिक करतब सिखाएं: रोबोट को सभी कार्यों को करने का तरीका सीखना होगा ताकि उसे बार-बार मानव शेफ से मदद न मांगनी पड़े।
संक्षेप में: NPU एक शक्तिशाली उपकरण है, लेकिन वर्तमान मोबाइल फोन पर, इसे अक्सर खराब प्रबंधन और संचार विलंब (communication delays) द्वारा रोका जाता है। कभी-कभी, "पुराने स्कूल" वाला CPU वास्तव में अधिक कुशल विकल्प होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।