Non-Monotonic Latency in Apple MPS Decoding: KV Cache Interactions and Execution Regimes
यह शोध पत्र प्रकट करता है कि एप्पल के MPS बैकएंड में ऑटोरेग्रेसिव इन्फरेंस (autoregressive inference) के दौरान अप्रत्याशित नॉन-मोनोटोनिक लेटेंसी स्पाइक्स (non-monotonic latency spikes) दिखाई देते हैं, जहाँ बैकएंड निष्पादन गतिकी (backend execution dynamics) के कारण विशिष्ट कॉन्फ़िगरेशन के लिए डिकोडिंग प्रदर्शन अचानक 21 गुना तक गिर सकता है, जो CPU और NVIDIA CUDA सिस्टम पर देखे गए सुचारू स्केलिंग के विपरीत है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाईवे पर कार चला रहे हैं जो ऐसा होना चाहिए कि जैसे-जैसे आप उसमें अधिक यात्री (टोकन) जोड़ते जाते हैं, वह धीमी होती जाती है। AI की दुनिया में, हम आमतौर पर यही उम्मीद करते हैं कि चीजें कैसे काम करेंगी: बातचीत जितनी लंबी होगी, अगला शब्द बनाने में उतना ही अधिक समय लगेगा, लेकिन यह एक सहज और अनुमानित वृद्धि होनी चाहिए।
हालांकि, इस शोध पत्र ने पाया कि Apple के कंप्यूटरों (विशेष रूप से M-सीरीज चिप्स) पर, "हाईवे" अजीब व्यवहार करता है। एक चिकनी ढलान के बजाय, आप अचानक, विशाल स्पीड बंप्स (गति अवरोधकों) से टकरा जाते हैं जो कहीं से भी प्रकट होते हैं और उतनी ही तेज़ी से गायब हो जाते हैं।
यहाँ रोज़मर्रा के उपमाओं (analogies) का उपयोग करके शोध पत्र के निष्कर्षों का विवरण दिया गया है:
1. "घोस्ट स्पीड बम्प" (अदृश्य गति अवरोधक)
शोधकर्ताओं ने पाया कि जब Apple के ग्राफिक्स सिस्टम (जिसे MPS कहा जाता है) का उपयोग करके टेक्स्ट जेनरेट किया जाता है, तो शब्द बनाने में लगने वाला समय हमेशा लगातार नहीं बढ़ता है।
- सामान्य अपेक्षा: यदि आप AI को 100 शब्द लिखने के लिए कहते हैं, तो इसमें 1 सेकंड लगता है। यदि आप 200 शब्दों के लिए कहते हैं, तो 2 सेकंड लगते हैं। यदि आप 300 के लिए कहते हैं, तो 3 सेकंड लगते हैं। यह मोनोटोनिक स्केलिंग (एक सहज, अनुमानित रेखा) है।
- Apple की वास्तविकता: AI 9 सेकंड में 496 शब्द लिख सकता है। लेकिन यदि आप इसे केवल 16 और शब्द लिखने के लिए कहते हैं (कुल 512), तो इसमें अचानक 89 सेकंड लग जाते हैं। फिर, यदि आप इसे केवल 16 और शब्द (528 कुल) लिखने के लिए कहते हैं, तो यह फिर से तेज़ होकर सामान्य हो जाता है।
- उपमा: कल्पना कीजिए कि आप एक सड़क पर गाड़ी चला रहे हैं जहाँ, बिना किसी स्पष्ट कारण के, आप कीचड़ के एक पैच से टकरा जाते हैं जो आपको ठीक 100 फीट के लिए धीमा कर देता है, लेकिन जैसे ही आप उस पैच से गुजरते हैं, आप वापस पूरी गति से चलने लगते हैं। शोध पत्र ने पाया कि ये "कीचड़ के पैच" बहुत विशिष्ट शब्द गणनाओं (जैसे 512 या 384) पर होते हैं, और वे AI को सामान्य से 21 गुना धीमा कर सकते हैं।
2. "जादुई मेमोरी बॉक्स" (KV Cache)
AI को तेज़ बनाने के लिए, इंजीनियर KV Caching नामक एक ट्रिक का उपयोग करते हैं। इसे "जादुई मेमोरी बॉक्स" के रूप में सोचें जहाँ AI बातचीत के संदर्भ (context) को संग्रहीत करता है ताकि उसे हर नया शब्द लिखने के लिए पूरी कहानी को दोबारा न पढ़ना पड़े।
- आमतौर पर: यह बॉक्स आपकी कार को बहुत तेज़ बनाता है।
- समस्या: शोध पत्र ने पाया कि जब AI उन "घोस्ट स्पीड बम्प्स" (512-शब्द के निशान) से टकराता है, तो जादुई मेमोरी बॉक्स उतना अच्छा काम नहीं करता जितना उसे करना चाहिए।
- परिणाम: सामान्य तौर पर, बॉक्स का उपयोग करने से AI बिना उपयोग किए जाने की तुलना में 20 गुना तेज़ हो जाता है। लेकिन "बुरे" शब्द काउंट पर, वह लाभ लगभग नगण्य हो जाता है (केवल 1.9 गुना तेज़)। बॉक्स अभी भी वहीं है, लेकिन वह ट्रैफिक में फंसा हुआ है।
3. यह "गैस खत्म होने" के बारे में नहीं है (मेमोरी)
जब AI धीमा हो जाता है, तो आप सोच सकते हैं, "ओह, कंप्यूटर की मेमोरी खत्म हो रही है।"
- परीक्षण: शोधकर्ताओं ने कंप्यूटर के मेमोरी उपयोग की जाँच की। उन्होंने देखा कि मेमोरी का उपयोग सुचारू रूप से और लगातार बढ़ रहा था, जैसे एक गुब्बारा फूल रहा हो। जैसे ही AI धीमा हुआ, मेमोरी में कोई अचानक उछाल या गिरावट नहीं आई।
- निष्कर्ष: धीमापन इसलिए नहीं है क्योंकि कंप्यूटर के पास जगह खत्म हो गई है। यह इसलिए है क्योंकि "इंजन" (सॉफ्टवेयर बैकएंड) ने अचानक बहुत ही अक्षम तरीके से गियर बदलने का निर्णय लिया है। यह एक कार इंजन की तरह है जो अचानक कुछ सेकंड के लिए एक अलग, बहुत खराब ईंधन मिश्रण पर चलने का निर्णय लेता है, भले ही टैंक भरा हुआ हो।
4. यह हर जगह होता है (न केवल एक कार में)
शोधकर्ताओं ने विभिन्न प्रकार के AI मॉडल (GPT-2, BLOOM, OPT) और विभिन्न Apple कंप्यूटरों (M3 Max और M3 Pro) के साथ इसका परीक्षण किया।
- निष्कर्ष: "घोस्ट स्पीड बम्प्स" उन सभी में दिखाई दिए। बंप का सटीक स्थान कार मॉडल और इंजन के आकार के आधार पर थोड़ा बदल जाता है, लेकिन घटना वही है।
- तुलना: जब उन्होंने एक मानक कंप्यूटर (CPU) या NVIDIA ग्राफिक्स कार्ड (CUDA) पर उसी AI का परीक्षण किया, तो यात्रा सुचारू थी। "बंप वाली सड़क" Apple के वर्तमान ग्राफिक्स सॉफ्टवेयर की एक विशिष्ट विशेषता है।
5. यह आपके लिए क्यों मायने रखता है
शोध पत्र चेतावनी देता है कि यदि आप केवल एक या दो विशिष्ट लंबाई (जैसे, "देखते हैं कि यह 100 शब्दों पर कितना तेज़ है") पर AI का परीक्षण करते हैं, तो आप इन भारी slowdowns को पूरी तरह से मिस कर सकते हैं।
- जाल: यदि आप एक AI का बेंचमार्क करते हैं और यह 500 शब्दों पर तेज़ दिखता है, लेकिन आप 512 शब्दों की जाँच नहीं करते हैं, तो आप सोच सकते हैं कि सिस्टम एकदम सही है। लेकिन वास्तविक जीवन में, यदि उपयोगकर्ता की बातचीत उस विशिष्ट लंबाई तक पहुँचती है, तो सिस्टम एक क्षण के लिए रुक सकता है।
- सबक: आप केवल "औसत" गति को नहीं देख सकते। आपको हर कदम पर जाँच करनी होगी, क्योंकि Apple चिप्स पर, गति बिल्कुल शब्दों के उत्पन्न होने की संख्या के आधार पर अचानक और अप्रत्याशित रूप से बदल सकती है।
संक्षेप में: Apple के AI चिप्स शक्तिशाली हैं, लेकिन उनके सॉफ़्टवेयर में एक छिपा हुआ दोष है जहाँ, बहुत विशिष्ट क्षणों पर, सिस्टम अचानक कुछ समय के लिए अविश्वसनीय रूप से धीमा हो जाता है और फिर सामान्य हो जाता है। यह तब भी होता है जब पर्याप्त मेमोरी उपलब्ध होती है, और यह सामान्य "स्पीड-अप ट्रिक्स" (जैसे KV कैशिंग) को उन क्षणों के दौरान बहुत कम प्रभावी बना देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।