SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions
यह शोध पत्र SMEPilot को प्रस्तुत करता है, जो एक LLM इन्फरेंस इंजन है जो CPU-ओनली, SME-ओनली, या सहकारी निष्पादन रणनीतियों के बीच गतिशील रूप से चयन करके और विविध मॉडलों एवं प्लेटफॉर्म्स पर 3.94× तक की गति वृद्धि प्राप्त करने के लिए टाइल-लेवल पार्टिशनिंग और लेआउट पुनरुपयोग का उपयोग करके स्केलेबल मैट्रिक्स एक्सटेंशन (SME) वाले CPUs पर प्रदर्शन को अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी तस्वीर: पुरानी मशीनों के लिए एक नया टूल
कल्पना कीजिए कि आपके पास एक बहुत व्यस्त रसोई है (एक आधुनिक कंप्यूटर CPU)। सालों से, यह रसोई सामान्य रसोइयों (स्टैंडर्ड CPU कोर्स) की एक टीम पर निर्भर रही है जो सब्जियां काटने, बर्तन चलाने और खाना परोसने का काम करती हैं। वे हर काम में अच्छे हैं, लेकिन वे एक विशिष्ट कार्य में बहुत तेज़ नहीं हैं: सब्जियों के विशाल ढेर को एकदम सटीक चौकोर आकार में काटना (जो कि लार्ज लैंग्वेज मॉडल्स, या LLMs, को "सोचने" के लिए करने की आवश्यकता होती है)।
हाल ही में, रसोई को एक नया उपकरण मिला है: एक हाई-स्पीड इंडस्ट्रियल वेजिटेबल स्लाइसर (जिसे SME, या स्केलेबल मैट्रिक्स एक्सटेंशन कहा जाता है)। यह मशीन सब्जियों को अविश्वसनीय रूप से तेज़ी से काट सकती है। हालाँकि, शोधकर्ताओं ने पाया कि समस्या यह है: सिर्फ इसलिए कि आपके पास एक स्लाइसर है, इसका मतलब यह नहीं है कि आपको इसे हर काम के लिए उपयोग करना चाहिए।
- समस्या: यदि आप स्लाइसर का उपयोग हर चीज़ के लिए करने की कोशिश करते हैं, तो आप कन्वेयर बेल्ट (मेमोरी बैंडविड्थ) को जाम कर सकते हैं या छोटे कामों के लिए इसे सेट करने में समय बर्बाद कर सकते हैं। कभी-कभी, सामान्य रसोइया वास्तव में छोटे और जटिल कार्यों के लिए तेज़ होते हैं।
- समाधान: टीम ने SMEPilot बनाया। SMEPilot को एक सुपर-स्मार्ट किचन मैनेजर के रूप में समझें। यह केवल सब कुछ स्लाइसर को नहीं थमा देता; यह तय करता है कि कौन सा काम कब, कौन सा शेफ करेगा, मशीन का उपयोग कब करना है, और कैसे पूरी रसोई को बिना किसी के खाली बैठे इंतज़ार किए सुचारू रूप से चलाया जाए।
SMEPilot कैसे काम करता है: तीन जादुई ट्रिक्स
पेपर पहचानता है कि SMEPilot तीन मुख्य तरीकों से रसोई को तेज़ बनाता है। यहाँ प्रत्येक के लिए उपमाएँ दी गई हैं:
1. "टीम विभाजन" (टाइल-लेवल वर्क पार्टीशनिंग)
समस्या: कल्पना कीजिए कि आपके पास काटने के लिए एक बहुत बड़ा पिज्जा (एक बड़ी गणितीय समस्या) है।
- यदि आप पूरा पिज्जा इंडस्ट्रियल स्लाइसर को दे देते हैं, तो शेफ खाली बैठे रहते हैं।
- यदि आप पिज्जा शेफ को दे देते हैं, तो स्लाइसर खाली बैठा रहता है।
- यदि आप बस पिज्जा को दो हिस्सों में काटते हैं और एक हिस्सा स्लाइसर को और दूसरा शेफ को देते हैं, तो हो सकता है कि स्लाइसर 1 सेकंड में खत्म कर दे जबकि शेफ को 10 सेकंड लगें। स्लाइसर बस इंतज़ार करता है, जिससे समय बर्बाद होता है।
SMEPilot का समाधान: SMEPilot पिज्जा को छोटे टुकड़ों (टाइल्स) में काटता है। यह स्लाइसर को कुछ टुकड़े और शेफ को कुछ टुकड़े देता है। महत्वपूर्ण बात यह है कि यह ठीक से गणना करता है कि प्रत्येक को कितने टुकड़े मिलने चाहिए ताकि दोनों बिल्कुल एक ही समय पर समाप्त करें। यह मशीन और शेफ दोनों को 100% समय व्यस्त रखता है।
2. "असेंबली लाइन" (फेज़-अवेयर पाइपलाइन एक्जीक्यूशन)
समस्या: सैंडविच बनाने में दो चरण शामिल हैं:
- चरण A: ब्रेड को काटना (इसके लिए इंडस्ट्रियल स्लाइसर की आवश्यकता है)।
- चरण B: सरसों (mustard) लगाना (इसके लिए मानव हाथ की आवश्यकता है)।
एक खराब रसोई में, आप सरसों लगाने के लिए पूरे ब्रेड के स्लाइस होने का इंतज़ार करते हैं। इंसान खाली बैठा रहता है जब तक मशीन काम कर रही होती है। फिर, मशीन खाली बैठ जाती है जब इंसान सरसों लगा रहा होता है। इसे "टेम्पोरल बबल" (समय का अंतराल जहाँ कोई काम नहीं हो रहा है) कहा जाता है।
SMEPilot का समाधान: SMEPilot एक असेंबली लाइन बनाता है। जैसे ही स्लाइसर ब्रेड का एक टुकड़ा काटता है, वह उसे सरसों लगाने के लिए इंसान को सौंप देता है, जबकि स्लाइसर तुरंत अगले टुकड़े पर काम शुरू कर देता है। मशीन और इंसान सैंडविच के अलग-अलग हिस्सों पर एक साथ काम करते हैं। यह प्रतीक्षा समय को समाप्त करता है।
3. "प्री-पैक्ड लंच" (लेआउट-अवेयर रनटाइम)
समस्या: इंडस्ट्रियल स्लाइसर तभी काम करता है जब सब्जियां एक बहुत ही विशिष्ट, घनी ग्रिड (एक "पैक" लेआउट) में व्यवस्थित हों। लेकिन बाकी रसोई में सब्जियां ढीली, मानक बोरियों में रखी जाती हैं।
- गलत तरीका: हर बार जब आप स्लाइसर का उपयोग करना चाहते हैं, तो आप रुक जाते हैं, सब्जियों को बैग से बाहर निकालते हैं, उन्हें एक सटीक ग्रिड में व्यवस्थित करते हैं, उन्हें काटते हैं, और फिर वापस बैग में रखते हैं। यह "पुनर्व्यवस्था" (re-arranging) करने में लगभग उतना ही समय लगता है जितना कि काटने में, जिससे गति का लाभ खत्म हो जाता है।
SMEPilot का समाधान: SMEPilot इस बारे में स्मार्ट है कि पुनर्व्यवस्था कब करनी है।
- स्थिर सामग्री के लिए (जैसे मॉडल वेट्स): यह रसोई खुलने पर ही उन्हें एक आदर्श ग्रिड में व्यवस्थित कर देता है, ताकि वे हर ऑर्डर के लिए तुरंत तैयार रहें।
- ताज़ा सामग्री के लिए (जैसे नया डेटा): यह उन्हें बनते ही तुरंत ग्रिड में व्यवस्थित कर देता है, ताकि बाद में किसी भी अतिरिक्त कदम के बिना वे स्लाइसर के लिए तैयार रहें। यह "पुनर्व्यवस्था" के दंड (penalty) से बचाता है।
परिणाम: कितनी तेज़?
शोधकर्ताओं ने फोन, लैपटॉप और सर्वर पर लोकप्रिय AI मॉडल्स (जैसे Llama और Qwen) का उपयोग करके SMEPilot का परीक्षण किया।
- गति: SMEPilot ने इन मॉडल्स को चलाने के मानक तरीके की तुलना में AI को 3.94 गुना तक तेज़ बना दिया।
- ऊर्जा: क्योंकि यह काम को इतनी तेज़ी से पूरा करता है, इसलिए यह मानक विधि की तुलना में आधी से भी कम ऊर्जा का उपयोग करता है।
- तुलना: कुछ परीक्षणों में, SMEPilot के साथ चलने वाला CPU एक समर्पित ग्राफिक्स कार्ड (GPU) के लगभग बराबर तेज़ था, जो आमतौर पर AI के लिए "भारी काम करने वाला" (heavy lifter) होता है।
निष्कर्ष (The Takeaway)
यह पेपर तर्क देता है कि SME (नई मशीन) कोई जादू की छड़ी नहीं है जो पुराने शेफ की जगह ले ले। इसके बजाय, सर्वश्रेष्ठ प्रदर्शन एक स्मार्ट मैनेजर (SMEPilot) से आता है जो जानता है:
- मशीन का उपयोग कब करना है और शेफ का उपयोग कब करना है।
- काम को कैसे विभाजित किया जाए ताकि सभी व्यस्त रहें।
- वर्कस्पेस को कैसे व्यवस्थित किया जाए ताकि सेटअप में समय बर्बाद न हो।
ऐसा करके, साधारण कंप्यूटर पहले की तुलना में बहुत तेज़ी से और अधिक कुशलता से शक्तिशाली AI चला सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।