Llamas on the Web: Memory-Efficient, Performance-Portable, and Multi-Precision LLM Inference with WebGPU
यह शोध पत्र LlamaWeb प्रस्तुत करता है, जो llama.cpp के लिए एक WebGPU बैकएंड है जो स्टैटिक मेमोरी प्लानिंग, एक ट्यूनेबल कर्नेल लाइब्रेरी और टेम्पलेटेड GPU कर्नेल का उपयोग करके ब्राउज़रों में मेमोरी-कुशल, प्रदर्शन-पोर्टेबल और मल्टी-प्रिसिजन LLM इन्फरेंस प्राप्त करता है, जिसके परिणामस्वरूप विविध हार्डवेयर पर मौजूदा फ्रेमवर्क की तुलना में मेमोरी के उपयोग में उल्लेखनीय कमी और डिकोड थ्रूपुट में वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने वेब ब्राउज़र (जैसे Chrome या Safari) के अंदर ही एक सुपर-स्मार्ट AI असिस्टेंट (एक लार्ज लैंग्वेज मॉडल, या LLM) चलाना चाहते हैं। आमतौर पर, ये विशाल AI मस्तिष्क इतने बड़े और मेमोरी के भूखे होते हैं कि उन्हें चलाने के लिए भारी-भरकम, महंगे सर्वरों की आवश्यकता होती है। इस शोध पत्र का लक्ष्य उस विशाल मस्तिष्क को इतना छोटा करना है कि वह आपके लैपटॉप या फोन में बिना क्रैश हुए फिट हो सके, और साथ ही यह तेज़ और निजी भी रहे।
लेखकों ने LlamaWeb नामक एक नया टूल बनाया है। इसे एक विशेष "अनुवादक" (translator) के रूप में समझें जो लोकप्रिय AI इंजन llama.cpp को वेब ब्राउज़रों की भाषा (विशेष रूप से WebGPU नामक तकनीक) बोलने में सक्षम बनाता है।
उन्होंने तीन सबसे बड़ी समस्याओं को हल किया है, जिन्हें रोजमर्रा के उदाहरणों से समझा जा सकता है:
1. मेमोरी की समस्या: "मूविंग ट्रक बनाम पैकिंग लिस्ट"
समस्या: मौजूदा ब्राउज़र AI टूल्स एक अव्यवस्थित मूविंग कंपनी की तरह थे। वे चलते समय नए डिब्बे (मेमोरी) पकड़ते रहते थे, जिससे कभी-कभी वे बहुत अधिक डिब्बे पकड़ लेते थे, जिसके कारण ब्राउज़र क्रैश हो जाता था या बहुत धीमा हो जाता था। वे फर्नीचर (मॉडल वेट्स) को ट्रक में लोड करने से पहले उसकी अनावश्यक कॉपियां भी बनाते थे।
LlamaWeb का समाधान:
- स्थिर योजना (Static Planning): चलते समय डिब्बे पकड़ने के बजाय, LlamaWeb ट्रक आने से पहले पूरे घर का मुआयना करता है और गणना करता है कि उसे ठीक कितने डिब्बों की आवश्यकता है। यह शुरुआत में ही सब कुछ एक ही, पूर्व-निर्धारित आकार के "मेमोरी एरिना" में पैक कर देता है। अब बीच रास्ते में अतिरिक्त डिब्बे पकड़ने का कोई झंझट नहीं।
- सीधा लोडिंग (Direct Loading): फर्नीचर को पहले ड्राइववे (CPU मेमोरी) में उतारने और फिर ट्रक (GPU मेमोरी) में लोड करने के बजाय, LlamaWeb फर्नीचर को सीधे गोदाम से ट्रक में लोड करता है।
- परिणाम: उन्होंने पाया कि LlamaWeb अपने प्रतिस्पर्धियों की तुलना में 29–33% कम मेमोरी का उपयोग करता है। यह बिल्कुल वैसा ही है जैसे एक पूरे लिविंग रूम को एक वैन में फिट कर देना, जिसमें पहले केवल एक सोफा ही आ पाता था।
2. प्रदर्शन की समस्या: "यूनिवर्सल रिमोट बनाम कस्टम रिमोट"
समस्या: इंटरनेट अलग-अलग तरह के कंप्यूटरों से भरा है: कुछ के पास NVIDIA ग्राफिक्स कार्ड हैं, कुछ के पास Apple चिप्स हैं, कुछ फोन में हैं, और कुछ लैपटॉप में। मौजूदा टूल्स एक "यूनिवर्सल रिमोट" की तरह थे जो हर चीज़ पर काम करने की कोशिश तो करते थे, लेकिन किसी भी विशिष्ट टीवी के विशेष बटनों का उपयोग नहीं कर पाते थे, जिसके परिणामस्वरूप प्रदर्शन धीमा हो जाता था।
LlamaWeb का समाधान:
- ट्यूनेबल कर्नेल (Tunable Kernels): LlamaWeb एक स्मार्ट रिमोट की तरह है जो खुद को रीप्रोग्राम कर सकता है। जब यह शुरू होता है, तो यह जाँचता है कि यह किस प्रकार के "टीवी" (हार्डवेयर) पर चल रहा है। यदि यह एक शक्तिशाली NVIDIA कार्ड पर है, तो यह हाई-स्पीड "सबग्रुप" फीचर्स का उपयोग करता है। यदि यह एक फोन पर है, तो यह अधिक कुशल मोड पर स्विच हो जाता है।
- परिणाम: चार अलग-अलग प्रकार के ग्राफिक्स कार्डों पर, LlamaWeb अन्य ब्राउज़र टूल्स की तुलना में टेक्स्ट जेनरेट करने (डिकोडिंग) में 45–65% तेज़ था। यह केवल एक यूनिवर्सल रिमोट नहीं है; यह एक ऐसा रिमोट है जो जानता है कि आपके विशिष्ट टीवी से सबसे अच्छी पिक्चर कैसे प्राप्त की जाए।
3. फॉर्मेट की समस्या: "स्विस आर्मी नाइफ"
समस्या: AI डेवलपर्स लगातार AI मॉडल्स को कंप्रेस करने (जिसे क्वांटिज़ेशन कहा जाता है) के नए तरीके खोज रहे हैं। कुछ 4-बिट जैसे हैं, कुछ 8-बिट, और कुछ 1-बिट। पुराने टूल्स एक ऐसे पेचकश (screwdriver) की तरह थे जो केवल एक ही प्रकार के पेंच (screw) में फिट बैठता था। यदि कोई नया पेंच आता, तो वह टूल बेकार हो जाता था।
LlamaWeb का समाधान:
- टेम्पलेटेड कर्नेल (Templated Kernels): LlamaWeb एक स्विस आर्मी नाइफ की तरह बनाया गया है। इसमें एक "टेम्पलेट" सिस्टम है जो पूरे चाकू को दोबारा बनाए बिना, किसी भी पेंच (क्वांटिज़ेशन फॉर्मेट) के अनुकूल होने के लिए तुरंत अपना टूल हेड बदल सकता है।
- परिणाम: यह 23 अलग-अलग वेट फॉर्मेट्स को सपोर्ट करता है, जबकि इसके प्रतिस्पर्धी केवल 6 या 7 को सपोर्ट करते हैं। इसका मतलब है कि यदि कल कोई डेवलपर एक नया, सुपर-एफिशिएंट कंप्रेशन तरीका आविष्कार करता है, तो LlamaWeb बिना किसी सॉफ्टवेयर अपडेट के उसे तुरंत चला सकेगा।
मुख्य परिणाम
टीम ने इसका परीक्षण 8 अलग-अलग निर्माताओं के 16 विभिन्न उपकरणों (NVIDIA, Apple, Intel, AMD और मोबाइल चिप्स सहित) पर किया।
- मेमोरी: इसने भारी मात्रा में RAM बचाई, जिससे सीमित मेमोरी वाले उपकरणों (जैसे iPhone) पर क्रैश होने की समस्या रुक गई।
- गति: यह अन्य ब्राउज़र-आधारित AI टूल्स की तुलना में काफी तेज़ था।
- बहुमुखी प्रतिभा: यह लगभग किसी भी मॉडल को चला सकता है जिसे
llama.cppकम्युनिटी सपोर्ट करती है, जो कि 1,77,000 से अधिक मॉडल्स की एक विशाल लाइब्रेरी है।
एक चेतावनी: हालांकि LamaWeb एक-एक करके शब्द जेनरेट करने (डिकोड चरण) में चैंपियन है, लेकिन वर्तमान में यह शुरुआती प्रॉम्प्ट पढ़ने (प्रीफिल चरण) में कुछ प्रतिस्पर्धियों की तुलना में थोड़ा धीमा है। हालांकि, लेखक बताते हैं कि जैसे-जैसे ब्राउज़र तकनीक में सुधार होगा, यह अंतर कम होने की उम्मीद है।
संक्षेप में, LlamaWeb एक नया इंजन है जो आपके ब्राउज़र में शक्तिशाली AI चलाना संभव, निजी और कुशल बनाता है, जिससे यह सुनिश्चित होता है कि AI के साथ चैट करते समय आपका कंप्यूटर गर्म होकर खराब न हो जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।