EntroLLM: Entropy Encoded Weight Compression for Efficient Large Language Model Inference on Edge Devices
EntroLLM एक पोस्ट-ट्रेनिंग कंप्रेशन फ्रेमवर्क है जो मिक्स क्वांटाइजेशन को एंट्रॉपी कोडिंग के साथ जोड़ता है ताकि बिना रिट्रेनिंग के एज डिवाइसेस पर लार्ज लैंग्वेज मॉडल्स के लिए स्टोरेज आवश्यकताओं को काफी कम किया जा सके और इन्फरेंस को तेज किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जिसे आप हाइकिंग करते समय अपने बैकपैक में रखकर ले जाना चाहते हैं (जैसे कि स्मार्टफोन या छोटे रोबोट जैसे एज डिवाइस पर)। समस्या यह है कि पुस्तकालय बहुत भारी और बड़ा है जिससे वह आपके बैकपैक में फिट नहीं हो पा रहा है, और अगर वह फिट भी हो जाता, तो किताबें एक-एक करके निकालने और पढ़ने में आपके हाथ थक जाते।
यह पेपर इस समस्या को हल करने के लिए एक नई विधि पेश करता है जिसे EntroLLM कहा जाता है। इसे एक तीन-चरणीय जादू की तरह समझें जो कहानियों को खोए बिना पुस्तकालय को छोटा और ले जाने में आसान बनाता है।
1. "नुकीली" छंटनी (मिक्स्ड क्वांटाइजेशन - Mixed Quantization)
आमतौर पर, जब लोग इन पुस्तकालयों को सिकोड़ने की कोशिश करते हैं, तो वे केवल संख्याओं को सरल बनाने के लिए उन्हें राउंड ऑफ कर देते हैं (जैसे 3.14159 को 3.14 में बदलना)। इसे क्वांटाइजेशन (quantization) कहा जाता है। हालांकि, मानक तरीके अक्सर संख्याओं को बहुत अधिक "सपाट" और रैंडम बना देते हैं, जिससे उन्हें और अधिक कंप्रेस करना कठिन हो जाता है।
लेखकों की तरकीब यह है कि वे किताब के प्रत्येक अध्याय (या "लेयर") को व्यक्तिगत रूप से देखते हैं। उस विशिष्ट अध्याय में संख्याएँ कैसे वितरित हैं, इसके आधार पर वे उन्हें राउंड ऑफ करने का एक विशेष तरीका चुनते हैं:
- अनसाइंड क्वांटाइजेशन (Unsigned Quantization): जैसे केवल सकारात्मक चरणों को गिनना।
- एसिमेट्रिक क्वांटाइजेशन (Asymmetric Quantization): जैसे संख्याओं को बेहतर ढंग से फिट करने के लिए शून्य बिंदु को खिसकाना।
इस तरह, पुस्तकालय की संख्याएँ "नुकीली" (spiky) हो जाती हैं। एक पर्वत श्रृंखला की कल्पना करें जहाँ अधिकांश चोटियाँ बीच में बहुत करीब से गुच्छों में हैं, और बहुत कम चरम बिंदु (outliers) हैं। यह "नुकीला" आकार एक सपाट, रैंडम परिदृश्य की तुलना में कंप्रेस करने में बहुत आसान होता है।
2. "संक्षिप्त" शब्दकोश (हफमैन कोडिंग - Huffman Coding)
एक बार जब संख्याओं को इस "नुकीले" पैटर्न में व्यवस्थित कर दिया जाता है, तो लेखक हफमैन कोडिंग नामक तकनीक का उपयोग करते हैं।
इसे पुस्तकालय के लिए एक गुप्त कोड लिखने जैसा समझें। अंग्रेजी में, अक्षर "E" बहुत बार आता है, इसलिए आप तय कर सकते हैं कि "E" को एक एकल बिंदु (•) द्वारा दर्शाया जाए, जबकि "Z" जैसे दुर्लभ अक्षर को एक लंबे कोड (•••••) द्वारा दर्शाया जाए।
- क्योंकि "नुकीली" छंटनी ने कुछ संख्यात्मक मानों को बहुत बार आने वाला बना दिया, इसलिए कोड उन सामान्य संख्याओं को बहुत छोटे, नन्हे लेबल देता है।
- दुर्लभ संख्याओं को लंबे लेबल मिलते हैं।
यह पुस्तकालय के कुल आकार को काफी कम कर देता है। पेपर का दावा है कि यह चरण वर्तमान शीर्ष तरीकों की तुलना में कंप्रेशन को 7 से 11 गुना बेहतर बनाता है। यह एक 100 पन्नों की किताब को 10 पन्नों के पर्चे में बदलने जैसा है बिना कहानी बदले।
3. "टीम रीडिंग" रणनीति (पैरेलल डिकोडिंग - Parallel Decoding)
यहाँ पेचीदा हिस्सा है: आमतौर पर, किसी गुप्त कोड को पढ़ने के लिए, आपको इसे शुरू से अंत तक एक बार में एक अक्षर करके पढ़ना होता है। यदि आपके पास एक विशाल पुस्तकालय है, तो इसमें बहुत समय लगेगा, और आपका बैकपैक (डिवाइस) प्रतीक्षा करने में ही फंसा रह जाएगा।
लेखकों ने महसूस किया कि भले ही कोड छोटा है, लेकिन किताबें बड़े टुकड़ों (टेन्सर्स) में व्यवस्थित हैं। इसलिए, उन्होंने पुस्तकालय को कई अलग-अलग, स्वतंत्र खंडों में काट दिया।
- पूरे कोड को क्रमिक रूप से (sequentially) पढ़ने के बजाय, वे पाठकों की एक टीम (पैरेलल थ्रेड्स) को काम पर रखते हैं।
- प्रत्येक पाठक पुस्तकालय का एक अलग हिस्सा पकड़ता है और अपने खंड को एक साथ (simultaneously) डिकोड करता है।
- क्योंकि ये खंड स्वतंत्र हैं, उन्हें एक-दूसरे का इंतज़ार करने की ज़रूरत नहीं होती।
इसका मतलब है कि भले ही पुस्तकालय छोटा और कंप्रेस्ड है, आपका डिवाइस ज़रूरत पड़ने पर किताबों को लगभग तुरंत "अनपैक" कर सकता है, जिससे पढ़ने की गति बहुत तेज़ हो जाती है।
परिणाम: एक हल्का, तेज़ बैकपैक
लेखकों ने परीक्षण के लिए तीन अलग-अलग "पुस्तकालयों" (AI मॉडल्स) को एक छोटे डिवाइस (NVIDIA JETSON, जो एक शक्तिशाली लेकिन छोटा कंप्यूटर है) पर टेस्ट किया।
- स्टोरेज (Storage): उन्होंने मानक 8-बिट मॉडलों की तुलना में 30% अधिक स्थान और 4-बिट मॉडलों की तुलना में 65% अधिक स्थान बचाया।
- गति (Speed): क्योंकि कम डेटा को इधर-उधर ले जाना पड़ा, डिवाइस सोच (इन्फरेंस) सकता था, जो 30% से 146% तेज़ था।
- सटीकता (Accuracy): "कहानियाँ" (AI के उत्तर) मूल, बिना सिकुड़े हुए पुस्तकालय जितनी ही सटीक रहीं।
संक्षेप में: EntroLLM एक विशाल AI मस्तिष्क को एक छोटे बैकपैक में पैक करने का एक तरीका है, जो डेटा को एक "नुकीले" आकार में व्यवस्थित करके, उसे एक सुपर-एफिशिएंट शॉर्टहैंड में लिखकर, और उसे एक साथ अनपैक करने के लिए श्रमिकों की एक टीम का उपयोग करके किया जाता है। यह संभव बनाता है कि छोटे, बैटरी से चलने वाले उपकरणों पर स्मार्ट AI चलाया जा सके बिना किसी सुपरकंप्यूटर की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।