BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression
BiSCo-LLM एक लुकअप-मुक्त बाइनरी स्फेरिक कोडिंग फ्रेमवर्क पेश करता है जो पुनर्निर्माण निष्ठा (reconstruction fidelity) को बनाए रखते हुए स्पष्ट कोडबुक को समाप्त करने के लिए बाइनराइज्ड हाइपरस्फेरिक मैपिंग, रेसिडुअल एनकोडिंग और कैटेगरी-वाइज डिस्टिलेशन को संयोजित करके अत्यधिक लो-बिट लार्ज लैंग्वेज मॉडल संपीड़न प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल) है जो लगभग सब कुछ जानता है। लेकिन एक समस्या है: यह दिमाग इतना बड़ा है कि यह आपकी जेब में या यहाँ तक कि आपके लैपटॉप में भी नहीं समा सकता। यह एक लाइब्रेरी को अपने बैकपैक में ले जाने की कोशिश करने जैसा है। इसे पोर्टेबल बनाने के लिए, वैज्ञानिक आमतौर पर दिमाग के ज्ञान से बनी "शब्दों" (वेट्स) को सिकोड़ने की कोशिश करते हैं, जिससे वे भारी, विस्तृत किताबों से छोटे, रफ स्केच में बदल जाते हैं।
ज्यादातर लोग इन स्केच को सिकोड़ने के लिए केवल नंबरों को राउंड ऑफ (गोल करना) करने की कोशिश करते हैं, जैसे कि 3.14159 जैसी सटीक माप को एक साधारण "3" में बदलना। लेकिन जब आप इन्हें बहुत ज्यादा सिकोड़ देते हैं—सिर्फ 2 बिट्स तक (जो मुश्किल से एक "हाँ" या "ना" के बराबर है)—तो स्केच इतने धुंधले हो जाते हैं कि रोबोट बात करना ही भूल जाता है।
बड़ा विचार: "लुक-अप-फ्री" मैप
इस पेपर के लेखक, युआनटियन शाओ और उनकी टीम ने इस तरह के दिमाग को सिकोड़ने का एक नया तरीका निकाला जिसे BiSCo-LLM कहा जाता है। डेटा को सिकोड़ने के पुराने तरीके "राउंडिंग" का उपयोग करने के बजाय, वे दिमाग के ज्ञान को एक विशाल, अदृश्य गोले (स्फेयर) पर अलग-अलग दिशाओं में इशारा करने वाले तीरों के संग्रह की तरह देखते हैं।
यहाँ जादू का कमाल है:
- कोई चीट शीट नहीं: आमतौर पर, डेटा को सिकोड़ने के लिए आपको एक विशाल "चीट शीट" (कोडबुक) की आवश्यकता होती है जो कहती है, "यदि आप यह पैटर्न देखते हैं, तो इसका मतलब यह विशिष्ट चीज़ है।" लेकिन चीट शीट खुद भी जगह घेरती है! BiSCo-LLM उस चीट शीट को पूरी तरह से हटा देता है। इसके बजाय, यह केवल तीर की दिशा (1 और -1 की एक साधारण स्ट्रिंग) को स्टोर करता है और एक छोटा, स्मार्ट डिकोडर रखता है जो उस दिशा से वापस तीर को बनाना जानता है। यह किसी को मंजिल की फोटो देने के बजाय उसे दिशा बताने वाले कंपास देने जैसा है।
- "ओप्स" फिक्सर (रेसिडुअल कोडिंग): लेखकों ने पाया कि केवल मुख्य दिशा को स्टोर करना पर्याप्त नहीं था। कभी-कभी तीर थोड़ा गलत दिशा में होता है। इसलिए, उन्होंने एक दूसरा चरण जोड़ा: एक "रेसिडुअल" चरण जो विशेष रूप से उन छोटी गलतियों को पकड़ता है जिन्हें पहला चरण छोड़ गया था। इसे एक चेहरे का रफ स्केच बनाने, और फिर एक दूसरे कलाकार के आने जैसा समझें जो केवल आँखों और मुस्कान को ठीक करने के लिए आता है। यह दो-चरणीय प्रक्रिया उन्हें उसी छोटे स्थान में अधिक विवरण भरने की अनुमति देती है।
- "वीआईपी" लिस्ट: उन्होंने महसूस किया कि रोबोट के दिमाग के कुछ हिस्से बहुत संवेदनशील होते हैं। यदि आप उनके साथ छेड़छाड़ करते हैं, तो पूरा रोबोट पागल हो जाता है। इसलिए, उन्होंने सबसे महत्वपूर्ण 1% चैनलों की पहचान की और उन्हें एक विशेष "वीआईपी पास" दिया ताकि वे हाई प्रिसिजन (8-बिट) में रह सकें, जबकि बाकी को अत्यधिक 2-बिट तक सिकोड़ दिया गया। यह एक कार के इंजन को एकदम सही स्थिति में रखने और बाकी शरीर को स्प्रे पेंट की एक सिंगल कोट से पेंट करने जैसा है।
उन्होंने किसे खारिज कर दिया
पेपर स्पष्ट रूप से केवल "चीट शीट" (कोडबुक) को बड़ा बनाने के विचार के खिलाफ तर्क देता है। उन्होंने इस विचार का परीक्षण किया और पाया कि भले ही आपके पास पैटर्न का एक विशाल पुस्तकालय हो, रोबंतु का दिमाग वास्तव में उनमें से एक बहुत ही छोटा हिस्सा ही उपयोग करता है। इसलिए, एक बड़ा पुस्तकालय बनाना बिना रोबोट की सोचने की क्षमता सुधारे केवल जगह बर्बाद करना है। उन्होंने यह भी दिखाया कि केवल दिमाग को परत-दर-परत (एक बार में एक कमरा) ठीक करने की कोशिश करना काम नहीं करता है; आपको पूरे सेक्शन (श्रेणियों) को एक साथ ठीक करना होगा और फिर पूरे रोबोट को फिर से मिलकर काम करना सिखाना होगा।
परिणाम: यह कितना अच्छा काम कर रहा था?
टीम ने Qwen3-8B नामक एक मॉडल पर इसका परीक्षण किया।
- परीक्षण: उन्होंने मॉडल से एक कहानी पढ़ने और अगले शब्द का अनुमान लगाने के लिए कहा (एक परीक्षण जिसे WikiText-2 कहा जाता है)। मूल, फुल-साइज़ मॉडल का स्कोर 9.73 (कम स्कोर बेहतर है) था। नया कंप्रेस्ड मॉडल 10.18 पर था। यह बहुत करीब है!
- बुद्धिमत्ता: उन्होंने मॉडल का परीक्षण सात अलग-अलग कार्यों पर भी किया जैसे सवालों के जवाब देना और लॉजिक पहेलियाँ सुलझाना। मूल मॉडल का औसत 69.92% था। कंप्रेस्ड मॉडल का औसत 68.05% था।
- फैसला: लेखक सुझाव देते हैं कि यह तरीका अत्यधिक कंप्रेशन के लिए बहुत अच्छा काम करता है। उन्होंने पाया कि इस "नो-चीट-शीट" स्फेयर विधि का उपयोग करके, "ओप्स फिक्सर" चरण जोड़कर, और वीआईपी चैनलों को सुरक्षित रखकर, वे मॉडल को अत्यधिक 2-बिट आकार तक सिकोड़ सकते थे बिना उसकी बुद्धिमत्ता खोए।
क्या अभी भी अज्ञात है?
पेपर सावधानी से कहता है कि ये परिणाम Qwen3-8B और LLaMA-3-8B पर विशिष्ट परीक्षणों पर आधारित हैं। हालांकि नंबर बहुत अच्छे दिखते हैं, लेखक नोट करते हैं कि वे अभी भी हर प्रकार के मॉडल के लिए इन तकनीकों को मिलाने के सबसे अच्छे तरीके को समझने की कोशिश कर रहे हैं। वे यह भी उल्लेख करते हैं कि हालांकि गणित काम करता है, लेकिन वास्तव में फोन पर रोबोट चलाने के लिए इस "तीरों को बनाने" की प्रक्रिया को पर्याप्त तेज़ बनाने के लिए अतिरिक्त इंजीनियरिंग की आवश्यकता हो सकती है।
संक्षेप में, BiSCo-LLM सुझाव देता है कि यदि आप आकारों के विशाल शब्दकोश को याद करने के बजाय केवल दिशाओं को याद रखने और छोटी गलतियों को ठीक करने पर ध्यान केंद्रित करते हैं, तो आप एक सुपर-ब्रेन को अपनी जेब में रख सकते हैं बिना यह भूले कि बोलना कैसे है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।