RDQ: Residual Distribution Quantization for Large Language Models
यह शोध पत्र RDQ को प्रस्तुत करता है, जो एक पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो ड्रिफ्टेड रेसिडुअल डिस्ट्रीब्यूशन के विरुद्ध पर-चैनल स्केल्स को फिट करने के लिए कैस्केडेड एरर कंपनसेशन का उपयोग करके लार्ज लैंग्वेज मॉडल्स में क्वांटाइजेशन नॉइज़ के सुपर-लीनियर संचय को कम करता है, जिससे शून्य इन्फरेंस ओवरहेड के साथ 3-बिट और 4-बिट प्रिसिजन पर स्टेट-ऑफ-द-आर्ट परप्लेक्सिटी प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 32 जुड़े हुए कमरों से बनी एक लंबी, घुमावदार सुरंग में एक गुप्त संदेश भेजने की कोशिश कर रहे हैं। मूल, उच्च-गुणवत्ता वाले संस्करण (जिसे FP16 कहा जाता है) में, आपका संदेश शुरू से अंत तक पूरी तरह स्पष्ट रूप से यात्रा करता है। लेकिन जब हम संदेश को अपने फोन या एज डिवाइस पर जगह बचाने के लिए एक बहुत छोटे, संकुचित प्रारूप (क्वांटाइजेशन) में सिकोड़ने की कोशिश करते हैं, तो चीजें गलत होने लगती हैं।
लंबे समय तक, वैज्ञानिकों को लगा कि समस्या केवल यह है कि प्रत्येक कमरा अपने आप में थोड़ा सा गंदा है। उन्होंने सोचा, "यदि हम बस कमरे 1 को साफ करें, फिर कमरे 2 को, फिर कमरे 3 को, तो सब कुछ ठीक हो जाएगा।" लेकिन इस नए शोध पत्र, RDQ (रेसिड्यूअल डिस्ट्रीब्यूशन क्वांटाइजेशन) ने खोजा कि यह "प्रत्येक कमरे को अलग से साफ करने" वाला दृष्टिकोण वास्तव में सोचने का गलत तरीका है।
असली अपराधी: "स्नोबॉल" प्रभाव
लेखकों ने पाया कि असली समस्या एक स्नोबॉल प्रभाव है। हर बार जब कोई संदेश एक कमरे से गुजरता है, तो उसमें थोड़ा सा "शोर" या स्टैटिक जुड़ जाता है। एक सामान्य सुरंग में, इससे कोई फर्क नहीं पड़ता। लेकिन एक संकुचित सुरंग में, वह थोड़ा सा शोर गायब नहीं होता; उसे अगले कमरे में ले जाया जाता है, जहाँ वह उस कमरे के नए शोर के साथ मिल जाता है।
जब तक संदेश 32वें कमरे तक पहुँचता है, वह मामूली सा स्टैटिक एक विशाल शोर में बदल चुका होता है। लेखकों ने इस "शोर संचय" (जिसे वे रेसिड्यूअल स्ट्रीम ड्रिफ्ट कहते हैं) को मापा और पाया कि यह अद्भुत है: शोर की मात्रा बिल्कुल सटीक रूप से भविष्यवाणी करती है कि संदेश कितना खराब सुनाई देगा। वास्तव में, उन्होंने एक ऐसा संबंध पाया जो इतना मजबूत था (पियर्सन r=0.999) कि यदि आप जानते हैं कि सिग्नल कितना भटक गया है, तो आप सटीक रूप से अनुमान लगा सकते हैं कि कंप्यूटर कितना भ्रमित हो जाएगा।
बड़ी खोज: सुरंग चिकनी नहीं है
इस शोध पत्र से पहले, अधिकांश विशेषज्ञों का मानना था कि इन सुरंगों में शोर एक चिकनी, अनुमानित पहाड़ी ("गौसियन" वितरण) की तरह दिखता है। उन्होंने अपनी सफाई के उपकरण इसी चिकनी पहाड़ी के आधार पर बनाए थे।
लेकिन लेखकों ने अंदर जाकर देखा। उन्होंने पाया कि LLaMA-3-8B मॉडल के 84% कमरे में कोई चिकनी पहाड़ी नहीं है! इसके बजाय, शोर ऊबड़-खाबड़, अजीब और कभी-कभी दो चोटियों वाला (बाइमोडल) होता है। यह एक शांत झील की उम्मीद करने और अचानक लहरों वाले उग्र समुद्र को पाने जैसा है। क्योंकि शोर इतना अजीब है, इसलिए पुराने "चिकनी पहाड़ी" वाले सफाई उपकरण बुरी तरह विफल हो रहे थे, विशेष रूप से जब वे संदेश को केवल 3 बिट्स (एक बहुत ही छोटा आकार) तक सिकोड़ने की कोशिश कर रहे थे।
समाधान: "कैस्केडेड एरर कंपनसेशन" (CEC)
तो, हम उस सुरंग को कैसे ठीक करें जहाँ शोर जैसे-जैसे आप गहराई में जाते हैं बदलता रहता है? लेखक एक नई विधि प्रस्तावित करते हैं जिसे कैस्केडेड एरर कंपनसेशन (CEC) कहा जाता है।
प्रत्येक कमरे को इस तरह साफ करने के बजाय कि संदेश अभी भी नया और साफ है (जैसा कि पुराने तरीके करते थे), CEC कहता है: "आइए पहले सुरंग के माध्यम से चलें, देखें कि प्रत्येक कमरे में पहुँचने पर संदेश वास्तव में कैसा दिखता है, और फिर उसे साफ करें।"
यह इस प्रकार काम करता है:
- द वॉक-थ्रू (चलकर देखना): कंप्यूटर सुरंग के माध्यम से एक परीक्षण संदेश चलाता है। यह पहले कुछ कमरों को "गंदा" (क्वांटाइज्ड) होने देता है, ठीक वैसे ही जैसे वास्तविक जीवन में वे होंगे।
- असली रूप: जब संदेश कमरे 10 पर पहुँचता है, तो वह कमरे 1 से 9 तक के शोर से पहले से ही थोड़ा गंदा हो चुका होता है। सिस्टम इस वास्तविक, बिखरे हुए सिग्नल को कैप्चर करता है।
- कस्टम फिक्स (अनुकूलित सुधार): एक सामान्य सफाई उपकरण के बजाय, सिस्टम उस बिखरे हुए सिग्नल के लिए विशेष रूप से एक कस्टम सफाई उपकरण बनाता है। यह वहीं कमरे में संदेश के "वॉल्यूम" (स्केल्स) को समायोजित करता है।
- मैजिक फोल्ड (जादुई मोड़): एक बार जब सफाई उपकरण बन जाता है, तो इसे कमरे के दरवाजे के फ्रेम (RMSNorm वेट्स) में फोल्ड कर दिया जाता है। इसका मतलब है कि जब वास्तविक संदेश बाद में यात्रा करेगा, तो सफाई स्वतः ही हो जाएगी, जिसमें कोई अतिरिक्त समय या गति की हानि नहीं होगी।
परिणाम: एक बड़ा सुधार
टीम ने तीन प्रसिद्ध AI मॉडलों पर इसका परीक्षण किया: LLaMA-3-8B, Qwen-2.5-7B, और Mistral-7B।
- पुराना तरीका: जब उन्होंने मानक विधि (RTN) का उपयोग करके LLaMA-3-8B को 3 बिट्स तक सिकोड़ने की कोशिश की, तो संदेश लगभग समझ से बाहर हो गया, जिसका स्कोर (परप्लेक्सिटी) 5.83 से बढ़कर 14.09 हो गया। यह गुणवत्ता में भारी गिरावट है।
- RDQ का तरीका: अपने नए "वॉक-थ्रू" तरीके का उपयोग करके, उन्होंने स्कोर को 7.55 तक नीचे ला दिया। यह पुराने तरीके की तुलना में 46.4% का सुधार है!
- 4 बिट्स पर: उन्हें अब तक के सर्वश्रेष्ठ परिणाम भी मिले, जिन्होंने पिछले चैंपियन को बड़े अंतर से पीछे छोड़ दिया (उदाहरण के लिए, LLaMA के लिए 5.62 बनाम 6.92)।
इसका क्या अर्थ है
लेखक बहुत स्पष्ट हैं: यह केवल एक बेहतर उपकरण नहीं है; यह समस्या को देखने का एक नया तरीका है। उन्होंने साबित किया कि ये मॉडल कम बिट-विड्थ पर क्यों टूट जाते हैं, इसका मुख्य कारण "ड्रिफ्ट" है। उन्होंने यह भी दिखाया कि "प्रत्येक कमरे को स्वतंत्र रूप से साफ करने" का पुराना विचार एक मृत अंत है क्योंकि यह पिछले कमरों से आने वाले शोर के स्नोबॉल प्रभाव को अनदेखा करता है।
हालाँकि वे 2-बिट संपीड़न के लिए समस्या को अभी तक ठीक नहीं कर सकते (शोर वहां बहुत अधिक है), उन्होंने दिखाया है कि 3-बिट और 4-बिट संपीड़न के लिए, हम मॉडलों को स्मार्ट और तेज़ रख सकते हैं। सबसे अच्छी बात? यह नया तरीका उन मानक उपकरणों के साथ काम करता है जिनका इंजीनियर पहले से ही उपयोग करते हैं, इसलिए इसे बिना किसी विशेष, धीमे हार्डवेयर की आवश्यकता के अभी फोन और कंप्यूटर पर तैनात किया जा सकता है।
संक्षेप में: सुरंग इसलिए गंदी हो रही थी क्योंकि हम कमरों को गलत क्रम में साफ कर रहे थे। उन्हें उस क्रम में साफ करके जिसमें संदेश वास्तव में यात्रा करता है, हम अंत तक सिग्नल को स्पष्ट रख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।