When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation
यह शोध पत्र यह प्रदर्शित करता है कि जबकि RoPE-संरेखित युग्मवार रोटेशन (pairwise rotations) सख्त क्रमविनिमेयता बाधाओं (commutativity constraints) के तहत एक विशिष्ट पूल्ड वेरिएंस सरोगेट को कम करने के लिए विश्लेषणात्मक रूप से इष्टतम हैं, वे फुल-हेड हैडामार्ड ट्रांसफॉर्म की तुलना में डायनेमिक 4-बिट क्वांटाइजेशन सटीकता में सुधार करने में विफल रहते हैं क्योंकि सरोगेट की धारणाओं और क्वांटाइज़र द्वारा उपयोग किए जाने वाले टोकन-वार सांख्यिकी के बीच एक मौलिक मिसअलाइनमेंट है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप डेटा के एक विशाल, मुलायम बादल को एक छोटे, कठोर बक्से में फिट करने की कोशिश कर रहे हैं। यह विशाल आर्टिफिशियल इंटेलिजेंस (AI) मॉडल को छोटा और तेज़ बनाने की दैनिक संघर्ष है ताकि वे सामान्य कंप्यूटरों या फोन पर चल सकें। ऐसा करने के लिए, वैज्ञानिक "क्वांटाइजेशन" (quantization) नामक एक तरकीब का उपयोग करते हैं, जो बादल को कम रिज़ॉल्यूशन में दबाने जैसा है। लेकिन पेच यह है: बादल में कुछ बहुत चमकीले, बहुत भारी स्थान होते जिन्हें "आउटलायर्स" (outliers) कहा जाता है। यदि आप पूरे बादल को बिना सोचे-समझे दबा देते हैं, तो वे भारी स्थान कुचल जाते हैं, और AI मूर्खतापूर्ण गलतियाँ करने लगता है।
इसे ठीक करने के लिए, शोधकर्ता "रोटेशन" (rotation) नामक एक विधि का उपयोग कर रहे हैं। कल्पना कीजिए कि बादल स्पैगेटी के धागों से बना है। यदि आप पूरे गुच्छे को बस दबा देते हैं, तो मोटे धागे टूट जाते हैं। लेकिन यदि आप पहले गुच्छे को घुमाते हैं, तो आप मोटाई को समान रूप से फैला सकते हैं, जिससे किसी भी चीज़ को तोड़े बिना उसे दबाना आसान हो जाता है। इन धागों को घुमाने का एक लोकप्रिय तरीका "RoPE" (रोटरी पोजीशन एम्बेडिंग) पर आधारित है, जो एक विशेष निर्देश पुस्तिका की तरह है जो AI को यह समझने में मदद करती है कि वाक्य में शब्दों का क्रम क्या है। यह मैनुअल स्वाभाविक रूप से स्पैगेटी को धागों के उन जोड़ों में विभाजित करता है जो एक-दूसरे से जुड़े हुए हैं।
बड़ा सवाल यह है कि जब हम डेटा को फिट करने के लिए स्पैगेटी को घुमाते हैं, तो क्या हमें धागों के पूरे गुच्छे को एक साथ घुमाना चाहिए, या हमें केवल उन विशिष्ट जोड़ों को घुमाना चाहिए जिन्हें निर्देश पुस्तिका के अनुसार जोड़ा गया है? यह तर्कसंगत लगता है कि मैनुअल के जोड़ों का सम्मान करना बेहतर होगा, है ना? लेखकों ने इस विचार का परीक्षण करने के लिए इस विचार को आज़माया, इस उम्मीद में कि वे डेटा को घुमाने का एक स्मार्ट और अधिक कुशल तरीका खोज पाएंगे।
वह मोड़ जो काम नहीं आया
शोधकर्ताओं, शुहान वांग, यिलिन लुओ और उनकी टीम ने इस "पेयरवाइज़ ट्विस्टिंग" (pairwise twisting) विचार को परखने का फैसला किया। उन्होंने एक गणितीय सिद्धांत बनाया जो दिखाता है कि यदि आप डेटा को इस तरह से घुमाना चाहते है जो RoPE निर्देश पुस्तिका का पूरी तरह से सम्मान करता है, तो आप गणितीय रूप से केवल उन विशिष्ट जोड़ों को ही घुमाने के लिए मजबूर हैं। उन्होंने प्रत्येक जोड़े को घुमाने के लिए एक परफेक्ट कोण भी निकाला ताकि डेटा के "कुचलने" (वेरिएंस) को कम किया जा सके, जिससे एक स्थानीय इष्टतम (local optimum) प्राप्त हुआ जो सिद्धांत रूप में उस विशिष्ट जोड़े के लिए सबसे अच्छा मोड़ होना चाहिए।
हालाँकि, जब उन्होंने वास्तव में डायनेमिक 4-बिट क्वांटाइजेशन (डेटा को सिकोड़ने का एक विशिष्ट तरीका) का उपयोग करके वास्तविक दुनिया में इसका परीक्षण किया, तो परिणाम काफी चौंकाने वाले थे। उनके सटीक गणितीय गणनाओं के बावजूद, "पेयरवाइज़-ओनली" (केवल जोड़ों वाला) तरीका वास्तव में AI को भाषा समझने में पुराने तरीके की तुलना में बदतर बना देता है।
चार अलग-अलग AI मॉडलों (Llama सहित) के साथ अपने प्रयोगों में, उन्होंने पाया कि पूरे हेड को घुमाने के बजाय उनके नए, गणितीय रूप से पूर्ण "पेयर-ट्विस्ट" (जोड़ों वाले मोड़) ने मॉडल को भाषा समझने में अधिक भ्रमित कर दिया। पेपर इस भ्रम को "परप्लेक्सिटी" (perplexity) नामक स्कोर का उपयोग करके मापता है। उच्च परप्लेक्सिटी का अर्थ है कि मॉडल अधिक खोया हुआ है। उन्होंने पाया कि पेयरवाइज़ विधि ने विभिन्न मॉडलों में परप्लेक्सिटी को +0.05 से +1.33 अंक तक बढ़ा दिया। उदाहरण के लिए, Llama-3.2-1B मॉडल पर, पेयरवाइज़ विधि ने मानक विधि की तुलना में मॉडल को 1.33 अंक अधिक भ्रमित कर दिया। यहाँ तक कि जब उन्होंने केवल डेटा को सिकोड़ने वाले डेटा (K स्ट्रीम) को देखते हुए गणित को ठीक करने की कोशिश की, तब भी पेयरवाइज़ विधि फुल-हेड विधि की बराबरी नहीं कर सकी।
गणित क्यों विफल हुआ?
लेखकों ने महसूस किया कि समस्या यह नहीं थी कि उनका गणित गलत था; बल्कि समस्या यह थी कि उनका गणित उस विशिष्ट उपकरण के लिए गलत समस्या को हल कर रहा था।
इसे ऐसे समझें: शोधकर्ताओं ने एक ऐसी चाबी बनाई जो एक विशिष्ट ताले (डेटा जोड़ों के गणितीय वेरिएंस) में पूरी तरह से फिट बैठती है। लेकिन जिस दरवाजे को वे खोलने की कोशिश कर रहे थे (क्वांटाइज़र), उसने पूरी तरह से अलग तंत्र का उपयोग किया: उसने डेटा की रेंज को बहुत बड़े समूह के धागों में देखा, न कि केवल छोटे जोड़ों में।
पेपर बताता है कि "पेयरवाज़" विधि के पास केवल दो धागों में एक भारी धब्बे को फैलाने की शक्ति है। लेकिन "फुल-हेड" विधि उस भारी धब्बे को 128 धागों (या मॉडल में जितने भी हों) में फैला सकती है। यह एक विशाल चट्टान को समतल करने जैसा है। यदि आपके पास केवल एक हथौड़ा है जो एक बार में दो जगहों पर प्रहार कर सकता है, तो आप एक उभार छोड़ देंगे। यदि आपके पास एक ऐसा हथौड़ा है जो एक बार में पूरे पत्थर पर प्रहार कर सकता है, तो आप उसे पूरी तरह से समतल कर सकते हैं। "मिक्सिंग सपोर्ट" (mixing support)—वह संख्या जिसे ट्विस्ट प्रभावित कर सकता है—ही असली नायक था। जैसे-जैसे लेखकों ने धागों के बड़े ब्लॉकों (2 से लेकर 128 तक) को घुमाकर परीक्षण किया, उन्होंने देखा कि वे जितने अधिक धागों को मिला सकते थे, मॉडल उतना ही कम भ्रमित होता गया।
मुख्य सीख
मुख्य सबक यह है कि केवल इसलिए कि कोई विधि एक विशिष्ट नियम (जैसे RoPE जोड़ों का सम्मान करना) के लिए गणितीय रूप से पूर्ण है, इसका मतलब यह नहीं है कि वह वास्तविक काम (डेटा को एक छोटे बॉक्स में फिट करना) के लिए सबसे अच्छी होगी। लेखकों ने पाया कि डायनेमिक क्वांटाइजेशन के लिए, डेटा को धागों के पूरे समूह में मिलाना और फैलाना अधिक महत्वपूर्ण है, बजाय इसके कि AI के संरचनात्मक नियमों का सख्ती से पालन किया जाए।
उन्होंने डेटा को घुमाने का कोई नया, बेहतर तरीका नहीं खोजा; इसके बजाय, उन्होंने एक बहुत स्पष्ट कारण खोजा कि क्यों एक दिखने में स्मार्ट, अधिक संरचित दृष्टिकोण वास्तव में विफल रहा। पेयरवाइज़ ट्विस्ट की "स्थानीय" पूर्णता, फुल-हेड ट्विस्ट के "वैश्विक" (global) लाभ को नहीं हरा सकी। अंत में, पेपर सुझाव देता है कि इन AI उपकरणों को डिजाइन करते समय, हमें यह सुनिश्चित करना चाहिए कि हमारे गणितीय लक्ष्य उस क्वांटाइज़र के वास्तविक नियमों से मेल खाते हों जिसका हम उपयोग कर रहे हैं, न कि केवल यह मान लेना चाहिए कि AI के आर्किटेक्चर के संरचनात्मक नियमों का पालन करने से स्वतः ही बेहतर परिणाम मिलेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।