OrpQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization
यह शोध पत्र OrpQuant को प्रस्तुत करता है, जो एक मल्टीप्लायर-मुक्त (multiplier-free) पावर-ऑफ-टू (Power-of-Two) क्वांटाइजेशन फ्रेमवर्क है जो लॉगरिदमिक लैटिस के निम्न कोणीय रिज़ॉल्यूशन (low angular resolution) को दूर करने के लिए ज्यामितीय ऑर्थोगोनल रेसिडुअल प्रोजेक्शन (Geometric Orthogonal Residual Projection) का उपयोग करता है, जिससे एज डिवाइसेस पर LLMs और ViTs की अत्यधिक कम अंशांकन समय (calibration time) और हार्डवेयर जटिलता के साथ कुशल, उच्च-सटीक तैनाती सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल 3D मूर्ति (एक विशाल AI मॉडल) को एक छोटे, चपटे कार्डबोर्ड बॉक्स (एक एज डिवाइस जैसे स्मार्टफोन या ड्रोन) में फिट करने की कोशिश कर रहे हैं। समस्या यह है कि मूर्ति बहुत बड़ी है और जो उपकरण आप आमतौर पर इसे छोटा करने के लिए उपयोग करते हैं (मानक गणितीय संचालन) वे इस छोटे बॉक्स के लिए बहुत भारी और धीमे हैं।
यह पेपर एक नई विधि पेश करता है जिसे ORP (ऑर्थोगोनल रेसिडुअल प्रोजेक्शन) कहा जाता है ताकि इस समस्या को हल किया जा सके। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:
1. समस्या: "रूलर" (पैमाना) टूटा हुआ है
अधिकांश AI मॉडल बहुत सारे भारी गुणा (जैसे एक जटिल कैलकुलेटर) का उपयोग करते हैं। उन्हें छोटे उपकरणों पर चलाने के लिए, वैज्ञानिक उन्हें "क्वांटाइज" करने की कोशिश करते हैं—यानी, संख्याओं को सरल बनाने के लिए उन्हें राउंड ऑफ करना।
यह पेपर तर्क देता है कि इन संख्याओं को सरल बनाने की वर्तमान विधि (जिसे पावर-ऑफ-टू या PoT कहा जाता है) एक ऐसे रूलर की तरह है जिसमें केवल 1, 2, 4, 8 और 16 पर निशान हैं।
- दोष: यदि आप "3" पर स्थित किसी चीज़ को मापने की कोशिश करते हैं, तो आपको उसे 2 या 4 तक राउंड ऑफ करना होगा। यदि आप "6" पर किसी चीज़ को मापते हैं, तो आप उसे 4 या 8 तक राउंड ऑफ करते हैं।
- परिणाम: उच्च-आयामी स्थान (जहाँ AI रहता है) में, यह दिशा में बड़े "अंतराल" (gaps) पैदा करता है। यह एक दिशा-सूचक यंत्र (कंपास) का उपयोग करने जैसा है जिसमें केवल उत्तर, पूर्व, दक्षिण और पश्चिम ही उपलब्ध हैं। यदि आपको उत्तर-पूर्व की ओर इशारा करना है, तो आपको अनुमान लगाना होगा, और आप दिशा गलत कर देंगे। पेपर इसे "लो एंगुलर रेजोल्यूशन रिजीम" (कम कोणीय रिज़ॉल्यूशन क्षेत्र) कहता है। AI अपना दिशा बोध खो देता है और उसकी बुद्धिमत्ता गिर जाती है।
2. समाधान: "दो-चरणीय" मानचित्र
एक अकेले, टूटे हुए रूलर में मूर्ति को जबरदस्ती फिट करने के बजाय, ORP एक चतुर दो-चरणीय मानचित्र का उपयोग करता है।
- चरण 1: मुख्य आधार (प्राइमरी बेसिस): यह टूटे हुए रूलर पर सबसे करीबी मानक निशान चुनता है (जैसे, "4")।
- चरण 2: सुधार (रेसिडुअल): यह महसूस करता है, "रुको, वास्तविक संख्या वास्तव में 4.5 थी।" हार मानने के बजाय, यह उस अंतर (रेसिडुअल) की गणना करता है और उस लापता हिस्से का वर्णन करने के लिए एक दूसरा, लंबवत (perpendicular) दिशा ढूंढता है।
- जादू: इस मुख्य आधार और इस दूसरे "सुधार" दिशा को जोड़कर, यह उसी सरल "पावर-ऑफ-टू" नियमों का उपयोग करते हुए भी बहुत उच्च सटीकता के साथ संख्या का वर्णन कर सकता है।
इसे दिशा देने के उदाहरण से समझें।
- पुराना तरीका: "उत्तर की ओर जाओ।" (यदि आपको उत्तर-उत्तर-पूर्व की ओर जाना था, तो आप अपने गंतव्य से चूक सकते हैं)।
- ORP का तरीका: "उत्तर की ओर जाओ, फिर एक छोटा कदम पूर्व की ओर लो।" आपने अभी भी केवल सरल दिशाओं का उपयोग किया, लेकिन उनका संयोजन आपको लक्ष्य के बहुत करीब ले आता है।
3. हार्डवेयर: भारी काम नहीं
आमतौर पर, इन राउंडिंग एरर्स को ठीक करने के लिए, कंप्यूटर जटिल गणित (गुणा) का उपयोग करते हैं जो धीमा होता है और बहुत अधिक बैटरी खर्च करता है।
- ORP की ट्रिक: क्योंकि यह "पावर-ऑफ-टू" संख्याओं का उपयोग करता है, कंप्यूटर को गुणा करने की आवश्यकता नहीं होती है। इसे बस बिट्स को शिफ्ट (बाएं या दाएं खिसकाना) करने और जोड़ने की आवश्यकता होती है।
- उपमा: एक कारखाने की कल्पना करें। पुराना तरीका हर बॉक्स को हिलाने के लिए एक विशाल, भारी क्रेन (मल्टीप्लायर) का उपयोग करता है। यह धीमा है और बहुत जगह लेता है। ORP उस क्रेन को एक साधारण कन्वेयर बेल्ट और बक्सों को धकेलने वाले इंसान (शिफ्ट-एंड-ऐड) से बदल देता है। यह तेज़ है, कम ऊर्जा का उपयोग करता है, और एक छोटे कमरे में फिट हो जाता है।
4. परिणाम: तेज़ और सटीक
लेखकों ने दो प्रकार के AI पर इसका परीक्षण किया:
- लैंग्वेज मॉडल्स (LLMs): जैसे प्रसिद्ध LLaMA-2।
- विज़न मॉडल्स (ViTs): वह AI जो चित्रों को देखता है।
उन्होंने क्या पाया:
- सेटअप की गति: आमतौर पर, इन मॉडलों को ठीक करने में घंटों का "कैलिब्रेशन" (प्रशिक्षण) लगता है। ORP इसे लगभग 15 मिनट में कर देता है। यह एक पहेली को पूरा दिन बिताने के बजाय तुरंत हल करने जैसा है।
- सटीकता: बहुत कम परिशुद्धता (3-बिट या 4-बिट) के साथ भी, ORP AI को स्मार्ट बनाए रखता है। यह भारी, धीमे तरीकों के लगभग समान प्रदर्शन करता है, लेकिन बिना भारी हार्डवेयर के।
- हार्डवेयर की गति: जब उन्होंने चिप डिजाइन का अनुकरण (सिमुलेशन) किया, तो उन्होंने पाया कि चूंकि उन्होंने भारी "मल्टीप्लायर" वाले हिस्सों को हटा दिया था, इसलिए चिप बिना ओवरहीट हुए या डेटा के ट्रैफिक जाम में फंसे बिना बहुत उच्च गति (2.85 GHz) पर चल सकती थी।
सारांश
ORP एक नया तरीका है जिससे विशाल AI मॉडलों को छोटा किया जा सकता है ताकि वे छोटे उपकरणों पर चल सकें। भारी, धीमे गणित का उपयोग करने के बजाय, यह दो सरल दिशाओं को मिलाकर एक सटीक उत्तर प्राप्त करने के लिए एक चतुर ज्यामितीय ट्रिक का उपयोग करता है। यह AI को तेज़, अधिक ऊर्जा-कुशल और सेटअप करने में बहुत तेज़ बनाता है, और यह सब बिना किसी जटिल हार्डवेयर मल्टीप्लायर के संभव होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।