Unleashing Low-Bit Inference on Ascend NPUs: A Comprehensive Evaluation of HiFloat Formats
यह शोध पत्र Ascend NPUs पर HiFloat स्वरूपों (HiF8 और HiF4) का मूल्यांकन करता है, जो उच्च-विचलन वाले डेटा को संभालने और 4-बिट शासन में सटीकता के पतन को रोकने में पूर्णांक स्वरूपों की तुलना में उनके बेहतर प्रदर्शन को प्रदर्शित करता है, साथ ही कुशल LLM इन्फरेंस के लिए अत्याधुनिक क्वांटाइजेशन फ्रेमवर्क के साथ अनुकूलता बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास किताबों का एक विशाल पुस्तकालय है (ये लार्ज लैंग्वेज मॉडल्स या LLMs हैं, जैसे कि उन्नत AI को चलाने वाले मॉडल)। ये किताबें इतनी बड़ी हैं कि वे एक अकेली शेल्फ पर नहीं समा सकतीं; उन्हें एक पूरे गोदाम की आवश्यकता है। उन्हें आसानी से ले जाने और जल्दी पढ़ने के लिए, हमें उन्हें छोटा करने की आवश्यकता है। इस प्रक्रिया को क्वांटाइजेशन (Quantization) कहा जाता है।
क्वांटाइजेशन को एक हाई-रिज़ॉल्यूशन फोटो को छोटे फ़ाइल आकार में कंप्रेस करने की तरह समझें। आप इसे इतना छोटा बनाना चाहते हैं कि यह आपकी जेब में समा जाए, लेकिन उन विवरणों को न खोएं जो उस तस्वीर को पहचानने योग्य बनाते हैं।
लंबे समय तक, इन AI मॉडलों को छोटा करने का मानक तरीका पूर्णांक (Integers) (पूर्ण संख्याएं जैसे 1, 2, 3) का उपयोग करना था। यह एक पेंटिंग को केवल रंगों के सीमित पैलेट (रंगों के समूह) का उपयोग करके वर्णित करने जैसा है। यह सरल आकृतियों के लिए अच्छा काम करता है, लेकिन जब पेंटिंग में सूक्ष्म ग्रेडिएंट्स, छाया या अचानक चमक (जिसे AI शोधकर्ता "आउटलेयर्स" कहते हैं) आती है, तो पूर्णांक विधि धुंधली हो जाती है।
समस्या: "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)
यह पेपर तर्क देता है कि जैसे-जैसे AI मॉडल अधिक स्मार्ट होते जा रहे हैं, वे अधिक अराजक (chaotic) होते जा रहे हैं। उनका डेटा उतार-चढ़ाव भरा है—कभी बहुत छोटी संख्याएं, तो कभी बहुत बड़े उछाल।
- पूर्णांक (INT8/INT4) एक ऐसे पैमाने की तरह हैं जिस पर समान दूरी के निशान होते हैं। यदि आप एक ही पैमाने से एक चींटी और एक विशाल हाथी को मापने की कोशिश करते हैं, तो या तो आप चींटी का विवरण खो देंगे या हाथी के लिए जगह कम पड़ जाएगी।
- फ्लोटिंग-पॉइंट (FP) प्रारूप एक ज़ूम करने योग्य लेंस की तरह हैं। वे सूक्ष्म विवरणों पर ध्यान केंद्रित कर सकते हैं या विशाल चीजों को देखने के लिए ज़ूम आउट कर सकते हैं, लेकिन यदि आपको इतने ज़ूम की आवश्यकता नहीं है, तो वे अक्षम हो सकते हैं।
समाधान: HiFloat (द "स्मार्ट श्रिंकर")
लेखकों ने HiFloat (विशेष रूप से HiF8 और HiF4) नामक एक नया परिवार पेश किया है। HiFloat को Huawei Ascend NPU चिप्स (वह हार्डवेयर जिस पर AI चलता है) के लिए डिज़ाइन किया गया एक स्मार्ट, अनुकूलन योग्य सूटकेस के रूप में समझें।
यह कैसे काम करता है, पेपर के निष्कर्षों के आधार पर यहाँ दिया गया है:
1. 8-बिट संस्करण (HiF8): "विशेष उपकरण"
जब हम मॉडल को 8 बिट्स (एक मध्यम संपीड़न) तक छोटा करते हैं:
- वेट्स (Weights - स्थिर ज्ञान): पेपर में पाया गया कि AI के "स्थिर" भागों (वेट्स, जो वे तथ्य हैं जिन्हें AI ने याद किया है) के लिए, पुराना पूर्णांक (Integer) तरीका वास्तव में बेहतर है। क्यों? क्योंकि तथ्य आमतौर पर एक संकीर्ण सीमा में केंद्रित होते हैं। यहाँ एक फैंसी ज़ूम लेंस (फ्लोटिंग पॉइंट) का उपयोग करना एक अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा है; यह उस स्थान को बर्बाद करता है जिसकी आपको आवश्यकता नहीं है।
- एक्टिवेशंस (Activations - गतिशील विचार): जब AI वास्तव में सोच रहा होता है और एक वाक्य को प्रोसेस कर रहा होता है, तो संख्याएं बेतहाशा बदलती हैं। यहाँ, HiF8 चमकता है। इसकी "ज़ूम लेंस" क्षमता कठोर पूर्णांक पैमाने की तुलना में अचानक आने वाले उछालों को बहुत बेहतर तरीके से संभालती है।
उपमा (Analogy): यात्रा के लिए पैकिंग करने की कल्पना करें।
- वेट्स (Weights) आपके कपड़े हैं: वे अनुमानित हैं। एक मानक सूटकेस (Integer) सबसे अच्छा काम करता है।
- एक्टिवेशंस (Activations) हवाई अड्डे की भागदौड़ के दौरान आपका सामान है: चीजें हर तरफ उड़ रही हैं। आपको एक लचीले, विस्तार योग्य बैग (HiF8) की आवश्यकता है जो इस अराजकता को समा सके।
2. 4-बिट संस्करण (HiF4): "पदानुक्रमित उत्कृष्ट कृति" (The "Hierarchical Masterpiece")
यह इस पेपर की सबसे बड़ी सफलता है। जब हम मॉडल को अत्यधिक छोटा करने की कोशिश करते हैं (4 बिट्स तक), तो पुराने तरीके बुरी तरह विफल हो जाते हैं।
- विफलता: मानक 4-बिट पूर्णांक एक जटिल परिदृश्य को केवल 16 रंगों के साथ वर्णित करने जैसा है। तस्वीर एक कीचड़ भरे ढेर जैसी हो जाती है। AI अर्थहीन बातें करने लगता है।
- HiF4 का समाधान: HiF4 एक तीन-स्तरीय पदानुक्रम (three-level hierarchy) का उपयोग करता है। कल्पना कीजिए कि आप लोगों की एक विशाल भीड़ को व्यवस्थित कर रहे हैं:
- स्तर 1: आप उन्हें 64 लोगों के ब्लॉकों में समूहित करते हैं और पूरे ब्लॉक को एक सामान्य आकार का अनुमान देते हैं।
- स्तर 2: उस ब्लॉक के अंदर, आप उन्हें 8 छोटे समूहों में विभाजित करते हैं और अनुमान को और सटीक बनाते हैं।
- स्तर 3: अंत में, आप हर 4 लोगों को देखते हैं और उन्हें एक सटीक आकार देते हैं।
यह "रूसी नेस्टिंग डॉल" (Russian Nesting Doll) दृष्टिकोण HiF4 को सामान्य संख्याओं के लिए सटीकता को खराब किए बिना "आउटलेयर्स" (अजीब, बहुत बड़ी संख्याएं) को संभालने की अनुमति देता है। यह एक ऐसे मानचित्र की तरह है जो एक ही समय में पूरे देश को दिखाता है, फिर शहर पर ज़ूम करता है, और फिर सड़क पर ज़ूम करता है।
परिणाम: आपको इससे क्यों फर्क पड़ना चाहिए?
शोधकर्ताओं ने वास्तविक AI मॉडल (Qwen3-8B और openPangu-7B) पर इसका परीक्षण किया और पाया:
- कोई क्रैश नहीं: जब उन्होंने 4-बिट प्रिसिजन पर AI चलाने की कोशिश की, तो पुराने तरीकों (पूर्णांकों) के कारण AI "कोलैप्स" हो गया और बेतुके उत्तर देने लगा। HiF4 ने AI को लगभग उतना ही प्रभावी बनाए रखा जितना कि पूर्ण, बिना कंप्रेस किया हुआ संस्करण।
- गति और दक्षता: चूंकि HiF8 और HiF4 विशेष रूप से Huawei के Ascend चिप्स के लिए बनाए गए हैं, वे न केवल जगह बचाते हैं; वे तेज़ चलते हैं और कम ऊर्जा का उपयोग करते हैं।
- संगतता (Compatibility): यह उन अन्य मौजूदा उपकरणों के साथ अच्छी तरह से काम करता है जो AI को कुशलतापूर्वक चलाने में मदद करते हैं।
मुख्य बात (The Bottom Line)
यह पेपर एक मूविंग ट्रक के लिए नई, सुपर-कुशल पैकिंग तकनीक खोजने जैसा है।
- यदि आप मानक फर्नीचर (Weights) ले जा रहे हैं, तो मानक बक्सों (Integers) का उपयोग करें।
- यदि आप नाजुक, अजीब आकार की कलाकृतियां (Activations) ले जा रहे हैं, तो कस्टम फोम इंसर्ट (HiF8) का उपयोग करें।
- यदि आप एक पूरे हवेली को एक छोटी वैन में (4-bit inference) फिट करने की कोशिश कर रहे हैं, तो आपको HiF4 पदानुक्रमित प्रणाली की आवश्यकता है। यह एकमात्र तरीका है जिससे सब कुछ टूटने से बच सकता है और सब कुछ फिट भी हो सकता है।
AI के भविष्य के लिए, विशेष रूप से Huawei के चिप्स जैसे विशिष्ट हार्डवेयर पर, HiFloat इन विशाल दिमागों को उनकी बुद्धिमत्ता खोए बिना छोटा, तेज़ और सस्ता बनाने का एक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।