An Empirical Study of OpenPangu Quantization on Ascend NPUs
यह शोध पत्र Huawei Ascend 910B1 NPUs पर OpenPangu 1B और 7B मॉडलों के लिए विभिन्न पोस्ट-ट्रेनिंग क्वांटाइजेशन विधियों का मूल्यांकन करने वाला एक अनुभवजन्य अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि 8-बिट क्वांटाइजेशन प्रभावी रूप से लॉसलेस है जबकि 4-बिट केवल बड़े मॉडल के लिए व्यावहारिक बना हुआ है, और अल्ट्रा-लो प्रिसिजन सेटिंग्स काफी हद तक विफल रहती हैं।