HeRo-Q: A General Framework for Stable Low Bit Quantization via Hessian Conditioning
HeRo-Q एक नवीन पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो हेसियन मैट्रिक्स (Hessian matrix) को कंडिशन करने के लिए एक सीखने योग्य रोटेशन-कंप्रेशन मैट्रिक्स लागू करके लो-बिट रिजीम्स (low-bit regimes) में स्थिरता को बढ़ाता है, जिससे क्वांटाइजेशन शोर के प्रति संवेदनशीलता कम होती है और यह GPTQ और AWQ जैसे अत्याधुनिक तरीकों से बेहतर प्रदर्शन करता है।