HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models
HyperQuant एक एकीकृत पोस्ट-ट्रेनिंग क्वांटाइजेशन पाइपलाइन है जो रैंडमाइज्ड हैडामार्ड ट्रांसफॉर्म, ऑप्टिमल लैटिस क्वांटाइजेशन, राइस कोडिंग और बायस करेक्शन को जोड़ता है ताकि बड़े भाषा और डिफ्यूजन मॉडल्स के वेट्स (weights) और KV कैशे (KV caches) के लिए रेट-डिस्टॉर्शन-ऑप्टिमल कंप्रेशन प्राप्त किया जा सके, जो विभिन्न बिट-रेट पर मौजूदा तरीकों से बेहतर प्रदर्शन करते हुए लगभग लॉसलेस गुणवत्ता बनाए रखता है।