OffQ: Taming Structured Outliers in LLM Quantization by Offsetting
OffQ एक नवीन लो-बिट क्वांटाइजेशन विधि है जो टॉप-1 PCA के माध्यम से एक लो-डायमेंशनल आउटलायर सबस्पेस की पहचान करके, उच्च-परिमाण वाले एक्टिवेशन्स को एक एकल चैनल में रोटेट करके, और उनकी परिमाण को एक साझा ऑफसेट में परिवर्तित करके लार्ज लैंग्वेज मॉडल्स में एक्टिवेशन आउटलायर्स को कम करती है ताकि कुशल और सटीक W4A4KV4 क्वांटाइजेशन सक्षम किया जा सके।