High-Rate Quantized Matrix Multiplication II
यह शोध पत्र यह प्रदर्शित करते हुए वेट-ओनली (weight-only) LLM पोस्ट-ट्रेनिंग क्वांटाइजेशन के लिए उच्च-दर क्वांटाइज्ड मैट्रिक्स गुणन की जांच करता है कि कैसे कोवेरिएंस-अवेयर वॉटरफिलिंग (covariance-aware waterfilling) समान-दर आवंटन (equal-rate allocation) में सुधार करती है, वॉटरएसआईसी (WaterSIC) योजना के बेसिस-फ्री और निकट-इष्टतम प्रदर्शन का विश्लेषण करता है, और यह दिखाता है कि रैंडम रोटेशन के साथ GPTQ तुलनीय निकट-इष्टतम परिणाम प्राप्त करता है।