OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization
यह शोध पत्र OSAQ का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) पोस्ट-ट्रेनिंग क्वांटाइजेशन विधि है जो आउटलेर्स को दबाने और बिना किसी इन्फरेंस ओवरहेड के लो-बिट LLM क्वांटाइजेशन सटीकता में महत्वपूर्ण सुधार करने के लिए हेसियन के नल स्पेस (Hessian's null space) के लो-रैंक गुण का लाभ उठाते हुए एक एडिटिव वेट ट्रांसफॉर्मेशन (additive weight transformation) का निर्माण करता है।