🤖 machine learning
Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression
यह शोध पत्र हुरविट्ज़ क्वार्टरनियन मल्टीप्लिकेटिव क्वांटाइजेशन (HQMQ) को प्रस्तुत करता है, जो एक कैलिब्रेशन-मुक्त विधि है जो 4-तत्वों वाले चंक्स को एक निश्चित हुरविट्ज़ समूह और यादृच्छिक माध्यमिक कोडबुक्स के उत्पाद के माध्यम से क्वांटाइज किए गए क्वार्टरनियन के रूप में निरूपित करके KV कैश को संकुचित करती है, जिससे विविध आधुनिक LLMs में 5.05x तक संपीड़न के साथ लगभग fp16 सटीकता प्राप्त होती है और कैलिब्रेशन की आवश्यकता समाप्त हो जाती है।