Tamarin (HSQ): Reversible Hierarchical KV-Cache Compression for LLM Inference
टैमरिन (HSQ) एक प्रतिवर्ती, तीन-स्तरीय पदानुक्रमित KV-कैश संपीड़न योजना पेश करता है जो लंबी-संदर्भ वाली LLM इन्फरेंस के लिए बेसलाइन परप्लेक्सिटी और रिट्रीवल सटीकता को बनाए रखते हुए 12–28× GPU मेमोरी रिडक्शन प्राप्त करने के लिए टोकन को एक फोकल टियर, सीखे गए सारांश वेक्टर (learned summary vectors), और एक CPU-आधारित आर्काइव में रूट करता है।