Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving
यह शोध पत्र विविध मॉडलों और कार्यों में KV-कैश अनुकूलन तकनीकों (KIVI, TurboQuant, SnapKV और CaM सहित) का एक व्यापक वर्कलोड-जागरूक बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि केवल संपीड़न अनुपात (compression ratio) एंड-टू-एंड प्रदर्शन का एक खराब भविष्यवक्ता है और यह प्रदर्शित करता है कि इष्टतम तंत्र चयन विशिष्ट वर्कलोड आवश्यकताओं पर बहुत अधिक निर्भर करता है।