The Pitfalls of KV Cache Compression
تكشف هذه الورقة أنه في حين أن ضغط ذاكرة التخزين المؤقت لـ KV يحسن من معدل الإنتاجية، إلا أنه يمكن أن يؤدي إلى تدهور الأداء بشكل حاد في سيناريوهات التعليمات المتعددة عن طريق التسبب في تجاهل تعليمات محددة وتسرب مطالبات النظام، ولكنها تقترح تعديلات بسيطة على سياسة الاستبعاد للتخفيف من هذه المشكلات.