VQKV: High-Fidelity and High-Ratio Cache Compression via Vector-Quantization

إليك ملخص تقني مفصل لورقة البحث بعنوان "VQKV: ضغط ذاكرة التخزين المؤقت (Cache) عالي الدقة وعالي النسبة عبر التكميم المتجهي (Vector-Quantization)".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) عقبة حرجة في البيئات محدودة الموارد بسبب ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache)، والتي تنمو خطياً مع طول السياق. ومع زيادة أطوال السياق لدعم الاعتمادات طويلة المدى، تصبح البصمة الذاكرية لـ KV cache باهظة الثمن، مما يحد من عمليات النشر على الأجهزة الاستهلاكية.

تعاني الحلول الحالية من مقايضات جوهرية:

• استبعاد الرموز (مثل SnapKV و H2O): تحقق ضغطاً عالياً عن طريق التخلص من الرموز (tokens)، ولكن هذا يسبب فقداناً لا رجعة فيه للمعلومات، مما يؤدي إلى تدهور الأداء في المهام التي تتطلب استرجاعاً دقيقاً طويل المدى.
• تقليل أبعاد الميزات (مثل ASVD و Palu): تضغط أبعاد المتجهات ولكنها غالباً ما تتطلب تدريباً إضافياً أو ضبطاً دقيقاً (fine-tuning) أو تضحي بالدقة عند نسب الضغط العالية.
• التكميم القياسي (مثل KIVI): يقلل عرض البت لكل قيمة ولكنه يفشل في استغلال الارتباطات داخل المتجه الواحد (intra-vector correlations)، مما يؤدي إلى أخطاء تكميم كبيرة وانخفاض في الأداء عند مستويات الضغط الشديدة.

هناك نقص في وجود طريقة لا تتطلب تدريباً (training-free) تحقق في آن واحد نسب ضغط عالية ودقة إعادة بناء عالية.

2. المنهجية: VQKV

يقترح المؤلفون VQKV، وهو إطار عمل مبتكر لا يتطلب تدريباً يطبق التكميم المتجهي (Vector Quantization - VQ) على ذاكرة KV cache. بدلاً من معاملة متجهات KV كقيم قياسية مستقلة، يقوم VQKV بتكميم المتجهات بأكملها إلى مؤشرات صحيحة (integer indices) مدمجة باستخدام كتاب رموز (codebook)، مما يحافظ على الارتباطات الهيكلية.

المكونات الأساسية:

1. التكميم المتجهي البسيط المتبقي (Residual Simple Vector Quantization - RSimVQ):

   • يستخدم VQKV استراتيجية التكميم المتجهي المتبقي. يقوم بخرائط متجهات KV عالية الأبعاد $x$ إلى مجموعة من المؤشرات الصحيحة عن طريق البحث المتكرر عن أقرب مدخل في عدة كتب رموز.
   • العملية:
     1. البحث عن أقرب مدخل $q_{z_1}$ في كتاب الرموز الأول $Q_1$ لتقريب $x$.
     2. حساب المتبقي (residual) $r = x - q_{z_1}$.
     3. تمرير المتبقي إلى كتاب الرموز التالي $Q_2$ لإيجاد $q_{z_2}$.
     4. تكرار العملية لـ $N$ من المراحل.
   • إعادة البناء: يتم إعادة بناء المتجه الأصلي عن طريق جمع المدخلات المستردة: $\hat{x} = \sum_{i=1}^{N} Q_i[z_i]$.
   • التدريب: يتم تدريب كتب الرموز مسبقاً على عينة صغيرة من البيانات (0.1% من OpenWebText) باستخدام دالة خسارة تقلل من خطأ إعادة البناء مع ضمان تدفق التدرج عبر الاختيار المنفصل (باستخدام عمليات stop-gradient).

2. التعامل مع RoPE (تضمينات الموضع الدوارة):

   • التحدي الرئيسي هو أن RoPE يقدم خصائص تردد غير متجانسة، مما يجعل التكميم المباشر صعباً.
   • يستخدم VQKV تصميماً متبقياً (residual design) حيث يتم توزيع التباينات الناتجة عن RoPE عبر عدة كتب رموز. يسمح هذا للنظام بالتعامل بمتانة مع قيم مفاتيح (key cache) المدورة بواسطة RoPE دون الحاجة إلى تدريب تكميم مدرك لـ RoPE.

3. التكامل مع الاستنتاج (Inference Integration):

   • مرحلة التعبئة المسبقة (Prefilling Stage): يقوم النموذج بحساب كامل KV cache، ويضغطه إلى مؤشرات صحيحة (KV codes) باستخدام كتب الرموز المدربة مسبقاً، ويخزن الأكواد فقط. يتم استخدام الـ cache كامل الدقة الأصلي لعملية التمرير الأمامي الأولية.
   • مرحلة فك التشفين (Decoding Stage):
     • إعادة البناء عند الطلب: على عكس الطرق التي تعيد بناء التسلسل بأكمله، يتكامل VQKV مع FlashAttention. فهو يعيد بناء مدخلات KV المحددة المطلوبة لخطوة حساب الانتباه الحالية فقط.
     • النافذة المنزلقة المحلية: لإدارة الذاكرة، يحافظ النظام على نافذة محلية من الرموز الأخيرة غير المضغوطة ويقوم بضغط الرموز "الوسطى" البينية.
     • التحسين: تم تنفيذ نوى (kernels) مخصصة بلغة Triton لدمج عمليات التكميم وعمليات الانتباه، مما يقلل من العبء الحسابي.

3. المساهمات الرئيسية

• ضغط عالي الدقة لا يتطلب تدريباً: يعد VQKV أول طريقة تنجح في تطبيق التكميم المتجهي على KV caches دون الحاجة إلى إعادة تدريب النموذج أو الضبط الدقيق.
• نسبة عالية ودقة عالية في آن واحد: يتغلب على المقايضة التقليدية، محققاً نسبة ضغط بلغت 82.8% مع الاحتفاظ بـ 98.6% من أداء النموذج الأساسي.
• المتانة تجاه RoPE: يقلل تصميم التكميم المتجهي المتبقي بفعالية من أخطاء إعادة البناء الناتجة عن تحويلات RoPE، وهي نقطة فشل شائعة في طرق الضغط الأخرى.
• كفاءة الذاكرة: من خلال تخزين المؤشرات الصحيحة بدلاً من المتجهات عائمة النقطة (floating-point)، فإنه يقلل بشكل كبير من بصمة الذاكرة، مما يسمح بأطوال توليد أطول بـ 4.3 مرة من النموذج الأساسي على نفس الأجهزة.

4. النتائج التجريبية

تم تقييم الطريقة على نماذج LLaMA3.1-8B و LLaMA3.2-3B عبر ثلاثة اختبارات رئيسية:

• LongBench:

  • حقق VQKV متوسط درجة قدره 33.1 (LLaMA3.1-8B) مع نسبة ضغط 82.8%، وهو ما يقارب تقريباً نموذج الـ cache الكامل (33.5) ويتفوق بشكل كبير على ASVD (21.2) و Palu (28.6) و KIVI (30.7).
  • في بعض المهام المحددة، تجاوز VQKV حتى النموذج الأساسي غير المضغوط.

• اختبار الإبرة في كوم القش (Needle-In-A-Haystack - NIAH):

  • حافظ VQKV على درجة مثالية 100% عبر جميع أطوال السياق (حتى 32K)، تماماً مثل نموذج الـ cache الكامل.
  • أظهر المنافسون مثل ASVD و Palu تدهوراً كبيراً (على سبيل المثال، انخفض ASVD إلى ~36% في LLaMA3.2-3B).

• اختبار RULER:

  • أظهر VQKV قدرة فائقة على التعامل مع السياق الطويل، محققاً متوسط درجة 87.31 على LLaMA3.1-8B (مقابل 92.78 للنموذج الأساسي)، متفوقاً بمراحل على SnapKV (74.16) و Palu (63.24).

• كفاءة الذاكرة (اختبار واقعي):

  • على وحدة معالجة رسوميات واحدة NVIDIA RTX 4090 (48GB):
    • النموذج الأساسي: واجه خطأ نفاذ الذاكرة (OOM) عند حوالي 190 ألف رمز.
    • VQKV: دعم تسلسلات تتجاوز 824 ألف رمز (زيادة قدرها 4.33× في طول التوليد) مع استخدام حوالي نصف ذروة الذاكرة للنموذج الأساسي عند الأطوال المتساوية.

5. الأهمية

يمثل VQKV قفزة نوعية في كفاءة استنتاج النماذج اللغوية الكبيرة. من خلال الاستفادة من التكميم المتجهي (Vector Quantization)، فإنه يحل معضلة "الضغط مقابل الدقة" التي أرقت طرق عدم التدريب السابقة.

• الأثر العملي: يتيح نشر النماذج الكبيرة مع نوافذ سياق ضخمة على الأجهزة الاستهلاكية (مثل RTX 4090)، مما يجعل تحليل المستندات الطويلة والمحادثات الممتدة أمراً ممكناً دون الحاجة لأجهزة باهظة الثمن.
• القابلية للتعميم: الطريقة مستقلة عن النموذج ولا تتطلب تدريباً، مما يسمح بالنشر الفوري على أي نموذج لغوي كبير مدرب مسبقاً دون تعديل الأوزان أو إعادة التدريب.
• الاتجاه المستقبلي: يضع VQKV نموذجاً جديداً لضغط الذاكرة المؤقتة، مما يشير إلى أن الحفاظ على بنية المتجه عبر التكميم أكثر فعالية من التكميم القياسي أو استبعاد الرموز في الحفاظ على ذكاء النموذج.

القيود: تشير الورقة إلى أنه بينما قامت النوى المخصصة بتحسين السرعة، لا تزال هناك مساحة لتقليل العبء الحسابي الناتج عن عملية التكميم أثناء مرحلة فك التشفين (decoding).