ملخص تقني: CriticalKV

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) القائمة على بنية Transformer تحديات كبيرة في النشر بسبب التكاليف الحسابية والتخزينية التربيعية المرتبطة بذاكرة المفتاح-القيمة (KV cache) أثناء عملية التوليد التكراري (autoregressive generation). ومع زيادة أطوال التسلسلات، تتوسع ذاكرة KV بشكل هائل، مما يؤدي إلى ارتفاع استهلاك ذاكرة وحدة معالجة الرسومات (GPU) وزيادة زمن انتقال الإدخال/الإخراج (I/O latency).

بينما تحاول طرق حذف الذاكرة المخبئية الحديثة (مثل H2O وScissorhands وSnapKV) التخفيف من ذلك عن طريق حذف المدخلات غير الحرجة، إلا أنها تعتمد بشكل كبير على الاستدلالات التجريبية (empirical heuristics). وتحديداً، تفترض هذه الطرق أن المدخلات ذات أوزان الانتباه الأعلى هي الأكثر أهمية. ويجادل المؤلفون بأن هذا الافتراض يفتقر إلى أساس رسمي، ويثير سؤالين رئيسيين:

1. ما هي المعايير التي تحدد حقاً مدى أهمية (criticality) مدخل ذاكرة KV؟
2. هل الاعتماد على أوزان الانتباه وحدها كافٍ لتحديد المدخلات الحرجة؟

وتفترض الورقة أن الطرق الحالية تهمل الدور الحاسم لحالات القيمة (value states) ومصفوفات المعلمات مسبقة التدريب (pretrained parameter matrices)، مما قد يؤدي إلى قرارات حذف غير مثالية وتدهور كبير في الجودة (فقدان الضغط).

المنهجية

تقدم الورقة CriticalKV، وهو إطار عمل رسمي لتحديد مدخلات ذاكرة KV الحرجة بناءً على تحليل اضطراب المخرجات (output perturbation analysis).

الإطار النظري

يعرف المؤلفون مشكلة تحديد المدخلات الحرجة بأنها تقليل الاضطراب في مخرجات الانتباه عند استبدال ذاكرة KV الكاملة بمجموعة فرعية من المدخلات الحرجة.

• تعريف الاضطراب: يتم تعريف اضطراب المخرج $L$ بأنه مسافة $L_1$ بين مخرج الانتباه للذاكرة الكاملة ($o$) والمجموعة الفرعية المختارة ($\hat{o}$): $L = \|o - \hat{o}\|_1$.
• اشتقاق الحد الأعلى: من خلال التحليل النظري، يشتق المؤلفون حداً أعلى $\theta$ لهذا الاضطراب. ومن الأهمية بمكان أن هذا الحد يكشف أن الاضطراب لا يتأثر فقط بأوزان الانتباه ($A$) ولكن أيضاً بـ حالات القيمة المسقطة ($V W_O$)، حيث $W_O$ هي مصفوفة إسقاط المخرجات.
• الرؤية الجوهرية: يوضح الحد المستمد أن تقليل الاضطراب يتطلب مراعاة كل من أوزان الانتباه وحجم حالات القيمة المسقطة عبر مصفوفة المعلمات. إن الاعتماد فقط على أوزان الانتباه يقلل من حد أعلى "مخفف" (relaxed upper bound)، وهو أمر غير مثالي من الناحية النظرية.

الخوارزمية: الاختيار المقيد بالاضطراب

لتحويل هذه النظرية إلى تطبيق عملي، يقترح المؤلفون خوارزمية اختيار جشعة مكونة من مرحلتين (الخوارزمية 1) مصممة لتقليل الحد الأعلى المستمد لأسوأ حالة اضطراب:

1. المرحلة الأولى (أوزان الانتباه العالية): يتم تخصيص جزء من ميزانية الذاكرة المخبئية ($b' = b \times \alpha$، حيث $\alpha=0.5$) لاختيار المدخلات ذات أوزان الانتباه الأعلى. تضمن هذه المرحلة أن الوزن التراكمي للانتباه للمجموعة المختارة يتجاوز 50% من الإجمالي، مما يحقق افتراضاً رئيسياً للحد النظري.
2. المرحلة الثانية (المقيدة بالاضطراب): تُستخدم الميزانية المتبقية ($b''$) لاختيار المدخلات التي تزيد معاً حاصل ضرب أوزان الانتباه ومعيار $L_1$ لحالات القيمة المسقطة ($A_i \|V_{i,:}\|_1$). تستهدف هذه الخطوة مباشرة تقليل الحد الأعلى للاضطراب المستمد.

تم تصميم الخوارزمية كـ تحسين قابل للتركيب والتشغيل المباشر (plug-and-play enhancement) يمكن دمجه في خطوط أنابيب حذف الذاكرة المخبئية الحالية (مثل SnapKV وAdaKV وHeadKV) دون تغيير عمليات التجميع الأساسية الخاصة بها.

المساهمات الرئيسية

1. تعريف رسمي للمشكلة: تعد هذه الورقة الأولى التي تصيغ مشكلة اختيار مدخلات الذاكرة الحرجة من منظور اضطراب المخرجات، متجاوزة الاستدلالات التجريبية.
2. رؤية نظرية: تحدد أن أوزان الانتباه وحدها غير كافية لتحديد المدخلات الحرجة؛ فحالات القيمة المسقطة عبر مصفوفة المعلمات ضرورية بنفس القدر.
3. خوارزمية مبتكرة: تقترح خوارزمية اختيار مقيدة بالاضطراب تعمل على تحسين أسوأ حالة اضطراب للمخرجات.
4. تحسين شامل: يعمل الأسلوب كتحسين شامل لتقنيات الحذف الحالية ذات الأداء العالي (SOTA)، مما يتطلب عبئاً حسابياً ضئيلاً.

النتائج التجريبية

قيم المؤلفون CriticalKV من خلال دمجه مع ثلاث طرق حذف من الفئة الرائدة (SnapKV وAdaKV وHeadKV) عبر ثلاثة نماذج لغوية كبيرة مختلفة (Llama-3.1-8B وMistral-7B-v0.3 وQwen2.5-32B) على 29 مجموعة بيانات من اختبارات Ruler وLongBench.

• مكاسب الأداء: في المتوسط، قللت الخوارزمية من فقدان الضغط بأكثر من النصف عبر جميع التكوينات المختبرة.
  • في اختبار Ruler (حجم ذاكرة 40%)، أدى دمج الطريقة مع HeadKV في نموذج Qwen2.5-32B إلى تقليل متوسط الفقد من 13.7% إلى 3.4%.
  • في LongBench، حسنت الطريقة الأداء في 88 من أصل 90 حالة اختبار في مجالات الاعتماد الطويل.
• المتانة: كانت التحسينات متسقة عبر أحجام الذاكرة المتنوعة (من 2.5% إلى 100%) وبنيات النماذج المختلفة.
• الكفاءة: تقدم الخوارزمية عبئاً حسابياً ضئيلاً. فقد زاد وقت التحضير (TTFT) بمقدار ~0.06 ثانية فقط لحجم دفعة (batch size) قدره 1 عند طول سياق 32 ألف، وظل زمن انتقال فك التشفيد (decoding latency) مطابقاً لطرق الحذف الأساسية.
• تحليل الاضطراب: أكد التحليل التجريبي أن الخوارزمية تقلل من اضطراب المخرجات في أكثر من 92% من رؤوس الانتباه لنماذج Llama وتخفض الاضطراب بشكل كبير في الحالات المخفية للطبقة النهائية.

الأهمية والادعاءات

تدعي الورقة تقديم منظور جديد ومؤسس رسمياً لحذف الذاكرة المخبئية. ومن خلال نقل التركيز من الاستدلالات الحدسية لأوزان الانتباه إلى التقليل النظري لاضطراب المخرات، تعالج CriticalKV قصوراً جوهرياً في استراتيجيات الحذف الحالية.

يؤكد المؤلفون أن عملهم:

• يوفر تبريراً نظرياً لسبب أهمية حالات القيمة في حذف الذاكرة المخبئية.
• يقدم حلاً عملياً منخفض التكلفة يحسن جودة التوليد بشكل كبير تحت قيود الذاكرة.
• يفتح آفاقاً واعدة للأبحاث المستقبلية في تحسين اختيار الذاكرة الحرجة من خلال التحليل النظري لاضطراب المخرات.

الكود متاح للعموم، ويشير المؤلفون إلى أن المستودع يستضيف نسخة محسنة من نهجهم في دراسة لاحقة.