CONF-KV: Confidence-Aware KV Cache Eviction with Mixed-Precision Storage for Long-Horizon LLM

ملخص تقني: CONF-KV

بيان المشكلة
يواجه الاستنتاج طويل الأمد للنماذج اللغوية الكبيرة (LLM) عقبة حرجة حيث تصبح ذاكرة المفتاح-القيمة (KV cache) هي المستهلك المهيمن لذاكرة وحدة معالجة الرسومات (GPU)، مما يؤدي إلى زيادة زمن انتقال الانتباه لكل رمز (token) بشكل خطي مع طول التسلسل. تعتمد سياسات الإخلاء الحالية، مثل النوافذ المنزلقة أو الطرق القائمة على الانتباه التاريخي (مثل H2O وSCISSORHANDS)، على الحداثة الساكنة أو الإشارات الماضية لتحديد الرموز التي يجب الاحتفاظ بها. غالبًا ما تفشل هذه النهج في استغلال الإشارة المتاحة عند كل خطوة فك تشفير: عدم اليقين الحالي للنموذج. وبناءً على ذلك، قد تؤدي السياسات الساكنة إلى إخلاء السياق قبل أوانه أثناء فترات التوليد الصعبة، أو الاحتفاظ برموز غير ضرورية عندما يكون النموذج واثقًا، مما يؤدي إلى مقايضة دون المستوى الأمثل بين استخدام الذاكرة وجودة التوليد.

المنهجية: CONF-KV
يقترح المؤلفون CONF-KV، وهو مدير لذاكرة المفتاح-القيمة مدرك للثقة، يقوم بضبط ميزانية ذاكرة التخزين المؤقت ديناميكيًا بناءً على توزيع الرمز التالي الحالي للنموذج. يعمل النظام من خلال الآليات التالية:

1. تقدير الثقة: في كل خطوة فك تشفير، تقوم الطريقة بتحويل القيم المنطقية (logits) إلى درجة ثقة قياسية ($c$). هذه الدرجة هي مزيج مرجح من الإنتروبيا المعيارية، وهامش الاحتمالية اللوغاريتمية بين أعلى رمزين، واحتمالية الرمز الأعلى.
   $$c = w_H(1 - \hat{H}) + w_m\sigma(m) + w_p p_{(1)}$$
   حيث $\hat{H}$ هي الإنتروبيا المعيارية، و$m$ هو الهامش اللوغاريتمي، والأوزان محددة بـ $(0.4, 0.3, 0.3)$.

2. اختيار الميزانية التكيفي: تحدد عتبة $\tau$ ميزانية التخزين المؤقت ($N$) للخطوة الحالية.

   • إذا كان $c \ge \tau$ (ثقة عالية)، يتم اختيار ميزانية ضيقة ($N_{high}$)، مما يسمح بالإخلاء الشرس.
   • إذا كان $c < \tau$ (عدم يقين/ثقة منخفضة)، يتم اختيار ميزانية أكثر تساهلًا ($N_{low}$) للاحتفاظ بمزيد من السياق.
     يخلق هذا ملفًا ذاكرِيًا بنمط "أسنان المنشار" حيث تتوسع الذاكرة أثناء الفترات غير المستقرة وتتقلص أثناء الفترات الواثقة.

3. ترتيب الرموز والإخلاء: ضمن الميزانية المختارة، يتم ترتيب الرموز حسب درجة مركبة تجمع بين كتلة الانتباه للمتوسط المتحرك الأسي (EMA) والحداثة. تضمن نافذة محمية صلبة ($P$) عدم إخلاء أحدث الرموز أبدًا للحفاظ على التماسك المحلي.

4. تكامل النظام:

   • التخزين متعدد الدقة: يتم تخزين آخر $W$ من الرموز بتنسيق FP16، بينما يتم تكميم الرموز القدالتي تم الاحتفاظ بها إلى INT8 لكل رأس وقناة. يقلل هذا من بصمة الذاكرة مع تقليل تدهور الارتياب (perplexity) مقارنة بالتكميم ذي البتات الأقل.
   • الميزانيات الهرمية (CONF-KV-L): نسخة اختيارية تخصص الميزانيات بشكل غير موحد عبر الطبقات، حيث تخصص ميزانيات أصغر للطبقات الأعمق بناءً على ملاحظة أن الطبقات الأعمقة غالبًا ما تركز المعلومات في عدد أقل من الرموز.
   • التنفيذ: يستخدم المدير عملية التراص المتصل (contiguous compaction) للحفاظ على تخطيط كثيف لأنوية الانتباه، متجنبًا جداول التوجيه غير المباشر، ويقوم بدمج إلغاء التكميم (dequantization) في عمليات قراءة الانتباه القائمة على الكتل (blockwise).

المساهمات الرئيسية

• سياسة مدركة للثقة: استراتيجية إخلاء مبتكرة تستخدم توزيع المخرجات الحالي لدفع قرارات ميزانية التخزين المؤقت لكل خطوة، بدلاً من الاعتماد فقط على الإشارات التاريخية.
• تصميم الأنظمة: تنفيذ كامل يجمع بين الإخلاء التكيفي مع انتباه softmax عبر الكتل، وتخزين مختلط من FP16/INT8، وميزانيات طبقات هرمية اختيارية.
• التحقق الآلي: اختبار يوضح أن درجة الثقة ترتبط عكسيًا بقوة (معامل بيرسون $r = -0.77$) مع إزاحة KL الناتجة عن استبعاد السياق الأخير، مما يؤكد صحة الافتراض بأن انخفاض الثقة يشير إلى الحاجة لمزيد من السياق المحتفظ به.
• تقييم شامل: اختبارات موسعة عبر أربع عائلات من النماذج (GPT-2, Qwen-14B/32B, gpt-oss-20b) وأعباء عمل متنوعة، بما في ذلك الارتياب (perplexity)، واسترجاع السياق الطويل، ومهام الوكيل الويب (web-agent).

النتائج التجريبية

• المقايضة بين الذاكرة والجودة: في نموذج GPT-2 بطول توليد 2048 رمزًا، يحقق CONF-KV+INT8 نفس بصمة الذاكرة لنافذة منزلقة ثابتة بطول 512 رمزًا (~38.7 ميجابايت) ولكنه يقلل الارتياب بمقدار 3.11 نقطة مقارنة بالنافذة المنزلقة. كما يقلل CONF-KV-L (النسخة الهرمية) الذاكرة إلى 34.2 ميجابايت مع تحسين الارتياب بمقدار 3.89 نقطة، مما يغلق 74% من فجوة الجودة بين النافذة المنزلقة والـ KV الكامل.
• استرجاع السياق الطويل: في اختبارات "الإبرة في كومة القش" (NIAH) حتى 32 ألف رمز، يحقق CONF-KV دقة استرجاع تبلغ 91.4%، متفوقًا بشكل كبير على النوافذ المنزلقة (53.8%) وH2O (80.6%).
• مهام الوكيل: في 75 مهمة من مهام VisualWebArena، يحتفظ CONF-KV بنسبة 95.3% من معدل نجاح الـ full-KV مع تقليل ذروة الذاكرة بمقدار 2.8 ضعفًا.
• الإنتاجية وزمن الانتقال: يقلل CONF-KV زمن الانتقال لكل خطوة بمقدار 1.8 مرة مقارنة بـ full KV في GPT-2 وQwen-32B. وتتوسع الإنتاجية مع حجم الدفعة (batch size)؛ فعند حجم دفعة 8، يحقق CONF-KV 2.06 ضعف إنتاجية full KV.
• الدراسة الاستقصائية (Ablation): يظهر عزل إشارة الثقة أن الإخلاء العشوائي بنفس المعدل يؤدي إلى تدهور الأداء إلى 36.54 PPL، بينما يحقق CONF-KV الكامل 30.92 PPL، مما يؤكد أن كلاً من بوابات الثقة وآلية الترتيب ضروريان.

الأهمية والادعاءات
يزعم البحث أن CONF-KV يثبت أن عدم اليقين الحالي هو بيانات وصفية (metadata) مفيدة للأنظمة لتحسين حدود باريتو (Pareto frontier) بين الذاكرة والجودة. وتتميز الطريقة بأنها تطلعية (forward-looking): فهي لا يمكنها استعادة الرموز التي تم إخلاؤها ولكنها تمنع الإخلاء المبكر أثناء الفترات الصعبة. التصميم لا يتطلب تدريبًا (training-free)، ولا يغير أوزان النموذج، وهو متعامد مع التقنيات الموجودة مثل التخصيص لكل رأس، والتخصيص لكل طبقة، واختيار الدقة، مما يسمح له بالتكامل معها.

يشير المؤلفون إلى بعض القيود، بما في ذلك أن الطريقة تعتبر "عملية عدم تغيير" (no-op) في السياقات القصيرة التي لا تتجاوز عتبة الإخلاء أبدًا، وأن التراص المتصل يتضمن تكلفة تجميع (gather cost) (رغم أنها تفوقها مدخرات الانتباه). كما يقرون بأن إشارة الثقة تصبح أقل معلوماتية تحت أخذ العينات بدرجة حرارة عالية (high-temperature sampling). أخيرًا، يسلط البحث الضوء على اعتبار الاستخدام المزدوج: فبينما تحسن تكاليف الاستنتاج المنخفضة الكفاءة، فإنها قد تخفض أيضًا الحواجز أمام الأتمتة طويلة الأمد غير المرغوب فيها، مما يشير إلى ضرورة بقاء ضوابط السلامة للنماذج الأساسية قائمة.