ملخص تقني: xKV - ضغط ذاكرة التخزين المؤقت لـ KV عبر الطبقات من خلال استخراج المتجهات المفردة المحاذية

1. بيان المشكلة

تتيح النماذج اللغوية الكبيرة (LLMs) ذات السياق الطويل تطبيقات متقدمة مثل استرجاع المعلومات واسع النطاق وتصحيح الأكواد البرمجية، لكنها تواجه عقبة حرجة: استهلاك الذاكرة لـ "ذاكرة التخزين المؤقت للمفاتيح والقيم" (KV-Cache) أثناء الاستدلال. ومع امتداد أطوال السياق إلى مئات الآلاف أو الملايين من الرموز (tokens)، يصبح بصمة ذاكرة الـ KV-Cache باهظة، مما يحد بشدة من طلبات الاستدلال المتزامنة والإنتاجية.

تندرج استراتيجيات التخفيف الحالية عموماً تحت فئتين:

• طرق داخل الطبقة (Intra-layer): تقنيات مثل التكميم (quantization)، وطرد الرموز (token eviction)، وتفكيك الرتبة المنخفضة للطبقة الواحدة، تقوم بضغط الـ KV-Cache لكل طبقة بشكل مستقل. ورغم فعاليتها إلى حد ما، إلا أنها تفشل في استغلال التكرار المحتمل عبر الطبقات.
• طرق عبر الطبقات (Cross-layer): تتطلب أساليب مثل Cross-Layer Attention (CLA) وYOCO تعديلات معمارية مكلفة وإعادة تدريب. أما الأساليب الأخرى، مثل MiniCache، فتعتمد على دمج الطبقات المتجاورة بناءً على تشابه جيب التمام (cosine similarity) بين الرموز. ومع ذلك، يُظهر التحليل التجريبي أن التشابه بين الرموز عبر الطبقات غالباً ما يكون ضعيفاً جداً لدعم ضغط قوي دون تدهور كبير في الدقة.

2. المنهجية: xKV

يقترح المؤلفون xKV، وهو طريقة ضغط "قابسة وتعمل مباشرة" (plug-and-play) لا تتطلب إعادة تدريب، تستغل التكرار الهيكلي العميق عبر الطبقات دون الحاجة لتغيير المعمارية أو إعادة تدريب النموذج.

2.1. الملاحظة الجوهرية: المتجهات المفردة المحاذية

يتحدى البحث الافتراض القائل بأن الطبقات متميزة بناءً على تشابه جيب التمام بين الرموز. باستخدام محاذاة النواة المركزية (CKA)، أثبت المؤلفون أنه بينما قد تتباعد تمثيلات الرموز الفردية، فإن المتجهات المفردة المهيمنة (الأساس الذي يحدد التباينات الرئيسية في فضاء الرموز) تكون محاذية للغاية عبر الطبقات المتجاورة. تشير درجة CKA العالية هذه إلى أن البنية الهندسية لفضاءات KV-Cache مشتركة، حتى لو كانت حالات التشابه النقطي منخفضة.

2.2. التفكيك عبر الطبقات (CLF)

بالاستفادة من هذا المحاذاة، يقوم xKV بتقسيم طبقات النموذج $N$ إلى نوافذ متصلة بحجم $W$. لكل نافذة، يقوم بإجراء تفكيك عبر الطبقات (CLF):

1. الدمج (Concatenation): يتم دمج ذاكرات الـ KV-Cache لجميع الطبقات داخل النافذة أفقياً.
2. تحليل القيم المفردة (SVD): يتم حساب تحليل القيم المفردة برتبة $r$ (rank-$r$ SVD) على الذاكرة المدمجة.
3. التفكيك (Decomposition): ينتج عن ذلك أساس رموز مشترك ($A_k$) للنافذة ومصفوفات إعادة بناء خاصة بكل طبقة ($B_\ell$).
4. التخزين: بدلاً من تخزين $W$ من ذاكرات الـ cache كاملة الرتبة، يقوم النظام بتخزين أساس مشترك واحد و$W$ من مصفوفات إعادة البناء الأصغر، مما يقلل التعقيد في الذاكرة من $O(W \cdot L \cdot d)$ إلى $O(L \cdot r + W \cdot r \cdot d)$.

2.3. إعادة البناء الانتقائي (SR)

لمعالجة العقبة الحسابية المتمثلة في إعادة بناء جميع الرموز أثناء مرحلة فك التشفيد (decode phase) (والتي تتناسب خطياً مع طول التسلسل $L$)، يقدم xKV تقنية إعادة البناء الانتقائي (SR).

• الآلية: بدلاً من إعادة البناء الكثيف، يحدد SR مجموعة فرعية متفرقة من الرموز ($S$) الأكثر صلة بالاستعلام الحالي باستخدام اختيار القطع الموجه بالمعالم (landmark-guided chunk selection) (على غرار ShadowKV).
• التنفيذ: يتم إعادة بناء الصفوف المقابلة لهذه الرموز الحرجة فقط باستخدام الأساس المشترك والمصفوفات الخاصة بكل طبقة.
• الفائدة: يقلل هذا من تكلفة إعادة البناء لتصبح ثابتة بالنسبة لطول التسلسل $L$، مما يسمح بتسريع العمليات من البداية إلى النهاية.

3. المساهمات الرئيسية

1. اكتشاف التكرار عبر الطبقات: يكشف البحث أن ذاكرات الـ KV-Cache تشترك في متجهات مفردة مهيمنة محاذية للغاية عبر الطبقات، وهو شكل من أشكال التكرار الذي يحجبه ضعف التشابه بين الرموز.
2. خوارزمية xKV: طريقة لا تتطلب تدريباً تستخرج أساساً مشتركاً عبر التفكيك عبر الطبقات (CLF)، مما يسمح بمشاركة فعالة للمعلومات عبر $W$ من الطبقات ($W > 2$).
3. إعادة البناء الانتقائي: تحسين في وقت فك التشفيد يعيد بناء الرموز ذات الصلة بالاستعلام فقط، مما يلغي العبء الحسابي الخطي لإعادة البناء الكثيف.
4. التوافق المباشر (Plug-and-Play): لا تتطلب الطريقة ضبطاً دقيقاً (fine-tuning) أو تعديلات معمارية، مما يجعلها قابلة للتطبيق على النماذج المدربة مسبقاً (مثل Llama-3.1، Qwen2.5، DeepSeek-V2).

4. النتائج التجريبية

قيم المؤلفون xKV على نماذج Llama-3.1-8B-Instruct، وQwen2.5-7B/14B-Instruct، وDeepSeek-Coder-V2-Lite باستخدام اختبارات RULER وLongBench وMulti-turn NIAH.

• الضغط مقابل الدقة:
  • يحقق xKV ما يصل إلى 8 أضعاف ضغط ذاكرة الـ KV-Cache مع فقدان ضئيل في الدقة (≤3% في المتوسط) مقارنة بنماذج الانتباه الكامل (full attention).
  • في نموذج Llama-3.1-8B، يحقق xKV عند ضغط 8 أضعاف دقة متوسطة تبلغ 88.50% في اختبار RULER، متفوقاً بشكل كبير على MiniCache (الذي حقق 45.04% عند 1.3×) ومساوياً أو متفوقاً على طرق طرد الرموز مثل SnapKV وPyramidKV.
  • في مهام NIAH متعددة الأدوار، يحافظ xKV على أداء مستقر عبر أدوار المحادثة، بينما تعاني طرق طرد الرموز من انخفاض حاد بعد الدور الأول.
• الكفاءة والإنتاجية:
  • الذاكرة: يتيح xKV أحجام دفعات (batch sizes) أكبر تحت نفس ميزانية ذاكرة وحدة معالجة الرسومات (GPU).
    �   * زمن الاستجابة (Latency): تقلل إعادة البناء الكثيفة زمن استجابة الانتباه بما يصل إلى 3.6×.
        * الإنتاجية (Throughput): مع دمج إعادة البناء الانتقائي (xKV-SR)، يحقق النظام تسريعاً يصل إلى 4.23× في الإنتاجية النهائية مقارنة بنماذج الانتباه الكامل على وحدات NVIDIA A100.
        * المقارنة: يتفوق xKV-SR على ShadowKV بنسبة 30% في الإنتاجية تحت مستويات دقة مماثلة مع إبقاء كل من المفاتيح (Keys) والقيم (Values) على وحدة معالجة الرسومات، متجنباً اختناقات نقل البيانات عبر ناقل PCIe.
• المتانة: تظل الطريقة فعالة عبر بنيات النماذج المختلفة، بما في ذلك انتباه الاستعلام المجموع (GQA) وانتباه MLA في DeepSeek-V2.

5. الأهمية والادعاءات

يزعم البحث أن xKV يوفر نهجاً عملياً "قابلاً للتشغيل المباشر" لتقليل كل من بصمة الذاكرة وزمن الاستجابة لنماذج LLM ذات السياق الطويل في آن واحد. ومن خلال تحويل التركيز من تشابه الرموز إلى محاذاة المتجهات المفردة، يفتح xKV آفاقاً لتكرار غير مستغل بين الطبقات فاتته الطرق السابقة.

يؤكد المؤلفون أن نهجهم:

• يتجنب التكلفة العالية لإعادة التدريب التي تتطلبها التغييرات المعمارية.
• يتغلب على قيود الدقة الناتجة عن الدمج القائم على التشابه (MiniCache).
• يحل العقبة الحسابية لإعادة البناء منخفض الرتبة الكثيف عبر إعادة البناء الانتقائي.
• يتيح الاستدلال الكامل على الجهاز (على الـ GPU) للذاكرات المضغوطة، متجاوزاً حدود عرض نطاق PCIe التي تقيد طرق الإخراج (offloading) مثل ShadowKV.

يُقدم هذا العمل كخطوة تأسيسية نحو استدلال فعال للسياق الطويل، مع إتاحة الكود برمجياً لتسهيل اعتماده.